La siguiente mención al Hospital, tras esa primera nota de finales del siglo XV, no llegará hasta 1568 después de un grave incendio que sufrió la villa medieval de Ferrol y que destruyó gran parte de los edificios. En ella se deja constancia de que el Hospital sí se salvó de la quema al estar ubicado en la zona más alejada del foco original.
No existe demasiada documentación ni sobre el Hospital ni sobre la Hermandad, si la hubo, relacionada con su gestión a lo largo de los años siguientes, salvo la una nota en un acta municipal de 1612 donde se hace referencia a la existencia de «un hospital» y a los gastos de reparación del edificio donde se ubicaba:
(…) Por cuantia de duace Rs. De aver a Franc. Gómez por seis bigas y veinte palos de cumes y entrecumes y ocho piernas de metal que de él se compraron en este precio para la fábrica y hedificio del hospital de esta villa que se haba caido todo hasta el suelo (…)
La Hermandad se constituye en 1610 a instancias del Ayuntamiento, bajo Constituciones aprobadas por el obispo, pero decae en dos ocasiones y queda totalmente extinguida a mediados del siglo XVII, sirviendo el edifico del hospital como escuela pública en 1743 y para alojamiento de tropas en 1752.
En el año 1767 se reunieron en el pórtico de la Capilla de San Roque, diversas autoridades y vecinos de la villa con el cura párroco D. Mauro Valladares y fundan una Hermandad dedicada al Espíritu Santo y Nuestra Señora del Buen Viaje con la misión de gestionar el hospital ya existente, pero cuyo edificio se encontraba en muy mal estado. Esta Hermandad, sin embargo, quedaría disuelta pocos años más tarde.
