Su origen se remonta a la Peste Negra que asoló Europa en el siglo XIV, cuando los escasos supervivientes puertollaneros elevaron sus ojos a las alturas y realizaron el voto de sacrificar todos los años unas vacas, si la enfermedad cesaba, y hacer una comida para repartirla gratuitamente entre los habitantes del pueblo.
Probablemente en el verano de 1348 se detectaron en Puertollano los primeros casos de la epidemia de peste negra que recorría Europa. Causó tal estrago que la gente caía muerta en la calle. En pocas semanas, los apenas 200 vecinos/familias que había entonces (unas 1.000 personas) se vieron reducidos a sólo 13 (70 personas).
Los supervivientes, atribulados y afligidos, ofrecieron Voto a la Virgen o el Santo Voto, que conmemora los Desposorios de María Santísima y el aventurado San José, y que coincide con el día de la Octava de la Ascensión del Señor a los Cielos. Consiste en sacrificar 13 vacas, cuya carne es guisada y repartida entre los vecinos para prevenir las enfermedades. También se ofrecía comida a los pobres y necesitados.
Las epidemias continuaron apareciendo cada 20 años aproximadamente. En 1.486 otra gran epidemia lleva a los vecinos de Puertollano a realizar otro voto, por el que se acordó "hacer una ermita y fueron en procesión a señalar el sitio, y luego que le señalaron cesó el contagio y mortandad, sin que alguno de allí en adelante muriese de él" (Dr. Limon). La Ermita se construyó en el llano del puerto, finalizando la obra en 1489.
El Santo Voto, declarada de interés turístico regional en el año 1.999, es la tradición más antigua de Puertollano, sus habitantes la celebran acudiendo a su cita generación tras generación y dedicándole a la Virgen un "mayo", a modo de plegaría popular, que recoge el sentir del pueblo dando gracias por el amparo y la protección de Nuestra Señora.