En el cerro sobre el que se asienta Vejer y su entorno existen testimonios de presencia humana muy antigua.
Bajo las murallas han aparecido materiales de la Edad del Bronce y recientes estudios arqueológicos han revelado la existencia de un poblado de tipo oriental datado en el S.
VII a.
C.
En el mismo lugar se han encontrado algunos materiales y restos de muros de época turdetana, así como algunas cerámicas de época romana.
En su término municipal se ha localizado también una villa romana con ricos pavimentos de mosaicos, y en la Ermita de la Oliva se conserva una inscripción romana reutilizada en época visigoda.
De la presencia romana se podría destacar la "Villa de Libreros" y el "Horno del Chorrillo".
En el 711 tuvo lugar la Batalla de la Janda, en la cual las tropas norteafricanas de Tarik derrotaron a D.
Rodrigo.
A partir de ahí y durante cinco siglos y medio, Vejer permaneció bajo dominio musulmán, siendo objeto de enriquecimiento de la esplendorosa cultura árabe de la que quedan algunos vestigios como la puerta del castillo (S.XI), parte de las murallas y, cómo no, el entramado de sus calles.
La conquista de Vejer fue un proceso en dos fases.
La primera conquista de Vejer tuvo lugar en el año 1250, en tiempos del rey Fernando III "El Santo", pasando de nuevo a manos árabes en Junio de 1264, tras una revuelta en la que tomaron por fuerza el castillo.
La segunda y definitiva comenzó en agosto de 1264, expulsó a la población mudéjar de la zona, para culminar a finales de 1285.
En el mismo año Sancho IV concede a la Orden Militar de Santiago el señorío sobre Vejer y otras plazas de alrededor, con el fin de consolidar el territorio de manera más rápida, aunque se sabe que dicha orden nunca tomó posesión de Vejer.
En 1307, tras una segunda repoblación pasó a ser señorío de Alonso Pérez de Guzmán "El Bueno", que ya estaba en posesión de desde 1299 del señorío de las almadrabas de toda la zona del Estrecho y que tras la toma de Tarifa se había convertido también en el defensor del Estrecho, llegando a ser dueño y señor, después del rey, de estas tierras.
De él heredarían la titulación de la villa los Duques de Medina Sidonia.
Durante los siglos XV y XVI, la vida de Vejer transcurrió bajo dominio de los Guzmanes, destacándose ya en la edad Moderna el enfrentamiento de los vejeriegos, con Juan Relinque a la cabeza, contra los Duques de Medina Sidonia por el control de las tierras comunales, denominadas Hazas de Suerte.
Las transformaciones políticas del S.
XIX y las desamortizaciones repercutieron en las titulaciones de las propiedades, que en parte pasan del dominio ducal a manos burguesas sin conseguirse el desarrollo industrial necesario en la ciudad que ha seguido centrando su actividad económica en la producción agraria y ganadera.
Vejer de la Frontera fue declarado Conjunto Histórico Artístico en 1976, además de ser galardonado en 1978 con el I Premio Nacional de Embellecimiento de Pueblos y recibir la distinción de zona de Gran Afluencia Turística en 1996-2000 / 2000-2004.