Sus orígenes se creen que fue la antigua Colonia romana de Arcensis; pero el nombre de Arx-Arcis (fortaleza en altura) proviene de su fundación romana.
Los musulmanes por suparte la denominaron Medina Ar-kosch, constituyéndose como una fortaleza de uno de los reinos de taifa y, durante el siglo XIII, enclave decisivo en la línea fronteriza entre musulmanes y cristianos.
En 1250 pasó a estar bajo el dominio de Fernando III, que cambiaría su nombre por del actual Arcos, aunque permaneciendo en ella sus habitantes musulmanes, que serían definitivamente expulsados por Alfonso X (1264) tras rebelarse contra el poder cristiano.
En 1408 la ciudad fue cedida a título de señorío a Ruy López de Ávalos y, desde 1440 hasta finales del siglo XVIII, perteneció a la casa nobiliaria de los Ponce de León.
En los inicios del siglo XVIII, la ciudad contribuyó a la causa de Felipe V en la Guerra de Sucesión, siéndosele concedida por este hecho los títulos de "noble y fidelísima".
Más adelante destacaría por su resistencia a la ocupación francesa durante la Guerra de la Independencia, siendo la villa ocupada por las tropas napoleónicas durante el bienio 1810-1812.
Esta densa historia se hace patente en un recorrido por el casco urbano que, en 1962, fue declarado Monumento Histórico-Artístico.