De origen árabe, alcanzó singular importancia como núcleo de población gracias a las minas de hierro de El Conjuro, explotadas hasta hace pocos años, y otras de mercurio que llevan cerradas desde mediados del siglo XX.
Tras la Reconquista llevada a cabo por los Reyes Católicos, Cástaras pasó a manos cristianas. A mediados del siglo XVI tuvo lugar la sublevación morisca, por lo que los moriscos fueron expulsados del municipio. Años más tarde, el pueblo fue repoblado con colonos de otras regiones.
Cástaras ha visto reducida drásticamente su población debido a la emigración. En los años 70, ante el éxodo masivo de sus habitantes en busca de trabajo a otros puntos de España, llegó a cerrar las dos terceras partes de sus casas.