La Iglesia de La Soledad fue edificada en el interior del antiguo recinto amurallado, fue la primera parroquia que tuvo la ciudad.
Sabemos que desde fines del siglo XV se insistía en la necesidad de ampliar la antigua iglesia parroquial, obra de dos naves y cubierta a dos aguas, situada en el mismo sitio en que hoy se encuentra la actual Iglesia de La Soledad.
De sobrias líneas renacentistas el edificio se levanta sobre un muro de mampostería que sirve de muro de contención a la terraza del inmueble. Los contrafuertes cilíndricos y prismáticos que rodean a la iglesia le confieren un aspecto fortificado que recuerda el sentido medieval del templo como fortaleza, herencia del gótico.
Los muros son de mampostería y tiene dos puertas adinteladas, formando el dintel de la puerta principal una lápida con amplia inscripción romana hallada en el siglo XVI en el complejo arqueológico del Estrecho de La Encarnación.
Actualmente el inmueble está destinado a Museo Arqueológico Municipal en el que el turista puede satisfacer su curiosidad contemplando las huellas de los más antiguos pobladores de la zona, con los hallazgos arqueológicos de la “Cueva de los Alcores”, de la “Represa”… Se asombrará ante los monumentales restos romanos de La Encarnación… Admirará el amplio abanico de variadas muestras cotidianas de los íberos y otro sin fin de curiosidades que explican por qué Caravaca hoy es como es.