El castillo disponía de un recinto amurallado que llegaba hasta la población, situada a sus pies, y la envolvía.

Es de destacar actualmente la presencia de restos de murallas esparcidas por las casas de la población.
Sobresale en Andilla el Portal de la Muralla, datado del siglo XIV, de fábrica de silleria y con arco de medio punto.
Presenta un escudo en la dovela clave relacionado con el barón de Andilla, Ximen Perez de Arenós, al que Jaime I le otorgó el señorio del castillo y de la población en 1237, tal y como indica el Llibre del Repartiment.

Historia:
El castillo de Andilla fue donado por Jaime I a Eiximen Pérez de Arenós en 1237.
La baronía fue formada en 1292 cuando se expulsó a los moriscos y se admitió cristianos de repoblación otorgando la Carta Pobla.