Dispuso de un recinto murado en la cumbre que corona el pueblo.
Todavía hoy en día quedan restos de él, pero no lo suficientes para describirlo, porque la población ha llegado hasta la propia cumbre.
La población de Agost vivió protegida por su castillo.