Su origen romano parece evidente por los restos excontrado en las excavaciones.
A la población su nombre proviene del Castrum Fabii de los romanos .
La fortificación era potente en época de lo árabes, Qastil al'Habib, y las crónicas indicaban la gran dificultad de asaltar la fortaleza.
El castillo pertenecía ya en 1213 a Jaime I.