Su basamento es más bien romano, data del siglo III.
Posteriormente ha habido una influencia musulmana a raíz de aposentarse los árabes en estas tierras.
Antiguamente existía una zuda musulmana.
Olite era gobernado por los Banu Qasi, hispanos muy islamizados que dependían de Tudela.
En su diseño se observan ciertas influencias del estilo gótico francés y aragonés.
Los primeros datos de construcción del castillo actual se remontan al siglo XIV y finalizaron justo a principios del siglo XV.
Con Carlos III el Noble Olite logró gran importancia.
En 1515, con la incorporación del reino navarro a la Corona de Castilla, Olite será convertida en la residencia oficial de los virreyes, papel que en las centurias siguientes seguirá desempeñando con los gobernantes españoles.

A partir de ese momento el castillo fue a menos progresivamente hasta la Guerra de la Independencia con la que acabó prácticamente en la ruina
cuando Espoz y Mina ordenaron su incendio para evitar la toma de fortaleza tan importante por las tropas francesas y al tiempo retiraron las techumbres de plomo que poseía para convertirlas en balas.
En la década de los 60 se logró una excelente restauración que lo convirtió en Parador de Turismo.