El castillo data del siglo XV.
Tradicionalmente la población recibía el nombre de Velosillo, pero el nuevo señor del castillo, Garci Franco de Toledo, su constructor, lo cambió por el de Villafuerte en alusión a la potencia del castillo que construyó.

Sobresale del conjunto su potente Torre del Homenaje que se ubica en uno de los extremos de la planta en el patio de armas.
Presenta cinco plantas.
Es de planta cuadrada.
En sus cuatro esquinas se remata con torrecillas que arrancan desde la base de la torre.

En el resto de ángulos de la fortificación, que es de planta rectangular, aparecen cubos cilíndricos que finalizan con almenas construidas sobre matacanes.

Poseía antiguamente una barbacana.


Pertenece a la Asociación de Amigos de los Castillos que es la que se ha encargado de restauración y adaptación interna para visitas.