Existe la puerta de entrada a la antigua muralla que envolvía la ciudad.
Se llama actualmente "La Puerta de la Carcel".
Se compone de un arco en una torre que se haya flanqueado por dos cubos.
Sobreel arco se hizo una ampliación en ladrillo en 1610 por el Duque de Lerma para convertirla en prisión.
Traspasado el arco entremos en la antigua plaza medieval de Lerma.

El Palacio Ducal es un conjunto entre palacio y monasterios realizado por el Duque de Lerma a principios del siglo XVII.

Se construyó sobre la base del antiguo castillo y fue la vivienda habitual de los Duques de Lerma y como vivienda residencial de Felipe III.
Es de proporciones enormes pues posee 210 balcones.
Presenta un patio central rodeado de galerias con columnas.
Desde el patio arranca una suntuosa escalera de piedra y forja.
El palacio era un lugar de encuentro para laalta sociedad de la época.
Más tarde se convirtió en acuartelameinto de las tropas en la Guerra de la Independencia.
Después ejerció las funciones de granero, de viviendas y de almacenes hasta que en la actualidad se ha convertido en sede del Parador Nacional de Turismo Duque de Lerma.