El Castilo-Palacio es un sólido edificio de origen renacentista construido en sillares, de planta cuadrangular con patio central y claustro de arcos de medio punto. Está flanqueado por cuatro torres con propósitos defensivos, una de las cuales corresponde hoy al campanario de la iglesia parroquial. Fue edificado entre 1539 y 1614 y constituyó la mansión principal de los señores de la villa, una vez que por razones de seguridad y confort abandonaron la residencia en el Castillo de Castalla. En realidad su nombre es históricamente incorrecto, ya que fue construido por la familia Vilanova.