Das Palazzo Rimondi befindet sich teilweise in einem Gebäude, das aus der venezianischen Besatzung Kretas (1200 – 1600 n. Chr.) stammt und deutliche Einflüsse der Renaissance trägt.

Es folgte eine Reihe von Phasen aufwendiger Bauarbeiten in Form von Erweiterungen während der türkischen Besatzung sowie im 19. und 20. Jahrhundert.