Le Palazzo Rimondi est en partie situé dans un bâtiment datant de la période de l’occupation vénitienne de la Crète (1200 – 1600 après J.-C.) et portant des influences évidentes de la Renaissance.

Il a suivi une série de phases de construction élaborées sous forme d’ajouts de bâtiments pendant l’occupation turque, ainsi que pendant les 19e et 20e siècles.