Το Palazzo Rimondi φιλοξενείται εν μέρει σε κτίριο που χρονολογείται από την ενετική κατοχή της Κρήτης (1200 – 1600 μ.Χ.) και φέρει εμφανείς επιρροές από την Αναγέννηση.

Ακολούθησε μια σειρά φάσεων περίτεχνης κατασκευής με προσθήκες κτιρίων κατά την τουρκική κατοχή, καθώς και κατά τον 19ο και 20ό αιώνα.