À partir de 1900, la famille Boldt a passé quatre étés magiques dans la Tour Alster pendant que 300 ouvriers (maçons en pierres, menuisiers et artistes) construisaient le château de six étages et de 120 pièces avec ses souterrains, sa centrale électrique, ses jardins à l’italienne, son pont-levis et son colombier. Aucune dépense, ni aucun détail n’ont été épargnés

En 1904, le sort a frappé. Boldt a envoyé un télégramme à l’île dans lequel il ordonnait aux ouvriers « d’arrêter toute construction » sur-le-champ. Louise venait de mourir subitement. Boldt, qui en eut le cœur brisé, ne pouvait imaginer son château de rêve sans sa bien-aimée. Boldt n’est jamais retourné sur l’île, laissant le chantier derrière lui, comme un gage de son amour.

Pendant 73 ans, le château et les nombreuses structures en pierre ont été laissés à la merci du vent, de la pluie, de la glace, de la neige et des vandales. Lorsque la direction du pont des Mille-Îles a acquis la propriété en 1977, il a été décidé que le château serait entretenu au moyen des revenus nets tirés de son exploitation afin d’en faire bénéficier les générations futures.

Depuis 1977, plusieurs millions de dollars ont été investis dans la remise en état et l’amélioration des structures de Heart Island.