Op dit kasteeldomein verbleven eeuwenlang de “heren van Zwevezele”. Ze bouwden er doorheen de tijd maar liefst drie kastelen. Zwevezele dankt haar naam aan de eerste nederzetting ‘Swibansali’. De Germaan Swibo zou er zijn huis of ‘zaal’ gebouwd hebben: Swiban Sali. In de loop van de eeuwen is de nederzetting van Swibo een dubbel omwalde hofstede geworden. De hofstede met al haar gronden werd “ter Couttere” genoemd doordat deze koutergronden waren.
In 1440 was het Jan vanden Rijne die er de eerste burcht liet bouwen: een waterburcht in de vorm van een onregelmatige zeshoek, het ‘Sterkst van Swevezeele’. Daarbinnen voedde de bron de binnenwal, die zorgde voor vers water voor de bewoners. Tijdens de godsdienstoorlogen (de Tachtigjarige Oorlog) werd de burcht op 1 januari 1582 geplunderd en verwoest door de Malcontenten. De ruïne die overbleef werd “’t Sterkst van Zwevezele” genoemd en bleef staan tot 1600.
Rond 1600 werd een nieuw kasteel gebouwd. Versterkte burchten waren voorbijgestreefd, maar er was nog steeds een binnen- en buitenwal. Het kasteel Coutterhove werd toen opgetrokken door de familie “Van Haveskercke”. Bijna twee eeuwen lang werd dit kasteel door verschillende generaties van de familie Van Haveskercke bewoond. Tot het laatste familielid overleed in 1784 en het kasteel onbewoond bleef tot 1816. Hoe het kasteel er in deze periode uitzag kennen we dankzij een tekening van Serafin Vermote uit 1813.
In 1816 liet een achterneef van de familie van Haveskercke, Burggraaf en Baron Pecsteen, het kasteel slopen. Op de grondvesten van het oude kasteel werd het nieuwe Landhuis opgetrokken. De binnenwal en een groot deel van de buitenwal werd gedempt. Door het aanvoeren van heel wat aarde kwam het nieuwe kasteel drie meter hoger te liggen dan het oude. Het gelijkvloers van het oude kasteel werd op die manier de kelderverdieping van het laatste kasteel. In dit Nieuw Landhuis leefde de familie “de Thibault de Boesinghe”. Na hen had het kasteel nog andere bewoners, maar was nog eigendom van dezelfde familie.
Sinds 1984 is het Kasteelpark eigendom van gemeente Wingene. Het koetshuis en badhuis werden gerestaureerd, terwijl het kasteel werd afgebroken.