Fort Rammekens werd tussen 1547 en 1552 in opdracht van Margaretha van Hongarije, de zuster van Karel de Vijfde, gebouwd. Het fort moest de scheepvaartverbinding naar Middelburg (en Antwerpen) bewaken. Middelburg was toen immers één van de belangrijkste handelssteden van de Noordelijke Nederlanden. Het werd ontworpen door de Italiaanse bouwmeester Donato de Boni, die de vesting bouwde volgens de in Italië geldende voor die tijd vernieuwende bouwkundige en verdedigingstechnische principe.
Tijdens de Opstand (1568-1648) speelde het fort een rol bij het beleg van Middelburg. Door de verovering van het fort door de geuzen in 1574 moesten de Spanjaarden zich ook in Middelburg overgeven.
In de Gouden Eeuw was het fort van belang voor de bevoorrading van de op de rede van Rammekens op goede wind wachtende schepen van de VOC (Verenigde Oost-Indische compagnie) en MCC (Middelburgse Commercie Compagnie). Zieke zeelieden werden verpleegd in het hospitaal op het fort.
Na de Engelse invasie van het door de Fransen bezette Walcheren in 1809, liet Napoleon het fort in de jaren erna ingrijpend veranderen. Alle bebouwing op de binnenplaats werd verwijderd, er werden kazematten gebouwd en de verdediging werd aan de eisen van de tijd aangepast. Net buiten het fort liet hij een verdedigingswal aanbrengen, het zgn. kroonwerk. Delen ervan zijn nog steeds zichtbaar. Na de Franse tijd verloor het fort zijn strategische betekenis. In 1867 raakte het zijn status als verdedigingswerk kwijt en stopte de geldstroom vanuit het Rijk. Dit bespoedigde het verval van het fort.
In de Tweede Wereldoorlog werd het fort onderdeel van de Atlantik wall, de Duitse verdedigingslinie langs de kusten van Noordwest-Europa. Behalve op het fort zelf, werden ook in de directe omgeving bunkers en andere betonnen versterkingen aangebracht. In oktober 1944 bombardeerden de geallieerden de zeedijk bij Rammekens. Dit als onderdeel van het plan om Walcheren onder water te zetten en daarmee de Duitse verdediging uit te schakelen. Door de gaten in de dijk stroomde een jaar lang zeewater in en uit. Daardoor ontstonden diepe geulen, die na het sluiten van de dijk in november 1945, als kreken achterbleven.
Na de oorlog is in het fort nog een aantal jaren een champignonkwekerij gehuisvest geweest. Sinds 1972 is het als rijksmonument in beheer bij Staatsbosbeheer. Rammekens werd in 2012 en 2013 grondig geconsolideerd waarbij het muurwerk en de vochtindringing ingrijpend aangepakt werden.