Sidst i juli 1970 var der hektisk aktivitet på den gamle gule kro på Femø. En håndfuld øboere og jazzentusiaster havde fået den idé at afholde et jazzarrangement på kroen, og nu knoklede de for at få alt på plads, inden gæsterne ankom. Men spørgsmålene var mange. Ville der overhovedet komme nogen gæster ud på den lille ø nord for Lolland? Var der indkøbt øl nok? Hvad med overnatning, mon gæsterne tog telte med?
Den 15. august 1970 stillede en ankomstkomité sig klar med blæsere på Femø Havn og stemte i med jazzmusik. Femøsund gled ind i færgelejet, og ud myldrede et hav af gæster, der skulle til jazz! Omkring 300 gæster fandt vej til den første jazzfestival på Femø, der blev en stor succes. I 2019 fejrede festivalen 50 års jubilæum, og dermed er Femø Festival landets ældste festival med overnatning. Festivalen voksede støt i 1970’erne, og Femø Kros lokaler bliver for trange. Festivalen flyttede derfor ud på en naturskøn strandeng, hvor den også ligger i dag. Her kan gæsterne slå telte op eller parkere med campingvogne. Gæster og musikere fra ind- og udland besøger øen, og de fragtes alle til festivalen med færge.
Femø Festival har rødder i den traditionelle jazz. De senere år er paletten dog blevet bredere inden for jazz-genren, når man kigger musikprogrammet igennem, men uden at give slip på forkærligheden for den traditionelle jazz. En tilbagevendende begivenhed er familiejazz, der inviterer børn og barnlige sjæle til koncert med bands som serverer jazz i børnehøjde.
Koncerterne foregår primært på festivalpladsen, som rummer ét stort telt, en lille jamhave og et cafeteria, men breder sig også ud på øen, når der afholdes Street Parade, koncert i en af øboernes have, på kroen og på havnen.