Per i suoi paesaggi che destavano ammirazioni tra i viaggiatori antichi, Le Castella fu oggetto di tante leggende e addirittura, secondo alcuni studiosi, l'isola di Calypso, descritta da Omero nella sua Odissea, sarebbe da collocarsi proprio nelle vicinanze del borgo.

Fa parte dei mitologici tre promontori “Japigi”, identificati in Capo Rizzuto, Capo Cimiti e Le Castella, così denominati dalla presenza del mitico Japyx, figlio di Dedalo, uno degli artisti più valenti dell’antica Grecia.

Infatti, secondo quanto riportano Erodoto e Strabone, Japyx o Japige fuggì da Creta seguendo il padre in una spedizione in Sicilia. Durante il ritorno, una violenta tempesta lo fece naufragare presso le coste dell'odierna Calabria ed alla località fu dato il nome di “terra Japigia".

Le Castella sarebbe dapprima nata come colonia.

Un patto tra Roma e Taranto di tregua bellica stabilì che venisse fondata una colonia romana di 3000 coloni, chiamata Castra, o Castrum, a sorveglianza delle navi reciproche. Se una delle due città avesse oltrepassato il limite entro il quale navigare, allora la tregua sarebbe svanita. Alcune leggende raccontano di come Annibale si rifugiò sotto alcuni scogli della scogliera e da lì scappò dai romani, durante l'epoca delle guerre puniche.

Durante il periodo aragonese la fortezza prese le forme architettoniche odierne.

Andrea Carafa, conte di Santa Severina e Luogotenente generale del regno di Napoli, commissionò il rifacimento della fortezza adattandolo alle moderne esigenze difensive, in particolare per rendere le mura più resistenti ai colpi di cannone. Dal XVI sec. fino al XVIII sec. il paese e la sua fortezza diventarono scenari delle invasioni turche, fu l'inizio dell'improvvisa decadenza del borgo. Gli ottomani misero a ferro e fuoco l'intero borgo, uccidendo e rapendo la quasi totalità degli abitanti. Nel 1536 il celebre corsaro barbaresco Khayr al-Din Barbarossa vi rapì Giovanni Dionigi Galeni, divenuto famoso come ammiraglio e corsaro con il nome di Uluç Ali Paşa.

Oggi Le Castella è una meta turistica famosa, conosciuta per la bellezza del mare e delle sue testimonianze storiche ed archeologiche. Dal 1991 fa parte dell' Area Marina Protetta di Capo Rizzuto .