Si narra che, nel corso di un’incursione di corsari turchi sulle coste liguri nella seconda metà del XVI secolo, fu catturato un certo Andrea Anfossi di Castellaro Ligure. Il prigioniero fu prima condotto in Africa e successivamente incatenato ai remi di una nave corsara. Un giorno la nave approdò a Lampedusa per fare rifornimento di acqua e di legna. Sbarcato per tagliare la legna nel bosco, Anfossi riuscì a eludere la sorveglianza e si nascose in una grotta dove trovò un quadro raffigurante una Madonna con il Bambino.

Il fuggiasco pregò la Vergine perché lo aiutasse a scappare e a ritornare in patria e, promise, che una volta giunto nella sua terra, avrebbe fatto erigere una cappella in onore della Madonna. Riuscì a lasciare l’isola con un tronco d’albero e, servendosi del quadro come vela, riuscì ad approdare sulle coste liguri dove fece costruire un santuario dedicato a Nostra Signora di Lampedusa.