Zoals op veel plaatsen in Vlaanderen werd er ook in Olsene een Onze-Lieve-Vrouw van Lourdesgrot opgericht. Mevrouw Polydore Piers de Raveschoot wou mensen uit de omgeving de kans geven om dicht bij huis ‘O.-L.-Vrouw Onbevlekt Ontvangen’ te vereren. Zij koos de kruising van de weg Olsene-Machelen en de Kasteeldreef als uitverkoren plaats. De grot, in de volksmond ‘Olsene Rotse’ genoemd, werd in 1876 plechtig ingewijd. Hoewel grotere bedevaarten en ander religieus erfgoed in Vlaanderen meer en meer verdwijnen, blijft de Mariaverering op plaatsen als deze grot nog steeds leven.

Volgens vele lokale bewoners zou er aan de achterkant van de grot een toegang tot een tunnel zijn dat rechtstreeks naar het kasteel van Olsene loopt. Uit onderzoek naar de tunnel blijkt dat er waarschijnlijk wel een tunnel aanwezig is, al zou hij wel compleet onder water staan.