Vor dem Olsener Schloss befinden sich zwei Pavillons in spanischem Bautstil, die vom Weg aus deutlich zu sehen sind und den Zugang zum Schlosshof bilden.

Früher stand hier ein anderes Schloss. Das aktuelle Olsener Schloss wurde 1854 im flämischen Neo-Renaissancestil von Baron und Baronin Polydor Piers de Raveschoot – Surmont de Volsberghe aufgebaut. Der Entwurf des Neubeus kam von Louis Minard, einem bekannten Architekten aus Gent. Das Schloss ist jetzt völlig von Wasser umgeben und hat auf der Eingangsseite eine schöne steinerne Brücke. Das Ganze ist von einem Erdwall umgeben.

Im Innenhof gibt es Pferdeställe, Hundezwinger, einen ummauerten Gemüsegarten, einen Eiskeller und einen schönen Park. Seit 1995 stehen das Schloss und die Umgebung unter Denkmalschutz.