Het kasteel werd omstreeks 1230 gebouwd, destijds onder de naam Steenenburgh. Later kreeg het gebouw de titel Kasteel d'Oultremont. Maar dit Rijksmonument staat beter bekend als 'het Roze Kasteel' van het voormalige Land van Ooit. Opdrachtgever is de Gemeente Heusden en de directievoering was in handen van Bureau Delfgou.