Определенных сведений о возникновении поместья пока не найдено. Известно лишь, что на месте нынешнего замка существовала средневековая крепость. В апреле 1394 года земли, входившие в Белёй, перешли по наследству от графов Конде к княжескому дому де Линь. Фамильный замок этого влиятельного бельгийского рода некогда стоял на берегу реки Дандр в деревушке Линь (Ligne), расположенной в 8 км к северо-востоку от Белёй.