Het Kasteel, Het verhaal van de bouw