Talán soha nem derül ki, hogy miért építtetett egy kiemelkedően gazdag házaspár hölgy tagjának édesapja a pár közös kastélyától néhány lépésre másik kastélyt a lányának. A két épületet ráadásul magas fallal választották el egymástól, és valójában egyiket sem használták, mert együtt laktak városi palotájukban.

A Sacelláry család Bizáncig vezette vissza az őseit, majd némi pesti kitérő után 1875-ben jelentek meg Promontoron, azaz Budafokon. A család egyik legjelesebb tagja Sacelláry György volt, aki a 19. században elsősorban  bőrkereskedelemmel és ingatlanbefektetéssel foglalkozott. A család fejeként lányát egy három évvel fiatalabb és kevésbé vagyonos fiatalemberhez adta, akiben valószínűleg felismerte az elképesztően tehetséges üzletembert. A Sacelláry-kastélyt 1894-97 között építtette lánya számára, ami azért érdekes, mert a szomszédos telken már négy évvel hamarabb elkezdődött a Törley-kastély építése, mely csak 1907-ben fejeződött be. A kívül historizáló, belül szecessziós jegyeket mutató kastélyt egy Railey nevű francia építész tervezte és kéthektáros angolpark vette körül. A díszítésben gyakori a vadgesztenye-motívum (Irén kedvenc fája), a színes ólomüveg ablakok Róth Miksa műhelyében készültek, az ajtók üvegdíszítése pedig a Tiffany-technika első magyarországi megjelenése volt. Irén halálától 1987-ig tüdőszanatórium működött az épületben, később egy bank újíttatta fel, majd egy egyetem használta, végül 2002-ben magánkézbe került.