Törley József korszerű gyára mellé historizáló stílusban építtetett kastélyt a századfordulón, melyet elképesztő luxussal rendezett be. Ma egy kutatóintézet működik az épületben – így sajnos emiatt nem látogatható.
A szabadkai születésű Törley József a franciaországi Reimsben tanulta ki a pezsgőgyártást, majd cégét 1882-ben Budafokra helyezte át. Zseniális vállalkozó volt, aki váratlan haláláig vezette a gyárat és hatalmas vagyonra tett szert. A kastélyépítészetben korábban az arisztokrácia volt a mértékadó, de az 1870-es évektől már az újgazdag polgári származásúak is grandiózus épületeket emeltek. Törley kastélyát közvetlenül a gyár mellé építtette, végleges formájában Ray Rezső Vilmos tervezte. A fővárosiak is a csodájára jártak. Egyébként Ray tervezte később a család balatonföldvári nyaralóját és a mauzóleumot is. Elsősorban a kastély berendezése keltett hatalmas feltűnést, ugyanis a szobákat más-más stílusban alakították ki. Volt gótikus nagyterem, klasszicista márványcsarnok, japán kabinet és bizáncias dolgozószoba. Az épület a második világháborúban elsősorban az itt pontozó szovjet csapatok miatt szenvedett komoly károkat, berendezése is ekkor tűnt el. Hosszú ideig üresen állt, majd 1957-ben beköltözött az Országos Sugárbiológiai Kutatóintézet, amely megváltoztatott névvel máig a kastélyban végzi tevékenységét.
