Az intézmény egy Somogy megyei kis faluban található, Somogyváron. A település a Balatontól délre 26 km-re, a Kaposvár-Fonyód közötti út mellett terül el, 32 km-re a megyeszékhelytől, Kaposvártól. Somogyvár 1983 óta hazánk Történelmi Emlékhelye.
A jelenlegi kastély helyén a XVIII. század végén már állt egy épület, amelyben a gazdatiszt lakott. Előbb 1855-ben Széchenyi Zsigmond építette át eklektikus stílusban, ezt bővítette 1870-ben Széchenyi Dénes. A főépületben 47 szoba, a mellette lévő kiskastélyban 10 állt rendelkezésükre.
A kastélyt körülvevő szép parkot Dénes gróf építette, amelynek tervezésével Schilhann József csehországi kertészt bízta meg.
Széchenyi Dénes 1889 végén fiának, Imrének és menyének, Andrássy Mária grófnőnek adta el Somogyvárt. A park szélén áll a Széchenyi kripta, amelyben a két Széchenyi Imre alussza örök álmát.
A fiatalon elhunyt gróf özvegye, Nádasdy Ilona 1923-ban adott életet leányuknak, Ilonának, aki szintén Somogyvár szülötte. Ő lett a Széchenyi kastély gazdája, utolsó tulajdonosa.
A főépület újabb bővítésére 1896-ban került sor. Az 1910-es években vezették be a kastélyba a vizet, villanyt. A kastélyban igen jelentős Kupavár-hegyről származó régiségeket, faragott tárgyakat őriztek. Volt egy 7000 kötetes könyvtár, családi levéltár, sok értékes festmény, gobelinek, régi bútorok. A lépcsőház teljes művészi faburkolatának román stílusú faragványait és oszlopait egy juhászlegény faragta – ezek ma is láthatók.
A kastélypark gazdag, buja növényvilága sajátos élményt jelent ma is a látogatóknak. Megtalálhatók a magashegységi flóra jellemző örökzöldjei, valamint a Kelet-Ázsiából származó fafajok sokasága is.