Vaszary Kolos egykori hercegprímás első ízben esztergomi tanárként érkezett Füredre – gyógyulási céllal. Attól fogva szinte minden évben itt pihent. Már pannonhalmi apátként rendbe hozatta az akkor a rend tulajdonában lévő fürdőt. Esztergomi érsekként vette meg a bencés rendtől a területet, amelyen 1892-ben felépült eklektikus stílusú, tornyos nyaralója, Czigler Győző építész tervei alapján. A hercegprímás halála után az épületet a benne lévő ingóságokkal együtt elárverezték, majd az 1920-as évek közepére honvédtiszti üdülőt alakítottak ki benne.

1927-ben készült el a nyugati szárny. Az épületek a II. világháború végéig a Honvédségi Jóléti Alap tulajdonában voltak. Az 1950-es évektől a rendszerváltozásig a szovjet hadsereg használta. A 2010-ben befejeződött felújítás óta az egykori prímási nyaraló és a hozzáépített nyugati szárny kiállítótérként funkcionál. A Vaszary Villa Galéria Vaszary János festőművész munkáinak reprezentatív válogatásával nyitotta meg kapuit. Az azóta eltelt időszakban az épületben olyan neves képzőművészek, mint Auguste Rodin, Joan Miró, Keserü Ilona, Hemző Károly, Rippl-Rónai József és mások alkotásait tekinthették meg az érdeklődők.

A Galéria mellett a Villa falai között működik a változatos programokat nyújtó Alkotóház, a Vaszary Könyvesbolt sokszínű kiadvány- és ajándék-kínálatával és a különleges enni-innivalókat, kellemes szórakozást biztosító Vaszary Kávézó is.