Ebben a házban született és hunyt el a XIX. sz-i magyar irodalom jeles költője, Kisfaludy Sándor. Kisfaludy Sándor végleg 1800-ban, a napóleoni háborúkat követően telepedett le ifjú feleségével, Szegedy Rózával ebben a házban, melyet haláláig megtartott. Mivel leszármazottjai nem voltak, a rokonság a házat a veszprémi püspökségnek adta el, az épület ettől kezdve a mindenkori uradalmi intéző hajlékaként szolgált. 1944-ben azonban – az egyházi birtokok államosításával – ez a ház is a népköztársaság tulajdonba került. 1950 után falai közt előbb egy Kisfaludy Emlékház, majd 1990 óta az emlékgyűjteménynek is helyet biztosító Városi Múzeum működik.