A temetőt az 1770-es, 80-as években nyitották meg, akkor a katolikus és református hívek számára. Azóta három elkülönült része van.
A szív alakú sírkövek eredete a monda szerint arra vezethető vissza, hogy egy udvari kőműveslegény igen szerelmes volt egy helybeli halász leányába. A halász kint volt a tavon, amikor a leánya utána ment valamilyen üzenettel, de nagy vihar támadt és a lány a tóban lelte halálát. A bánatos kőműves legény szerelme jeléül szív alakú sírkövet faragott neki Balatonakali határából való kőből. A divat szárnyra kapott és egy darabig ilyen sírköveket állítottak Udvariban. A temető előterében vannak a régi, szív alakú kövek, összesen 63 darab, a hátsó rész a mai temetkezések színhelye.