Od početka 19. stoljeća Rasinjom je gospodarila obitelj Inkey, koja je tamo izgradila dvorac s perivojem i jezerom te obiteljske grobnice. Priča se da je barunica Lili tijekom jedne šetnje zamalo doživjela nesreću, ali spasio ju je seljak Matko osvojivši je svojom osobnošću. Između njih rodila se ljubav, te su se noćima tajno sastajali. Kratkotrajna ljubav navodno je završila tako što je Lilin otac, barun Ferdinand, ubio seljaka Matka, a Lili zatočio na vrhu kule u dvorcu. Seljaci su nesretnu barunicu prozvali „luda Lili“ jer je do smrti tumarala Rasinjom, navodno tražeći svojega Matka.