Posjed Mali Kalnik spominje se u 13. stoljeću, a poslije je bio manje vlastelinstvo. Na posjedima Maloga Kalnika vjerojatno se u 15. stoljeću razvilo trgovište Rijeka. Njegovi stanovnici 1551. tužili su se vladaru da su ih gospodari Maloga Kalnika pretvorili u kmetove, što je podržao kralj. Mali Kalnik najkasnije je od 1467. bio u rukama Vladislava Hercegovića Kosače, sina hercega Stjepana Vukčića Kosače i brata bosanske kraljice Katarine. U vlasništvu Vladislavovih potomaka, koji se u dokumentima s kraja 15. i prve polovine 16. stoljeća spominju s vojvodskim ili herceškim naslovom i pod prezimenima Hercegović ili Balšić, Mali Kalnik bio je do 1537. kada ga je kralj Ferdinand Habsburški darovao Ljudevitu Pakračkom (Ludovici Pewkry). Razlog tomu bio je taj što je prijašnji vlasnik posjeda Mali Kalnik Nikola Balša pristao uz kralja Ivana Zapolju i bio protiv Habsburgovaca. Isti je kralj Ferdinand 1551. darovao kapetanu svojih brodara Andriji Tarnociju i njegovu bratu Nikoli utvrdu Mali Kalnik i trgovište Rijeka (Rekabodogazzon), prije vlasništvo Nikole Balše Hercegovića (Nicolai Balsa ducis sancti Sabbae) i Ljudevita Pakračkog. U drugoj polovini 17. stoljeća razvilo se novo središte – Gornja Rijeka u kojoj su vlastelini izgradili dvorac. Okolica Gornje Rijeke spada u najgušće naseljena područja plemića jednoselaca.