Nakon što je obitelj Orehovečki napustila utvrdu Mali Kalnik, u drugoj polovini 17. stoljeća izgradili su dvorac na nižemu području, u Gornjoj Rijeci, gdje se premješta upravno središte imanja, a oko dvorca uređen je park. Dvorac je isprva imao četiri kule, a krajem 18. stoljeća srušene su dvije kule. Pred dvorcem je u perivoju podignut spomenik u znak sjećanja na dječji koncentracijski logor iz Drugoga svjetskog rata koji se nalazio u dvorcu Gornja Rijeka. Vjeruje se kako je u sjevernoj kuli toga dvorca operna pjevačica Sidonija Erdődy Rubido prva otpjevala hrvatsku himnu.