Na mieste dnešného kaštieľa nechal postaviť Michal z Lefantoviec v roku 1369 paulínsky kláštor sv. Jána. V dobách tureckého nebezpečenstva slúžil ako útočisko pre paulínov z celého Uhorska. V roku 1636 získal kláštor opevnenie a nasledujúcom období bol viackrát prestavovaný. Najvýznamnejšia prestavba sa uskutočnila v roku 1774, kedy budova získala druhé poschodie. Kláštor bol zrušený cisárom Jozefom II. a následne chátral. V roku 1836 kúpil celý komplex František Edelsheim - Gyulay, ktorý v roku 1894 začal s prestavbou kláštorného komplexu na honosný kaštieľ v duchu neskorého baroka a klasicizmu. Projektovo celé dielo zastrešil Jozef Hubert. V štyridsiatich rokoch 20. storočia kaštieľ začal slúžiť ako Odborný liečebný ústav TBC a respiračných chorôb.