Na místě bývalé vodní tvrze Půtů z Častolovic vybudoval Friedrich von Oppersdorf (+1615) pozdně renesanční zámek, skládající se tehdy z horní části obytné a spodní části užitkové. Roku 1694 kupuje celé panství Adolf Vratislav ze Šternberka z jehož hraběcího rodu pochází i současná majitelka zámku.Významnější přestavby se Častolovicím vyhnuly s výjimkou romantických úprav v 19. století, které byly později odstraněny ve prospěch původní renesanční podoby.Nejkrásnějším interiérem je Rytířský sál s portréty Šternberků a renesančním kazetovým stropem. V jeho čtyřiadvaceti polích jsou vymalovány biblické výjevy ze Starého zákona. V sousední kapli Božího Těla se nalézá oltář tyrolského původu s pozdně renesančními reliéfy (1601) a nástropní fresky z pozdější doby. Dvacet zpřístupněných pokojů připomíná život na zámku od renesance po biedermeier. Jídelna je zdobena obrazovou galerií českých panovníků. Na zámek navazuje anglický park z 19. století s jezírkem, růžovou a vodní zahradou a mini-zoo.