Vznikl z původní tvrze několika přestavbami a přístavbami. Dnes je to jednopatrová novorenesanční budova o čtyřech křídlech, která uzavírají obdélné nádvoří s kašnou. Od roku 1949 má na zámku své trvalé sídlo škola, která pod různými názvy plní stále jeden cíl – připravovat mladou generaci pro převážně zemědělskou praxi.

Největší dosud známá část podzemních chodeb se nachází severovýchodně od kostela sv. Václava. Žádné známé písemné prameny o tomto podzemí a jeho prvotním účelu nehovoří, jediná zmínka v tzv. Seidlerově kronice je z roku 1788: „Panství náležící chalupa pod kostelem, při níž nalézal se ve skále vytesaný sklep, byla s podržením práva na tento sklep prodána za 150 zl. v. m.“ Poslední průzkumné práce, včetně hrubého geodetického zaměření a snad i vyčistění podzemí, zde byly prováděny za války, v roce 1944. Později bylo podzemí navštěvováno jen odvážnými a zvědavými světelskými kluky a zaváženo místními občany odpadky.

Kostel vznikl spolu se založením sídla v kolonizovaném území vilémovských benediktinů pravděpodobně v 2. polovině 12. století. Písemné zprávy ze 14. století zaznamenávají ve Světlé farní kostel a faru jako svědectví rozvíjející se obce a zároveň obsahují sdělení o stycích místních duchovních s Vilémovem a Prahou. Povinností vilémovských opatů byla „ustanovovati ve Světlé za faráře schopné oudy svého kláštera“. Benediktini se stali též prvními učiteli na zdejší škole.

Radnice stojí na světelském náměstí od roku 1795. Původní budova obdélníkového půdorysu s valbovou střechou byla architektem Emilem Prücknerem z Nymburka opravena a přestavěna v roce 1912. V roce 1926 byla přistavěna třípodlažní budova s podkrovím, která má vzhledem k půdorysným rozměrům a sklonu střechy tvar věže. Tato věž je lemována tvarovanou atikou.

Rozkládá se na ploše cca 16 ha a byl založen pravděpodobně v době rozsáhlých stavebních a rekonstrukčních prací v roce 1871 hrabětem Františkem Josefem Salm-Reifferscheidtem. Podle trendů té doby jej nechal obohatit o množství tzv. romantických staveb, které se více nebo méně zachovaly do dnešní doby: altánky, kamenná schodiště a lavičky, ocelový klenutý Čertův most (dílo z roku 1884 světelského zámečníka Jakla z Nového města) nad kamenitou strží pod přelivem Horního rybníka, ale také alpinum, kamenné přepady, tůňky s lekníny a několik lávek.

V roce 1809, v době francouzsko-rakouské války, v níž Rakušané nejprve zvítězili u Aspern a pak byli Napoleonem poraženi u Wagramu a Znojma, byla ve světelském zámku zřízena vojenská nemocnice.

Původní špitální budova u mostu přes řeku Sázavu byla postavena za Buriana Trčky z Lípy v roce 1578 a určena nejprve pro pět, později pro osm špitálníků - chudých měšťanů.

Starý židovský hřbitov býval na předměstí Malá Strana, při silnici na Lipničku na levém břehu řeky Sázavy. Pozemek Židům daroval hrabě Kolovrat-Krakovský. Hřbitov byl založen roku 1742, pohřbívalo se zde do roku 1886. Vidět jej můžeme na obraze Antonína Mánesa z roku 1832 a na rytině provázející plán města zhotovený Františkem Hradeckým v roce 1847. Za nacistické okupace náhrobky zmizely a hřbitov byl přeměněn na pole.

Soubor pěti soch před kostelem sv. Václava prohlášený Ministerstvo kultury ČR v roce 2002 za kulturní památku: sv. Václav, sv. Jan Nepomucký, sv. Florián, Alegorie Víry a sv. Josef s Ježíškem.