Vznik města sahá do doby tzv. vnitřní kolonizace probíhající od 2. poloviny 12. století. V pamětní knize bývalého vilémovského kláštera byla jako jeho majetek uváděna Světlá již roku 1207. Obdobím rozkvětu se pro Světlou doba následující po husitských válkách, kdy město získali Trčkové z Lípy. Tento rod vládl celému střednímu Posázaví až do roku 1634, kdy mu bylo panství zkonfiskováno. Světlá se pak postupně dostala do rukou řady katolických, většinou německých šlechticů. V 18. století zasáhl Světelsko čilý hospodářský ruch. Světlá je městem skla a kamene. Symbol těchto odvětví je ztvárněn v pomníku, který od roku 1992 stojí na zdejším náměstí. Počátek sklářství na Světelsku byl v 17. století umožněn velkou plochou zdravých lesů. Ve sklářských hutích se topilo převážně dřevěným uhlím, které se vyrábělo především z buků. Ruku v ruce s výrobou skla šlo i jeho zušlechťování, leštění a broušení. Na Světelsku bylo množství drobných skláren, z nichž největší - josefodolská - byla přestavěna v roce 1861 z bývalé papírny. V roce 1967 se začalo s budováním nové velké sklárny - dnešní a. s. Sklo Bohemia. Vedle tradiční ruční výroby je zde také automatická výroba nápojového skla hladkého i zušlechtěného broušením. Téměř dvě stě let se ve Světlé brousily polodrahokamy, hlavně české granáty, ale mezi dvěma světovými válkami toto průmyslové odvětví zaniklo. Dalším významným odvětvím je těžba žuly a její zpracování, přestože je mnohem mladšího data než sklářství. Největším lomem v této oblasti je Horka, z jejíž žuly jsou mj. obklady fasád některých významných staveb v Praze i jinde. 
Jednou z nejhezčích staveb města je zámek, stojící na levém břehu Sázavy. Pravděpodobně zde stála tvrz, kterou v roce 1567 Burian Trčka z Lípy přestavěl na zámek. Do dalších přístaveb se po třicetileté válce pustili Vernierové a Černínové. Jako poslední bylo hrabětem Františkem ze Zichy postaveno západní křídlo zámku, čímž se uzavřelo obdélníkové nádvoří. Zámek je jednopatrová budova o čtyřech křídlech, která uzavírají nádvoří s kašnou. Hlavní vchod do zámku je uprostřed západního křídla a druhým klenutým vchodem ve východním křídle se vstupuje do anglického parku.
Děkanský kostel sv. Václava má věž s charakteristickým dřevěným patrem s podsebitím, která tvoří významnou dominnatu města.  V kryptě pod kostelem odpočívá Jan Rudolf Trčka, jímž slavný rod vymřel po meči.
Budova radnice je z přelomu 18. a 19. století a po dvou přístavbách patří dnes k nejkrásnějším domům ve Světlé.