Najcenniejszym i najstarszym zabytkiem Suchej Beskidzkiej jest Zamek zwany "Małym Wawelem". W XVI wieku wybudował go na lewym brzegu Skawy, u podnóży góry Jasień, Kasper Suski.
Był to drewniano-kamienny dwór obrony. Kolejny właściciel - Piotr Komorowski - w latach 1608-1614 przebudował go w okazałą rezydencję magnacką wzorowaną na Zamku Królewskim w Krakowie. Wspólne elementy to arkadowe krużganki, po których spacerowali właściciele zamku - identyczne jak te, po których na Wawelu chodzili królowie. Stąd porównanie i nazwanie suskiego zamku "Małym Wawelem".
Niespełna sto lat później, kolejną rozbudowę zamku przeprowadziła Anna Wielopolska, wznosząc nad najstarszą częścią obiektu dwie dodatkowe wieże: południowo-wschodnią i południowo-zachodnią. Około 1708 roku, Anna Wielopolska, prowadząc rozbudowę zamku, wiele uwagi poświęciła także jego otoczeniu. To za jej czasów park zyskał formę barokowego ogrodu w stylu francuskim z symetrycznie rozplanowanymi ścieżkami. Później w parku wybudowano neogotycką oranżerię. W II połowie XIX wieku, już za czasów kolejnych właścicieli Branickich, rozebrane zostało skrzydło wschodnie wraz z bramą wjazdową, a park otoczony został kamiennym murem. Zamek stał się wówczas jedną z największych skarbnic wiedzy i twórczości piśmienniczej na ziemiach polskich. Znalazła tutaj swoją siedzibę biblioteka, z niezwykle cennymi dla kultury polskiej zbiorami ksiąg, rękopisów, malarstwa, rzeźby i innych narodowych pamiątek.
Po wybuchu II wojny światowej, gdy ostatni prywatny właściciel Juliusz Tarnowski z rodziną udał się na emigrację, rezydencję zajęli Niemcy, a później wojska radzieckie. Sama budowla, (w przeciwieństwie do jej wnętrz), nie ucierpiała zbytnio w czasie wojny, jednak wyposażenie oraz bezcenne zbiory biblioteczno-muzealne uległy rozproszeniu, rabunkom i dewastacji. Tylko część z nich zdołano uratować i włączyć w skład księgozbiorów różnych bibliotek na terenie Polski.
Po wojnie, w zamku funkcjonowało Liceum Ogólnokształcące i internat. Przyziemie obiektu przeznaczono na magazyny Gminnej Spółdzielni "Samopomoc Chłopska". Obiekt zamieszkiwali też prywatni lokatorzy. W 1974 roku zamek został przejęty przez Państwowe Zbiory Sztuki na Wawelu. W tym czasie rozpoczęto prace renowacyjne. W1996 roku "Mały Wawel" przejęła gmina Sucha Beskidzka.