Chaloupka Maxe Švabinského (čp. 50) leží na okraji vesnice Kozlov pod vrcholkem Kozlovského kopce.
Jejím prvním doloženým obyvatelem byl národní obrozenec, filosof a revolucionář František Emanuel Welz (1816-1890), který zde žil mezi lety 1883 a 1890.
Na jaře roku 1891 rodina pražského železničáře Rudolfa Vejrycha st. hledala vhodný letní byt a vyhlédla si uprázdněnou kozlovskou chaloupku. Pravidelnými návštěvníky Kozlova se tedy stali manželé Rudolf a Josefa Vejrychovi s dětmi Karlem, Rudolfem a Elou i jejich babičkou Josefou. K těmto přibyl v roce 1895 ještě nápadník Ely, mladý ambiciózní student pražské malířské akademie Maxmilián Švabinský (1873-1962). Tehdy začalo „kozlovské období“ Maxe Švabinského.
Sepětí Maxe Švabinského a Kozlova se ještě upevnilo, když roku 1900 došlo k jeho sňatku s Elou Vejrychovou. Toho roku se také kozlovská chaloupka dočkala zásadní změny. K původní, staré chaloupce přistavěl Karel Vejrych novou, pro kterou navrhl vybavení Rudolf Vejrych ml. V podkroví vznikl malý pokojík, pro svůj tvar pojmenovaný Kufr, který sloužil Švabinskému jako pracovna. Štít nové chaloupky pak Švabinský spolu s Rudolfem Vejrychem a Otakarem Vaňáčem ozdobili výjevem Svatý Václav přijímá dary.
Kolem roku 1915 se však začaly komplikovat vztahy mezi Elou a Maxem. Manželé se posléze odcizili, takže Švabinský přestal Kozlov navštěvovat. Naposledy se sem vypravil roku 1919, aby se zúčastnil pohřbu Elina otce Rudolfa Vejrycha. Po čtyřiadvaceti letech tak jeho „kozlovské období“ skončilo. V roce 1931 došlo k rozvodu a ještě tentýž rok se Švabinský oženil se svou bývalou švagrovou Annou, první ženou Rudolfa Vejrycha ml., která mu byla další velkou inspirací. V roce 1945 pak adoptoval její dceru z prvního manželství Zuzanu.
Vedle tak výrazné malířské osobnosti, jakou byl Max Švabinský, vyrůstala v rodině Vejrychových další, totiž Elin bratr Rudolf (1882-1939), který se rovněž stal malířem a Kozlovu věnoval řadu svých děl.
Další z bratrů Vejrychových, Karel (1873-1930) projevoval od mládí hudební nadání. Stal se profesorem klavírní hry v Kišiněvě. V roce 1911 však profesorské místo opustil a usadil se v Kozlově. Zasadil o vybudování silnice mezi Českou Třebovou a Kozlovem a nechal ji osázet břízami.
Po smrti Rudolfa Vejrycha st. a odchodu Maxe Švabinského byla stará kozlovská chaloupka obývána Josefou Vejrychovou a její nová část Elou. Josefa Vejrychová v závěru svého života shrnula své vzpomínky do knížek Jak bývalo v Kozlově (1924) a Ze starých časů (1931). Obě dílka doplnil Švabinský svými ilustracemi.
Ela Švabinská žila i nadále v Kozlově čilým společenským životem a přijímala zde četné návštěvy. V době 2. světové války spolupracovala s komunisty, proto byla roku 1943 zatčena gestapem a do konce války vězněna v koncentračním táboře v Ravensbrücku. Po válce se věnovala psaní vzpomínek, které vyšly pod názvem Vzpomínky z mládí (1960). Zemřela v roce 1967 a je pohřbena spolu s dalšími členy rodiny na malém kozlovském hřbitově.
Po smrti Ely Švabinské se kozlovská chaloupka stala majetkem dcery Rudolfa a Anny Vejrychových Zuzany Švabinské – Vejrychové (1912-2004), adoptivní dcery Maxe Švabinského, která dlouhá léta chaloupku spravovala a navštěvovala téměř až do své smrti. Také ona zachytila své vzpomínky na stránkách knihy. Nese název Světla paměti (2002). Krátce před smrtí paní Zuzany byla chaloupka i s dochovaným vybavením prodána městu Česká Třebová. Brzy nato začala rozsáhlá rekonstrukce celého objektu se záměrem vytvořit zde expozici připomínající životní osudy rodiny Vejrychovy a Maxe Švabinského. Slavnostní otevření zrekonstruované chaloupky Maxe Švabinského se konalo v září 2006.