Gārsenes pili no 1856. gada līdz 1860. gadam neogotikas stilā cēla barons fon Budbergs, kura dzimta Gārsenē saimniekoja jau no 1583. gada. Pils arhitekts nav zināms, tā esot celta pēc kādas villas, kas atrodas Vācijā, parauga. Sākumā uzcelta pils divstāvīgā daļa, bet 1885. gadā uzcelts otrs - zemākais spārns, jo baronam Leonardam un viņa pirmajai sievai, angļu baronesei Ģertrūdei Vorsai esošā pils likusies par šauru. No 1940.gada līdz 2015. gadam pilī atradās Gārsenes pamatskola.

Podiņu krāsns, kas mūrēta no baltiem glazētiem podiņiem ar kobaltziliem zīmējumiem, ir vienīgais 19. gs. mākslas piemineklis, kas saglabājies Gārsenes pilī tā oriģinālajā veidolā. Krāsns fasādi veido Holandē ražoti ar jūras un vējdzirnavu ainām apgleznoti podiņi - katrs zīmējums uz krāsns ir unikāls. 2016. gadā ar Valsts Kultūrkapitāla fonda atbalstu tika veikti šīs krāsns restaurācijas darbi vecmeistares Janas Lībietes un Inas Tiltiņas vadībā.

Šobrīd Gārsenes pilī atrodas tūrisma informācijas centrs - pili iespējams apskatīt gan individuāli, gan grupās, gan arī gida vadībā. Pils telpas iespējams nomāt dažādiem pasākumiem, pils veranda tiek izmantota kā izstāžu zāle, bet pils piebūve un otrais stāvs piemērots nakšņošanai - šeit iekārtotas hosteļa tipa istabiņas. Tieši diennakts tumšajā laikā savu klātbūtni ļauj sajust Gārsenes pils spoks - Zilā dāma...