A ma látható klasszicista palotát az 1830-as években építették, és igazán fontos események szemtanúja volt az elmúlt csaknem kétszáz évben. Építtetője, Károlyi György gróf – többek között – Széchenyi István grófot és Wesselényi Miklós bárót is többször vendégül látta az egykori Uri utcában. Wesselényi pedig itt szállásolt el 200 menekültet az 1838-as nagy pesti árvíz során, akiknek élelmezését Károlyi gróf vállalta.
A Károlyi-palota egykor a pesti társasági élet központi helyszíne volt: bálok és prominens vendégek fogadásai váltották egymást. Az 1848-as forradalom idején Haynau hadiszállást rendezett be a főúri lakban, Károlyi grófot pedig bebörtönözte. Az 1920-as években a főváros vásárolta meg az épületet és kertjét, a palota 1957 óta pedig a Petőfi Irodalmi Múzeum otthona. 2023-ban újra összenyitották a palotát a Károlyi-kerttel, ahol a legenda szerint a középkorban még Mátyás király vadaskertje állt.
