H.C. Andersen begyndte at komme i Sorø samtidig med sin ankomst til Slagelse lærde Skole i 1822. Mellem H.C. Andersen og B.S. Ingemann blomstrede et venskab, der gav H.C. Andersen en bred bekendtskabskreds i byen. Hotel Postgaarden har siden Andersens tid været Sorø bys Hotel. Ved flere selskabelige lejligheder i Sorø, opholdt H.C. Andersen sig i privatboligen til posthuset.