Beheimatet ist das Leonhardi-Museum in einem pittoresken Fachwerkhaus, das mit seinen Erkern und Türmchen, dem in Stein gehauenen gewaltigen Bergknappen an der Fassade und den malerischen Verzierungen aus Sprüchen und Reimen etwas aus der Zeit gefallen zu sein scheint.

In Teilen geht das Gebäude an der Grundstraße 26 in Loschwitz auf eine Wassermühle zurück, die an dieser Stelle bereits für das 16. Jahrhundert überliefert ist. Noch bis in die 1870er Jahre wurde hier Mehl gemahlen, bevor modernere Mühlen die Einstellung des Betriebes erforderten.

Als Eduard Leonhardi 1879 das ausgediente Mühlengrundstück kaufte, ließ er die Mühlen- und Stallgebäude abreißen und stattdessen ein Atelierhaus errichten. Das Wohngebäude blieb nahezu unverändert und wurde nur mit einem kleinen Atelieranbau versehen. Anfang der 1880er Jahre erhielt das Fachwerkhaus von dem jungen Dresdner Kunstakademieschüler Charles Palmié seine Bemalung sowie Anregungen für den historisierenden Fassadenschmuck.