Забудова вуліцы імя М.Горкага пачалася на ўскраіне горада ў пачатку 20-х гадоў ХХ стагоддзя. Гэта адбылося пасля заключэння Рыжскага мірнага дагавору ў 1921г., калі тэрыторыя Заходняй Беларусі перайшла пад уладанне Польшчы. Тэрыторыю на ўскрайку мястэчка Валожын аблюбавалі служачыя павятовых устаноў. Напачатку было ўзведзена шэсць драўляных двухпавярховых дамоў. Адгэтуль, напэўна, ускраіна атрымала назву “Дамкі”. Пяць пабудоў было адведзена пад жыллё. У адным размясціўся пастарунак (паліцэйскі ўчастак). Насупраць пабудавалі спадарожніцу гэтай установы – турму.
У будынку, дзе зараз знаходзіцца раённы музей, жыў гарадскі стараста. Пабудаваны ён на ўзгорку, таўшчыня сцен будынка – 1 метр. Кампактны, прамавугольны ў плане двухпавярховы будынак пакрыты высокім пластычным мансардавым дахам з лучковымі лукарнамі. Будынак меў трое ўваходных дзвярэй. Адны з іх (ад сучаснай вуліцы М.Горкага) прызначаліся для прыёма гасцей і прыводзілі прама ў вялікую залу. Гэта зала складалася з трох частак, кожная з якіх аддзялялася ад другой раздзвіжнымі ўзорчатымі дзвярыма. Калі гаспадар ладзіў балі або святочныя мерапрыемствы, дзверы шырака расчыняліся, утвараючы адну вялікую бальную залу. Тут адначасова госці маглі сядзець за сталом і танцаваць. Сёння гэты дзвярны праём заменены вялікім вакном. А пра былы парадны ўваход нагадвае толькі паўкруглы балкон з лесвіцамі, упрыгожаны дэкаратыўнымі шарамі.
Акрамя вялікай залы на першым паверсе размяшчаліся кухня, сталовая і памяшканні для прыслугі. Калідоры першага і другога паверхаў былі ўпрыгожаны высокімі арачнымі праёмамі, якія захаваліся да цяперашняга часу. На другі паверх вяла вітая драўляная лесвіца, упрыгожаная разнымі поручнямі. Тут знаходзіліся спальні і пакоі адпачынку. Апатраменты ўпрыгожвалі цудоўны ўзорысты паркет, белыя кафляныя печы для ацяплення.
Пад домам было падвальнае памяшканне, якое па сваіх памерах адпавядала перыметру будынка. Яно дзялілася на пяць асобных прасторных пакояў. Па сённяшні дзень захавалася ўнікальная кладка сцен і перакрыццяў столі тых часоў з цэглы і бутавага каменю. Вельмі ўразіла сучасных спецыялістаў дакладна прадуманая вентыляцыйная сістэма. Пры такіх умовах паветраабмену выдатна захоўваліся самыя розныя прадукты харчавання і гародніна. У падвал вялі даволі крутыя ступенькі, выкладзеныя з цэглы.
Тэрыторыю вакол будынка ўпрыгожвалі газоны з клумбамі і дэкаратыўнымі кустарнікамі.