در تذکره الآخوندی مستعفی آمده؛ بنده مفتخر هستم که ایام صدارت بر وزارت مسکن، هیچ مسکنی بنا ننمودم و این عهدی بود ازلی با شیخ. نقل است که آخوندالوزراء سرایی داشت عظیم و در آنجا خانه‌ای بسیار بود و تا آن ساعت در آن خانه مقیم بودی که خراب شدی! پس در خانه‌ دیگر شدی. گفتند چرا عمارتِ خانه نکنی؟ گفت: مرا با خدای عهدی است که دنیا را آبادان نکنم. گفتند ویلای تو فراخ است و محکم، کوخ ملت است که خراب است و سست! گفت: بیم به دل راه مدهید که بیمه هستند خلایق.
چنانچه بیهقی در تاریخ نقل نموده: ملوک روزگار با یکدیگر عهد کنند و عقود و عهود که کرده باشند به‌جا آرند تا خانه‌ای برای خلق بنا نکنند.
رای فلاسفه لیبرال در ساختن خانه چنان باشد: خواجه آخوندالوزراء در مبحث تدبیرالمنزل، خانه را با یک دید فلسفی می‌نگرد و ما برای تتمیم این بحث رای او را می آوریم: اگر چه اعتبار حالِ منزلِ مِهر عوام‌الناس مزخرف است. پس عمارت بی هال و بی استخرشان به قوطی کبریت مانَد. خانه ارزانُ ‌اِلاجاره و اندک رهن را سزاوار نباشد. اما افضل احوال منزل که ویلا بود مخصوص خواص اهل مقام است و چنان بود که بنیادهای آن استوار باشد در لایه سوم زمین و سقف‌های آن به ارتفاع بالا رود از آسمان هفتم مایل به عرش و در و پنجره‌های گشاده رو به بر و بحر و دشت و دمن و دماوند. چنانکه به هنگام زلزله آخی نگوید و از گشادی آن بدون عسر به حیاط بگریزی.
اعتبار احوال جوار مهمتر از عبادت است چنانکه مجاورت اهل رهن و اجاره و مستاجری، روح لطیف انسان را مکدر می‌کند. پس وزیر، این اشرف مخلوقات را ناچار آید که مقامگاه هر فصلی و موسمی به‌حسب آن وقت، مُعِد نماید در شمال و جنوب و شرق و غرب، تا محفوظ ماند از آوارگی مستاجران خانه به‌دوش که زیر فشار گرانی رهن و اجاره زاییده اند چه زاییدنی!
آخوندُالوزراء حکیم، منزل در کوی شمال تهران گرفته بود. از حکمت آن استعلام کردند، فرمود: تا اگر خواب بر چشم من غالب شود و از تفرج و چرخ در ویلا منع کند، آواز هزاران باغ مرا بیدار گرداند نه سر و صدای نوزادان همسایه‌ها در جنوب شهر.(اخلاق الوزرا)
آخوندالوزراء را لقب گشته به “خانه بیزار” و آن را معنی بر آن بود کسی که کاری برای خانه نکند. وی را باور بر این باشد که مسکن مهر مزخرف است و ساختن خانه و دوختن جامه، تعب و رنجی فراوان دارد. خواجه آخوند را اعتقاد به مسکن اجتماعی بود چه سود! که در پشت کوه قاف است و نادیدنی و نایافتنی و نانشستنی. خانه ناکرده نباید فروخت.