武藤家は、鵜沼宿本陣桜井家の東側に隣接しており、江戸時代は「絹屋」の屋号で旅籠を営んでいました。幕末の絵図に見られる「絹屋」は、「表間口6間、奥行11間、惣坪192坪半」で、渡り廊下でつながる2棟の家屋からなり、中庭・裏庭・湯殿2・土蔵2をもっていたことが分かります。
　 明治維新を迎え、鉄道の普及とともに旅籠の経営も難しくなったようで、本家に当たる武藤嘉左衛門家が営んでいた郵便局業務を引き継ぎ、明治16年(1883)より「鵜沼駅三等郵便局」を経営するようになりました。明治24年(1891)の濃尾震災により倒壊し、建て直し後も、同地で郵便局を営み、昭和39年(1964)まで開局していました。