財を築いて、長男の喜太郎に家督も譲った五兵衛は、気楽な隠居暮らしに入った。だが、今も昔も、仕事をバリバリこなしていた人が休むのはそう簡単なことではない。地域のボランティアに精を出す定年後の元ビジネスマンのように、五兵衛も「みんなの役に立ちたい」と積極的に奉仕活動を行っている。 　あるときは、町奉行のもとへ足を運ぶと、五兵衛は藩から求められている銀について、町に割り当てられている60貫のうち、25貫を引き受けると申し出た。本来は15貫を負担するように頼まれていたところを、わざわざ10貫も多めに払うと伝えて、相手を喜ばせている。少しでもほかのみんなの負担が軽くなればという思いからだった。 　また、五兵衛は、貧しい人たちを助けるために米や銀を町奉行に寄付。さらに隠居所の建て替え工事も行って、職人や大工を大勢雇うことで、失業対策にも乗り出している。五兵衛は飢饉対策として、サツマイモの栽培も広めている。 　少しでも苦しい人が減るのであれば――。五兵衛がそんな思いからあちこちで資金援助をしているうちに、藩の権力者たちとも結びつきが強くなり、また大きな仕事が舞い込んでくるという好循環を生む。 　実質的に引退することなく、五兵衛は事業に携わり続けた。資金ならばいくらでもある。何かみなのためにできることはないかと考えた五兵衛は、ある夢を描くようになる。それは、河北潟の埋立てである。 「新田が開発できれば町はもっと豊かになるはずだ」 　そんな思いからだったが、長男の喜太郎はどうも乗り気でないようだ。そこで五兵衛は30歳近くになった三男の要蔵とともに事業を進めていく。年齢を重ねても、五兵衛の存在感は失われるどころか、ますます強くなっていった。 　しかし、五兵衛から援助を受けてみなが手放しで喜んだかといえば、必ずしもそうではなかった。一方的に助けられてばかりいると、どこか引け目を覚えるのが人間なのかもしれない。そもそも五兵衛がなぜそんなに裕福なのかと、あらぬ噂を囁く者が現れ出した 「五兵衛は、違法な抜け荷をやって稼いでいるらしい」 「藩のお偉い方とつながっているから、密貿易も見逃されているのだろう」 　そんな噂が立ったうえに、凶作も重なり、人々が苛立ちを募らせた頃に、ある事件が起きる。嘉永５年（1852）８月、河北潟で大量の魚が変死。埋立事業を進めていた五兵衛の仕業に違いないと、大騒ぎになった。また新しい噂がたちまち広がっていく。 「石炭を積んだ銭屋の船が通ったあとは、死んだ魚が次々と浮かび上がったのを見たぞ」 「五兵衛が石灰を垂れ流しているからだろう」 「河北潟の埋立てには漁民たちがこぞって反対していたから、五兵衛はそれに腹を立てて、毒を流したに違いない」 　これだけ庶民の間に不穏な空気が流れれば、お上としても看過できなくなる。五兵衛は牢に拘留されてしまい、藩の奉行から厳しい取り調べを受けることとなった。