それにもかかわらず、金四郎の人気が高まったのにはワケがあるのだと河合先生は言う。 「同僚の南町奉行・鳥居耀蔵（とりいようぞう）がさらに輪をかけて水野に忠実であり、庶民を苦しめていると評判が悪かったからなんです。 　それに対して金四郎は、庶民にはかなり同情的でした。たとえば、水野が寄席を全廃しようとしたとき、金四郎はそれを諫めていたのです」 　さらに歌舞伎の芝居小屋の一件もある。天保12年（1841）に堺町の中村座から火が出て、三座（代表的な三つの歌舞伎の劇場）がみな焼失してしまう。 　すると水野は、歌舞伎は庶民の風俗を乱すので、この際、取りつぶすべきだと主張したのである。 「その意を受けた鳥居が芝居小屋廃止に動くと、遠山金四郎は『何も庶民のささやかな楽しみまで奪う必要はないでしょう』と強く反対したのです。 　将軍・家慶の意向もあり、芝居小屋は江戸の場末である浅草へ移転することで落着しました。もしかしたら、金四郎が将軍に密かに働きかけたのかもしれませんね」 　いずれにせよ、目障りに思った水野によって金四郎は大目付に転出させられる。実際は出世であったが、敬して遠ざけられたらしい。 　ただ、天保の改革は水野失脚により2年間で終わりを告げ、金四郎は再び町奉行に返り咲いたのだ。