「ヤクルトを辞めてから2年がたった’81年に、阪神、近鉄から監督のオファーがあった。知り合いを通じて阪神の球団社長・小津さんから連絡があり、会ってみると『3年契約でお願いできませんでしょうか』と監督要請の話をされた。でも、俺は5年契約を要求した。というのは3年契約だと選手たちが『どうせ3年経ったら辞めるんだろ』とバカにして言うことを聞かないんだ。だから、やるなら5年契約でやらないと意味がない。こうして阪神の監督就任が破談になった後に、今度は根本さんから西武の監督へと誘いを受けた。最初に長嶋に断られ、上田（利治）にも断られ、そして俺のところへ話が来たんだ」 　こうして、’82年には西武ライオンズの監督に就任。最初に取り組んだのは技術的なことでも戦術的なことでもなく、“食生活の改善”からだった。 　打って投げて、試合が終わったら肉とビールをかっ食らう。これが当時のプロ野球選手のスタンダードという時代だったが、広岡は疲労回復を促進するアルカリ性の食物を多く摂るよう選手に求めた。「コンディションの維持などアマがやること」という風潮が強かった当時の野球界では、広岡の考えは極めて異端だった。 　しかし、食生活の改善が功を奏したのか、ベテランの田淵幸一や山崎裕之が復活を果たし、’82〜’83年と2年連続で日本一に輝く。’85年もリーグ優勝を果たし、のちに黄金期を迎える新生ライオンズの礎を築くも……広岡はこの年限りで監督を辞任することになる。 「根本さん（当時の管理部長）と坂井（保之、元球団代表）の2人がオーナーの堤さんをがっちりガードして、俺に全然会わせてくれなかった。根本さんは『スポーツ紙にいろいろ書かれてもまったく気にしなくていい』と最初は言っていたのに、’85年に東スポにああだこうだと書かれると『この記事はどういうことだ？』と詮索してくるようになった。あまりにうるさいので売り言葉に買い言葉で『じゃあ、もう辞めますよ』って言うと『そうか、辞めてくれるか』だからね。辞める理由も健康上の理由ってことにしておいてくれとまで言われたんだから」 　またもや任期半ばでの辞任となったが、広岡の在任期間4年のうち、3度のリーグ優勝、2度の日本一を達成している。西武はその後、’86年から’95年にかけてリーグ優勝8回、日本一6回。’84年に広岡が若手主体に切り替えたことが黄金期の基盤となったのは言うまでもない。