しかし、テレビで頂点を極めながら、上岡はけっして満足することがなかった。たとえ共演者とのやりとりが笑いをとっても、《向こうがたまたま言ったことに対してぼくがどの突っ込みの言葉を言うかは、反射神経で言うてるだけなんです。いわば、たまたま受けただけなわけですよ。そんなもんでは「やった！」とは思わないですよね》という具合に、自分の立場を冷静に見つめていた（※3）。一方で彼は、自ら劇団を旗揚げして喜劇や時代劇を上演したり、上方講談の旭堂小南陵（現・4代目南陵）に入門し、のちには『忠臣蔵』や『ロミオとジュリエット』などを独自の解釈で語って聞かせる「上岡流講談」を独演会で披露したりもした。だが、いくら芸の幅を広げても、テレビ・ラジオでの仕事以上に評価されることはなく、それが上岡に引退を決意させたとみる向きもある（※4）。
引退を決めた「夫人からの一言」と「後頭部」
じつは、上岡はわりと前から55歳で芸能界を引退しようと考えていた。それは1995年の著書のあとがきでも明かしているが、このときは《いつか向こうから「いりません」と言うてくれるはずやと気がついたんです。こっちが仕事をしたくても世間がリタイヤさせてくれる日がきっと来るんやから、なにも自分でリタイヤする必要もないのかな》と思いとどまった（※3）。しかし、55歳をすぎて再び引退を決意、今度こそ実行にいたったのだった。
後年、なぜ引退したのかあらためて訊かれた彼は、《今となってはもう自分でも理由が分かれへんねんね》と前置きしながら、そのきっかけとなったと思われるできごとをいくつかあげている（※4）。ひとつは夫人からの一言。そのころ、入歯のために滑舌が悪くなってしまった役者がよく目についた。気になった上岡は「誰か（出演するのを）止めたげェな」と思い、「ぼくにこんなときが来たら言うてや」と夫人に言ったところ、「いま！」と返されたという。もうひとつは、ある舞台の出演時、控室で着替えをしていたところ、フッと誰かの後頭部が見えたこと。「え？ 誰、あのおじいちゃん？」と思ったら、それは鏡に映る上岡自身だった。
さらにもうひとつ、新幹線の車内で、若手タレント2人が翌日番組で共演するというのであいさつに来たときのこと。「明日よろしくお願いします」と互いに言葉を交わしたものの、それからあと会話が続かず、しかたなく「あ～、ほんならよろしく」と言って別れた。このとき上岡は、自分が若いころのことを思い出して愕然とする。かつて彼は、売れなくなった大物タレントから昔の自慢話を聞かされるのが、たまらなくいやだった。それがいまや自分もひょっとすると、若いタレントからすればあの大物と同じような存在になってきたのではないか。そう思ったというのだ。
