「われわれにオリンピックを開く資格がないと判断されたら」
副島も自分の考えがことごとく通らず、周囲から孤立。このころには気持ちは既に返上に舵を切っていたのか、その後は1人だけ水面下で動き始めたようだ。文書や日記はないが、「幻の東京オリンピック」によれば、スイス・ローザンヌのIOCオリンピック博物館に保存されている手紙から当時の心境がうかがえる。
年が明けた1938年2月付のラツールIOC会長への手紙。「われわれは、東京オリンピックの開催を邪魔する多くの問題を抱えています。資金不足、知識とエネルギー不足、物資不足、多くの外国人が不快に感じているスパイマニアの存在、中国との戦争が長期化する可能性などです。状況が絶望的になれば打電します。われわれにオリンピックを開く資格がないと判断されたら、躊躇なく大会開催権を取り消してください」
その一方で、オリンピック開催の最大の障害となった日中全面戦争は、年が明けて1938年になっても拡大の一途をたどった。
近衛首相が1月16日、「帝国政府は爾後国民政府を対手（相手）とせず」との声明を出したことも中国・国民党政府の反発を招き、戦争は泥沼化していく。そして、「戦争の交戦国がオリンピックを開く資格があるのか」など、イギリス、そしてスウェーデン、スイス……続々と各国から疑問の声が上がっていた。
交戦国にオリンピック開催の資格はあるのか
そんな中、3月7日の衆院予算委員会では、また河野一郎議員がオリンピックについて、今度は杉山元・陸相に質問した。陸相の答弁はこうだった。「乗馬競技に現役将校を参加せしめぬこととしたのは、軍として在郷将兵まで召集する際、直接軍事に関係のない競技に使用しない方針をとった。この事変が継続する限りはオリンピックは開催すべきにあらずと考える。ただし、事変がすみやかに解決すれば、開催してもよいと思う」（3月8日付東京朝日夕刊）。
この発言にはすぐ「東京大会問題に関心を持つ海外諸国に非常な衝動を与えた」（3月9日付東京朝日朝刊）。
エジプト・カイロでIOC総会が開かれたのはその直後の3月10日。東京大会の日程変更が承認され、正式に開催が決定。同じ年の2月に札幌で冬季オリンピックが開催されることも決まったが、もはやどちらも風前の灯であることは明らかだった。
「幻の東京オリンピック」には、総会に出席した嘉納治五郎委員が、最終日にラツール会長から文書を手渡されたと記述している。文書は「1940年までに日中戦争が終結していなければ、各国は選手を派遣せず、返上決定が遅れれば、どの都市でも開催できなくなる」などの危険性があると指摘していた。その嘉納はカイロからの帰途、船中で急死。東京オリンピック招致の立役者の1人の死は弔鐘だったのかもしれない。
