「東京大会も取り上げられる可能性がある」
その後も準備は遅々として進まなかった。1937年5月、副島は、訪問先のロンドンで会ったラツールIOC会長から組織委内部の混乱を指摘され、いくつもの国から「東京オリンピックは取り消すべきだ」という声が出ていると聞かされる（「幻の東京オリンピック」）。6月、ポーランド・ワルシャワで開かれたIOC総会では、日本の準備状況をめぐって論議が集中したが、ラツール会長の助け舟もあって何とか乗り切った。
しかし、帰国した副島は“警告”を発する。「準備進まざれば 東京大会も危し」の見出しの8月7日付東京朝日朝刊記事では「今年いっぱいに（メーンスタジアム）の工事に着手しないようなら、東京大会も取り上げられる可能性がある。英国のごときは、東京の準備が整わなかったならば、即座にロンドンで開催できるなどと述べていた」と語っている。
実はこの間に東京オリンピックの動向を左右する一大事が起きていた。1937年7月7日の盧溝橋事件。日中全面戦争の勃発だ。その影響はすぐに現れる。
陸軍が「馬術選手の引き揚げ」を発表
「陸軍省発表（8月25日午前10時）第12回国際『オリンピック』馬術競技の参加に関しては、陸軍はさきに規定を定めて西騎兵大尉以下7名の陸軍選手を選考決定し、必勝を目指して向後3年間の訓練調教に従事せしむることとなりしも、時局の拡大は遂に現役将校をして『オリンピック』の準備訓練に専念するを許さざるの情勢に立ち至りたるをもって、ここに陸軍は『オリンピック』馬術競技の準備中、陸軍に関するものに限りこれを中止するに決定せり」
「西騎兵大尉」とは、ロサンゼルスオリンピックの馬術障害飛越で金メダルに輝いた西竹一・男爵（1945年3月、硫黄島で戦死）のこと。同じ紙面には「風腥（なまぐさ）し新戦場 長城翻る日章旗」「海陸に尊き犠牲 壮烈敵前に散る」など、日中戦争の戦場報道記事が並んでいる。
8月30日には岸の後任の体協会長の大島又彦・予備役陸軍中将が辞表を提出。理由は「一身上の都合」だったが、馬術競技準備中止の影響というのが大方の見方だった。
同じ日、副島IOC委員は近衛文麿首相を訪問。8月31日付（30日発行）東京朝日夕刊によれば、副島は「引き受けた以上、これをやめるのは国際信義上面白くなく、また返上するあかつきも、切羽詰まっては、日本のほかに開催希望の英国とても準備に1年半、フィンランドは2年を要するとみており、よってすみやかに政府の態度を決定されんことを要望」した。実際は国からの補助金の増額を要請したとされる。この動きがオリンピック返上論に火をつけることになる。
