再来日時、まだ日本語がまったくわからなかったアグネスに、姉のアイリーンは「私はお腹が空きました」だけは言えるようにしておけば、絶対に死なないと教えた。ただ、アグネスが実際にこの言葉を当時のマネージャーに使ったところ、香港にはない中華丼を連日出され、困惑して手をつけられなかったということもあったとか。
このように日本でデビューして以来、食事も自分から訴えなければとれないほど多忙をきわめ、加えて年に数ヵ月は香港や台湾でも仕事をこなした。そのなかでインターナショナルスクールに通い、デビュー3年目の1974年には上智大学に入学した。上智ではたくさんの友達もでき、会話も英語でできるので、思う存分おしゃべりができ、唯一のくつろぎの場だったという（『週刊現代』前掲号）。
あまりの多忙ぶりを見た父は…「こんな生活は異常だ！」
しかし、20歳になる直前、出張で日本へ突然訪ねてきた父が、彼女の九州でのコンサートツアーに同行すると、そのスケジュールの過密ぶりを見かねて「こんな生活は異常だ！」と叱りつけた。その後、彼女が年に1度のビザ書き換えのため香港に帰ると、家族会議が開かれ、父から芸能界を辞めるよう切り出される。
父は「人気や名声やお金は流れるもの。だけど、一度頭に入った知識は一生の宝。誰も奪うことはできない」と言ってアグネスに学業に専念することを望んだ。これに対し母は、せっかく芸能界でここまで築き上げたものをふいにするのはもったいないと反対した。両親のあいだで板挟みになった彼女は悩んだ末、「同年代の女性と同じ価値観を持たなければだめだ」との父の言葉に心を動かされ、引退して、兄の一家が暮らすカナダの大学への留学を決意する（『女性セブン』2015年7月23日号）。
こうして1976年6月、現地で記者会見を開いて引退を発表すると、外電でそれを知った事務所やレコード会社の制作部長が慌てて飛んできた。そして何とかアグネスを翻意させようと説得するも、彼女の決意は揺るがなかった。最終的に、引退コンサートをすることと、渡辺プロ所属の歌手の楽曲を管理する渡辺音楽出版との契約が自動的に延長されていたので、留学中も2枚のアルバムを制作することを条件に、事務所側も認めるにいたった。
