「交際を致しませぬのも、偏人のようであったのも、皆美しいとか面白いとかいう事をあまり大切に致しすぎる程好みますからでした。このために、独りで泣いたり怒ったり喜んだりして全く気ちがいのようにも時々見えたのです。ただこんな想像の世界に住んで書くのが何よりの楽しみでした。そのために交際もしないで、一分の時間も惜しんだのでした」
1分さえも惜しいからだろう、たとえば掃除する際、はたきでパタパタとはたく音も嫌いで、「『その掃除はあなたの病気です』といつも申しました」。どっちが病気なのか、と突っ込みたくなるが、これほど神経質なまでに繊細だったから、日本の古典や民話を深く掘り下げ、日本人ならではの精神文化や自然感の価値に共鳴して、それを後世に伝えることができたのだろう。
しかし、日本の古き良き精神文化を讃えるあまり、西洋風も文明の利器も嫌った。東京では、「セツは熊本時代の英語学習の再開を願ったが、ハーンがしとやかな日本女性を賛美し、英語はその美質を損なうと思うに至ったために、受け入れられなかった」（『八雲の妻 小泉セツの生涯』）。
服装も同様で、ふたたび『思ひ出の記』によれば、「日本人の洋服姿は好きませんでした。ことに女の方の洋服姿と英語は心痛いと申しました」。
それでも憎めないエピソード
文明の利器に関しても、「電車などは嫌いでした。電話を取りつける折は度々ございましたが、何としても聞き入れませんでした。女中や下男は幾人でも増すから、電話だけは止めにしてくれと申しました。（中略）電車には一度も乗った事はございません。私共にも乗るなと申していました」。
一方、自分が好きなものへの執着はすごい。
「ある夏、二人で呉服屋へ二、三反の浴衣を買いに行きました。番頭がいろいろならべて見せます。それが大層気に入りまして、あれを買いましょうこれも買いましょうといって、引き寄せるのです。そんなにたくさん要りませんと申しても「しかし、あなた、ただ一円五十銭あるいは二円です。いろいろの浴衣あなた着て下され。ただ見るさえもよきです」といって、とうとう三十反ばかり買って、店の小僧を驚かした事もあります」
