セツ自身が「幼少の頃の思い出」に、次のように書いている。
「小泉の実母は藩中で有名な美しいお嬢様で音楽の天才で草双紙の精通者であった。稲垣家で小泉家を尊敬すること非常なもので、また稲垣家で私を大切にする事も格別であった」
だが、セツが生まれたのは、すでに戊辰戦争勃発後の慶応4年（1868）2月4日。その後は士族が没落し、苦しい生活を強いられる時代だった。
家を支えるために学業を断念し働く
そういう状況下で生き抜くに当たっては、藩主を戒めて腹を切った祖父を誇りに思うような矜持が、セツの力になったように思われる。
以下、小泉八雲記念館発行の『小泉セツ ラフカディオ・ハーンの妻として生きて』を参照に、幼少時からしばらくのセツの暮らしを追ってみる。
セツは松江城がある亀田山の北西にあった稲垣家から、近くの内中原小学校に通い、読み方、書き方、算術のほか裁縫の授業を受け、学業に熱心に取り組んだという。だが、稲垣家は没落士族として厳しい生活を強いられていた。11歳にして上級学校への進学をあきらめなければならず、いく晩も泣き明かしたという。
その後は家計を助けるために、織子として働いた。実父の小泉湊が機織会社を興し、士族の子女を集めて機を織らせたので、セツもその一人に加わった。ところが、最初は調子がよかったその会社も、結局は士族の商法だったからか、次第に傾いて倒産してしまう。それでもセツだけは、その後も一人で機織りを続け、稲垣家を支え続けたという。
最初の夫は1年で出奔
そんな厳しい暮らしから抜け出るために、セツが18歳のときに因幡国（鳥取県東部）の士族の前田家との縁談がまとまり、稲垣家は前田家の為二を婿養子として迎えることになった。ところが、多額の負債をかかえた稲垣家の貧しすぎる暮らしに耐えかねた為二は、しばらくしてセツを捨てて出奔してしまう。
セツは為二の居場所を突き止め、大阪まで出向いて直接説得したものの、為二は帰って来なかった。21歳のセツはやむなく松江に戻ると、為二との婚姻関係を解消し、さらに稲垣家から小泉家に復籍することになった。明治23年（1890）1月13日のことだった。
