俗に「妾を囲う」というのは、商家の風習であるようだ。文字通り、別宅を用意して、そこに愛人（側室）を住まわせる。でも、そこには大きなデメリットがあった。正妻に娘しかおらず、側室に男子がいた場合、武家社会ではよほどのことがない限り、庶腹の男子に跡目を継がせるのだが、妾を囲った商家ではうまくいかなかった。
江戸時代の商家は職住一体で、使用人は住み込みだった（手代・番頭クラスは独立して通勤を許された）。そうなると、見も知らぬご子息より、子どもの時から成長を見てきた娘の方に情が沸く。庶腹の男子の相続に反対するというわけである（優秀な番頭を娘婿にするというのは中小の商家で、三井・住友クラスでは男系相続。使用人との結婚はタブーである）。
換言するなら、何が何でも男系相続をしたい武家は、妻妾同衾を選ばざるを得ない。そういうことなんだろう。
後継者だった次男・篤二の「大失策」とはなんだったのか
栄一の長男・市太郎は早世してしまったので、次男の渋沢篤二（1872～1942年）が跡取り息子と期待されたのだが、旧制第五高等学校（熊本県）在学中の1892年に病気で退学を余儀なくされる。
実は病気ではなく、「大失策」を起こし、一族の意向で五高をなかば強制的に退学させられ、栄一の故郷・血洗島で蟄居謹慎という処分を命じられることになる。（篤二の姉の）歌子日記には、篤二の「大失策」が具体的に何であったかは記されていない。ただその緊迫した行間から、肉親として記すのもはばかられるような不祥事が起きたことだけは想像できる。
歌子日記を編纂した（歌子の孫の）穂積(ほづみ)重行(しげゆき)は、「篤二の『大失策』は、神経性ノイローゼによる耽溺流連(たんできりゅうれん)ではなかったか、推察している」（佐野真一『渋沢家三代』）という。
篤二の「大失策」について、姪（弟・秀雄の次女）の渋沢華子(はなこ)（本名・喜多村(きたむら)花子）は、その著書の中で、もう少し具体的に述べている。すなわち、「篤二は、学習院から熊本高校に入学したが、そこの土地の娘と恋が芽生えた。一途な情熱は、彼に金を惜しみなく浪費させた。栄一はじめ二人の姉たちは、『すわ、お家の一大事』と、慌てて退学させ帰京させてしまった」（渋沢華子『徳川慶喜最後の寵臣 渋沢栄一』）という。
