アメリカの過去の差別的な雇用やローン審査のやり方は、ダイバーシティ＆インクルージョンが叫ばれる今はもちろん絶対に許されないもので、企業や政府はそれを正そうと努力している。ところが発展途上のAIには届かず、むしろ過去のやり方をそのまま踏襲してしまっているのだ。人種だけでなくジェンダー差別、年齢差別、障害のある人に関する偏見も見つかっている。
例えば、ソフトウエア企業「ワークデー」が提供するAIの人事管理システムをめぐっては、応募した80件の雇用をすべて拒否されたとして黒人男性が訴訟を起こしている。
ワークデーのサービスは大企業を中心に世界で3000社以上が利用しており、アメリカのフォーチュン50企業の6割が、人事ツールとして使っている（ワークデー日本法人より）。
“AI暴走”は日本でもすぐに起こり得る
ブルームバーグ（2月23日）によると、40代の黒人男性は、モアハウス大学の金融の学士号など専門技術を持っているにもかかわらず、何度も雇用を拒否された理由は、ワークデイが提供するスクリーニングツールによって雇用差別が助長されているからと訴えている。訴状では「応募者の事前選考に使用されるAIが、意識的・無意識的な差別意識を持つ人間によって作成されたアルゴリズムに依存している」と指摘している。
また、AIによるローン審査での差別偏見も問題になり始めている。アメリカでは黒人などマイノリティーへの住宅ローンを、他より高い金利で貸し付けたり、住宅の価値を低く見積もったりする差別行為が伝統的に行われ、レッド・ライニングと呼ばれる。これが「デジタル・レッドライニング」としてAIのアルゴリズムに組み込まれていることは、米消費者金融保護局も問題視しており、現行の法律で規制する方針を表明している。
「採用であれば、女性にIT職を勧めないなど性差別を助長するような意思決定をこれからどんどんしていってしまうかもしれない。われわれは“AI暴走”と呼んでいます」（大柴氏）
