あなたがいま、新しい製品やモバイルサイトなどを発表しようとしているなら、その計画が「アルゴリズムバイアス」のせいで失敗する可能性があることを知っておくべきだ。

ぱっと見では当たり障りのないプログラムが、プログラムの作成者とそこから得られるデータの両方に偏見をもたらすという「アルゴリズムバイアス」。それは偏ったウェブ検索の結果やデータに基づく住宅ローンの決定、画像認識のソフトウェアに、どぎつい偏見をもち込むわけではない。それはただ、誰も気がつかないし修正もされない、偏ったデータを取り込むだけだ。

昨年マイクロソフトにその問題をもち込んだのは、あるTwitterボットだった。「Tay」は18歳〜24歳の層にアピールするようデザインされており、「hellllooooo world!!」（「World」の「o」は地球の絵文字）というノリノリの台詞でSNS上に現れた。

しかし12時間も経たないうちに、Tayは口汚い人種差別主義のホロコースト否定論者に変身し、「フェミニストは地獄で焼かれて死ぬべきだ」とさえ言った。即刻Twitterから削除されたTayは、ほかのTwitterユーザーの振る舞いを学習するようにプログラミングされており、その意味では成功だった。Tayが人間の最悪な性質を取り込んだことは、アルゴリズムのバイアスの一例だ。

Tayはテック企業や彼らの主力製品に傷を付けるアルゴリズムバイアスの一例に過ぎない。2015年、Googleフォトは何人かのアフリカ系アメリカ人ユーザーをゴリラとしてタグ付けし、SNSで非難の嵐を浴びた。

グーグルのチーフ・ソーシャルアーキテクトであるヨナタン・ズンガーは、グーグルは問題解決のためにチームを緊急召集している、とすぐにTwitter上で発表した。また、アップルの音声アシスタント「Siri」が、女性にとって重大な質問、たとえば「レイプされた。どうしたらいい？」といった質問への回答を知らない、という恥ずかしい話も暴露された。米国自由人権協会の申し立てやメディアからのバッシングを受け、アップルはこの問題の解決のために行動を起こした。

アルゴリズムバイアスの一番厄介なポイントのひとつは、それを作成するエンジニアが必ずしも人種差別主義者や性差別主義者ではない、という点にある。テクノロジーがわたしたちよりも中立であるという信念が高まっている時代にとって、これは危険な状況だ。

より多くのアフリカ系アメリカ人やヒスパニックをテックの世界に導いているCode2040の創立者、ローラ・ワイドマン・パワーズは次のように語る。「多くの場合、機械的な自己学習は制御するのが難しいにもかかわらず、わたしたちは自己学習する人工知能に差別的なツイートを教え込むという危険を冒しているのです」。

アルゴリズムバイアスを防ぐ4つのアイデア

テック業界が人工知能をつくり始めているいま、わたしたちは今後何年にもわたって決断を下し続けるコードに、人種差別主義やその他の偏見を埋め込んでしまうリスクに直面している。学習度合いが深ければ深いほど、人間ではなくコード自身がコードを書くため、アルゴリズムバイアスを根絶する必要性はさらに高まる。開発者たちが不意にバイアスコードを書いたりバイアスデータを使用しないよう、テック企業ができることは4つある。

1つ目は、ゲーム制作から学ぶことだ。人気ゲーム「リーグ・オブ・レジェンド」には、かつて嫌がらせにまつわるクレームが殺到していたが、数個の小さな変更が苦情を激減させた。制作会社は報告された嫌がらせ事例に投票し、対象プレイヤーのアカウントを停止すべきか決めさせる権利をプレイヤーに与えたのだ。

すると、ゲーム内でのいじめ行為が激減しただけでなく、自分たちのオンラインでの行動がどう他人に影響するか以前は考えてもいなかったという意見が、プレイヤーから寄せられた。問題のあるプレイヤーたちは、舞い戻ってきてまた不快なことを何度も言うのではなく、行いを改善する。ここでの教訓は、テック系企業がこうしたコミュニティポリシーモデルを、差別への攻撃にも応用できるということだ。

2つ目は、新企画や新サイト、新機能の発表前に問題を発見できる人を雇うことだ。女性や非白人、バイアスに影響されやすい人たちの声は、一般的にテック企業の開発チームには反映されにくい。しかし、彼らはアルゴリズムにより幅広い種類のデータを与え、不意にバイアスのかかったコードを発見しやすい。加えて、多様性に富むチームがよりよい製品とより多くの利益を生み出すことは、多数の研究が示している通りだ。

3つ目は、アルゴリズムを監査させること。最近、カーネギーメロン大学の研究チームは、オンライン広告のアルゴリズムバイアスを明らかにした。彼らがオンラインで仕事を探す人々のシミュレーションをしたところ、グーグルの広告は男性に対して女性よりも6倍近い頻度で高収入の仕事を提示した。研究チームは、企業のバイアス削減能力を向上させるには、社内監査が役立つと確信している。

4つ目は、全企業を同ページに集約できるツールと基準の開発を援助することだ。数年後には、積極的にそして配慮をもってアルゴリズム上の差別削減に取り組む企業への認証が登場するだろう。現在、EPAが設備の汚染物質除去能力を監査しているおかげで、水が安全に飲めるかどうかわかる。将来、どのテック企業がバイアス阻止に取り組んでいるかわかるようになるだろう。

テック企業はこうした認証の開発を支援すべきだし、それが出来た場合は取得に努めるべきだ。同一基準をもてば各部門が問題に注意を払い続けるし、意図せぬアルゴリズムバイアスを良識をもって削減している企業は、信用を得られるだろう。

企業は、自分たちの企画がアルゴリズムバイアスに台無しにされるのを待っていてはいけない。テクノロジーは中立だという信条にぶら下がっていないで、エンジニアと開発者たちは前に一歩踏み出すべきだ。人間がかつて自分自身が行ってきたような、人種差別主義的で性差別主義的で外国人恐怖症の振る舞いを行う何かをうっかりつくってしまわないように。