顔認識と機械学習プログラムが広く一般に行きわたるようになり、インターネットでは当然のごとくその技術がポルノに使われ始めた。

ニュースサイト「Motherboard」が報じたように、いま人々は人工知能（AI）を使ってフェイクポルノを製作している。その多くは有名人の顔をポルノスターの体に付けたものだ。女優のガル・ガドットが義理の兄と寝ているように見えるフェイクポルノもある。

AIによって製作された動画は「ディープフェイク（deepfakes）」と呼ばれる。オンライン掲示板の「Reddit」やアダルトサイト「Pornhub」などのコミュニティーは、フェイク対策に悪戦苦戦している。これに対して、GIF投稿サイト「Gfycat」はもっといい解決策を見つけたらしい。

ディープフェイク動画を監視しているプラットフォームの多くは、コンテンツの摘発をキーワードやユーザーからの報告に頼っている。だが、Gfycatは不正動画を見分けるよう、AIを訓練する方法を発見したという。技術の基盤となっているのは、Gfycatがもともとプラットフォーム上のGIFを分類するために使ってきたツールだ。

この新しい技術は将来、プラットフォームとして偽のヴィジュアルコンテンツとどう戦うべきかを実演するものでもある。こうした戦いは今後ますます重要性を増してゆく。スマートフォン向け写真共有アプリ「Snapchat」がクラウドソーシングで集めた動画をジャーナリズムに活用し始めるなど、状況が変化しているからだ。

人間はもうネット空間を管理できない

Gfycatは1日当たり少なくとも2億人のアクティヴユーザーを抱えている。ディープフェイク動画を排除するため、これまでにRedditやPornhub、Discordがとってきた手法より包括的なアプローチで問題を解決したいと考えている。

ニュースサイト「Mashable」は2月12日、Pornhubが多数のディープフェイク動画を削除しそびれたと報じた。取りこぼしのなかには何百万ものヴューを獲得した動画もあったという（記事の公開後、削除された）。

またRedditは2月上旬、ディープフェイク動画のコミュニティーをいくつも閉鎖した。しかし、『WIRED』US版がRedditに指摘するまで、「r/DeepFakesRequests」や「r/deepfaux」といった一部のコミュニティは残ったままだった。

こういった努力は軽視されるべきではない。しかし、無秩序に広がるインターネット空間のコンテンツ・モデレーションを人間が手作業で行うのがいかに難しいかを示している。コンピューターが勝手にディープフェイク動画を探してくれるなら、もはや人間の手はいらないのだ。

人の脳はだませても、AIの目はだませない

GfycatはAIを訓練するに当たり、すでに開発していた2つのツールを利用している。「プロジェクト・アンゴラ」と「プロジェクト・マル」で、どちらも名前の由来は猫だ。

あるユーザーが例えば、テイラー・スウィフトのGIFを低画質でアップロードしたとする。アンゴラは、それに代わる高画質なGIFを探し出せる。つまり、テイラー・スウィフトが「Shake It Off」を歌っているとしたら、同じクリップを見つけ、その高画質ヴァージョンをアップロードできるということだ。

上がった動画に「テイラー・スウィフト」というタグが付けられなかったとしよう。問題ない。マルが個人の顔を識別し、自動でGIFに名前を付ける。Gfycatの立場を考えれば、これは納得がゆく。彼らは毎月、何百枚もアップロードされるGIFを仕分けしたいのだ。

ここにディープフェイク動画がやってくる。アマチュアによって製作されたディープフェイク動画のほとんどは、完全な本物だと信じられるような質ではない。よく見ると、つくりが不自然なのだ。例えば下の動画では、ドナルド・トランプ米大統領の顔がアンゲラ・メルケル独首相の顔を完全にカヴァーしきれていない。

ちなみに、人間の脳もフェイク動画に一役買っている。テクノロジーが人の顔を入れ替えようとして失敗した差分を勝手に埋めるのだ。

しかし、マルは人間の脳ほど寛容ではない。GfycatのエンジニアたちがAIツールにディープフェイク動画を見せると、AIは似た人物としてニコラス・ケイジなどの名を挙げるが、「完全に一致」とは判断しない。顔の全パーツが完璧に移し替えられているわけではないからだ。

データの捏造も見つけ出せる

マルはGfycatにとって、ディープフェイク動画を見つける手段のひとつにすぎない。一部だけセレブに似たまがい物のGIFを嗅ぎつけるだけで、ディープフェイク動画を止めることはできない。将来、ディープフェイク動画の精度がもっと高くなれば、食い止めるのはさらに難しくなる可能性だってある。

さらに、ディープフェイク動画にはセレブだけでなく一般市民の顔も使われる。製作者の知り合いの顔が使われることもあるほどだ。この多様さに対応すべく、Gfycatはアンゴラに似た働きをするマスキング技術も開発した。

Gfycatが疑わしい動画を見つけたとき（例えばマルが「テイラー・スウィフト」と断定しなかったとき）、彼らは被害者の顔にマスキングを施し、同じ体や背景をもつ動画がどこかにないか検索する。

トランプ米大統領の体に別の人物の顔を付けた動画があるとしよう。AIはネット上を検索し、オリジナルである一般教書演説の動画を見つけ出す。もしGIFの顔とオリジナルの顔が一致しなければ、AIは動画が捏造されたものだと結論づけるというわけだ。

Gfycatはこのマスキング技術を使って、顔以外が捏造された動画も探し出そうとしている。例えば、人為的に改変された天気や科学などの動画だ。

GfycatのCEO、リチャード・ラバットは声明でこう述べた。「Gfycatはこれまでも、コンテンツのカテゴライズや管理、モデレーションなどでAIを大いに活用してきました。どんどん速度を上げて革新を遂げていくAIには、われわれの世界を劇的に変える可能性が秘められています。こうしたAIの進化を、これからも自分たちの技術に取り入れていきたいと考えています」

フェイクポルノが示唆する「未来」

ディープフェイク動画を摘発する際、Gfycatの技術を使えないケースが少なくとも1つある。動画の顔や体が、ネット上のほかのどこにも存在しない場合だ。

例えば、誰かが異なる2人のセックステープをそれぞれ撮影し、顔だけを入れ替えたとしよう。有名人が出ておらず、元の動画がオンライン上のどこにもアップロードされていなければ、アルもアンゴラもこのコンテンツを捏造だと判断できない。

ディープフェイク動画をつくるのには誰かの動画と写真資料へのアクセスが必要になるため、いまのところ起こる可能性の低いシナリオではある。しかし、携帯に入っている元恋人の動画をフェイク動画の製作に利用し、被害者が生まれる事態は想像に難くない。

ポルノスターやセレブを使ったディープフェイク動画のなかにも、AIでは判断がつかないものがある。Gfycatが人間のモデレーターを雇っているのはそのためだ。さらに、動画がディープフェイクか判断するために、アップロード場所やユーザー名といったメタデータも利用している。

すべてのディープフェイク動画が悪意をもってつくられるわけではない。電子フロンティア財団がブログで言及したように、先のメルケルとトランプの顔を入れ替えた動画は単なる政治風刺や論評にすぎない。さらに身元の保護のために顔を特定できなくする場合や、合意のうえでポルノグラフィーの顔を変える場合など、正当な理由でこの技術を使うこともある。

とはいうものの、なぜディープフェイク動画が悩ましい存在なのかは理解できる。ディープフェイク動画は、本物か偽物か判断できないような動画が出回る未来の始まりを象徴しているのだ。そしてこれは、プロパガンダをはじめ多方面に影響を与える。

2016年の大統領選挙期間中、ロシアはTwitter上をフェイクボットでいっぱいにした。20年の選挙では、候補者たちを使ったフェイク動画で同じことが行われるかもしれない。

製作を止めることはできないが…

Gfycatには、いまのところ有効な解決策がある。しかし、ディープフェイク動画の製作者たちが監視の目をすり抜ける方法を見つけるのも、時間の問題かもしれない。

ダートマス大学でコンピューターサイエンスの教授を務め、デジタルを活用した犯罪の科学捜査や画像解析、人間の知覚などを専門とするハニー・ファリドは「PornhubやRedditに上げられた偽物の動画を識別する法医学的技術の確立には、まだ数十年かかるでしょう」と言う。

カギは、改ざんされた画像や動画を見つけ出す異なるプロトコルをいくつもインストールすることだ。そうすれば、監視の目をすべてすり抜けるディープフェイク動画を製作しにくくなる。

「法医学的なシステムを本気でだまそうとする人は、ディープフェイク動画の製作方法を改良し始めるでしょう。フェイク動画の製作自体を止めることはできませんが、（複数のプロトコルをインストールすることによって）製作を難しく、時間がかかるものにすることはできます」とファリドは言う。

いまのところ、AIモデレーターを使ってディープフェイク動画を排除しているプラットフォームはGfycatのみのようだ。PornhubとDiscordはどちらも、ディープフェイク対策にAIは使っていないと答えた。

RedditはAIを使っているかどうか明らかにしなかった。広報担当者によれば、モデレーションの手の内を明かすと悪人たちが抜け穴を探し始める危険があるという。ツイッターからの回答はまだ得られていない。

毎日、数百万もの動画がアップロードされるウェブ。Youtubeでは、1分当たり約300分相当の動画が公開されているという。それらの動画が本物かどうか判断するのには、人間の力だけでは足りなくなるだろう。コンピューターの力が必要なのだ。