コンピューターの画面に何が表示されているかは、実際にスクリーンを見なければわからない──。あなたはおそらくそう考えているだろう。

しかしとあるチームが、モニターが意図せず発する超音波を分析することによって、その表示内容について驚くほど多くの情報を収集できることを発見した。

動画や録音から画面の内容がわかる

この手法は、8月21日にサンタバーバラで開催された暗号学の国際会議「クリプト2018（Crypto 2018）」で発表されたものだ。

この手法を使えば、攻撃者はスクリーンの近くで撮影されたライヴストリームや録音（VoIP通話やヴィデオチャットなど）を分析することで、秘密裏にさまざまな監視を始めることができる。攻撃者は漏れてくる音をもとに、モニター上にどんなコンテンツが表示されていたかを抽出できるのだ。

モニターからの距離が遠くなれば音響信号は劣化する。これは特に、低品質のマイクを使用した際に顕著だ。それでも、約9メートル離れたモニターからの音も抽出できる場合があるという。

「今回の研究には、物理環境で予期しなかった何かを理解すること、そして使用するガジェットの背後にある物理的メカニズムを知ることに関する教訓があると思います」。テルアヴィヴ大学とコロンビア大学で暗号理論とシステムセキュリティを研究し、本研究にも参加したエラン・トロマーはこう話す。

音による情報漏洩は、「設計者が意図していなかった現象ですが、現に起こっていることであり、システムに脆弱性をもたらしています」とトロマーは言う（研究はトロマーと、ミシガン大学のダニエル・ジェンキン、ペンシルヴェニア大学のミヒル・パタニ、そしてテルアヴィヴ大学とコーネル・テックに籍を置くロエイ・シュスターによって実施された）。

動画や録音から画面の内容がばれる

この“攻撃”は、「物理的サイドチャネル」と呼ばれるデータの露出により可能になる。原因はソフトウェアのバグではなく、コンピューターのハードウェアとそれが処理しているデータとの間で情報を漏洩させてしまう非意図的な動作だ。

モニター研究の例で、研究者たちは多くの画面の電源ボードが電流を変調する際に、かん高くて人間には聞き取れない「鳴き」を発生させることを発見した。このノイズは、画面のコンテンツレンダリングを行うプロセッサーからの電力需要の増減によって変化する。

このユーザーデータと物理的システム間の結びつきが、予期せぬ「のぞき見」のチャンスを与えてしまうのだ。トロマーは次のように説明する。

「ある日、わたしは細かな文字が連なった退屈な契約書に目を通していました。文字が小さすぎたのでズームインしたのですが、そのとき室内のノイズ音が変わったことに気がついたのです。ズームアウトしてみると音は元に戻りました。しばらくして、わたしは画像の周波数が音の周波数にも影響していることに気づいたのです」

さまざまなサイズの液晶モニターを数十個調査したところ、研究者たちはそのすべてで何らかの音が発生していることを発見した。テストしたモデルは古いもので2003年、新しいもので2017年に製造されており、ほぼすべての大手メーカーの液晶モニターが含まれている。

音から画面の表示物を再現するアルゴリズム

すべての電子装置にはある種の「鳴き」が存在するものの、モニターから発生する音は攻撃者にとって特に有用だ。シュスターは言う。「モニターの発する音は周波数が高いため、変調された情報をより多く伝えることができます。変調は何か繊細なもの、この場合には画面の情報によって行われます」

超音波の「鳴き」を確認したあと、研究者らはそこから情報を抽出しようと試みた。彼らはプログラムによって白と黒の線やかたまりを交互に配置した縞模様を生成し、それらを繰り返し表示させながら録音を行った。

一定のデータが揃ったら、次に人気のウェブサイトやGoogleハングアウト、人間の顔を表示しながら測定を行い、録音内容に差異があるかを確認した。

次に研究グループは、これらの情報をすべて学習データとして機械学習アルゴリズムに入力した。すると次第に、アルゴリズムは人間に聞き取れない録音内容も正確に画面上の表示物に変換できるようになった。一部の縞模様やウェブサイトには、90～100パーセントの成功率を示すものもあったという。

さらに研究者らは、機械学習モデルがそれまで扱ったことのない画面の録音でも、意味を成すデータを抽出できることに気づいた。「攻撃者が訓練に特定のモニターのモデルからのデータを使えなかったとしても、攻撃がうまくいくチャンスは大いに残されているでしょう」とシュスターは語る。

白黒の縞模様を表示した際の画面からの信号を示すスペクトログラム。PHOTOGRAPH COURTESY OF CHECK POINT INSTITUTE FOR INFORMATION SECURITY

スマホのオンスクリーンキーボードも危険

その後、研究グループは研究を拡大し、画面上の文字や単語を解読できるようシステムを訓練した。これは難易度がはるかに高いタスクではあるが（単語はウェブサイトのレイアウトのように確実性の高い視覚的パターンに従わないため）、研究者らは大きなフォントの単語に対して信頼できる結果を得られたという。

ジェンキンが言及しているように、白い画面上の黒い単語は多くの点で白黒の縞模様に似ている。単語の組みあわせは無数にあるものの、それでもシステムに学習させるアルファベットは26文字だけだ。

さらに研究者たちは、スマートフォンのオンスクリーンキーボードで入力した内容をある程度の精度で検出できることにも気づいた。

一般に、このようなデジタルキーボードは機械式のキーボードより安全であるとされている。機械式キーボードは、タイプ音でその内容を判別できるからだ。しかしこのたび判明したように、オンスクリーンキーボードも音響的なサイドチャネル攻撃の影響を受けてしまうのである。

スマホやウェブカメラのマイクでも録音可能

いくつかの実験には高品質のスタジオマイクが使用されたものの、研究者らが注力したのは、ウェブカメラやスマートフォンに搭載されているような消費者向けのマイクだ。彼らは、消費者向けマイクによっても問題なく画面からの音を抽出できることを発見した。たとえば、攻撃者がヴィデオチャットしている相手の画面を監視したい場合、音声出力を録音するだけでいいのだ。

インタヴューのような場面では、攻撃者はスマートフォンを自分の隣の机やいすの上に置いて部屋のノイズを録音できる。この際、インタヴュアーが見ているスクリーンは攻撃者に背を向けていることになる。

また研究者らは、スマートアシスタント機器に内蔵されたマイクがモニターからのノイズを拾えることにも言及している。これらのガジェットを画面の近くに置いておくと、スマートアシスタントがクラウドプラットフォームに送信する音響情報にモニターの音が含まれる可能性があるという。加えてスクリーンから漏れる音のほとんどは超音波であるため、音楽や話し声などの可聴音が妨げにならない。

防止措置のハードルは高い

研究者らは、これが攻撃低減の大きな障壁になるとしている。

画面からのノイズに干渉する周波数帯の電波をあらゆる場所に流すというのは現実的ではない。メーカー各社はモニター内部の電子部品の遮蔽性を高められるかもしれないが、これには追加コストがかかる。

もうひとつのアプローチは、モニターが処理している情報を操作して、情報識別を困難にさせる専用のソフトウェアを開発することだろう。ただ、こういったソフトウェアはすべてのアプリケーションに組み込む必要があるため、現実的ではないと研究者らは認めている。それでも、ブラウザーや使用頻度の高いヴィデオチャットなどへの導入は検討する価値があるかもしれない。

ハッカーにとって、この種の画面からのノイズを利用してのハッキングは、当然フィッシングやマルウェアを感染させたりするよりもはるかに複雑で大きな労力を要する。しかし、研究者たちは今回の研究で得られた精度の高さに驚いており、意欲的な攻撃者が機械学習の手法をぐんと改良してしまう恐れもあるとしている。

数多ある画面が意図せずしてこのような信号を垂れ流していると、この世界は技術のある意欲的な攻撃者にとって格好の遊び場となってしまうだろう。