科学における「再現性の危機」の問題は、タイミングが悪いのひと言に尽きる。議員や閣僚といった政策決定者たちの多くが地球温暖化の科学的根拠を拒絶し、大勢の親たちがワクチンの効果を疑っているこの時代に、科学者たち自身が「社会科学研究の多くは精査に耐える内容ではない」と指摘しているのだ。

彼らが指しているのは、研究の再現性のなさである。つまり、ほかの誰かが同じ実験をした場合に異なる結果（しばしば真逆の場合もある）になるということだ。

ここで明るい面に目を向けよう。科学の技法は自己修正機能を備えており、研究者たちはこの問題の解決に向けて動き出した。研究者たちはいま、互いに仮説を事前申告したりデータを共有したりして、何を発見したいのか、どう発見するつもりなのかを明言することを奨励している。

その狙いは、統計のごまかしや不都合な記録の抹殺といった、研究を混沌に陥れてきた悪習を抑制することにある。データを大量に集め、それをふるいにかけて論文化できる結果を探し出す行為（『Hypothesizing After the Results are Known〈結果を出したあとに仮説をつくる〉』の頭文字をとって『HARKing〈ハーキング〉』と呼ばれる）はもういらない。

過去の研究のうち、どの結果が支持されどれが棄却されるのかを、自らの手で再検証する研究チームも自主的に結成されている。研究者たちは同じ実験を繰り返したり、発展的実験によって結果が一般化できるかどうかを確かめているのだ。これは骨の折れる仕事である。退屈だし、コストも時間もかかる。

だが、米国防総省の「マッドサイエンス部門」こと国防高等研究計画局（DARPA）にとって、この問題の解決策は明白だ。ロボットを使えばいいのである。

それぞれの研究に「信頼性スコア」を付与

「Systematizing Confidence in Open Research and Evidence（オープンリサーチとエヴィデンスへの信頼のシステム化）」、略してSCOREと呼ばれるDARPAのプログラムは、社会科学・行動科学という、再現性の危機がとりわけ深刻な分野の研究結果に関して「信頼性スコア」を付与することを目的としている。

DARPAは、再現性検証の責任を負う非営利組織「センター・フォー・オープン・サイエンス（Center for Open Science：COS）」に対して760万ドル（約8.5億円）の資金を提供すると決定した。

COSは今後、30,000件の社会科学研究からなるデータベースを構築し、うち3,000件について再実験を行うか予測市場で妥当性を問う予定だ。ここで言う「予測市場で問う」とは、つまり論文著者の主張に再現性があるか人間に「賭け」をさせることである（予測市場はこうした仕事に長けている。社会科学の再現性を検証した18年発表の研究では、市場の予測とほかの研究者への聞き取り調査は実際に再実験を行うのと同等の成果をあげた）。

COSの研究ディレクターを務めるティム・エリントンは、「再実験は、ある事象が間違いなく事実であるかどうかを評価する作業」であり、研究が成功か失敗かについての最終的な判断になると語る。「これがアルゴリズムの妥当性に対する判断基準になります。また再実験とは別のチームが、この再現性評価を自動化する方法の開発にあたります。それから、結果を相互に比較するのです」

つまり、まずはデータベースを作成し、次に人間が評価を行う。それから、未来の「機械仕掛けの支配者」が介入してくる、ということだろうか。

「わたしなら『機械仕掛けのパートナー』と呼びます」と語るのは、SCOREプログラムの責任者である人類学者のアダム・ラッセルだ。彼はプログラムの第二フェーズである機械仕掛けのパートが、予測市場よりも正確な評価を下せるアルゴリズムにつながることを期待している（先行研究のいくつかで有望な結果がすでに出ている）。

統一的な理論体系の必要性

「物事の改善策についても示唆が得られるかもしれません」と、ラッセルは言う。彼は、国防総省に国家安全保障に関する諸問題への理解を深めてほしいと考えている。内乱がどのように発生するか、人道支援物資がどう配給されるか、敵対行為をどう回避するか。国防総省が知りたいのは、こうした問題に関連するさまざまな調査研究のうちどの研究が注目に値するかだ。

だが、もしSCOREが社会科学の根本的な弱点を暴いたとしたら？ それは、かなり面白いことになるだろう。マイクロソフト・リサーチの社会学者ダンカン・ワッツは17年、社会科学の分野には「一貫性がない」と批判する影響力の大きい論文を発表した。

社会科学と行動科学が、科学としての妥当性の要である「研究成果の再現性」に問題を抱えているのは、統一的な理論体系をもっていないためだとワッツは指摘している。個々の論文の主張が厳密な検証や統計分析に耐えたとしても、それに関連する別の論文では、同じ言葉が使われていなかったり、同じ言葉であっても別の意味で使われていたりする。

一例として、組織内のインフォーマルなネットワークに関する研究を考えてみよう。こうしたものの重要性は広く認識されている。ウォーターサーヴァーのそばでの立ち話や、Slackのダイレクトメール、オフィスでいつもお互いの席を行き来している人たち。こうしたやりとりには重要な意味がある。「リアルな」意思決定は、こうした場で行われる。それらを構造化できればあらゆる組織を改善できるだろう。

「これはまっとうな主張のように聞こえますし、それなら主張が本当なのかどうか、確かめたくなりますよね」と、ワッツは言う。「問題は、これがひとつの主張ではなくて、言ってみれば、100個に上る別々の主張の寄せ集めであることです」

「組織」とは何なのか。「重要な意味」とはどんな意味なのか。「ネットワーク」をどう定義するのか。こうした点を明確にしないなら、「社会科学がやっていることは、『戦略的曖昧性』や『創造的解釈』と呼ばれるものです。つまり、ただのでたらめ［日本語版記事］です」と、ワッツは語る。

「再現性の予測」は可能なのか？

こうした観点からすると、30,000件のデータベースに、どの科学的主張を含めるかということ自体が、結果の成否を左右する鍵になると言えるだろう。けれども、もしこのアルゴリズムがうまくいけば、それは再実験や予測市場による評価が警告する以上の材料を拾い上げることで、再現性を予測できるようになるかもしれない。これほど大規模な学際的データベースであれば、あらゆる種類の新たな変数を大量に明らかにする可能性がある。

「これほど多くのデータセットを集めるというのは前代未聞です」と、COSのエリントンは言う。「わたしたちを含め、多くの研究チームがこれまで実施してきたさまざまな試みをはるかに超える規模のプロジェクトです。もちろん、どんな結果になるかはやってみなくてはわかりません」

人類がすでに理解していることを、アルゴリズムが超える。それこそまさに、DARPAが望むことである。加えて、このプログラムの必須要件のひとつは、アルゴリズムが解釈可能であることだ（つまり、外からは理解不能なブラックボックスではないということである）。アルゴリズムは、科学の信頼性を保証する新たな原則を、わたしたちのような知性の足りない生物に教えてくれる存在になるはずだ。

「人間には感知できないたくさんの微妙な信号を拾い上げて組み合わせることで、よりよい判断ができるようにしたいとわれわれは考えています」と、ラッセルは言う。社会科学の不明確な構成要素を、実際に互いに関連付けられるようにするインフラを組み込むことさえ、可能になるかもしれない。

信じられないかもしれないが、マイクロソフト・リサーチのワッツでさえ、こうした枠組みの見通しは明るいと考えている。彼はこのプロジェクトについて、誰よりも驚いている人物だと言えるだろう。

「実にDARPAらしいですね。『われわれはDARPAだ、だから臆することなく飛び込んで、とてつもなく難しくて誰ひとり手をつけようとさえしなかった問題を解決するのだ』と言っているようです」と、彼は言う。「素晴らしいことです。わたしも喜んで支援しますよ」

アルゴリズムという名の機械仕掛けの支配者もきっと、彼にそう言ってほしいと思っていたはずだ。