リサーチ論文向けAI: 各ツールが実際に何をしているか、そして精度の主張を検証した研究

これらのツールが実際にこなしている4つの仕事

「リサーチ論文向けAI」は1つのカテゴリーとして扱われがちだが、知っておくべき8つのツールは明確に4つの異なる仕事に分かれる。それらを混同することが、期待外れに終わる原因だ。Scholarcyに論文を探させたり、ResearchRabbitに1本の論文を要約させたりしても、何も得られない。それはどちらのツールの仕事でもないからだ。

• 発見・検索、まだ手元にない論文を見つける仕事。ResearchRabbit（引用ネットワークのグラフ表示）、Consensus（「合意度メーター」つきの答え先出し型検索）、Perplexityの Academic Focusモード。
• 構造化抽出、多数の論文から特定のデータ項目を1つの表に抽出する仕事。Elicitはまさにこのために作られており、このリスト内でこれを主要な仕事としているツールはほかにない。
• 引用文脈の検証。 ある主張や論文について、それを引用している論文が実際に支持しているのか、反論しているのか、それとも単に触れているだけなのかを示す仕事。Sciteの製品はまるごとこの1つの仕事だ。
• 手元にある論文の要約。 検索もデータベースもなく、アップロードしたPDFを読みやすい形に変えるだけの仕事。ScholarcyとGemini Notebookはどちらもここに属する。

Elicit: 構造化抽出、そして知っておくべき精度のギャップ

Elicitの特徴は表ベースの抽出だ。リサーチクエスチョンを指定すると、数百から数千の論文をスクリーニングし、各論文から特定のフィールド（サンプルサイズ、方法論、アウトカム指標）を抽出して比較表を組み立てる。このリストの中で、これを大規模にこなせるツールはほかにない。

無料プラン: 約1億3,800万本の論文（Semantic Scholar、OpenAlex、PubMedから重複排除）を無制限に検索でき、要約と全文チャットも無制限だが、自動レポートは月2件まで、抽出表の列数は2列までに制限される。Proは月額49ドルで最大5,000本の論文を20列の表でスクリーニングでき、Scaleは月額169ドルで30列の表と図表抽出に対応する。

ここで判断の軸にすべき発見がある。ある査読済み研究（Hilkenmeierほか、*Social Science Computer Review*、2025年12月号、43本の研究・602個のデータポイントを対象）は、系統的レビューのデータ抽出における半自動の第二レビュアーとしてElicitを評価した。全体精度は81.4%で、人間のレビュアーの86.7%と統計的に有意な差はなかった。 ただしこの全体数値は、はっきりした内訳の違いを覆い隠している。単純な事実項目ではElicitは人間に近い精度を示した一方、「関心のある構成概念」の特定のような解釈を要する抽出タスクでは精度が51.2%まで落ち込み、一部のカテゴリーでは偶然とほとんど変わらなかった。この研究では、Elicitが元論文にまったく存在しない結果をハルシネーションで生成した例も記録されている。

Elicit自身のブログは自己評価で94%の精度を主張し、あるクライアント事例では特定のレビューで99.4%を謳っている。どちらも実際の評価から得られた本物の数字だが、ベンダー側が選んだベストケースを描いているのであって、典型的な結果ではない。正直にまとめれば、Elicitは単純な抽出作業においては確かに有用な第二レビュアーであり、解釈を要するタスクについては手作業で必ず二重チェックすべきものだ。生成された表を読まずに丸ごと信じるのではなく、そう扱うべきだ。

ResearchRabbit: 引用ネットワークによる発見、無料

すでに関連性を把握している数本の論文を種として与えると、引用関係にもとづいて先行研究・後続研究・類似研究のビジュアルなグラフを構築してくれる。キーワード検索ではうまく浮かび上がらない「何を見落としているか」というフェーズの文献レビューで、本当に役立つ。

無料プラン: 検索とコレクションは無制限、種となる論文は最大50本まで。RR+は月額10ドルで種の上限が300本に上がり、複数プロジェクトと高度なフィルターが追加される。データはOpenAlex、Semantic Scholar（非医療分野）、PubMed（医療分野）から取得しており、数億件規模だが、重複排除後で1億3,800万本というElicitのより正確な数字のほうが、ResearchRabbitの曖昧な「数億件」という主張より実際のカバー範囲を把握しやすい。このツール固有のリコールや精度を手作業の文献レビューと比較したベンチマークを行った独立研究はまだない。これはこのツール特有の、証拠の実際のギャップであって、ツールへの批判ではない。

Scite: 引用元の論文は実際に主張を支持しているか？

SciteのSmart Citationsは、ある論文へのすべての引用を「支持」「対立」「単なる言及」に分類する。これは検索・要約系ツールとは明確に異なる能力で、このリストの中では論文を見つけることよりも引用をファクトチェックすることにもっとも近い。12億件以上に分類された引用文と1億8,000万本以上の論文を基盤に構築されており、出版社のアクセス許可がある範囲では1億8,500万本以上の全文記事も索引化されている。

料金には継続的な無料プランがない。月額20ドル（年払いなら月額12ドル）のPersonalプランの7日間トライアルが入り口となる。カバー範囲はSTEM分野に偏っており、人文科学や法学の引用は索引の網羅性が低い。HKUST（香港科技大学）図書館による比較テスト（Scite、Elicit、Consensus、Scopus AIを対象に1つのテストプロンプトで比較し、手作業でレビュー）では、全文アクセスの強みによってSciteが比較的良好な成績を示した一方、4つのツールすべてが、論文の実際の結論ではなく抄録の一般的な導入文から結論を導いてしまうことがあると指摘している。これはSciteに限らず、このカテゴリー全体に当てはまる注意点だ。

Scholarcy: 手元にあるものを要約するだけで、検索はしない

このツールがもっとも誤ってカテゴライズされやすい。Scholarcyはどんなデータベースも検索しない。論文をアップロード、貼り付け、またはリンクすると、生成的な要約ではなく抽出的な要約を使って、既存のテキストをフラッシュカード形式の要約（序論、方法、結果）に再構成する。この違いは信頼性の観点で重要だ。論文の中に実際に書かれている内容から抽出しているのであって、それとズレる可能性のある新しい文章を生成しているわけではない。とはいえ、スキャン品質の悪いPDFでは構造解析でのミスがそのまま本物の誤りとして現れる。

無料プラン: 月10要約まで。有料プランの料金は情報源によって食い違って報告されている（月額4.99ドルという記載と9.99ドルという記載がある）ので、どちらの数字に頼るにしてもscholarcy.comで直接確認すること。あるユーザー報告に記録された1つの失敗例として、Scholarcyが大規模なメタアナリシス論文を「比較的小規模な大学」に誤って帰属させたケースがある。抽出型のツールであっても構造を誤って解析することがあるという注意喚起であり、出典と照らして人間が確認するまでは、その出力を引用に使うべきではないというリマインダーでもある。

ScholarAI、Consensus、Perplexity: チャットに包まれた検索

ScholarAIは独立したプロダクトではなく、ChatGPT内のプラグインとして動作する。無料プランは1回限りのクレジット5回分、Basicは月額9.99ドルで50クレジット。注目すべきギャップは、ScholarAIが自社サイト上のどこにもデータソースを公開していない点で、これはこのリストのほかのすべてのツールと異なる。ElicitやConsensusと同等のカバー範囲があると想定するのではなく、その点をきちんと指摘しておくべきだ。

Consensusは、Yes/No形式のリサーチクエスチョンに、科学的な合意度を示す「Consensus Meter」つきで直接答える。基盤にはElicitやSciteと同じSemantic Scholarのコーパスを使っている。無料プランの上限は実のところはっきりしない。情報源によって「1日20回」「月20回」など、互いに食い違う数字が2つ以上報告されている。Proは一貫して月額10ドルで無制限検索プラス15回のDeep Reviewと報告されている。無料プランの上限については、この記事を含むいかなる二次情報源も鵜呑みにせず、consensus.app/pricingを直接確認すること。

PerplexityのAcademic Focusモード（Proプラン、月額20ドル、または認証済み学生向けのEducation Proなら月額10ドル）は、検索対象をSemantic Scholar、PubMed、arXiv/bioRxiv/medRxivのプレプリントなど査読済みソースに限定する。Perplexity自身のガイダンスも繰り返す価値がある。実際の論文では、Perplexity自体ではなく、そこが提示する一次情報源を引用すべきだということだ。

Gemini Notebookが実際に当てはまる位置

誤解しやすい部分なので、正確に述べておく価値がある。Gemini Notebookには学術データベース検索機能が組み込まれていない。答えるのは自分が明示的に追加したソースからだけだ。「Discover sources」機能が検索するのは一般的なWebか自分のGoogle Driveであって、PubMedやSemantic Scholarではなく、返ってくるのはAIが要約したWebページであり、それを手作業で追加する必要がある。引用数つきの査読済み論文のランキングリストではない。

これにより、このリストの中でGemini Notebookにもっとも機能的に近いのはElicitやConsensusではなくScholarcyだということになる。どちらもすでに手元にある文書だけを対象に動くからだ。Gemini Notebookが優位に立つのは、Proティアで最大300ソースという、多数のソースを一度にまたいだ量と統合力で、その中にはAudio Overview、自分のソース集合内でのDeep Research、使われた正確な箇所を指し示す引用が含まれる。この8つのツールを比較して浮かび上がる実践的なワークフローはこうだ。ElicitやResearchRabbit、Consensusで論文を見つけてスクリーニングし、集めたものをGemini Notebookに持ち込んで、まとめて統合する。個々のツールのページでこれをはっきり書いているものはほとんどないが、本気で取り組む研究者の実際のワークフローが最終的に行き着く形はこれだ。

比較表

Tool          Job                    Free tier                    Paid entry point
---------------------------------------------------------------------------------------
Elicit        Extraction              Unlimited search, 2 reports/mo   $49/mo (Pro)
ResearchRabbit Discovery (network)     50 seed articles                $10/mo (RR+)
Scite         Citation verification    None (7-day trial only)         $20/mo, $12/mo annual
Scholarcy     Summarization            10 summaries/mo                 ~$5-10/mo (verify)
ScholarAI     Search + chat (GPT)      5 one-time credits              $9.99/mo (Basic)
Consensus     Discovery (answer-first)  Limited (unclear, verify)       $10/mo (Pro)
Perplexity    Discovery (web+academic)  Limited Pro Search               $20/mo, $10/mo students
Gemini Notebook  Summarization/synthesis  50 sources, 50 chats/day     $4.99/mo (Plus)

これらをどれも信頼すべきではない場面

• 文献レビューの核心となる主張について。 この調査で見つかったすべての精度研究——ElicitのSAGE評価とHKUSTの4ツール比較——は、これらのツールを第二レビュアーや出発点として扱うべきであり、元論文を自分で確認せずに引用する情報源として扱うべきではないと勧告している。
• 新興分野や、まだ十分に文書化されていないトピックについて。 HKUSTのテストにあった4つのツールはすべて、確立された研究領域の外では信頼性が低下することを示した。索引化されたテキストが単純に少ないため、正確な要約を導き出しにくいからだ。
• 要約対象の論文が撤回済み、あるいは係争中の場合。 これらのツールのどれも、撤回の状況を確実にフラグ立てしない。重要な情報は、必ずジャーナルかRetraction Watchで直接照合すること。
• これらのツールを評価した論文自体が撤回されている場合。 Elicit、SciSpace、Consensusを文献レビュー用途で評価した論文の1つが、カナダのLIS系ジャーナルから撤回理由の公表なしに取り下げられた例がある。この分野ではメタ的なエビデンスそのものも、ツール本体と同じように確認が必要だという有用な教訓だ。

リサーチ論文向けにもっとも精度の高いAIツールは？

全体を通じて独立に検証された、確かな精度記録を持つツールはない。存在する唯一の厳密な研究(Elicitを対象)は、全体精度81.4%で人間のレビュアーと統計的に有意な差はないとしたが、解釈を要する抽出タスクには本物の弱点があった。ここに挙げたすべてのツールは、最終的な情報源ではなく第二レビュアーとして扱うべきだ。

Gemini NotebookはPubMedのような学術データベースを検索できる？

できない。Gemini Notebookは自分で追加したソースだけを対象に動く。Discover機能が検索するのは一般的なWebかGoogle Driveであって、PubMed、Semantic Scholar、arXivではない。データベースでの発見にはElicit、ResearchRabbit、Consensusを使い、見つけたものをGemini Notebookに持ち込んで統合するとよい。

論文の引用が実際にその主張を支持しているか無料で確認する方法はある？

Sciteはまさにこのために作られている（支持・対立・言及の分類）が、7日間トライアル以外の継続的な無料プランはない。同じ仕事を同じ深さでこなせる完全無料の代替は存在しない。

ElicitとConsensusの違いは？

Elicitは多数の論文をまたいだ構造化データ抽出を比較表として組み立てるために作られている。Consensusはリサーチクエスチョンに合意度メーターつきで素早くYes/Noを答えるために作られている。どちらもSemantic Scholarのコーパスを利用しているが、解決している問題は異なる——抽出か、素早い統合か。