AI 同行评审工具，用大语言模型提升学术审稿效率

AI Peer Review 是一个用于辅助学术论文同行评审的工具，特别针对神经科学领域的论文，利用多个大型语言模型（LLMs），如GPT-4o, Claude 3.7 Sonnet, Gemini 2.5 Pro, DeepSeek R1 和 Llama 4 Maverick，对论文进行独立评审，然后生成一个元评审（meta-review）来总结关键要点，生成一个关注点表格，表明哪些模型发现了哪些问题。

核心功能

• 支持提交论文，供多个大语言模型评审

• 能从不同模型获取独立的同行评审意见

• 可生成元评审，分析共同主题和独特见解

• 会生成关注点表格，标明每个关注点由哪个模型发现

• 结果能以Markdown、CSV和JSON格式保存

支持的模型

• GPT • 4o（通过OpenAI API）

• GPT • 4o • mini（通过OpenAI API）

• Claude 3.7 Sonnet（通过Anthropic API）

• Google Gemini 2.5 Pro（通过Google AI API）

• DeepSeek R1（通过Together API）

• Llama 4 Maverick（通过Together API）

AI Peer Review 安装使用

创建并激活虚拟环境（推荐操作）

python -m venv .venv
source .venv/bin/activate  # Windows系统使用：.venv\Scripts\activate

以开发模式安装

pip install -e .

API密钥设置

通过CLI配置命令设置

ai-peer-review config openai "你的OpenAI密钥"
ai-peer-review config anthropic "你的Anthropic密钥"
ai-peer-review config google "你的Google密钥"
ai-peer-review config together "你的Together AI密钥"  # 用于DeepSeek R1和Llama 4 Maverick

密钥会存储在~/.ai-peer-review/config.json文件中。

使用环境变量设置

方式1：在 shell 中导出变量

export OPENAI_API_KEY="你的OpenAI密钥"
export ANTHROPIC_API_KEY="你的Anthropic密钥"
export GOOGLE_API_KEY="你的Google密钥"
export TOGETHER_API_KEY="你的Together AI密钥"  # 用于DeepSeek R1和Llama 4 Maverick

方式2：创建.env文件

将.env.example文件复制为.env文件，然后填入你的API密钥：

cp .env.example .env
# 用编辑器打开.env文件并填入API密钥

.env文件可以放在当前工作目录，也可以放在用户主目录的~/.ai-peer-review/.env路径下。

命令行界面使用方法

用所有可用模型评审论文

ai-peer-review review 论文路径/pdf文件

指定特定模型进行评审

ai-peer-review review 论文路径/pdf文件 --models "gpt4-o1,claude-3.7-sonnet"

指定输出目录

ai-peer-review review 论文路径/pdf文件 --output-dir 自定义输出目录路径

跳过元评审生成

ai-peer-review review 论文路径/pdf文件 --no-meta-review

使用自定义配置文件

ai-peer-review --config-file 自定义配置文件路径 review 论文路径/pdf文件

提示词与配置

默认提示词

评审提示词 默认情况下，提交给大语言模型的提示词如下：

你是一位神经科学专家，擅长脑成像领域，现在需要为一篇提交的研究论文提供同行评审。请进行全面且批判性的评审。首先对研究及其结果进行总结，然后针对研究中存在的缺陷进行详细的逐点分析。

元评审提示词

生成元评审时使用的提示词如下：

附带文件包含某篇研究论文的同行评审意见。请将这些意见总结成元评审，既要突出所有评审者提出的共同观点，也要提及仅部分评审者提出的特定关注点。然后根据评审意见的实用性和对关键问题的识别能力对其进行排序。

生成元评审时，会从 individual reviews 中移除所有模型标识符，以避免产生偏见。

自定义提示词

可以通过编辑配置文件来自定义工具使用的提示词：

1、找到或在~/.ai-peer-review/config.json路径创建配置文件

2、添加或修改prompts部分内容：

{
  "api_keys": {
    ...
  },
  "prompts": {
    "system": "你的自定义系统提示词",
    "review": "你的自定义评审提示词，需包含{paper_text}占位符，用于插入论文文本",
    "metareview": "你的自定义元评审提示词，需包含{reviews_text}占位符，用于插入评审意见"
  }
}

如果配置文件不存在，系统会自动创建并包含默认提示词，之后可根据需求进行修改。

使用自定义配置文件

可以通过--config-file选项指定自定义配置文件路径：

ai-peer-review --config-file 自定义配置文件路径 review 论文路径/pdf文件

这有助于在不同场景或环境中使用不同的配置文件，在该命令会话中的所有操作都会使用该自定义配置文件，包括加载提示词和API密钥。

输出结果

工具会在指定目录（默认目录为./papers/[论文名称]）生成以下输出：

• review_[模型名称].md：每个大语言模型的独立评审意见

• meta_review.md：所有评审意见的总结与分析

• concerns_table.csv：包含各模型所发现关注点的CSV文件

• results.json：包含所有评审意见、元评审以及评审者与模型映射关系的结构化数据