ZeroSearch强化学习框架，用于提升LLM的搜索能力，降低API成本

在大语言模型（LLMs）的发展进程中，搜索能力是一个重要的研究方向，阿里巴巴研究团队的ZeroSearch是一种全新的强化学习框架，能在不与真实搜索引擎交互的情况下，激发大语言模型的搜索能力。

ZeroSearch通过监督微调，将大语言模型转变为一个检索模块，这个检索模块可以根据查询生成相关文档，同时也会生成一些噪声文档。研究团队引入了课程展开机制，通过让模型接触越来越有挑战性的检索场景，逐步激发模型的推理能力。

研究人员在领域内和领域外的数据集上都进行了大量实验，实验结果显示，ZeroSearch的表现优于基于真实搜索引擎的模型，而且它无需支付API费用。ZeroSearch在各种大小的基础模型和指令微调模型上都有良好的泛化能力，支持不同的强化学习算法。

下面是一些主要的实验结果对比：

从表格数据能看出，ZeroSearch在不同模型和任务上，相比其他方法有一定优势。

ZeroSearch使用指南

1、创建激活虚拟环境：使用conda创建名为zerosearch的虚拟环境，指定Python版本为3.9，然后激活该环境。

conda create -n zerosearch python=3.9
conda activate zerosearch

2、安装依赖项：安装项目所需的各种库，包括torch、vllm、wandb、serpapi等。

pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu121
pip install vllm==0.6.3
pip install wandb
pip install serpapi
# verl
pip install -e.
# flash attention 2
pip3 install flash-attn --no-build-isolation
# sglang
pip install sglang

3、下载训练数据集：使用huggingface-cli下载训练数据集。

huggingface-cli download --repo-type dataset --resume-download sunhaonlp/ZeroSearch_dataset --local-dir ZeroSearch_dataset

4、下载模拟大语言模型：根据需求选择不同参数规模的模型下载。

huggingface-cli download --resume-download sunhaonlp/SearchSimulation_3B --local-dir SearchSimulation_3B
huggingface-cli download --resume-download sunhaonlp/SearchSimulation_7B --local-dir SearchSimulation_7B
huggingface-cli download --resume-download sunhaonlp/SearchSimulation_14B --local-dir SearchSimulation_14B

5、启动本地模拟服务器：有基于提示的模拟和基于微调的模拟两种方式。

# 基于提示的模拟
python -m sglang.launch_server --model-path Qwen2.5-14B-Instruct --host 0.0.0.0 --tp 2 --dp 2 --port 6001
# 基于微调的模拟
python -m sglang.launch_server --model-path SearchSimulation_14B --host 0.0.0.0 --tp 2 --dp 2 --port 6001

6、进行强化学习训练：以Llama-3.2-3B模型为例，设置好Google Search API密钥后，就能使用提供的脚本进行GRPO或PPO训练。

# 激活Conda环境
conda activate zerosearch
# 设置Google Search API密钥
export SER_API_KEY=your_api_key
# 基于提示的模拟
bash train_grpo.sh NUM_GPUS_PER_NODE 4 MODEL_PATH Llama-3.2-3B DATA_PATH ZeroSearch_dataset TOTAL_STEPS 203 IP localhost SEARCH_MODE simulate_prompt SIMULATION_LLM Qwen2.5-14B-Instruct START_THRESHOLD 0.25 END_THRESHOLD 0.5
bash train_ppo.sh NUM_GPUS_PER_NODE 4 MODEL_PATH Llama-3.2-3B DATA_PATH ZeroSearch_dataset TOTAL_STEPS 203 IP localhost SEARCH_MODE simulate_prompt SIMULATION_LLM Qwen2.5-14B-Instruct START_THRESHOLD 0.25 END_THRESHOLD 0.5
# 基于微调的模拟
bash train_grpo.sh NUM_GPUS_PER_NODE 4 MODEL_PATH Llama-3.2-3B DATA_PATH ZeroSearch_dataset TOTAL_STEPS 203 IP localhost SEARCH_MODE simulate_sft SIMULATION_LLM SearchSimulation_14B START_THRESHOLD 0.25 END_THRESHOLD 0.5
bash train_ppo.sh NUM_GPUS_PER_NODE 4 MODEL_PATH Llama-3.2-3B DATA_PATH ZeroSearch_dataset TOTAL_STEPS 203 IP localhost SEARCH_MODE simulate_sft SIMULATION_LLM SearchSimulation_14B START_THRESHOLD 0.25 END_THRESHOLD 0.5