趁着游戏开发研究，对比了下几家联网搜索 AI

最近做游戏开发技术的研究，在搜索信息上对比了几个联网 AI，来分享下我的收获。

这次用到的 AI 产品包括：Bard（Gemini Pro）、GPT-4、Kimi、Perplexity（普通模式和 Copilot 模式都用了）、GPTs（用本地的开发文档和指定网页做参考）

1. 几大联网 AI 的表现

Bard：整体表现还不错，到了能用的水平了，基本能清晰给出回答并附上来源，响应速度也很快

GPT-4：虽然模型很强，但这块的搜索表现实在不堪，对话有时会中途卡住、还有比较明显的轮次限制，输出的回答也基本没多少有参考性的

Kimi：基本没有参考性，找的信源都是中文的，引用的很多网站、论坛都是我自己不会去参考的；即便换成英文提问，搜索到的参考依然是中文网络的，推测和国内访问范围有关

Perplexity：搜索范围相关性很高、响应速度也很快，但总结的结论比较泛，没有抓住重点，开启 Copilot 能明显感觉到搜索步骤分得更细、参考来源更广泛，但生成结果的依然抓不到重点

GPTs：综合表现最好的，技术更新方面的重点提取得非常精准，几乎是一步到位解答问题，也都有出处来源

2. 横向对比几大联网 AI 的结论

- 游戏开发垂直领域问答，对我这次整理信息的帮助性 GPTs > Bard > GPT-4 > Perplexity > Kimi

- 如果要参考的内容主要在英文互联网，优先考虑 Bard、GPT、Perplexity 这些海外的联网 AI 产品。搜索范围和英文处理能力都更好，而 Kimi 的搜索主要还是在中文互联网，感觉 AI 本身能力不差，但可能因为输入信息质量不高、出来的回答参考性也很有限

- 虽然 GPTs 和 GPT-4 都用的 Bing 搜索，但通过代入角色、指定优先搜索信源、上传知识库，回答质量能获得肉眼可见的提升，对于我关心的技术问题，用其他 AI 搜索要多轮问答还不一定能问出想要的结果，但我用自己搭建的 GPTs 基本一步到位就能解答

- 如何给 GPTs 知识库上传超多文档，我有 460+ 数量、100+ MB 的 Markdown 开发文档要给 GPTs 用，一开始直接上传的压缩包，可以读取但响应慢、要等每次解压，生成回答过程中很容易报错。后来去 OpenAI 开发者论坛逛了一圈，发现很多人说 JSON 效果不错，就让 GPT-4 帮我写了个脚本，遍历所有子级目录的 Markdown 合并到一个 JSON 中，包含文件名、路径、Markdown 正文，替换压缩包后 GPTs 检索知识库的速度明显更快更准了，因为去掉了用处不大的图片，知识库文件的体积也从 100+ MB 缩小到了 2 MB

3. 我用到的提示词

为了保证横向对比的参考性，我尽量用了同一套提示词开始搜索，再根据 AI 的回答追问，直至得到想要的回答、或发现 AI 怎么问都没法给出更准的结果为止，提示词如下：

```

You are a Pro {game_title} player and creator. Now take a deep breath, Help me summarize updates of {modules} from {version1} to {version2}

Once your answer is ready, translate it into Chinese following these steps while keeping the citations:

1. Translate directly from English to Chinese, taking into account the terminology used in the game {game_title}.

2. Polish the translation according to Chinese language conventions, leaving spaces between English/numbers and Chinese characters.

```

关于 GPTs 知识库为什么更推荐用 JSON，可参考这两个帖子：

https://community.openai.com/t/who-has-had-success-with-adding-many-or-large-documents-to-the-knowledge-section/498177

https://community.openai.com/t/speeding-up-knowledge-base-searches-in-build-a-gpt/500600