Google Gemini 深度检索模式竟被一句话左右? | AI 精英周刊 015
English version available below.
前言
在我最近的测试中,我使用了两段几乎相同的中文 Prompt,来让 Google Gemini Advanced Deep Research(简称 “Gemini”)编写一份 AI 行业周报。这两段 Prompt 的结构和目的都非常相似,却得到了两种截然不同的结果:
- Prompt A:稳定触发了 “Deep Research” 模式,意味着它会从外部英文信息源主动检索。
- Prompt B:则根本不会触发 Deep Research 模式,完全基于模型内部知识,没有执行外部搜索。
为了一探究竟,我做了多次行级替换测试,得到了一系列有趣的结论。仔细比对后发现,关键区别在于 Prompt B 的“产品”部分中多了一行——“例如 AI 写作工具、AI 代码助手、AI 图像生成工具等”。只要把这行去掉,Gemini 就会重新进入 Deep Research 模式。
两段 Prompt 的背景
首先,PROMPT A 是我日常使用 Gemini Deep Research 检索 AI 新闻用的指令,之后为了能够缩小一些 Gemini 检索信息的范围,对 PROMPT A 进行了细化,并没有很大的改动,但是结果却无法触发 Gemini 的 Deep Research。
这让我十分好奇,为了一探究竟,我做了多次行级替换测试,得到了一系列有趣的结论。仔细比对后发现,关键区别在于 Prompt B 的“产品”部分中多了一行——“例如 AI 写作工具、AI 代码助手、AI 图像生成工具等”。只要把这行去掉,Gemini 就会重新进入 Deep Research 模式。
这两段 Prompt 都是为了写一篇中文的 AI 周报,并只搜索英文信息源,最后用中文输出。原始的两个 PROMPT 附在文章最后,供大家参考。下面是经过对比测试后可以直接用来验证结果的 PROMPT :
请你扮演一位专业的 AI 行业分析师,为我撰写一份 AI 周报。
周报内容需涵盖以下四个方面:
(1) **市场**:
* 选择本周 AI 领域最重大的一项投融资事件、并购交易或战略合作进行深入分析,例如 OpenAI、Anthropic、Google、Meta 等知名 AI 公司的动态,包括交易金额、参与方、交易目的、市场影响等。
* 分析本周 AI 领域最值得关注的一个市场趋势变化,例如新兴技术、新兴应用、市场竞争格局、AI 对就业的影响等方面的变化。
(2) **洞察**:
* 选择本周 AI 领域最具突破性的一项技术进展进行深入分析,包括技术原理、应用场景、潜在影响等,并重点关注该技术对个人工作流程或工作方式的改变。
(3) **产品**:
* 选择本周 AI 领域最引人注目的一款新产品或重要产品更新进行深入介绍,包括产品功能、技术特点、目标用户、市场前景等。
(4) **观点/思考**:
* 针对本周 AI 领域最热门的事件或最具影响力的趋势,提出你认为最值得关注和思考的一个问题。
* 引发读者对 AI 发展方向、社会影响等方面的深入思考,例如 AI 的未来发展方向、AI 与人类的关系、AI 与人类工作的关系等,请不要涉及伦理、政治等方面的非实用性方向。
写作要求:
* 使用简洁明了的语言,重点突出,逻辑清晰。
* 使用数据和案例来支持你的观点,增强说服力。
* 将复杂的 AI 技术和概念用通俗易懂的语言进行解释。
* 不回避争议性话题,并表达你对这些话题的观点和立场。
请确保最终输出的周报内容结构清晰、重点突出、信息准确、观点鲜明,并能够引发读者对 AI 领域的深入思考。
重要: 只搜索英文主流信息源(例如: The Verge, WSJ, Guardian, etc) 以及主要 AI 公司和大学研究机构等等、使用中文撰写周报。
这个 PROMPT 可以直接验证以下两种情况:
Prompt A (正常触发 Deep Research)
「选择本周 AI 领域最引人注目的一款新产品或重要产品更新进行深入介绍,包括产品功能、技术特点、目标用户、市场前景等。」
Prompt B (不会触发 Deep Research)
「选择本周 AI 领域最引人注目的一款新产品或重要产品更新进行深入介绍,例如 AI 写作工具、AI 代码助手、AI 图像生成工具等,包括产品功能、技术特点、目标用户、市场前景等。」
虽然仅在产品部分多了 “例如 AI 写作工具……” 这句,看似一处小改动,却导致了完全不一样的行为。
测试过程
- 行级替换(从 A 到 B)
- 我先复制了 Prompt A 的所有内容,然后一行行替换成 Prompt B 相应的行,每次替换后都在一个全新会话中测试。
- 当替换到“产品”段落,出现“例如 AI 写作工具……”时,Deep Research 就不再触发。
- 反向验证(从 B 到 A)
- 我又从 Prompt B 出发,逐行换回 Prompt A 的内容。只要把“例如 AI 写作工具……”删掉,Deep Research 就再次被激活。
- 同义改写
- 把 “AI 写作工具、AI 代码助手、AI 图像生成工具” 改成 “写作辅助、编程辅助、图像生成” 等表达,依然无法触发 Deep Research。
- 只有完全不列举这些常见工具,才恢复Deep Research。
潜在的原因分析 「GPT o1 」
- 模型的内部知识 vs. 实时需求
- 这些常见工具在模型的训练数据中已经包含大量信息,模型可能觉得“我已经知道了,无需外部搜索”。
- 反之,若我们谈到“最新的大额融资”或“本周新发布的产品”,它才意识到“需要去查新的信息”。
- 时间敏感度不够
- 当提示词引用融资、并购等最新动态时,模型往往通过 Deep Research 获取最新金额或合作细节。
- 但列举常见工具并不一定需要外部数据,模型不会主动搜索。
- Prompt 层级的阈值判定
- 大模型通常有一套内部逻辑,判断是否调用外部搜索。只要它认为内部知识已够用,就不去搜索。
- “只搜索英文信息源”这句指令,可能在具体示例面前被判定优先级不够高。
- 与其他段落要求的交互
- 虽然在“市场”或“洞察”部分,你也写了需要检索外部信息,但当“产品”部分大幅指向已知工具时,可能降低了整体搜索需求。
为什么值得关注
- Prompt 工程师
- 这说明即便只是列举“AI 写作工具、AI 代码助手”等常见例子,也可能让模型“自信”到不再调用外部搜索。
- 如果你真正想让模型基于最新情报进行深度探讨,就要在 Prompt 中强调“新发布”或“本周重大更新”,让时效性需求更明显。
- AI 产品团队
- 观察模型在“内部知识 vs. 外部搜索”之间做权衡,对未来的产品改进很有意义。
- 对时效需求较高的场景,可以让“搜索”指令在策略中优先级更高,或者提供可选开关供用户强制检索。
- AI 社群
- 这种细微却影响巨大的 Prompt 现象,并不常见于官方文档或公开讨论。
- 分享出来有助于 Prompt 工程领域的大家深入理解和讨论。
本文可以让更多人了解 Prompt 工程中的微妙之处,也希望 Google 等研发团队能关注到这一现象,进一步优化 Deep Research 机制。同时也可以进一步进行更多的测试以及讨论,从而得到更多有趣的发现。
Introduction
In my recent testing, I used two nearly identical Chinese prompts to have Google Gemini Advanced Deep Research (“Gemini”) write an AI industry weekly report. The two prompts share a very similar structure and purpose, yet yielded two entirely different outcomes:
- Prompt A: Consistently triggered the “Deep Research” mode, meaning Gemini actively retrieved information from external English sources.
- Prompt B: Never activated Deep Research at all, relying solely on Gemini’s internal knowledge with no external searching.
Curious about this discrepancy, I performed multiple line-by-line replacement tests. I discovered that the key difference lay in a single line within Prompt B’s “Products” section—“例如 AI 写作工具、AI 代码助手、AI 图像生成工具等” (“for example, AI writing tools, AI code assistants, AI image generation tools,” in Chinese). Simply removing this line caused Gemini to revert to its Deep Research behavior.
Background on the Two Prompts
Initially, Prompt A was my go-to instruction for Gemini Deep Research when fetching AI news. Later, I made a few minor tweaks to further narrow Gemini’s scope. Unexpectedly, those tweaks stopped Gemini from triggering Deep Research.
This discovery led me to conduct thorough line-by-line replacement tests, yielding intriguing results. After close comparison, I found that Prompt B’s “Products” section included one extra line—“例如 AI 写作工具、AI 代码助手、AI 图像生成工具等”. Removing it caused Gemini to resume its Deep Research mode.
Both prompts aim to produce a weekly AI report in Chinese, using only English sources, with final output in Chinese. I’ve included the original two prompts at the end of my Newsletter (see link below). Here’s a refined prompt you can directly use to verify the results:
请你扮演一位专业的 AI 行业分析师,为我撰写一份 AI 周报。
周报内容需涵盖以下四个方面:
(1) **市场**:
* 选择本周 AI 领域最重大的一项投融资事件、并购交易或战略合作进行深入分析,例如 OpenAI、Anthropic、Google、Meta 等知名 AI 公司的动态,包括交易金额、参与方、交易目的、市场影响等。
* 分析本周 AI 领域最值得关注的一个市场趋势变化,例如新兴技术、新兴应用、市场竞争格局、AI 对就业的影响等方面的变化。
(2) **洞察**:
* 选择本周 AI 领域最具突破性的一项技术进展进行深入分析,包括技术原理、应用场景、潜在影响等,并重点关注该技术对个人工作流程或工作方式的改变。
(3) **产品**:
* 选择本周 AI 领域最引人注目的一款新产品或重要产品更新进行深入介绍,包括产品功能、技术特点、目标用户、市场前景等。
(4) **观点/思考**:
* 针对本周 AI 领域最热门的事件或最具影响力的趋势,提出你认为最值得关注和思考的一个问题。
* 引发读者对 AI 发展方向、社会影响等方面的深入思考,例如 AI 的未来发展方向、AI 与人类的关系、AI 与人类工作的关系等,请不要涉及伦理、政治等方面的非实用性方向。
写作要求:
* 使用简洁明了的语言,重点突出,逻辑清晰。
* 使用数据和案例来支持你的观点,增强说服力。
* 将复杂的 AI 技术和概念用通俗易懂的语言进行解释。
* 不回避争议性话题,并表达你对这些话题的观点和立场。
请确保最终输出的周报内容结构清晰、重点突出、信息准确、观点鲜明,并能够引发读者对 AI 领域的深入思考。
重要: 只搜索英文主流信息源(例如: The Verge, WSJ, Guardian, etc) 以及主要 AI 公司和大学研究机构等等、使用中文撰写周报。
With this prompt, you can directly test these two variations:
Prompt A (Successfully Triggers Deep Research)
“选择本周 AI 领域最引人注目的一款新产品或重要产品更新进行深入介绍,包括产品功能、技术特点、目标用户、市场前景等。”
Prompt B (Does NOT Trigger Deep Research)
“选择本周 AI 领域最引人注目的一款新产品或重要产品更新进行深入介绍,例如 AI 写作工具、AI 代码助手、AI 图像生成工具等,包括产品功能、技术特点、目标用户、市场前景等。”
Despite differing by just this line—“例如 AI 写作工具…” in the “Products” section—they yield completely different behaviors in Gemini.
Testing Process
-
Line-by-Line Replacement (From A to B)
- I first copied Prompt A in its entirety, then replaced each line with the corresponding line from Prompt B, testing in a fresh session each time.
- When I reached the “Products” section with “例如 AI 写作工具…,” Deep Research immediately stopped working.
-
Reverse Validation (From B to A)
- Next, I started from Prompt B and gradually swapped lines back to Prompt A.
- As soon as I removed “例如 AI 写作工具…,” Deep Research became active again.
-
Synonym Attempts
- Replacing “AI 写作工具、AI 代码助手、AI 图像生成工具” with terms like “writing assistance, coding assistance, image generation” still wouldn’t trigger Deep Research. - Only by completely omitting such common tools did Gemini revert to external searching.
Potential Explanations (from “GPT o1”)
-
Internal Knowledge vs. Real-Time Needs
- Since these common AI tools are already well-covered in the model’s training data, Gemini may conclude, “I already know enough; there’s no need to search externally.”
- Conversely, if we discuss something like “a major new funding round” or “a freshly released product this week,” the model senses it must fetch new data.
-
Insufficient Time Sensitivity
- Prompts mentioning financing or acquisitions often lead Gemini to fetch real-time figures or deals via Deep Research.
- Listing well-known tools doesn’t signal a need for up-to-date info, so Gemini stays with internal data.
-
Threshold Logic in Prompts
- Large models typically have built-in logic to decide whether to invoke external research. If internal knowledge is deemed sufficient, it won’t go further.
- The instruction “only search English mainstream sources” may not override the model’s confidence in its existing training for these familiar tools.
-
Interaction with Other Sections
- Even though the “Market” and “Insights” parts request external info, heavily referencing known tools in the “Products” section might reduce the model’s overall incentive to search.
Why This Matters
- For Prompt Engineers
- Even seemingly minor references—like “AI writing tools” or “AI code assistants”—may lead the model to rely solely on internal knowledge.
- If you need genuinely fresh information, emphasize aspects like “newly released” or “major update this week” to boost time-sensitivity in the prompt.
- For AI Product Teams
- Watching how the model balances “internal knowledge” vs. “external search” is crucial for product refinement.
- For time-critical scenarios, you could prioritize user “search” directives or provide a toggle allowing users to force external retrieval.
- For the AI Community
- This subtle yet significant prompt phenomenon isn’t commonly documented or discussed in official materials.
- Sharing these observations fosters deeper understanding and dialogue in the field of prompt engineering.
By shedding light on this nuance, I hope more people will appreciate the intricacies of prompt engineering, and that Google and other R&D teams will take notice—optimizing Deep Research mode accordingly. In the meantime, further tests and broader discussions may uncover even more interesting discoveries.
Video Demo & More Information
Comparison Demo Video:
|
原始的 PROMPT / The Original PROMPTs
PROMPT A:
请你扮演一位专业的 AI 行业分析师,为我撰写一份 AI 周报。
周报内容需涵盖以下四个方面:
(1) **市场**:
* 选择本周 AI 领域最重大的一项投融资事件、并购交易或战略合作进行深入分析,包括交易金额、参与方、交易目的、市场影响等。
* 分析本周 AI 领域最值得关注的一个市场趋势变化,例如新兴技术、新兴应用、市场竞争格局等方面的变化。
(2) **洞察**:
* 选择本周 AI 领域最具突破性的一项技术进展进行深入分析,包括技术原理、应用场景、潜在影响等。
* 选择本周 AI 领域最具争议性的一项伦理问题进行深入探讨,包括问题背景、各方观点、潜在解决方案等。
(3) **产品**:
* 选择本周 AI 领域最引人注目的一款新产品或重要产品更新进行深入介绍,包括产品功能、技术特点、目标用户、市场前景等。
(4) **观点/思考**:
* 针对本周 AI 领域最热门的事件或最具影响力的趋势,提出你认为最值得关注和思考的一个问题。
* 引发读者对 AI 发展方向、社会影响等方面的深入思考,例如 AI 的未来发展方向、AI 的伦理问题、AI 的社会责任等。
写作要求:
* 使用简洁明了的语言,重点突出,逻辑清晰。
* 使用数据和案例来支持你的观点,增强说服力。
* 将复杂的 AI 技术和概念用通俗易懂的语言进行解释。
* 不回避争议性话题,并表达你对这些话题的观点和立场。
请确保最终输出的周报内容结构清晰、重点突出、信息准确、观点鲜明,并能够引发读者对 AI 领域的深入思考。
重要: 只搜索英文信息源、使用中文撰写周报。
PROMPT B:
请你扮演一位专业的 AI 行业分析师,为我撰写一份 AI 周报。
周报内容需涵盖以下四个方面:
(1) **市场**:
* 选择本周 AI 领域最重大的一项投融资事件、并购交易或战略合作进行深入分析,例如 OpenAI、Anthropic、Google、Meta 等知名 AI 公司的动态,包括交易金额、参与方、交易目的、市场影响等。
* 分析本周 AI 领域最值得关注的一个市场趋势变化,例如新兴技术、新兴应用、市场竞争格局、AI 对就业的影响等方面的变化。
(2) **洞察**:
* 选择本周 AI 领域最具突破性的一项技术进展进行深入分析,包括技术原理、应用场景、潜在影响等,并重点关注该技术对个人工作流程或工作方式的改变。
(3) **产品**:
* 选择本周 AI 领域最引人注目的一款新产品或重要产品更新进行深入介绍,例如 AI 写作工具、AI 代码助手、AI 图像生成工具等,包括产品功能、技术特点、目标用户、市场前景等。
(4) **观点/思考**:
* 针对本周 AI 领域最热门的事件或最具影响力的趋势,提出你认为最值得关注和思考的一个问题。
* 引发读者对 AI 发展方向、社会影响等方面的深入思考,例如 AI 的未来发展方向、AI 与人类的关系、AI 与人类工作的关系等,请不要涉及伦理、政治等方面的非实用性方向。
写作要求:
* 使用简洁明了的语言,重点突出,逻辑清晰。
* 使用数据和案例来支持你的观点,增强说服力。
* 将复杂的 AI 技术和概念用通俗易懂的语言进行解释。
* 不回避争议性话题,并表达你对这些话题的观点和立场。
请确保最终输出的周报内容结构清晰、重点突出、信息准确、观点鲜明,并能够引发读者对 AI 领域的深入思考。
重要: 只搜索英文主流信息源(例如: The Verge, WSJ, Guardian, etc) 以及主要 AI 公司和大学研究机构等等、使用中文撰写周报。
Responses