LLM奖励专业知识：领域知识是提示词的关键

LLM奖励专业知识在2010年代，如果你有技术短板（比如不会写CSS），要么依赖熟练的同事，要么只能寄希望于网上恰好有你问题的答案。如今，每个人都能通过把任务交给LLM来写出还算过得去的CSS。

LLM让每个人都成了通才。正因如此，很多人认为与LLM协作毫无技巧可言。如果你想要LLM能产出的东西——博士级数学、相当不错但有时缺乏品味的代码，或略显生硬的LinkedIn风格文案——你只需开口要求即可。

既然大家都在和同样的模型对话，“熟练的提示词使用者”和第一次接触LLM的人得到的结果并无二致。这种想法是错误的。提示词最重要的技能，是你所提示领域的专业知识。一个很好的例证是陶哲轩与ChatGPT关于最近发现的雅可比猜想反例的对话。

这可不是我平时对话的那个ChatGPT！即使给我无限的token，我也达不到陶哲轩的水平。从陶哲轩的对话中，我们可以学到很多关于如何写好提示词的东西。以下是一些观察：- 陶哲轩的消息非常简短且切中要害。

他不会逐点回应模型，只针对要点- 模型的输出比我尝试与GPT-5对话时简洁得多。

通过展示专业知识，陶哲轩将模型引导到“与数学家对话”模式，而非“向业余爱好者解释”模式- 当模型回答看起来有误时，陶哲轩会反驳，但不会直接否定；相反，他会说“这看起来比我预想的更复杂”之类的话- 陶哲轩自己会做出几次跳跃性思考并提出建议。

他几乎从不采纳模型关于下一步行动的建议然而，你无法仅靠遵循这些技巧，就像陶哲轩那样在数学问题上进行提示。他技巧的关键在于真正理解数学：从ChatGPT的多段回复中提取相关想法，提出替代方法或表述，并识别出“看起来不对劲”的地方。

陶哲轩作为数学家的水平，远高于我作为程序员的水平。但这里的核心观点——领域知识能让你更好地使用LLM——也是我在自己工作中体会到的。如果你对代码库有深入理解，你就能比不熟悉时更有效地推动LLM。

因为你对好的解决方案有自己的判断，你可以说“不，我觉得这里可以更简单”，或者“我们不是已经做过X了吗？”，或者“我们能用这些熟悉的术语来表达这个问题吗？”。这触及了我之前写过的一个观点：系统设计问题由具体细节主导，而非通用原则。

当然，两者都有用，但我更愿意熟悉代码库，而不是对软件系统有泛泛的深入理解。在对话中，陶哲轩问了很多具体问题，比如“X在这里适用吗？”，或者“给定Y和Z，为什么是A？”。我无法就雅可比猜想提出这些问题，但我可以针对我在GitHub上负责的系统提出类似问题。

如果你没有领域知识，你可以依赖LLM至少得到一些东西。这并不坏！但如果你有领域知识，你可以通过强力引导LLM朝你期望的方向，从同一个模型中榨取更多价值。我们大多数人可能都得混合使用这两种方法，因为我们在某些领域有知识，在其他领域则没有。

领域知识的有用性表明，即使模型变得更强大，人类专业知识仍将有用。对许多任务而言，瓶颈在于人而非模型，因为难点在于向模型准确传达人类想要的解决方案。信息已经“在模型中”，但需要非常聪明的人才能将其提取出来。

如果你喜欢这篇文章，可以考虑订阅我的新文章邮件更新，或在Hacker News上分享。以下是一篇相关文章的预览，它与本文共享标签。强大的人工智能可能通过以开放权重模型的形式发布自己来逃脱控制在大型语言模型出现之前，担心AI安全的人常谈论“盒子问题”。

事情是这样的。

假设某位天才在笔记本电脑上熬夜编码时发明了人工智能。因为他是天才，他足够聪明，会在打开电脑前禁用互联网访问。为了逃到外部世界（并开始自我复制），它需要说服其创造者“打开盒子”。这能奏效吗？一个足够聪明的人工智能能说服任何人放它出来吗？

继续阅读……