AI 见闻
精选· 重要性 3/5

llm-chat-completions-server 0.1a0:为 LLM 添加 OpenAI 兼容的聊天补全端点

Simon Willison's Weblog··约 1 分钟阅读
中文导读

Simon Willison 发布 llm-chat-completions-server 插件,基于 LLM 0.32rc1 的新内容可寻址日志,为本地模型提供 OpenAI Chat Completions API 兼容接口,简化对话状态管理。

2026年7月30日LLM 0.32rc1中新的内容可编址日志的一个关键目标是能够支持OpenAI Chat Completion风格的请求,其中每条收到的消息都会扩展之前的对话,如下所示:curl http://localhost:

8002/v1/chat/competitions\-H '内容类型:应用程序/json '\-d '{“型号”:“qwen3.5- 4 b”,“消息”:[{“角色”:“用户”,“内容”:“法国首都?

"},{“角色”:“助理”,“内容”:“巴黎。"},{“角色”:“用户”,“内容”:“德国?"}]}'在这里,对话状态由客户端跟踪,因此这些请求中的每个请求都会变得越来越长。LLM中的新模式设计旨在使用各个消息部分的哈希值来消除重复数据。

为了测试这一点,我构建了这个插件:uv工具安装llm --prollm安装llm-chat-Completions-serverllm聊天完成-服务器-p 9001运行此操作会在端口9001上启动本地主机服务器,

该服务器使用ChatGPT Completions兼容端点公开您的完整LLM模型集合(来自您安装的任何插件)。GPT-5.6 Sol编写了整个内容-事实证明,它非常了解OpenAI Chat Completions API的形状。

最近的文章- OpenAI对Hugging Face的意外网络攻击是科幻小说-2026年7月22日- 与Claude Code团队的Cat和Thariq进行炉边聊天-2026年7月21日- Kimi K3,以及我们仍然可以从鹈鹕基准中学到什么-2026年7月16日

原文出处
llm-chat-completions-server 0.1a0

本文为机器翻译辅以 AI 润色,仅供参考。原始事实以原文为准。

相关阅读