Skip to content

LLM 配置

LinkZone 支持 30+ 大语言模型供应商,通过统一接口调用,无需为不同供应商修改代码。

支持的供应商

国际

提供商标识模型示例说明
OpenAIopenaiGPT-4o, GPT-4.1, o3, o4-mini官方 API
AnthropicclaudeClaude Opus 4, Claude Sonnet 4独立协议
GooglegeminiGemini 2.5 Pro, Gemini 2.5 Flash独立协议
Azure OpenAIazureGPT-4o, GPT-4.1Azure 托管
OpenAI Responsesopenai-responsesGPT-4o, o3Responses API
MistralmistralMistral Large, Codestral官方 API
CoherecohereCommand R+, Rerank官方 API
xAIxaiGrok-3, Grok-2官方 API

国内

提供商标识模型示例说明
DeepSeekdeepseekDeepSeek-V3, DeepSeek-R1推理模型
通义千问qwenQwen-Max, Qwen-Plus, QwQ阿里云
豆包doubaoDoubao-1.5-Pro, Doubao-1.5-Thinking字节跳动
智谱 AIzhipuGLM-4-Plus, GLM-4V-Plus智谱
讯飞星火spark4.0Ultra, General V3.5讯飞
腾讯混元hunyuanHunyuan-Turbos, Hunyuan-Pro腾讯
文心一言ernieERNIE-4.0, ERNIE-3.5百度
MoonshotmoonshotMoonshot-V1-8K/32K/128KKimi
MiniMaxminimaxMiniMax-Text-01MiniMax
零一万物yiYi-Lightning, Yi-Large零一万物
百川baichuanBaichuan4, Baichuan3-Turbo百川
阶跃星辰stepfunStep-2-16K, Step-1-8K阶跃星辰
360 智脑ai360360GPT2-Pro360

推理平台

提供商标识模型示例说明
GroqgroqLlama-3.3-70B, Mixtral超高速推理
SiliconFlowsiliconflowDeepSeek-V3, Qwen2.5-72B硅基流动
Together AItogetherLlama-3.3-70B, Qwen2.5-72B开源模型推理
Fireworks AIfireworksLlama-3.3-70B, Qwen2.5-72B高速推理
Novita AInovitaLlama-3.3-70B, DeepSeek-R1推理与图片生成
ReplicatereplicateLlama-3.3-70B云端推理
Cloudflare AIcloudflareLlama-3.3-70B, Qwen2.5-72BWorkers AI

其他

提供商标识模型示例说明
OpenRouteropenrouterGPT-4o, Claude, Gemini多模型聚合路由
Ollamaollama自定义本地模型推理

配置方式

LLM 通过 Upstream(上游)机制管理。每个 Upstream 代表一个 LLM 供应商的接入配置,包含 API 地址、密钥、可用模型等。

通过 Web 后台配置

在管理后台 → LLM 管理中,可以:

  • 添加、编辑、删除 Upstream
  • 测试 Upstream 连通性
  • 自动获取供应商支持的模型列表
  • 配置模型回退链
  • 查看所有可用模型

Upstream 配置字段

字段类型必填说明
namestring上游名称,用于展示
providerstring供应商标识(如 openaiclaudegemini
base_urlstringAPI 地址
api_keystringAPI 密钥
models[]string支持的模型列表
enabledbool是否启用(默认 true
priorityint优先级,数值越大越优先(默认 100
weightint负载均衡权重(默认 100
timeoutint超时时间秒数(默认 30
rpmint每分钟请求限制
tpmint每分钟 Token 限制
default_modelstring默认模型
disabled_modelsmap禁用的模型
model_mappingmap模型名称映射

智能体级别配置

每个智能体可以在 runtime 配置中指定使用的模型,在管理后台 → 智能体管理中编辑:

json
{
  "runtime": {
    "default": {
      "model": "deepseek-chat",
      "temperature": 0.7,
      "max_tokens": 2048,
      "enable_tools": true,
      "max_tool_loops": 5,
      "timeout_seconds": 60
    },
    "scenes": {
      "chat": { "temperature": 0.7, "max_tokens": 2048 },
      "task": { "temperature": 0.3, "max_tokens": 1024 }
    }
  }
}

摘要模型

长期记忆功能使用独立的摘要模型,建议使用更便宜的模型:

json
{
  "memory": {
    "summary_model": "deepseek-chat",
    "summary_enabled": true
  }
}

常见供应商配置示例

添加 Upstream 时,需要根据供应商填写不同的配置:

DeepSeek

字段
provideropenai
base_urlhttps://api.deepseek.com/v1
api_key你的 DeepSeek API Key
modelsdeepseek-chat, deepseek-reasoner

OpenAI

字段
provideropenai
base_urlhttps://api.openai.com/v1
api_key你的 OpenAI API Key
modelsgpt-4o, gpt-4o-mini

Ollama(本地模型)

字段
provideropenai
base_urlhttp://localhost:11434/v1
api_keyollama
models你本地运行的模型名

Azure OpenAI

字段
providerazure
base_urlhttps://你的资源名.openai.azure.com
api_key你的 Azure Key
modelsgpt-4o

模型路由

当智能体请求某个模型时,框架按以下规则路由:

  1. 查找所有启用的、支持该模型的 Upstream
  2. 按优先级排序(priority 越大越优先)
  3. 同优先级按权重负载均衡
  4. 熔断器打开的 Upstream 自动跳过
  5. 请求失败自动重试下一个 Upstream

模型回退

可以为模型设置回退链,当主模型不可用时自动降级。在管理后台 → LLM 管理中配置回退链,例如:

gpt-4odeepseek-chatgpt-4o-mini

基于 MIT 许可发布 | QQ 群:581485581 点击加入