Skip to content

LLM 配置

LinkZone 支持 30+ 大语言模型供应商,通过统一接口调用,无需为不同供应商修改代码。

支持的供应商

供应商标识说明示例模型
openaiOpenAI 官方 APIGPT-4o, GPT-4.1, o3
claudeAnthropic ClaudeClaude Opus 4, Claude Sonnet 4
geminiGoogle GeminiGemini 2.5 Pro, Gemini 2.5 Flash
azureAzure OpenAIGPT-4o, GPT-4.1
deepseekDeepSeekDeepSeek-V3, DeepSeek-R1
qwen通义千问(阿里云)Qwen-Max, Qwen-Plus, QwQ
doubao豆包(字节跳动)Doubao-1.5-Pro
zhipu智谱 AIGLM-4-Plus, GLM-4V-Plus
spark讯飞星火4.0Ultra
hunyuan腾讯混元Hunyuan-Turbos
ernie文心一言(百度)ERNIE-4.0
moonshotMoonshot (Kimi)Moonshot-V1-128K
minimaxMiniMaxMiniMax-Text-01
yi零一万物Yi-Lightning
baichuan百川Baichuan4
stepfun阶跃星辰Step-2-16K
ai360360 智脑360GPT2-Pro
mistralMistralMistral Large
cohereCohereCommand R+
xaixAI (Grok)Grok-3
groqGroq 超高速推理Llama-3.3-70B
siliconflow硅基流动DeepSeek-V3, Qwen2.5-72B
togetherTogether AILlama-3.3-70B
fireworksFireworks AILlama-3.3-70B
novitaNovita AIDeepSeek-R1
replicateReplicateLlama-3.3-70B
cloudflareCloudflare Workers AILlama-3.3-70B
openrouterOpenRouter 聚合路由多模型
ollamaOllama 本地推理自定义

配置方式

LLM 通过 Upstream(上游)机制管理。每个 Upstream 代表一个 LLM 供应商的接入配置,包含 API 地址、密钥、可用模型等。

通过 Web 后台配置

在管理后台 → LLM 管理中,可以:

  • 添加、编辑、删除 Upstream
  • 测试 Upstream 连通性
  • 自动获取供应商支持的模型列表
  • 配置模型回退链
  • 查看所有可用模型

Upstream 配置字段

字段类型必填说明
namestring上游名称,用于展示
providerstring供应商标识(如 openaiclaudegemini
base_urlstringAPI 地址
api_keystringAPI 密钥
models[]string支持的模型列表
enabledbool是否启用(默认 true
priorityint优先级,数值越大越优先(默认 100
weightint负载均衡权重(默认 100
timeoutint超时时间秒数(默认 30
default_modelstring默认模型
model_mappingmap模型名称映射

常见供应商配置示例

DeepSeek

字段
provideropenai
base_urlhttps://api.deepseek.com/v1
api_key你的 DeepSeek API Key
modelsdeepseek-chat, deepseek-reasoner

OpenAI

字段
provideropenai
base_urlhttps://api.openai.com/v1
api_key你的 OpenAI API Key
modelsgpt-4o, gpt-4o-mini

Ollama(本地模型)

字段
provideropenai
base_urlhttp://localhost:11434/v1
api_keyollama
models你本地运行的模型名

Azure OpenAI

字段
providerazure
base_urlhttps://你的资源名.openai.azure.com
api_key你的 Azure Key
modelsgpt-4o

智能体级别配置

每个智能体可以在 runtime 配置中指定使用的模型,在管理后台 → 智能体管理中编辑:

json
{
  "runtime": {
    "default": {
      "model": "deepseek-chat",
      "temperature": 0.7,
      "max_tokens": 2048,
      "enable_tools": true,
      "max_tool_loops": 5,
      "timeout_seconds": 60
    },
    "scenes": {
      "chat": { "temperature": 0.7, "max_tokens": 2048 },
      "task": { "temperature": 0.3, "max_tokens": 1024 }
    }
  }
}

摘要模型

长期记忆功能使用独立的摘要模型,建议使用更便宜的模型:

json
{
  "memory": {
    "summary_model": "deepseek-chat",
    "summary_enabled": true
  }
}

模型回退

可以为模型设置回退链,当主模型不可用时自动降级。在管理后台 → LLM 管理中配置回退链,例如:

gpt-4odeepseek-chatgpt-4o-mini

基于 MIT 许可发布 | QQ 群:581485581 点击加入