Dify 配置大模型
Dify配置大模型,接上一篇Windows 安装Dify
登录Dify 在右上方点击用户头像
弹窗选设置
安装模型供应商插件
注意:这里如果很快弹窗安装成功只是排队成功。下载安装需要时间
配置大模型提供商
添加/配置模型
以场景的本地部署 ollama和LM Studio为例
ollama
模型名称:
通过ollama list 查看已经pull的大模型,把列表中的NAME配置过来,例如 deepseek-r1:8b
模型类型:
模型类型一般分为LLM 聊天模型,Text Embedding 嵌入模型,Rerank 检索模型
例如 :
- deepseek-r1:8b 是LLM聊天模型
- mxbai-embed-large:latest 是嵌入模型
凭据名称:
非必填,不管
基础URL:
也就是ollama接口地址
例如:http://192.168.31.181:11434
注意:如果是Windows + docker 部署的dify,请不要使用localhost,找不到的哈,使用Windows主机的局域网ip。
上下文长度:
默认即可
以上信息配置完成后点击添加即可。
查看配置的模型
LM Studio 默认搞个gpt-3.5不知道哪里来的,删不掉。
重要提示:
经测试,LM Studio 插件在工作流使用中出现问题,目前无法解决,提代方案使用OpenAI-API-compatible 插件提代(走openai协议),参考Dify OpenAI-API-compatible 使用LM Studio-XQLEE'Blog
系统模型设置
https://www.syntaxspace.com/article/2509161637111553.html
评论