本地部署DeepSeek R1大模型:基于Ollama与Chatbox的完整指南
DeepSeek R1模型特性
DeepSeek R1作为当前最先进的70B参数开源大语言模型,具备以下核心优势:
- 多语言理解能力:支持中英双语混合场景
- 长文本处理:32k tokens上下文窗口
- 量化版本适配:提供4-bit/8-bit量化模型,显著降低硬件门槛
Ollama框架优势
Ollama作为轻量级模型运行框架,提供:
- 自动GPU加速:通过DirectML实现显存优化
- 模型版本管理:支持多版本共存与快速切换
- 标准化API:兼容OpenAI格式的REST接口
Chatbox客户端
开源GUI工具,提供:
- 可视化对话界面:支持对话历史管理与标记
- 高级参数调节:temperature/top_p等参数实时调整
- 插件扩展:可集成知识库检索功能
步骤详解
1.首先官网下载ollama,解压安装到本机。
2.使用 ollama命令进行大模型。
进入ollama的官网进行模型选择:https://ollama.com/search,我选择的是deepSeek-r1。
点击下拉框,可选择模型版本列表,4b 代表该模型有40亿参数,当然参数越大效果越好,但同样也要求你的电脑配置越高,不够高的话不仅运行慢,还可能卡死机。我此处选择了 7b。点击复制命令道终端运行。
3.下载完成
等待下载完成。
下载完成后即可在终端使用。
4.结合Chatbox实现界面化
终端访问在关闭终端之后,再次访问需要再次输入命令ollama run deepseek-r1:7b。当该模型已经下载的时候会自动启动。黑窗口交互便捷性不高。结合Chatbox实现界面化访问管理
Chatbox 官网:https://chatboxai.app/zh
进行Chatbox下载安装
进行Chatbox配置,点击设置-选择ollama api-选择模型。
设置完成点击新对话,即可完成。
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Ann!