Deepseek本地部署(内置32B和14B模型)

Deepseek本地部署(内置32B和14B模型)

傻木
2025-02-12 / 1 评论 / 58 阅读 / 正在检测是否收录...

首次使用需要联网下载 install open-webui 组件(过程是自动的,体积大约117.3mb,我这边几秒钟就下载好了)
之后就不用联网了

deepseek本地部署由剑二十七制作分享 更新地址 https://www.jian27.com/html/1396.html (此版压缩包40gb+)

以下本站独家负优化(优化后带两个模型总体积14.6gb)

模型已替换为 Q2量化版,显存占用大幅降低,6gb以上黄皮显卡可玩

在显存不够情况下,优先选择降低精度且模型体量大的
例如14b Q2量化版,远比8B fp16好的多
就好比人家说砒霜有毒会毒死人
0.000000000000000000000001毫克砒霜也是砒霜,我不相信能毒死我
在体量面前谈量化,那就是扯淡

模型只保留了14b和32b,14b 实际运行占用5.5gb显存,32b占用约11gb显存

可以自己替换喜欢的模型,原则上gguf后缀的模型都可以,例如有些无限制模型等等
怎么替换请自行研究,不做解答

默认的管理员账号是jian27@126.com 或者 123@123.com 密码都是 1234 进去后 自行修改

刚刚更新的版本只是优化了根目录,看起来更简洁,更适合强迫症患者
优化了根目录

14b.jpg

另附DeepSeek从入门到精通.pdf https://abpyu.lanzoul.com/ieqGO2nk1gsb

回复后刷新可见下载链接(小版本更新已上传完成)
通过百度网盘分享的文件:DeepSeek-tool.V1.002.7z

0

评论 (1)

取消
  1. 头像
    Windows 10 · Google Chrome

    表情

    回复
网站版权本人所有,你要有本事,盗版不究。 sam@gpcb.net