土产货部署如故硬核玩家的玩法。
这个春节假期，要说"红得发紫"的科技家具，DeepSeek 应该当之无愧。
甚而平时对科技新闻绝不在意的长者们，也走过来问小雷有莫得据说过 DeepSeek。在我的印象中，上一次 AI 大模子如斯深远东说念主心的，如故 OpenAI 的 ChatGPT。
大富大贵的背后，是 DeepSeek 碰到一语气且高强度的汇注抨击，大部分时候官网都没想法平淡生成内容，即便关闭联网搜索，具备深度推理才略的 DeepSeek-R1 在线模子如故无法平淡使用。好在，在华为等广阔科技公司的相沿下，第三方平台纷繁接入 DeepSeek 的 API，让结实在线使用成为了可能。
不外这些渠说念本色上如故线上走访，春节时间休息的小雷，还想玩一把更大的，比如把 DeepSeek 大模子部署到土产货。
于是，在春节时间，小雷动起手来履行了一下。
下载慢还得敲代码，打造" AI 电脑"阻塞易
事实上，非论是不是 DeepSeek，想要在我方电脑部署一个土产货大模子，践诺的门径并未几，难点在于寻找到对应的资源和高歌。但需要忽闪的少许是，土产货大模子虽说是也曾磨砺好的制品，但也需要有一定的硬件基础，体验才算得上好。
（图片来自 Ollama）
率先，咱们不错到 Ollama 官网下载一个桌面端应用，这个应用至极于一个承载土产货大模子的"盒子"，除了 DeepSeek 以外，你不错在 Ollama 官网的模子库中找到许多开源大模子。
Ollama 桌面端并不提供任何驱散界面，想要将大模子下载到土产货，需要在 Ollama 官网的模子库当中找到对应模子的代码，复制到 PowerShell（Win+R 输入 PowerShell 回车掀开）当中，就不错践诺模子数据的拉取和装置。
（图片来自雷科技）
小雷选的是 DeepSeek-R1 模子当中的 7b 版块，也便是带有 70 亿参数的 DeepSeek-R1 模子，占用 4.7GB。土产货大模子参数目越大当然是越好，不错提供更精确的言语相识和更高质料的文本生成才略，具备更强的逻辑推理和学习才略，同期学问储备和泛化才略。但土产货大模子依赖电脑缠绵才略，每个东说念主对大模子的需求不同，不应该"硬来"。
一般来说，运行 1.5B 参数的模子最低需要 4GB 显存的 GPU 以及 16GB 的内存，如若够不上条款，则会强诈欺用 CPU 进行缠绵，硬件包袱更大，且推理的时分会更长。而满血版的 DeepSeek-R1 参数目为 671b，体积达到 404GB，需要更高规格的缠绵硬件能力包袱得起，关于个东说念主部署需求，小雷提倡 1.5b-8b 参数最为适合。
（图片来自雷科技）
模子数据拉取竣事，系统则会自动践诺装置，完成之后就不错径直在 PowerShell 窗口当中径直调取刚下载的 DeepSeek-R1 模子，输入框填写问题发送，土产货大模子就会推理并生成。
到这里，DeepSeek-R1 土产货大模子的部署就完成了，表面上世界也不错凭据这样的递次去部署其它大模子上电脑。
但每次开启电脑都要掀开 PowerShell 界面能力激活大模子，关于等闲用户而言并不浮浅，这个时候咱们需要给 DeepSeek-R1 装置一套更直不雅的交互界面。小雷采纳了在 Docker 应用（图标是一个蓝色海豚）上添加一个 Open-WebUI 组件，让 DeepSeek-R1 不错通过浏览器界面交互，并赋予它算计高下文的才略。
具体来看，需要先下载 Docker 桌面端，按照默许的诱惑完成装置之后（可跳过账号注册等门径），再次掀开 PowerShell 界面复制并践诺以下这条请示，小雷帮世界省下去 Github 查找的时分了：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如若是使用 NVIDIA GPU 的小伙伴，则需要使用以下这条请示：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
拉取大模子文献和 Open WebUI 组件需要一个比较漫长的经过，尤其是汇注不太联想（或者莫得科学上网）的环境，下载器会束缚重试 / 切换线路，出现下载进程丢失的问题。
装置完成之后，Docker 应用中就会出现一个 Open-WebUI 的相关组件，把它勾选启动，再点击" 3000:8080 "字样的麇集，系统就会跳转到网页。
（图片来自雷科技）
这个时候，你就获取了一台带有 AI 土产货大模子的果然的" AI 电脑"了。
小雷体验了通盘部署经过，门径并不算复杂，系统的数据拉取和装置都是自动化的，主要如故在搜索高歌行和装置资源，以及拉取和装置组件时花了比较多的时分，Ollama 和 Docker 都不错通过百度搜索到，小雷也在上头提供了对应的跳转麇集，出手才略且有敬爱的诸位不错尝试尝试。
虽然了，土产货部署大模子的递次并不唯一这一个，像华为刚推出的 ModelEngine 等，具备一站式磨砺优化和一键部署的才略，应该是面向企业端的开发器用。
离线使用是善事，但生成才略不如云表版
国内的 AI 大模子应用采纳好多，而况网页端处事很都全，那么土产货部署的道理在那处？
前边铺垫了这样多职责准备土产货大模子，过失有两点：第一，土产货大模子的通盘模子数据和对话记载都是十足离线，存储在土产货，土产货推理反当令分更快，也幸免了明锐内容流露。同期在飞机等无网环境之下，也不错平淡使用大模子；第二，土产货部署相沿多样开源模子，个东说念主用户不错无邪扩展和切换，也不错凭据自身需求进行优化和器用集成，总之操作空间会比线上大模子更多。
不外小雷部署的时分还不长，许多功能还没摸清爽，此次就约略商酌一下土产货大模子的体验怎样。
小雷装置 DeepSeek-R1 7b 模子的电脑是机械改进无界 14X，玩忽本定位，运行内存为 24GB，并莫得配备寥寂显卡这种硬件，不在土产货部署大模子的保举设立边界内，算是一个"反面课本"。换句话说，DeepSeek-R1 7b 模子在这款电脑上，需要更多的推理时分和资源占用能力够平淡生成内容。
（图片来自雷科技）
像"饭后胀气"等问题的商酌和谜底，大模子需要想考 30 秒 -1 分钟才到谜底生成阶段，时间电脑的负载会达到岑岭，CPU 和内存简直被占满，不错遐想莫得寥寂显卡的电脑带动土产货大模子会比较吃力，小雷合计给出的谜底果然有一定的正向参考的作用。
（图片来自雷科技）
比较于谜底，小雷更感敬爱的如故 DeepSeek 拟东说念主化的想考经过，很少有 AI 助手把想考的经过作念到如斯拟东说念主化，不管生成的谜底是否准确，它的拟东说念主化推理经过似乎也能激起许多等闲用户的敬爱。
如若把雷同的问题放在网页端的 DeepSeek 大模子，并启用 R1 深度想考，径直生成了一个"处事器坚苦"的回馈，密集的走访果然给 DeepSeek 变成了不少困扰，这个时候想要平淡地和它交谈，土产货部署才略不一定很强，至少能够走访得到。
（图片来自 DeepSeek）
再换一个问题，小雷用了一起经典的概率题目向土产货 DeepSeek-R1 7b 发起发问。网页端 DeepSeek-R1 握续坚苦中，土产货 DeepSeek 可能也有一些昆仲无措，列举了多种情况后又自行驳回，临了还混入了之前发问的"饭后胀气"的内容，画面显得至极滑稽。
（图片来自雷科技）
土产货 DeepSeek 在一语气输出十多分钟后也莫得提供谜底，探求到时分有限，小雷如故罢手了生成。
只可说数学题目关于 70 亿参数的 DeepSeek-R1 7b 如故过于复杂，在线大模子都不一定能够输出准确谜底，土产货就更成问题了，同期高参数的土产货大模子推理的经过中，电脑的负载压力也会拉满。
从开源的角度去分析，土产货大模子的推广性和可玩性会比传统的线上大模子更好玩。但土产货大模子的部署世界也很清爽，操作起来并不是很容易，想要挖掘更多玩法，如故要靠出手才略强的用户。
土产货部署 DeepSeek，仅仅图个崭新好玩？
那么，土产货大模子值得东说念主手一个吗？小雷的谜底是含糊的。
就现阶段的生成才略来说，土产货大模子很难跟线上大模子失色，参数范畴和缠绵才略摆在那，笃定没法跟正规大模子公司背后的算力集群对比。土产货大模子适合出手才略强的电脑用户折腾，深度发掘果然能带来一些功能上的便利，毕竟土产货大模子在系统底层中运行，能够更好地与硬件趋奉。
但行动等闲用户，部署自己也算不上是一件多容易的事情，大模子的左近配套并莫得遐想中进修，Ollama 官网全是英文，Docker 应用也不提供华文相沿，自己在部署上就有较高的门槛。小雷部署一个土产货 DeepSeek 大模子，仅仅图个崭新，平均生成用时 20 秒起步，除了不错离线随地用，等闲的生成需求，体验如故不如在线大模子。
像读取文献分析、联网采集数据分析这些才略，还需要用户我方来折腾，小雷现时部署的 DeepSeek 还仅仅个驱动。另外如若你有一天无须了想要删掉大模子数据，还需要学习门径来取销，不然它就会一直占用系统盘的存储空间。
（图片来自 mockup）
在小雷看来，DeepSeek 走开源说念路，最主要的原因如故为了打响商场影响力，先行占据商地点位，眩惑行业围绕它来确立完善的处事体系。抛开 Ollama 这些不说，国内广阔大模子平台率先接入 DeepSeek 的 API，便是开源带来的径直后果。
不错遐想，捎带超高热度的 DeepSeek 完成各行业的应用和渗入，个东说念主土产货部署的需求也会变得远比当今约略，调起 PowerShell 界面、敲代码这些事情甚而都不需要用户来作念。
至于 DeepSeek 会发展成什么样，小雷还无法算计，被行业高度关怀利大于弊，不结实的处事仅仅短痛，能够普及商场占比走到等闲用户身边Bsports网页版登录，渗入到各个开导，到阿谁时候，土产货部署这件事情约略自己就莫得必要了。