如何本地部署DeepSeek

更新時(shí)間：2025年02月04日 09:23:39 作者：ASER_1989

這篇文章介紹了如何在本地部署DeepSeek大型語(yǔ)言模型,并分享了遇到的問(wèn)題和解決方法,感興趣的朋友一起看看吧

沒(méi)想到新年最熱鬧的地方之一會(huì)是互聯(lián)網(wǎng)，刷爆朋友圈的除了新年祝福還有DeepSeek。揣著一顆好奇心試了試，竟有一種發(fā)現(xiàn)新大路的感覺(jué)。估計(jì)是圍觀的人太多，在線的版本有時(shí)候會(huì)出現(xiàn)連不上的情況，好奇心驅(qū)使之下想嘗試本地部署。

方案

本地化方案非常簡(jiǎn)單：Ollama + DeepSeek-R1 + Enchanted LLM 。

Ollama

Ollama 是一個(gè)用于在本地運(yùn)行大型語(yǔ)言模型（LLMs）的工具，支持多種開(kāi)源模型，如 Llama 2、Code Llama、Mistral 等。它簡(jiǎn)化了模型下載、配置和運(yùn)行的過(guò)程，用戶可以通過(guò)命令行輕松管理模型。使用起來(lái)頗有docker的感覺(jué)，pull、run、ps...。安裝也簡(jiǎn)單，選擇對(duì)于系統(tǒng)，下載安裝就妥了。

DeepSeek-R1

在Ollama的網(wǎng)站上（https://ollama.com/）Models頁(yè)面當(dāng)前排名第一的就是DeepSeek-R1，點(diǎn)進(jìn)去選擇對(duì)應(yīng)的版本，右邊會(huì)展示對(duì)應(yīng)的ollama 命令，復(fù)制命令粘貼到命令行工具中執(zhí)行即可。如圖：

這種高端操作一帆風(fēng)順貌似不太合理，所以我也遇到點(diǎn)問(wèn)題。不同的版本大小差異會(huì)比較大，第一個(gè)上手的是70b這個(gè)版本，總大小43GB。en～下了兩個(gè)小時(shí)左右，終于好了，正準(zhǔn)備見(jiàn)證奇跡的時(shí)候，ollama拋出這樣一個(gè)提示：ollama Error: Post "http://127.0.0.1:11434/api/show": read tcp 127.0.0.1:57953->127.0.0.1:11434: read: connection reset by peer 。后來(lái)問(wèn)了DeepSeek，它思考了半天，它告訴我The server is busy. Please try again later. 最后它讓我檢查服務(wù)狀態(tài)、端口占用、防火墻、Ollama版本......一頓操作之后突然想起了ollama ps這個(gè)命令，一看傻眼了，啥都沒(méi)有。突然明白是模型沒(méi)運(yùn)行起來(lái)，估計(jì)是電腦配置不夠，70b這個(gè)版本高攀不起。于是開(kāi)始嘗試1.5b這個(gè)版本，一切順利，可以通過(guò)控制臺(tái)進(jìn)行對(duì)話了。讓它用React實(shí)現(xiàn)一個(gè)tab組件，好家伙給了我十幾個(gè)方案，果斷換下一個(gè)版本。于是選擇了32b這個(gè)版本，20GB竟然成功跑起來(lái)了。

Enchanted

控制臺(tái)對(duì)話終究沒(méi)有UI方便，在Ollama README上列舉了大量UI工具，如Open WebUI、Enchanted、Hollama、Lollms-Webui.... 因?yàn)楸镜厥荕acOs，這里選擇的是Enchanted。Enchanted是MacOs下的一個(gè)App，也支持IOS和Vision Pro，在AppStore上下載安裝即可。Enchanted配置非常簡(jiǎn)單，填寫(xiě)本地服務(wù)地址（Ollama本地服務(wù)是： localhost:11434）選擇對(duì)應(yīng)模型版本即可。至此本地化就完成了。最后附上紀(jì)念照：