新手小白从零开始,教你低成本搭建AI服务器(一)--服务器硬件及我的血泪史
2026/7/23 1:42:17 网站建设 项目流程

我自己也是从新手过来,踩过的一些坑,跟大家分享一下,希望帮助新手小白少走一些弯路。

写文章不容易,希望大家关注、点赞加转发,谢谢!

自从学习openclaw之后,慢慢接触到服务器。之前由于openclaw只是一个运行程序,所以对服务器要求很低,基本上一些十年前,甚至二十年前的旧电脑就可以跑起来。但是,所有AI智能体绕不开的是大模型。大模型就是AI的大脑,没有大模型,所有的AI智能体都无法正常运行。在上一个合集中,介绍的获取三种大模型的方法,一是收费大模型,二是免费大模型,三是自己搭建服务器运行大模型。收费大模型是最好的,唯一的缺点就是贵。免费的大模型一般限制比较多,所以使用体验不是太好。所以我自己比较推荐本地部署大模型,不过这个对一般人来说还是有点难度的。我本人不是从事AI相关工作,我自己也是从新手小白一点点学习起来的,所以我希望用最简单直白的方式,分享我自己的学习过程,让一般普通人学习AI的过程中,可以少走一点弯路。

在上一个系列中,我介绍了如何安装和使用openclaw,在上个系列的最后一期里,我提到了我用笔记本电脑本地部署大模型的教程。在文章最后,我也提到我的笔记本电脑虽然配置还可以,但是对于运行大模型来说,那简直就是小马拉大车,基本上只是一个体验,无法完成实际工作的。在我之前的日常使用当中,笔记本电脑已经是我最高配置的电脑,所以,如果真的要流畅运行AI大模型,还是要用配置更高,或者专门的服务器来运行才可以。下面讲一下我选择AI服务器的一些坎坷经历,目的就是让大家少走弯路。

(一)服务器主板选择

在我的日常工作中,会接触到各种服务器,比如文件服务器,软件服务器等等。我一开始,也是按照我的惯性思维,觉得要运行AI服务器,那就需要配置一台DELL或者HP的服务器。但是,这些服务器价格都比较高,动不动就几万甚至十几万一台,而且体积很大,需要专门的机柜来安放。这种全新的服务器,性价比太低,所以我转向了二手服务器。二手服务器,在咸鱼上有很多,价格也比全新服务器便宜很多,但是由于流通比较少,价格还是比家用电脑贵。我开始看到的戴尔R730这些十多年前的服务器。

这些服务器性价比比较高,准系统(只有主板、机箱和电源)大概500-600左右,自己配置好CPU和内存及硬盘,大概价格在2000到3000左右。

这些服务器一般都是支持E5的至强CPU,因为年代久远,一般E5 2620V4这种CPU,咸鱼上不到10块,还包邮。不过内存的价格涨太快了,目前DDR4的内存,比2024年涨价起码2倍以上。我在年初买的DDR4 2666M频率的16G内存,花了差不多500一根,2根内存就差不多1000了,真的是太贵了。

CPU比较便宜,所以我没怎么考虑,直接下单买了,但是在我准备下单买二手服务器的时候,我无意中看到了服务器主板芯片是C612,我想看看有没有便宜点的C612主板的服务器,没有想到,打开了我新世界的大门。

我用关键词“C612主板”搜,出来不是服务器,而是一大堆X99。这个时候我脑海里打了很多个问号,C612和X99有什么关系?

后来我深入研究了一下X99主板的历史,才发现原来是一个历史的产物。X99主板一开始是为了挂机而诞生的,在2020年前后,有一大批通过挂机来赚钱。大家可能在网上都看到过在一个房间里,挂满了手机的那种照片,就像下面这种

这种用手机来挂机的,成本比较高,而且集中控制比较困难,所以就有人研究出来通过电脑安装手机模拟器模拟手机来挂机,这样成本比较低,而且非常容易实现集中控制,这个时候就催生出X99主板这种服务器主板和CPU,用在家用电脑上的市场。

服务器主板和CPU性能比家用电脑CPU强很多,一般E5的至强CPU起步都是8核心16线程,比起家用intel十代以前的CPU强不少,但是家用的十代CPU最少也要大几百,相对于10块以下的E5来说,真的是降维打击。

后来,我通过收集和学习,发现个人学习AI的,很多人都是从X99主板和E5的CPU起步的,所以我也推荐大家用X99主板和E5的CPU来搭建个人AI服务器。

(二)服务器CPU选择

在我决定用X99主板加E5的CPU来组建我的AI服务器之后,我在这里就走了很多弯路,也浪费了很多钱,真是泪目。由于是服务器芯片用在家用电脑上,所以X99主板基本上都一些小厂出品。一开始我不了解,所以随便找了一个卖二手X99主板的卖家,买了一张X99主板,不到100块。由于当时我对X99主板不了解,只是简单问了一下豆包X99主板用什么内存,豆包回复DDR3和DDR4都可以用。我自己手头上有好几根旧DDR3的旧内存,所以没有买内存。结果收到主板之后才发现,我买的X99主板只支持DDR4内存,不支持DDR3内存,我还在咸鱼上跟卖家大吵了一顿,后来才发现,原来人家在介绍里写了很清楚,他的主板只支持DDR4内存,是我自己太相信豆包了,结果买错了。

因为我自己手头上没有DDR4内存,后来在咸鱼上找了一下,发现DDR4内存太贵了,一根8G的内存要200多,一根16G的内存要400多。后来我再找了一下,发现确实有支持DDR3内存的X99主板,所以我从新又买了一块支持DDR3内存X99主板,大概130左右。收到主板之后发现,确实发现可以用我的DDR3旧内存(DDR3和DDR4的插槽不一样,DDR3内存插不进DDR4内存插槽,反过来也一样,DDR4内存也插不进DDR3内存插槽)。插上CPU和内存,还找出一张旧显卡插到主板上,但是发现电脑点不亮。然后我把内存和显卡换到别的电脑上,确认内存和显卡都没有问题,重新放到X99主板上,但是还是点不亮。然后我找卖家,说点不亮。然后卖家问我是什么CPU,我说是E5的2620V4。卖家说,E5的2620V4只支持DDR4内存,不支持DDR3内存,要用E5 2674V3或者2699V3这些CPU才可以用DDR3内存。这个时候,我想死的心都有了。

没办法,只好再买内存或者CPU。我在咸鱼上找了一下,可以用DDR3内存的E5普遍都比较用DDR4内存的贵很多。2620V4才几块钱,2699V3要差不多100。100块的CPU相对于200多的内存还是便宜一半,所以我咬咬牙,还是买了2699V3的CPU。收到CPU之后,插到主板上,这次终于可以成功点亮,可以正常安装系统。看到电脑启动画面那一刻,简直跟中彩票差不多。

一开始,我还以为终于可以用上我自己的AI服务器了,但是万万没有想到,点亮电脑,只是我噩梦的开始。

给大家看看我买的两块X99主板

这张是支持DDR3内存的X99主板,只有一个显卡插槽,只能插一张显卡,主板比较小。

这是支持DDR4内存的X99主板,有2个显卡插槽,主板比较大。很明显,支持DDR4内存的主板无论从做工和用料上,都比DDR3内存的主板好很多。正因为这个主板的原因,让我走了很多很多弯路。

由于E5是服务器CPU,所以功耗很高。我们一般家用的CPU,功率比较小,一般都50-100W左右,但是E5的CPU不一样,一般都是100W起步,而我买的2699V3的功率是145W,这个功率跟电烤炉都差不多了。装好系统之后,我的服务器会经常莫名其妙的死机或者重启。我怀疑过内存,怀疑过显卡,也怀疑过电源。这些我都全部换过,但是问题依然存在,后来经过我长时间排查才发现,原来是我主板的问题。后来我用专门的软件测试,在CPU满负载的时候,主板的供电不足,导致电脑死机或者重启。这个问题,折腾了我差不多2个月,安装好的软件和大模型,一运行就死机或者重启,根本无法正常使用。

后来,我实在没有办法,花了差不多1000块,买了2根16G的DDR4内存,装在我原来买的X99主板和CPU上,重启和死机问题才彻底解决了。

所以,建议大家配置AI服务器,一定要选择大的X99主板,CPU供电要稳定,否则会容易死机或者重启。而且最好可以插2张PCIE显卡的插槽,下面显卡会说到。

(三)服务器显卡选择

折腾完主板和CPU,下一个关卡就是显卡。因为我之前在笔记本电脑上可以正常运行ollama大模型,所以我简单认为配置高CPU和大内存就可以跑本地大模型,没有想到我还是太傻,太天真了。现在的大模型,基本上都是显卡上跑,CPU和内存只是辅助而已。当我那台X99服务器跑起来,发现不比我之前笔记本快多少之后,我在网上查找资料才发现,要真正跑大模型,要专门的显卡才行。在显卡选择上,我也走了很多弯路,真的说起来都是泪。

一开始,我找的是普通显卡,比如1060和2060。这些显卡应该算是过时的高端卡了,用来玩游戏,基本上问题不大,但是用来跑大模型,却远远不够。后来我发现,跑大模型要用nVidia的tesia(特斯拉)显卡,这些显卡都才是专门用来跑大模型的。大家在电视上看到的,美国禁止向中国出售的A100和H100,就是tesia显卡,是用在算力服务器上显卡,不是用来打游戏的显卡。

tesia显卡最早型号是G80,是在2006年发布的,后来慢慢有C2050,K20,M40,P100等等。从P100开始,引入了HBM2 显存和 NVLink 高速互联,然后就是划时代的V100显卡,首次引入 Tensor Core。 Tensor Core就是之后所有大模型都使用的框架,openai和deek seek这些大模型,都是基于Tensor Core架构开的。大家对tesia显卡感兴趣,可以自己上网学习一下。

后来,我在网上学习了一下,大多数入门选择的是V100显卡,价格比较便宜,而且支持Tensor Core,所以性价比比较高。V100有两种型号和2种显存规格,一种是SXM2接口,一种是PCIE接口。SXM2接口的V100是专门用在算力中心服务器上的,这些服务器动则几十上百万,不是我们普通人买得起的。PCIE接口就是我们普通电脑和服务器上用的接口,可以直接插到主板的PCIE主板上。显存有16G和32G两种规格,16G显存的价格比较低,一般在1500以内,32G显存的价格很高,一般都在3000以上。因为V100是算力卡,所以SXM2接口的二手显卡很多,都是算力中心淘汰下来的。有市场就有需求,所以就诞生了SXM2转PCIE转接卡这种东西,把SXM2接口的显卡,转成PCIE接口的,用在普通电脑和服务器上。一般这种SXM2转PCIE的V100 16G,价格在1000以内,纯PCIE的V100 16G一般在1200-1500之间。我自己用的是便宜的,SXM2转PCIE的V100 16G,使用起来没有太多区别,但是网上说,这种SXM2接口的V100,都是算力中心淘汰的,使用时间很长,质量会比PCIE接口的V100差。不过,因为我是新手小白,所以综合考虑,还是选择了性价比比较高的SXM2接口的V100作为入门。

另外,V100显卡是算力卡,什么是算力卡,就是只负责运算,不负责输出,简单来说,就是没有显示接口的,也就是说没办法接显示器,如果要电脑有输出,还需要另外配置一张显卡作为输出,才能正常显示。所以,我建议买有2个PCIE插槽的X99主板,这样可以插一张V100,再插一张亮机卡,会方便很多。

(四)服务器内存选择

X99主板支持普通内存和服务器内存,我一开始买的普通DDR4内存,价格比较高,后来我才发现,X99支持服务器内存,DDR4服务器内存的价格比普通DDR4内存便宜30%左右,如果想降低成本的,可以买DDR4服务器内存。如果想通用性强一点,以后换主板还能用旧内存的,那就买普通的DDR4内存,通用性强一定。因为要跑大模型,建议内存最低也要16G,最好是32G以上,这样在显卡显存不足的时候,可以调用主板内存。当然,这样速度会比较慢,但是起码可以跑起来。如果显卡显存不足,内存也不足的话,程序就会报错,直接退出,无法跑起来。

E5的CPU支持的频率不高,所以一般选2666就可以。

(五)服务器硬盘选择

影响AI服务器运行的,主要就是CPU、内存和显卡,但是,在极端情况下,硬盘的速度对AI运行也起到一定作用。目前市面上有2种形态的电脑硬盘,分别是HDD(机械硬盘)和SSD(固态硬盘)。接口也分2种,一种是SATA接口,一种是M.2接口。HDD和SSD都有SATA接口的,这种接口比较老,一般主板都有这种接口

就像这样的。这种接口速度比较慢,但是通用性比较强,一般十几年前的固态硬盘就支持这种接口,所以如果有旧的固态硬盘,直接可以利用上。不过不建议用SATA接口的机械硬盘,因为机械硬盘的读取速度比较慢,一个大模型动不动就20-30G,所以用机械硬盘做AI服务器的话,会慢到让怀疑人生,最低也要用SATA接口的固态硬盘。

目前新的主板都支持M.2接口的固态硬盘,接口像这样的。

X99主板都带有这种接口。但是,M.2接口硬盘,又分NGFF和NVME,NGFF接口的固态硬盘,其实就是换了接口的SATA硬盘,走的还是SATA协议,最高速度只有600MB/S,但是NVME接口的M.2固态硬盘,普遍都有1500MB/S以上速度,是SATA的好几倍。所以大家要分清楚,别买错了。

如果家里有旧的SATA接口固态硬盘,那直接用上,建议容量至少要256G以上,最好是512G以上,因为一个大冒险动不动就几十G,两三个模型就好几百G了,所以硬盘容量要大一点。

如果家里没有旧的SATA硬盘,要重新买硬盘,那建议直接买NVME协议的M.2硬盘,比NFGG格式的贵20%左右,但是速度提升非常多。

(六)服务器电源选择

五大件选完之后,还有一个重点就是电源的选择的。V100的满载功率是300W,加上E5的145W,再加上主板和内存,还有另外一张亮机卡,总功率超过500W,所以电源一定要选择额定功率600W以上的。由于大部分电源厂家的宣传不实,600W的额定功率,往往只有500W左右,只能勉强运行,所以我建议选择额度功率700W以上,才能正常运行。额定功率在700W以上的电源,新品一般在150到200左右,二手的也在60-100之间,质量太差的电源,会影响主板和显卡,所以建议大家选大品牌的。

另外,V100显卡需要2个8PIN的电源输入,所以要买双8PIN的电源才行,只有单8PIN电源输入的电源,无法让V100正常运行。

(七)服务器机箱选择

大家在上面可以看到,V100显卡的成品很大,大概有30cm长,再加上电源接口,所以要买长度超过40cm的机箱才行,最好是买50cm长的,否则很难装上V100显卡。

如果选择E5 2620V4这样的CPU,加上X99主板和2根DDR4的16G内存,一张V100 16G显卡,加上一个512G的nvme硬盘,再加上一个额度功率700W以上的电源和机箱,成本大概在2500-3000左右。

如果选择E5 2698V3这样的CPU,加上一张支持DDR3内存的X99主板,再加上一张V100 16G显卡,利用家里旧DDR3内存和旧的SATA固态硬盘,还有家里旧的电源和机箱,成本可以控制在1000以内。

这是我目前研究出来最低成本,可以顺利跑AI大模型的服务器了,希望想进入AI领域的新手,可以跟着我一起学习更多的AI知识。

转载的:

请尊重原创 创作不容易 我是转载的 谢谢作者

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询