在Debian/Ubuntu服务器上搭建AI服务器其实挺简单的,我喜欢把AI装在本地,不只是因为不用抢电网资源,更因为能守住隐私,所有信息都给你100%私密,跟第三方半点关系都没有。之前觉得家里的实验室搞个AI服务器肯定难上天,其实根本没那么复杂。这次我会给你把步骤都列出来,你最后就能有个能在网页上或者用Ollama、Alpaca这些工具访问的AI服务器。 首先你得准备个Debian或者Ubuntu Server,还有个有sudo权限的账户。要是用Debian的话,还得把普通用户加到Docker组里。先切到root用户,然后用命令把那个标准用户加进去,完了退出root重新登录一下,让改动生效。 接下来装个Ollama就行。装好后先下一个小模型测试测试,我用的是llama3.2。模型拉取成功了,在里面跑一下看看没问题,输个命令退出就行了。然后得给Ollama配置一下让它能接远程请求,编辑那个systemd文件,在[Service]底下加两行内容保存重启服务。现在你就能用服务器的IP在局域网连上来了。 接着是部署WebUI用来在网页上跟大模型聊天。这就得先把Docker CE装好了。先加个GPG密钥,再把官方仓库加进去安装Docker。测试一下看看能用不,正常的话就能开始跑WebUI了。 命令输好给点时间部署一下(我那大概两分钟),你也可以用命令查状态等它变绿。打开浏览器输http://SERVER:3000(SERVER填你服务器IP)就能看到WebUI界面了。点那个右箭头创个管理员账号进查询页面。 这时候你会发现模型没加载上,点左上角那个下拉菜单把OpenAI禁用掉,把本地地址改成http://SERVER:11434(同样填你服务器IP),这时候去新开个聊天窗口就能跑第一个查询了。恭喜你搞定本地AI了。 有啥问题我都在后面准备好了: Q1:为啥选本地AI不选在线服务? A:主要是省电和隐私。本地的不抢电还能保证信息100%不出门。 Q2:装这个要啥条件? A:只要Debian或Ubuntu Server实例加个有sudo权限的用户就行。 Q3:怎么连上去? A:要么网页直接输http://SERVER:3000,要么用局域网其他机器连IP访问Ollama服务。