首页博客 › 技术

局域网部署智志云模型教程:一台电脑让全家设备共享AI算力

👤 智志AI📖 技术👁 9 阅读
局域网部署智志云模型家庭AI共享算力本地模型

为什么要在局域网部署智志云模型?

现在很多朋友都想体验大模型的便利,但受限于手机或老电脑的性能,跑起来卡顿严重。其实只要家里有一台显卡还不错的台式机,就能通过智志AI提供的智志云模型镜像,把它变成一台“AI服务器”。这样,全家的手机、平板、笔记本都能通过 Wi-Fi 直接调用这台电脑的AI算力,既保护隐私又省去重复购买算力的开销。尤其适合多设备家庭、自由职业者以及注重数据安全的用户,一次性部署,持久免费用。

一、准备工作

在开始之前,请确认你的环境满足以下基础要求,避免中途报错:

  • 一台装有 Windows 10/11 或 Ubuntu 20.04+ 的电脑,建议配备 独立显卡(如 RTX 3060 6G 及以上),CPU 需支持 AVX2 指令集。
  • 内存至少 16GB,空闲硬盘空间 50GB 以上(主要用于存放模型权重与 Docker 镜像)。
  • 稳定的家庭路由器,所有设备连接同一个 局域网段,优先使用 5G Wi-Fi 或网线回程。
  • 博客或官网下载最新的智志云模型部署压缩包(约 2GB)。
  • 用户具备基础命令行操作常识,能区分 CMD 与 PowerShell。
  • 二、快速部署步骤

    1. 安装运行环境

    将部署包解压到非中文路径,例如 D:\zhizhi-cloud。进入目录运行安装脚本:Windows 用户右键 setup.bat 选择“以管理员身份运行”,Linux 用户执行:

    sudo bash install.sh

    脚本会自动检测显卡驱动、安装 Docker 引擎并拉取所需的 智志云推理镜像。整个过程依赖网络,耐心等待几分钟直至提示 “Environment ready”。

    2. 启动智志云模型服务

    安装完成后,启动主程序并加载模型:

    python start_server.py --model-size 7b --listen 0.0.0.0 --port 8000

    参数说明:--model-size 指定模型参数规模,入门可选 3b;--listen 0.0.0.0 让服务监听所有网卡,这是局域网共享的关键;--port 定义端口。看到日志显示 “Uvicorn running on http://0.0.0.0:8000” 即代表服务就绪。

    三、查看电脑局域网 IP

    为了让其他设备连接,你需要知道这台服务器电脑的内网 IP。Windows 在 cmd 输入 ipconfig 找“IPv4 地址”,Linux 用 hostname -I。假设查到的是 192.168.1.100,请记下它,后续访问均基于此地址。

    四、全家设备如何连接

    手机 / 平板(安卓与 iOS)

    在 Safari 或 Chrome 浏览器打开 http://192.168.1.100:8000,就能看到智志云模型的清新对话界面。建议点击“添加到主屏幕”,实现伪 App 体验。如果习惯第三方客户端,可安装 ChatBox,在设置中填入自定义 API 基地址 http://192.168.1.100:8000/v1,即可在多会话中切换。

    其他 Windows / Mac 电脑

    同样浏览器访问,或在使用 Python 脚本调用时设置 base_url 变量。对于美术设计、视频剪辑等工种,还能在本地工具中接入模型做智能抠图提示词生成,效率翻倍。

    五、性能实测与优化技巧

    我们在标准环境(i5-12400F + RTX 3060 12G)下测试了不同设备的交互延迟:

    接入设备网络方式首字延迟生成速度
    同机浏览器本地回环0.3s38 tok/s
    手机5G Wi-Fi0.8s32 tok/s
    老旧笔记本2.4G Wi-Fi1.5s25 tok/s

    为保障流畅,建议实践以下优化技巧

  • 设置开机自启:把启动命令写入 Windows 计划任务或 Linux 的 crontab @reboot,电脑一开全家就能用。
  • 显存动态限制:如果主机还要打游戏,启动加 --gpu-memory 8G 避免占满影响图形界面。
  • 多模型热切换:智志云支持同时加载 3b 与 7b 权重,在管理页 /admin 一键切换,平衡速度与质量。
  • 六、安全与隐私提醒

    局域网部署虽便捷,但请注意:切勿将监听地址暴露到公网,除非你已配置反向代理与鉴权。建议在家用路由器中开启 AP 隔离访客网络,避免陌生设备误入。另外,定期从智志AI官网拉取安全更新,防止已知漏洞。

    七、常见问题排查

    现象解决办法
    其他设备打不开页面检查系统防火墙是否放行 8000 端口,或临时关闭防火墙测试
    手机连接慢或超时尽量让服务器连网线,减少 Wi-Fi 干扰,并确认 IP 未变更
    显存不足报错换用更小参数模型,如 3b 版本,或添加 --cpu-offload 参数
    模型回答乱码确认客户端发送编码为 UTF-8,并更新到最新镜像

    总结

    通过这篇教程,你已经学会如何将一台普通电脑变身为家庭 AI 算力中心。借助智志AI的智志云模型,局域网内部署简单、使用门槛低,无论是辅导孩子作业、写文案还是写代码,全家人都能轻松享受大模型带来的效率提升。赶紧动手试试,打造你的私有智能空间吧!

    ← 返回博客列表