PS5变身高性价比本地AI服务器：270亿参数Qwen3.8实测每秒20.9词元

10月17日，开发者社区出现一项重磅DIY成果：将破解后的索尼PS5游戏主机改造为本地AI推理服务器，成功运行270亿参数大模型，平均生成速度达每秒20.9个词元。据IT之家10月17日援引Wccftech报道，这一方案基于开源项目PS5LM，开发者将llama.cpp移植为PS5原生应用，并通过GPU加速大幅超越此前CPU模式的性能。

内存带宽：PS5充当AI服务器的关键优势

PS5能充当本地AI服务器，核心在于其独特的统一内存架构。PS5搭载AMD Zen 2架构CPU与RDNA 2架构GPU，CPU/GPU共享256位宽GDDR6统一内存，内存带宽高达448GB/s。相比之下，传统DDR5桌面内存带宽仅为约100GB/s。对于大模型推理而言，内存带宽往往是比算力更关键的瓶颈，PS5的统一内存设计恰好契合这一需求。

GPU加速：内存调度突破，推理提速数十倍

PS5LM早期版本主要依赖CPU运行模型，推理270亿参数模型时速度仅约每分钟1个词元。开发者借助Mesa开源项目中的AMD RADV驱动，通过Vulkan计算接口让llama.cpp成为PS5原生应用，将可用内存池从约6GB扩展至11.4GB。实测中，经高度量化的Qwen3.8-27B生成速度达每秒20.9词元；GPU使用率接近100%，CPU占用率仅2%。更小模型表现更佳：Gemma 4 E4B每秒61词元，Llama 3.2 3B更达每秒124词元。整机功耗约86W，GPU满载时温度维持在54°C。

本地API服务：局域网8081端口接入

除本地推理外，PS5LM Plus还提供局域网API服务：设备在本地网络8081端口提供网页聊天界面，同一网络内的手机、电脑均可直接访问并与本地模型对话。更重要的是，该方案兼容OpenAI与Anthropic API格式，可直接让VS Code、Codex、Claude Code等工具连接到PS5上运行的模型，实现本地编程辅助。