塔斯娱乐资讯网

有人把Qwen3.5-9B塞进PS4了,开源项目Garlic LLM。PS4没给GPU留通用计算接口,这人直接绕过图形驱动向AMD GCN写底层kernel,从零搭了一套推理管线。权重压成自定义Q3/Q4量化,整体约4.5GiB,推测解码用MTP,文本31-39 tokens/s,代码最高43。 43谈不上流畅,日常对话能明显感觉到节奏间隔。但真正值得 ​

有人把Qwen3.5-9B塞进PS4了,开源项目Garlic LLM。PS4没给GPU留通用计算接口,这人直接绕过图形驱动向AMD GCN写底层kernel,从零搭了一套推理管线。权重压成自定义Q3/Q4量化,整体约4.5GiB,推测解码用MTP,文本31-39 tokens/s,代码最高43。

43谈不上流畅,日常对话能明显感觉到节奏间隔。但真正值得看的是——没有PyTorch、没有CUDA、没有ROCm,手写kernel照样把LLM跑起来。代价是开发量全落一个人身上,而且很难移植到别的硬件。