塔斯娱乐资讯网

旧手机:OlliteRT 把安卓机变成 OpenAI 兼容的本地大模型服务器

7 个内置模型、29 项 Prometheus 指标、6GB 内存起步,局域网调用不用改客户端大家好,欢迎来到心眸AI笔记,我是jackli!今天是2026年10月2日,国庆假期快乐,下面带来今日资讯。

懒人总结OlliteRT 是 NightMean 在 GitHub 开源的项目,协议 Apache-2.0,底层用谷歌 LiteRT-LM,把闲置安卓手机变成局域网本地大模型服务器,兼容 OpenAI 和 Anthropic 接口。内置 7 个模型:Gemma 4 E2B/E4B、Gemma 3n E2B/E4B、Gemma 3 1B、Qwen 2.5 1.5B、DeepSeek-R1 1.5B;最低 6GB 内存起步,多模态建议 8GB 以上。客户端基本不用改:OpenAI SDK、curl、Open WebUI 都能接;默认地址是 http://手机IP:8000/v1,支持 bearer token 和 IP 访问规则。状态、日志、指标齐全:实时速度、首字延迟、成功率,/metrics 输出 29 个 Prometheus 格式指标,能接 Grafana。常驻三开关:闲置自动卸载、开机自启、常驻通知;记得关电池优化。安装门槛:安卓 12+、arm64-v8a、最低 6GB 内存;最新 v0.9.7-beta.1,APK 三十几 MB。硬限制要认清:一次只加载一个模型,只支持 .litertlm,不认 GGUF,token 按字符数/4 估算,别暴露公网。适合任务碎、量小、不想开电脑、数据不外传的场景;替代生产推理集群不现实。一、项目背景:把闲置安卓机变成“边缘推理节点”OlliteRT 的思路很直接:手机性能再弱,也比吃灰强。它把安卓手机变成一个本地大模型推理服务器,同时开一个兼容 OpenAI 的 HTTP 接口,局域网内其他设备填个地址就能调用。
项目作者 NightMean,开源地址在这里:https://github.com/NightMean/OlliteRT

它曾在 GitHub Trending 上冲到第 1 名,时间是 2026 年 9 月 21 日,当时 GitHub 星标超过 350 颗。底层不是自己手搓的运行时,而是谷歌的 LiteRT-LM,推理直接调用手机自身的 GPU 或 CPU。项目基于谷歌 AI Edge Gallery 改造,模型下载完成后断网也能用,数据全部在手机本地处理。官方明确表示不收集数据,代码里也没有统计逻辑。
从产品视角看,这类项目的价值不在“跑分有多高”,而在把本地 AI 的启动成本压到极低。旧手机、局域网、免 API 费用、数据不出门,这几个点叠在一起,就有场景了。
二、模型选择:7 个内置模型,别被“6GB 能跑”误导模型来源有三种:

一是应用内置清单直接下载,文件托管在 HuggingFace 的 LiteRT 社区;二是导入手机里已有的 .litertlm 文件;三是自定义模型源,填 JSON 或 URL,大约每 24 小时刷新一次。
内置清单里的 7 个模型如下:
模型 大小 最低内存 上下文 能力 Gemma 4 E2B 2.4 GB 8 GB 32K 文本、图片、音频、思考、工具、MTP Gemma 4 E4B 3.4 GB 12 GB 32K 文本、图片、音频、思考、工具、MTP Gemma 3n E2B 3.4 GB 8 GB 4K 文本、图片、音频 Gemma 3n E4B 4.6 GB 12 GB 4K 文本、图片、音频 Gemma 3 1B 0.5 GB 6 GB 1K 纯文本 Qwen 2.5 1.5B 1.5 GB 6 GB 4K 纯文本 DeepSeek-R1 1.5B 1.7 GB 6 GB 4K 纯文本
关键提醒:标题说“6GB 内存能跑”,指的是最低门槛,只有最下面三个小模型符合。官方推荐的 Gemma 4 E2B 最低要 8GB,E4B 要 12GB。这两个支持多模态,能看图、能听音频,回答前还会先输出一段推理过程。手机内存只有 6GB 的话,别一上来就选 E2B。
Gemma 4 还有一个 MTP 功能,一次预测多个词,出字速度会明显提升,需要在模型设置里手动开启。
服务起来后,可以先看一眼模型列表:
curl http://192.168.1.23:8000/v1/models
如果开了鉴权,就带上 token:
curl -H "Authorization: Bearer 你的token" \
http://192.168.1.23:8000/v1/models
三、客户端兼容:OpenAI SDK、curl、Open WebUI 基本零改造OlliteRT 兼容的接口不少:chat/completions、completions、responses、音频转写接口,连 Anthropic 的 messages 接口也兼容。流式和非流式都支持,模型列表和健康检查端点齐全。现有工具基本不用改动。

Python 用 OpenAI 官方 SDK,把 base_url 指向手机即可:
from openai import OpenAI

client = OpenAI(
base_url="http://192.168.1.23:8000/v1",
api_key="ollitert" # 未开启鉴权时可随便填;开启后填 bearer token
)

stream = client.chat.completions.create(
model="gemma-4-e2b", # 模型名以应用内显示为准
messages=[
{"role": "system", "content": "你是一个本地部署的助手,回答尽量简短。"},
{"role": "user", "content": "用三句话解释 LiteRT-LM 是什么。"}
],
stream=True,
temperature=0.7,
top_p=0.95,
max_tokens=512
)

for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end="")
curl 直接调用也可以:
curl http://192.168.1.23:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer 你的token" \
-d '{
"model": "gemma-4-e2b",
"messages": [
{"role": "user", "content": "你好,介绍一下你自己"}
],
"stream": false
}'
Open WebUI 填个地址就能连上。
两个点需要注意。第一,工具调用目前是实验性质,在 Gemma 4 上效果最好,小模型不一定能稳定按格式返回。默认走 schema 注入,不行可以在设置里关掉,退回提示词解析的方式。第二,Home Assistant 需要额外配置,要装自定义集成,语音指令还要再配一个转写组件,不是填个地址就能用。
四、状态、日志、指标:手机当服务器,也要可观测服务跑起来后,状态页上有实时数据:运行时长、请求数、输入输出 token、出字速度和峰值、首字延迟、成功率。还有一个可拖动的悬浮窗,手机放在一边当服务器时,瞟一眼就知道服务是否还在跑。
日志页记录每次请求和响应,支持按方法或状态码过滤,能搜关键词,JSON 带语法高亮。每条日志下方有一排标记:耗时、是否流式、是否开启思考、输入 token 占上下文比例。快满时数字会变黄变红。
除了应用内界面,还有 /metrics 端点,输出 29 个 Prometheus 格式指标,家里跑 Grafana 可以直接接入:
scrape_configs:
- job_name: "ollitert"
metrics_path: "/metrics"
static_configs:
- targets: ["192.168.1.23:8000"]
健康检查也很简单:
curl http://192.168.1.23:8000/health
Home Assistant 除了调用模型,还能通过内置 REST 接口远程查看状态、切换模型、修改设置。内置的 Benchmark 功能,可以在同一台手机上把几个模型挨个测一遍,比较长输入处理速度、出字速度和加载速度。
五、常驻运行:三个开关,把手机变成免维护设备每个模型可以单独保存推理参数:温度、top-k、top-p、最大输出长度都按模型存储,重启后依然生效。加速器可在 GPU 和 CPU 间切换,默认 GPU,有问题再换 CPU。修改最大输出长度或加速器会触发模型重载。
要让手机像小服务器一样常驻,三个开关值得打开。
第一,闲置自动卸载。设定时间,比如 5 分钟无请求就把模型从内存卸载。下个请求进来会自动重新加载,代价是这次会慢几秒。
第二,开机自启。选默认模型打开开关,手机重启后服务自动启动。前提是关闭电池优化,否则安卓后台可能直接杀掉进程。
第三,常驻通知。靠前台通知保住后台服务,通知栏有停止服务和复制地址两个按钮。
三个都配好,这台手机基本就是个免维护的设备。
六、安装与硬件:安卓 12+、arm64、最低 6GB安装三步:
从 GitHub Releases 下载 APK 安装;打开后在模型列表选一个下载;完成后点模型卡片上的 Start Server,状态页会显示地址,一般是 http://手机IP:8000/v1,填进客户端即可。目前发布的都是 beta 版本,最新是 v0.9.7-beta.1,安装包三十几 MB。
硬件要求:安卓 12 以上,API 31;arm64-v8a 架构;内存最低 6GB,多模态建议 8GB 以上。2017 年后的安卓机基本都是 arm64,模拟器和 x86 设备不支持。
安全设置方面,接口支持 bearer token 验证,开启后无 token 请求返回 401。也能设置客户端 IP 访问规则,只放行家里设备,监听范围可调。
官方文档特别强调:不要通过端口映射暴露到公网。没有 HTTPS,token 验证也只是基础防护。适用场景就是局域网。
七、硬限制:别把它当生产推理集群几个硬限制必须说清楚。

一次只能加载一个模型,请求排队处理,不适合多人共用。
只支持 .litertlm 格式,不认 GGUF,llama.cpp 和 Ollama 的模型文件用不了。
token 计数按字符数除以四估算,英文还行,代码和多语言会偏,不能用来算费用。
本地导入模型会复制文件到应用目录,占双倍空间,导入后记得删原文件。
移动端运行时的限制:logprobs、语法约束输出、重复惩罚、LoRA 这些都没有。
八、适合谁:任务碎、量小、不想开电脑、数据不外传替代正经推理机器不现实。一次一个模型、请求排队,这个限制绕不过去。
但放在特定场景下刚好:任务碎、量小、不想开电脑、数据不想外传,加上监控、日志、权限、自启都有,当常驻服务没问题。家里有闲置安卓机的话,可以装一个试试。
思考与呼吁从产品经理视角看,OlliteRT 的价值不在性能跑分,而在把本地 AI 的启动成本压到极低。它不要求你买新硬件,不要求你把数据传到云端,也不要求你重写客户端。旧手机插上电、连上 Wi-Fi,就是一个局域网内可观测、可控制、可调用的推理节点。
当然,它不是生产集群,也别拿它去扛高并发。但如果你手里正好有一台吃灰的安卓机,又对本地模型、边缘推理、OpenAI 兼容接口感兴趣,这个项目值得试一次。先跑小模型,再按内存上多模态,把常驻三开关配好,体验会完整很多。
如果这篇内容对你有帮助,欢迎点个赞、转发给需要的朋友,再点一下‘在看’。要是方便,也顺手给心眸AI笔记加个星标⭐️,下次更新文章你就能第一时间见到。谢谢你读到这里,我们下篇再见。