手机上跑智能体：Liquid AI LFM2.5-2.6B 部署实战，30 token/秒还不用联网

模型已在 Hugging Face 全面开源（含基础版本），原生支持 llama.cpp、MLX、vLLM 三大主流推理框架。GGUF 量化版本按需选：

# 1. 拉取并编译 llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j

# 2. 下载 GGUF 权重（以 Q4_K_M 为例）
wget https://huggingface.co/LiquidAI/LFM2.5-2.6B-GGUF/resolve/main/LFM2.5-2.6B-Q4_K_M.gguf

# 3. 起一个交互式会话验证
./main -m LFM2.5-2.6B-Q4_K_M.gguf \
  -p "你好，介绍一下你自己" \
  --color -c 8192 -n 512 --temp 0.7

关键参数怎么调：

如果你用的是 M 系列 Mac，MLX 是苹果自家的机器学习框架，对统一内存架构优化更到位——官方给出的 M5 Max 220 token/秒就是这条路径的成绩。

# 安装 MLX
pip install mlx-lm

# 直接从 Hugging Face 拉起来跑
mlx_lm.generate \
  --model LiquidAI/LFM2.5-2.6B \
  --prompt "列出当前目录下所有大于 10MB 的文件" \
  --temp 0.2 \
  --max-tokens 512

# 起一个 OpenAI 兼容的本地服务
mlx_lm.server --model LiquidAI/LFM2.5-2.6B --port 8080

端侧 Agent 成不成，就看工具调用稳不稳。用最小代码验一遍：

from openai import OpenAI

# 指向本地服务
client = OpenAI(base_url="http://localhost:8080/v1", api_key="local")

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "查询指定城市的天气",
        "parameters": {
            "type": "object",
            "properties": {
                "city": {"type": "string", "description": "城市名"}
            },
            "required": ["city"]
        }
    }
}]

resp = client.chat.completions.create(
    model="lfm2.5-2.6b",
    messages=[{"role": "user", "content": "北京今天天气怎么样？"}],
    tools=tools,
    temperature=0.2,
)
print(resp.choices[0].message.tool_calls)

因为暴露的是 OpenAI 兼容接口，接入几乎是零成本的：

# 通用环境变量方式（大多数框架都吃这套）
export OPENAI_API_BASE=http://localhost:8080/v1
export OPENAI_API_KEY=local
export OPENAI_MODEL=lfm2.5-2.6b

# 接 Ollama 生态也可以
ollama pull liquidai/lfm2.5-2.6b
ollama run lfm2.5-2.6b

# 接 goose（见本站教程 236）
export GOOSE_PROVIDER=ollama
export GOOSE_MODEL=lfm2.5-2.6b

硬件门槛（参考同体量 GGUF 实测）：
· 内存    最低 4GB，推荐 8GB 以上
· 存储    预留 5GB 可用空间
· CPU     四核起步，八核体验更好
· 系统    iOS / Android / Linux / Windows / macOS 均可

手机端落地路径：
· iOS      → MLX Swift 或 llama.cpp 的 iOS 封装
· Android  → llama.cpp JNI 绑定 / MediaPipe
· 边缘盒子 → 直接跑 llama.cpp server