Needle 2 是 Cactus Compute 推出的开源 AI 智能体模型,仅 14MB 文件大小、28MB 内存占用,就能在树莓派、智能手表、ESP32 微控制器等设备上本地运行。它专为工具调用、设备控制和结构化信息提取而设计,支持智能家居控制、语音指令转操作等场景,推理速度在树莓派 5 上可达 500 tokens/秒。

模型采用独创的 CQ2-bit 压缩技术,在 2 比特精度下不损失精度,且完全开源(Apache 2.0),可在自己的 Mac/PC 上微调后部署到设备端。Pebble 智能戒指已将其投入生产使用,无需联网即可本地响应语音指令。对于 IoT 开发者而言,Needle 让"端侧 AI"真正触手可及。
