ITIMO创新库

14MB 跑起 AI 智能体!这款模型让冰箱、手表都能"听懂人话"

活动教程评分 4.1257 阅读

Needle 2 是 Cactus Compute 推出的开源 AI 智能体模型,仅 14MB 文件大小、28MB 内存占用,就能在树莓派、智能手表、ESP32 微控制器等设备上本地运行。它专为工具调用、设备控制和结构化信息提取而设计,支持智能家居控制、语音指令转操作等场景,推理速度在树莓派 5 上可达 500 tokens/秒。

image.png

模型采用独创的 CQ2-bit 压缩技术,在 2 比特精度下不损失精度,且完全开源(Apache 2.0),可在自己的 Mac/PC 上微调后部署到设备端。Pebble 智能戒指已将其投入生产使用,无需联网即可本地响应语音指令。对于 IoT 开发者而言,Needle 让"端侧 AI"真正触手可及。

官网地址:https://cactuscompute.com/needle