边缘 AI 的本质:模型不只要准,还要在设备约束下跑得动
云端模型可以依赖大显卡和稳定网络,端侧模型面对的是手机、电池、摄像头、传感器和 MCU。一个模型即使准确率很高,如果内存超限、延迟太高或耗电太快,也不能算端侧项目成功。
学生做这个方向时,要把模型效果和工程指标一起展示:原模型与压缩模型对比、端侧推理耗时、模型大小、峰值内存、功耗或离线可用性。这样项目才不像普通分类实验。
- 输入通常是摄像头图像、语音、振动、传感器流或本地私有数据。
- 输出可以是本地分类/检测、事件告警、离线问答、端侧报告或边云协同决策。
- 难点在于精度-延迟-能耗-内存之间的权衡,以及不同硬件上的部署差异。