英特尔神经计算棒是什么？
2018年11月14日，英特尔人工智能大会在北京举行。逾千名AI开发者、研究人员以及英特尔的客户和伙伴齐聚，探讨AI的发展，了解AI技术组合的最新进展。会上，英特尔发布了英特尔神经计算棒二代（简称intel NCS 2），利用该计算棒可以在网络边缘构建更智能的AI算法和计算机视觉原型设备。
英特尔®Movidius™神经计算棒是基于USB模式的深度学习推理工具和独立的人工智能（AI）协处理器，其内部核心是一颗Myriad 2处理器（28nm工艺），具有80~150 GFLOPS的性能，该处理器也被称为视觉处理单元 （或视觉加速器），功耗仅为1W左右（作为参考，树莓派3B在HDMI关闭，LED熄灭和WiFi开启时功耗大概在1.2W），因此完全可以通过USB供电，可以广泛的为边缘主机设备提供专用深度神经网络处理功能。外形小巧的Movidius神经计算棒专为产品开发者、研究人员和创客设计，提供专用高性能深度神经网络处理性能，从而减少开发、调优和部署人工智能应用的障碍。无论开发者研发智能相机、无人机、工业机器人还是必不可少的下一代智能家居设备，英特尔NCS 2都能让原型设备运行得更加快速、更加智能。此外，借助英特尔 AI: In Production生态系统，开发者现在可以将他们的英特尔NCS 2原型移植到其他产品上，并实现设计的产品化。
英特尔NCS 2不同于传统观点认为的那样—“深度学习就一定需要高性能的GPU、TPU、FPGA等硬件平台，一定需要高速的网络带宽”。NCS正在打破这种局限，为那些想入门人工智能领域的学生、从业者提供了一种边缘计算的深度学习可行性，而达成这一切所需要的仅仅是一个支持Linux系统的便携式硬件平台。
上面提到了边缘计算，那么边缘计算又是什么呢？
预计到2020年，全球将有200亿联网设备，设备端与云端的数据传输量将高达数百亿PB。对物联网而言，如果边缘计算技术取得突破，意味着数据将通过本地设备处理并做出反馈，而无需交由云端，计算处理过程将在本地边缘端完成。这无疑将大大提升处理效率，减轻云端的负荷，还可为用户带来更快的响应，减少数据隐私泄露，提高边缘端计算可靠性等等好处。
边缘计算并非是一个新鲜词，无论是云还是边缘计算，本身只是实现物联网、智能制造等所需要计算技术的一种方法或者模式。本质上，只是相对于云计算而言，边缘计算是在接近于现场应用端提供的计算。
边缘计算优点更多体现在：
减少网络带宽：减少数据从传感器/设备端传向云端所占用的网络带宽；
降低延迟：降低由云端决策并在设备端执行反馈的延迟；
数据隐私：无需上传涉及用户隐私数据，直接在边缘端判断形成决策反馈；
应用可靠性：物联网设备工作环境有可能会比较恶劣，无法联网等情况也会时有发生，边缘端计算将有效降低对云端的依赖度。
那么如何用神经计算棒来做边缘推理？
这个过程需要分为3个步骤：
- 模型训练(数据中心–云端)，常用的深度学习框架：Caffe / TensorFlow / mxnet / 等等。
- 优化和编译（笔记本电脑+NCS），将模型在不怎么损失太多精度的情况下进行优化和格式转化，用以生成适合不同硬件二进制模型。
- 部署模型并用于实际场景的推理
参考：https://www.cnblogs.com/slidestalk/articles/11718013.html