尽管由于限制,华为拥有设计先进芯片的能力但没法制造出来,但是软硬件优化还是让华为的平台展示出了优秀的性能,日前OpenCV就实现了对华为AI平台晟腾的优化,速度提升很恐怖,差不多是苹果M1处理器的7倍。
据南方科技大学计算机系的于仕琪老师介绍,OpenCV中国团队实现了OpenCV4.7对华为晟腾的支持,在华为硬件上,3毫秒就可以完成ResNet50的推理。
这个速度的确很恐怖!要知道,我们把OpenCV针对arm cpu加了winograd conv等的优化了,在苹果标杆CPU m1上都要跑20+ms。
这一工作的最大意义在于,用户不需要学习华为晟腾的复杂API,正常调用OpenCV,就能实现晟腾NPU硬件加速。
据悉,昇腾CANN(Compute Architecture for Neural Networks)是华为针对AI场景推出的异构计算架构。
昇腾CANN支持昇思MindSpore,OpenCV DNN,飞桨Paddle、PyTorch、TensorFlow等神经网络推理和训练框架,并兼容多种底层硬件设备,提供强大异构计算能力。
其中昇腾CANN为用户提供了模型转换工具ATC,以及C/Python的API库AscendCL。
用户可使用ATC将ONNX、TF和Caffe模型转换为被AscendCL支持的OM格式,并调用AscendCL的API读取和在昇腾AI处理器上推理模型。