10月23日,高通在北京举办了一场关于“智能摄像头解决方案”的媒体沟通会,本次沟通会上,高通Technologies产品管理高级总监Sahil Bansal出席并进行了讲解。
高通Technologies产品管理高级总监Sahil Bansa
首先,Sahil Bansal对物联网领域提出了自己的理解,他认为该领域的发展趋势主要体现在以下几个方面:
物联网领域的发展趋势以及高通在该领域的优势
1.以元器件为主,转变为系统级解决方案的思路
2.行业领导地位源于长期投入和规模化优势
3.对无线连接的需求不断增长
4.智能持续向边缘进行拓展
当谈到物联网领域的领导地位时,高通在无线网络、Wi-Fi解决方案拥有巨大的用户群,并且在基于Mesh的Wi-Fi网络上,在当今领域属于领军者。同时包括高通Wi-Fi SON(自组织网络)解决方案。在家庭/企业/场馆Wi-Fi的市场份额、全球蓝牙音频系统解决方案以及Wear OS手表市场方面,高通也是遥遥领先。4G儿童手表的快速发展是全球特别是中国市场的趋势之一。此外,高通也是首个推出面向智能摄像头的10纳米系统级芯片(SoC)的厂商,目前有不少主流厂商的新品搭载了高通QCS605/QCS603等10纳米系统芯片的解决方案。
对于物联网领域来说,智能摄像头最需要的三大要素,主要包括“连接”、“计算”和“安全”。
智能摄像头最需要的三大要素
连接
首先,物联网领域需要更快的网络速度来支撑连接,为此高通投入了巨大的研发,高通拥有丰富的Wi-Fi、蓝牙、LTE、4G/5G网络等连接技术优势,可提供与应用处理器集成整合后更好的连接方案,
计算
关于高性能的计算,物联网领域需要利用不同的引擎,满足不同算法的需求,比如人工智能、视频音频编解码、基于传感器的处理应用等,高通通过与ARM的合作,开发出了基于ARM的“KryoCPU”架构,可以实现性能最大化以及更小的功耗。同时,高通还有定制化的Adreno GPU与DSP、显示屏处理技术和电源管理,从而为带来更好功能体验。
安全
随着物联网对安全性的要求不断提升,对于智能摄像头来说,安全性是必不可少的。为此,高通在安全性上带来看更多卓越的解决方案,比如支持安全启动、安全存储、密钥配置、安全调试等。
高通认为,对于物联网来说,终端、机器与万物正在变得更加智能化,就拿智能摄像头来说,它不仅进行面部识别、面部检测和人物检测,同时还可以识别人物的坐姿、蹲下和奔跑等一系列姿势。
另一个趋势就是,智能化正在向终端进行分布,并且从服务器、云向无线边缘与终端扩展,其中在服务器上经常可以看到与云上的AI模型训练与无线边缘与终端逐渐的进行连接。
面向互联网的深度学习
而整个万联网领域,最重要的当属“终端侧智能”,它能够对云端处理进行补充。终端侧智能之所以重要,是因为它能够更好地保护隐私、提高可靠性、降低时延、高效利用网络带宽。就隐私而言,比如您在使用家庭安防摄像头时并不希望摄像头拍摄的所有画面都传输到云端,终端侧智能可以在最靠近数据源的位置处理数据,保护用户的隐私。就可靠性而言,比如家中的网络因为某些原因而发生中断,但用户仍然希望关键业务应用可以正常运行,家庭安防摄像仍然能够及时检测到入侵者。对低时延而言,用户在使用基于互联网的应用时希望可以享受低时延的体验,比如摄像头在检测到访客画面后能够快速识别对方身份,并且判断对方身份是可靠或可疑,快速执行开门或报警的动作。同样,网络带宽的高效使用对于普通消费者和企业级用户来说同样重要,将摄像头拍摄的所有画面均上传至云端对于带宽利用是非常低效的。如果能够在终端上完成画面的识别和分类,再智能化地将其中某些画面上传云端,从而实现网络带宽的高效利用。
人工智能在物联网的用处
需要注意的是,目前面向物联网的摄像头技术和手机中使用的摄像头技术并不相同,首先,高通拥有更为先进的时域降噪技术,可改善低光源环境下的视频画面质量、其次,360度端侧画面即时拼接可支持VR摄像头应用,在终端上就能完成,具备低时延的特性;然后先进的电子稳像(EIS)不仅可支持运动摄像头和无人机,对于企业级或车载摄像头也是极其重要;最后,交错式HDR可以支持广角视角及出色的视频拍摄功能,同时能够适应不同灯光环境进行拍摄。
高通在面对物联网使用的摄像头方面,主要提供了丰富的终端侧神经网络产品组合,包括优化后的“SoC”系统芯片,通过异构计算的关键优势,提供高效、优化、性能卓越的系统级芯片,包括定制的Qualcomm Kryo(CPU)、Qualcomm Adreno(GPU)、Qualcomm Hexagon(DSP)。针对不同的应用,在CPU、GPU或DSP上高效运行不同的神经网络。接下来是软件框架,高通提供的深度神经处理架构为合作伙伴在其加入不同的深度神经网络。
另外,当提及“人工智能”(AI)时。高通表示它也是物联网至关重要的关键,并且将AI分为视觉智能、音频智能、低能耗处理的三大类别。
AI的三大类别
面对IoT市场,在今年美国CES上,高通就针对IoT领域一连推出5套不同的芯片产品系列,包括移动(Mobile)、应用(Applications)、通讯(LTE)、网络连接(Connectivity)、以及蓝牙(Bluetooth),大举抢占IoT市场。
为此,高通带来了以下四种解决方案:
高通在智能摄像头上带来的四种解决方案
入门级摄像头解决方案
Qualcomm APQ8053 Lite与ualcomm APQ8053 Pro,前者支持2100万像素,视频支持1080p,CPU为8xArm CoretexA53,其频率高达1.8GHz,集成Adreno GPU;后者支持2400万像素,视频支持4K@30fps,CPU为8xA53,频率高达2.2GHz,集成Adreno 506 GPU。
旗舰级摄像头解决方案(早期发布的两款产品)
QCS603
QCS603专为企业级IT所设计,摄像支持2400万像素、30fps,视频编解码器可支持4k 30 HEVC,CPU为四核Kryo,GPU为Adreno 615,DSP包括2xHVX/1.2GHz,能够为深度学习提供非常强大的计算能力;QCS605的摄像头可支持3200万像素、30fps,视频编解码器可支持4K@ 60fps,CPU为八核Kryo,GPU为Adreno 615,DSP集成2xHVX/1.2GHz。
QCS605
这款芯片采用10nm工艺,采用异构计算,集成了八核Kryo 360 CPU、Adreno 615 GPU和Hexagon 685向量处理器;它支持高通人工智能引擎,可为深度神经网络推理提供高达每秒2.1TOPS运算,加速终端侧AI;它还支持双1600万像素传感器,提供4K+60fps或5.7K+30fps的视频,为相机提供更强的图像处理能力。
得益于高通QCS605芯片的支持下,摄像头可以实现物体的追踪、人脸识别、食品分类等,可以广泛应用在智能家庭安防、智能显示屏、运动摄像头、VR 360度摄像头、工业物联网、企业监控摄像头等领域。
此外,Sahil Bansa还带来了高通在loT领域生态合作方面的更多进展,比如高通与微软进行合作,共同推出搭载搭载高通视觉智能平台及微软Azure IoT Edge的AI开发包。与GoPro合作研发的摄像头等。
高通展示摄像头解决方案
沟通会最后,高通向媒体展示了智能摄像头解决方案在智能家居、智能音箱、VR、企业级监控领域应用场景的成果,由此也能看出高通正在物联网领域里更快的实现加速落地。