“平安城市”推动下,巨大的安防市场孕育出了巨大的产业。全球的摄像机(或者模组、电路板)大部分是在中国制造的。众所周知,海康威视、大华、宇视(千方科技)是数字安防市场的三强,当然除了它们,中国还有众多的中小企业。不仅是安防,直播、通讯、工业等众多领域也要用到类似的设备。
前段时间,美国*建议以国家安全为由禁止美国联邦*采购某些中国制造商供应的视频监控设备。我这才知道,原来它们已进入到美国的公用事业了。
无论如何,中国已具备强大的电子整机设计和制造能力,那么,问题来了:视频监控的核心系统芯片是谁家的?
摄像头的芯片主要包括两大部分:
1、用于成像的CMOS传感器,主要供应商有索尼、豪威(被韦尔股份收购)、格科微(上海)、安森美、思特微、比亚迪等中外企业。
格科微在中国率先开创CMOS传感器产业,与中芯国际有合作。格科微创始人是清华毕业的赵立新,他的父亲是远近闻名的工匠,当年他暑期回来在作坊里挣学杂费,我还专门去观摩过。
2、系统芯片(SoC,system on chip,也叫片上系统)。包括了编解码单元(用于压缩视频流),CPU(系统控制),ISP(图像信号处理)等几个部分。注意,早年上述每个功能都是分立的芯片,现在可以集成到一颗芯片里了。
至于这颗安防芯片,所有的行业人士都会异口同声告诉你,海思是霸主,每年收入达到十亿美元量级,现在已经占据了该市场百分之八十以上的份额。
海思的份额远远超过了传统芯片巨头德州仪器(TI)和安霸(Ambarella)。最近甚至传言,TI要退出安防芯片市场了。
第一章 关于视频编解码
华为手机之所以成功,最重要的原因是有强大的基带能力,也就是手机的通信能力。
苹果最新款手机上市以来,业界关于“信号不够好、速率不够快”议的讨论,都怀疑是因为采用了英特尔的基带,性能不如高通强。
高通在基带上很厉害。顺便整合了周边的资源(如CPU等),连带着手机的系统芯片(SoC)也卖得很好,所谓“卖基带送CPU”战略!
IP数字摄像机(IPC)的系统芯片,则是以编解码能力作为核心的。谁能做好编解码,谁就能整合周边资源来提供一揽子的SoC(系统芯片)方案。
这就是海思的“吸星大法“!
我们先从分辨率说起。视频画面,分辨率越高,就看的越清楚。一般说来,高清=720p,全高清=1080p,超高清4k是4096x2160或者3840x2160。单位都是pixel(像素)。分辨率与镜头和图像传感器息息相关。
不过,分辨率越高、清晰度越高,原始图像数据量也越大,就要求越来越强大的编解码算法来压缩文件的大小,要不根本就存储不下来,也传送不出去。
老兵戴辉先啰嗦一下,来看看编解码标准的演进。1994年,我的本科毕业设计就是在东南大学罗立民教授领衔的图像实验室里,在吕玉琦教授指导下,完成了JPEG的计算机实现。这是世界上第一个静态图像压缩标准,是1992年定义的。在这一点上中国与世界基本同步。
我在一台386电脑(没有协处理器)上,用十分钟完成了一张512*512像素的黑白图片的压缩或解压缩,可以将文件大小压缩到原文件的十分之一。
答辩的时候,我第一个上台,老师们精神很好,问:如果改一下里面的某个算法会有什么不同的效果? 当年的菜鸟“小兵戴辉”老老实实地答:我不知道,我是一丝不苟按协议来实现的!
我后来在中山大学的研究生同学梁凡的本科毕业设计也是JPEG编码的实现。不过他算得快,他用的是快速查表的方式,没有像戴辉一样简单调用COS和SIN函数。当年的我,曾颇有些“既生瑜,何生亮”的感觉,现在却要沾这位学术精英的光了。
言归正传。手机里照的照片,通常都是使用JPEG算法来压缩,大小在几M左右。如果选择采用”RAW“格式,才是真正的“原图”,未经处理和压缩,大小通常有几十M。
图像之后,就进入到视频时代了。九十年代后期,录像机迅速被淘汰,VCD、DVD风起云涌。这个时候,基于视频的编解码标准就粉墨登场了!DVD用的是MPEG-2压缩标准。
在同等图像质量的条件下,H.264的压缩比是MPEG-2的2倍以上。举个例子,原始文件的大小如果为88GB,采用MPEG-2压缩标准压缩后变成3.5GB,压缩比为25∶1,而采用H.264压缩标准压缩后变为879MB,压缩比达到惊人的102∶1。这对于节省视频的硬盘存储空间,和降低对网络传输的带宽要求,都有巨大的好处。
现在,最新的视频编解码标准是H.265,它的压缩能力比之前的H.264还要强一倍。
不过,这是要付出代价的,编解码标准压缩能力提升,也对CPU的计算能力要求越来越高!所以芯片里的晶体管尺寸越来越小,就是为了在芯片里面容纳更多的晶体管,以实现越来越大的计算能力。
华为在编解码的国际标准上参与了不少制定工作,是最新的H.265标准的主要技术贡献者。4G网络打电话时用到的VoLTE技术,就要用H.264的编码算法。
有网友笑谈:以后看纤毫毕现的爱情动作片,也可用到华为的技术了!
第二章 决定要做视频编解码芯片
1996年,华为在研发上考虑向交换机以外的领域扩张,刘启武组建团队开发会议电视和视频监控产品,并成立了多媒体业务部。
会议电视好理解,就是用来开会的设备,后来华为还推出了“智真”视频会议平台。
华为视频监控的第一代产品主要用于通信机房监控,后来公司把这块业务与华为电气的环境动力监控业务整合在一起卖给了艾默生。
2006年华为重新进入该领域,主要结合运营商“全球眼”需要做监控软件平台,不过,华为自己基本不做摄像机整机,如果需要,就到外面去找OEM。
华为这些业务做得也不错,但是市场比较分散,华为只是主要的玩家之一。在规模上,与公司其他的基站和手机这些超级大块头相比,更是远远不及了。这些都是后话。
2004年10月,华为成立了一个叫海思的子公司(小海思),从事外销芯片业务。与此同时,服务系统的芯片和公共平台归在2012实验室,叫大海思。
2005年,海思艾伟牵头,定义了几颗消费电子芯片的规格,包括SIM卡、机顶盒芯片、视频编解码芯片等。
华为搞多媒体业务的有两块。华为软件公司数字娱乐产品线(IPTV、视频监控软件平台)的负责人是张国新和“隔壁老王”,华为终端公司(会议电视和机顶盒)负责人李云白和王兆祥,都参与了海思多媒体芯片产品规格的定义。
视频编解码芯片的开发负责人是杨锋国(PDT经理)、罗琨。
会议电视是华为的老产品,该颗芯片最初的设想是在在会议电视上先用,这个开发思路和华为以前为系统设备开发配套芯片的思路是一样的。举个例子,1991年徐文伟领衔开发出的华为第一颗ASIC就是用在自家的程控交换机的接口板上。
第三章 前三年收入几乎为0
当时,任老板为海思的发展定下的目标是:招聘2000人,三年内做到外销40亿元人民币。前者很快就完成了,后者却遥遥无期。
其实编解码芯片不是海思规划的第一颗外销芯片。第一颗是SIM卡芯片,立项的时候,市场上一片卖到十美元。等做出来的时候,价格已经跌到一人民币一片了。技术门槛不高,竞争激烈,于是海思直接放弃了这个业务。真是当头一棒啊。
2004年至2007年的这三年里,海思消费芯片对外销售几乎为零!
屡战屡败,屡败屡战。
芯片要想获得第一个大客户非常艰难,也就是所谓的“从0到1”困境。理想总是很美好的,但是现实却很骨感。
上面提到,视频编解码芯片原计划首先用在会议电视上。不过会议电视这个产品有个不好的地方,就是平时都是领导在用,出了问题裹都裹不住,反而影响华为的大产品销售。因此,会议电视产品如果用来给刚出来的海思芯片做实验,一线的销售员就很可能拒绝去卖了。老兵戴辉在销售体系干了八年,对这样的心态特别了解:小产品千万别给我惹事!
无奈之下,海思必须出去找市场。早期开拓市场就是一部血泪史。负责销售的何志强(原电信系统部部长)愁白了头,因为实在是和以前对运营商的销售模式实在太不同了!
上帝为你关了一扇门,就会给你打开一扇窗。如果都不开,那就开空调!
后来海思误打误撞进入了数字安防市场。
2005年11月,海思第一次参加安博会(全球规模最大的安防专业展览会),艾伟面对众多安防厂家侃侃而谈,为即将诞生的芯片预热市场。
2006年6月,海思在TAIPEI COMPUTEX展会推出了H.264视频编解码芯片Hi3510!
老兵戴辉采访了创立常州明景电子的郑晖,该公司曾是中国最大的高速球形摄像机厂家之一。郑晖是老三届,谈起东南大学的求学生涯,他最大的遗憾是:没去舞厅跳过舞,少捏了好多学妹的小手!
2007年6月26日,郑晖一行应邀访问了华为,并实际参观了华为最早这款3510的表现。他对这次交流印象一直很深刻,他感觉海思的芯片用起来发热有点大,还不能用在对环境要求高的高速球机上。不过,这也是其他芯片的共同问题,毕竟H.264芯片业内大家都是才做出来不久。
第四章 数字化带来历史机遇,大华股份给了海思第一个大订单
本世纪初,随着数字技术的发展,整个行业对模拟设备进行数字化改造。但是前端模拟摄像机存量很大,同轴电缆连接也一时半会很难改造。
后端的传统磁带录像机因为集中,很容易改造成硬盘录像机DVR。机会来了!
传统的磁带录像机,要使用大量的磁带,存储空间消耗很大,要查询历史资料也很麻烦。举个例子,一个银行网点的视频监控记录通常要保留一个月,要有一个房间来保留堆积成山的录像带。
DVR硬盘录像机的硬盘存储容量很大,可以管理多块硬盘。资料超过保存时效后(如一个月),可以自动被新的视频所覆盖。
在DVR硬盘录像机市场上,中国厂商(如海康和大华)是以开拓者的身份出现在中国和全球市场上,并异军突起最终成为领导者。硬盘录像机有两种形态,电脑板卡以及嵌入式(见下图)。
第一代DVR在上世纪末开始有,支持MPEG-2压缩算法(VCD就用这个算法)。早在2002年,大华股份推出的业内首台自主研发8路音视频同步嵌式DVR,就是第一代的。主流硬件方案大部分是飞利浦半导体(后来独立出来成为NXP)的SAA7113+PNX13系列。
第二代DVR从2005年开始发展,典型特征是:采用 MPEG-2/H.264视频压缩算法,具备VGA/HDMI高分辨率显示接口,当时国内外支持H.264压缩的芯片也都是刚发布不久(我们看的DVD和和蓝光HD-DVD分别用的是MPEG-2和H.264算法)。
上文提到的郑晖在2006也开始做第二代硬盘录像机,采用了美国一家公司的芯片来做,入门费就花了10万美元。金融危机来之后,这家芯片公司垮掉了,所有投资都打了水漂。
海康一方面继续沿用飞利浦半导体(NXP)的芯片来做第二代硬盘录像机,但发热比较严重,所以同时也在用TI的芯片。
来得早不如来得巧。海思的H.264视频编码芯片就在这个关键时候,出现在市场上!
当时华为在业内没有什么什么品牌知名度,第一个客户是如何获得的呢?
当时,华为软件公司用配合运营商的“全球眼”来做视频监控软件平台,没有摄像机,就去和海康与大华谈合作购买。
软件公司隔壁老王就和海思负责华东地区业务的孙微风与浙江的销售员殷建国一起去了!
今天大名鼎鼎的海康CEO胡扬忠以及大华股份董事长傅利泉都曾出来见华为的代表团。
大华开发第二代DVR,支持H.264的芯片当时也挺少。它在DVR上想守正出奇,做出新意来。殷建国就象蚂蟥一样,死盯着安防老二的大华不放,并推动海思与大华在研发层面进行紧密的战略合作。
2007年,大华和海思签订了20万片H.264视频编码芯片的合同(3510、3511),用于当时快速发展的第二代硬盘录像机上。最近,我也向大华总裁李柯先生确认了以上的信息。
看来这个事实已经是板上钉钉,谁也赖不掉了:大华股份的这份订单,是海思成立后,第一个真正意义上的外销芯片大合同。特别值得划重点的是,这款芯片此前并没有机会在母公司的设备里首先使用!
朋友圈里的资深芯片评论员捕头宋兵说到:“天下武功,唯快不破。在摩尔定律的驱动下,IC行业是典型的时间性行业。机遇的时间窗口期稍纵即逝。”
此后,海思从单独的编解码芯片出发,后来又做出了系统芯片(SoC)。2010年开始大规模进入全球最大的安防摄像头厂商——海康。
相比国外供应商,海思提供了比较完整的解决方案,还不用昂贵的入门费。后来中国厂商在中国和全球大卖DVR!于是鼎盛时期海思也占领了79%的DVR芯片市场份额。
汪海曾经带老兵戴辉参观过华为自身园区的安防设施。最早期都是一水的模拟摄像机,由霍尼韦尔、IBM、西门子等公司总包。老兵戴辉以前在海外某办事处工作时候,是租赁的写字楼,周末丢了三台未开封的便携,要在物业的小监视屏那里要看完48小时的监控好难好难,最后大家绝望的放弃了。
华为视频产品线对自身的园区进行了数字化改造之后,就可以开始采用人工智能技术了,比如车牌号码识别、人脸识别、人数统计、虚拟警戒线等。
第五章, IP化和高清化技术革命,海思成了视频领域的联发科
数字化和IP(互联网协议)狂潮来临。支持IP的网络摄像机(IP Camera)迅速发展了起来。
在平安城市、数字城市、智能城市、智慧城市建设的推动下,中国则已成为全球最大的安防市场!
中国主要采用网络摄像机, IHS解释,一是中国新的建筑中传统同轴线缆相对较少(都是网线),二是网络摄像机的价格也相对较低,三是中国的大项目往往要求可扩展,在这几点上IP有独到的优势。
在数据通信方面非常强悍的华三设立了视频监控产品线,引领了IP化潮流,还做了一个叫imos的操作系统。IP化之后,组网比以前方便了很多,可以直接拉网线,不用拉同轴电缆了。
该产品线后来独立成为宇视科技,“imos inside”最近还上了新闻。宇视科技抓住了海量摄像机硬件的最后机会跻身三甲。“北航辛弃疾”张鹏国,漫卷诗书喜欲狂!
网络摄像机(IPC)是前端,后端用NVR(网络视频录像机),请见下图。
因为有悠久的音视频编解码技术和口碑,TI和安霸在网络摄像机(IPC)领域当时的市场份额很高。
记得有一年,老兵戴辉参加安博会时,曾参观了海康的展台。老兵戴辉问海康员工:“海思的芯片如何?” 当时得到的答复是:“华为的芯片用于便宜的摄像机,TI的用于高端!”
2012年8月14日 ,屡次持枪抢劫的悍犯周克华在重庆沙坪坝童家桥一家皮鞋厂内被警方击毙,其中海康的高清摄像机立了大功。后来高清就成为平安城市标配了。
插一句说一下,NVR的系统芯片市场是由海思、TI、Marvell等几家厂商分食。
也就在这个巨变和快速发展时期,海思成了视频监控领域的“联发科”。
众所周知,2006年,联发科(MTK)推出了GSM手机的TURNKEY(交钥匙)解决方案。联发科不仅提供芯片,还提供电路板整体方案,甚至提供平台软件。这个方案使两三个人就能搞出一个厂,生产手机整机,可以仿地雷,可以带六个喇叭,做你能想到的一切!一夜之间,数千家“山寨”厂冒出来,深圳的“寨都”因此得名。
SoC就是系统级芯片或称片上系统。通俗点说,就是将电路板上的多块芯片以及嵌入式软件,全部塞入一块芯片中。这意味着,在单个芯片上,就能完成一个电子系统的功能。可想而知,SoC在性能、成本、功耗、可靠性,以及生命周期与适用范围各方面都有明显的优势。
有了SoC之后,海思的整体解决方案在成本控制等方面获得很大优势,成为了国内领先的视频监控解决方案,就和联发科一样。开发环境也是基于PC的,对众多缺乏技术能力的小制造厂很友善。
站在巨人的肩膀上,才能看到更远,做SoC都要广泛合作,不可能什么都做。要去购买其他厂家的IP(知识产权授权),可以是软核或者是硬核。这是海思的“拿来主义“与“吸星大法”!
海思的这款SoC解决方案,CPU采用英国剑桥的Arm架构,和手机一样。同时构筑了嵌入式操作系统,采用的是裁剪过的Linux操作系统。
图像信号处理器ISP(Image Signal Processor)非常核心,在知名CMOS传感器格科微工作了十来年的湖杉资本李翔告诉老兵戴辉,海思最早购买的是豪威(OmniVision)的IP(知识产权)授权,后来自研成功。
据说最早那颗芯片(3510)的视频编解码算法也有对外合作的部分,但我已经无从考据了。
用一颗海思的SoC芯片,加一些外围的分立元器件,就可以做成一个IP摄像机的电路板。入门级的只要八十块钱。厂家在这上面加上电源以及镜头等光学器件,就可以做成五花八门各式各样的入门级摄像机。
什么东西中国人会干了,价格就会大幅下滑。
2012年,接了殷建国班的驻杭州销售员成了Top Sales,光是海康和大华的订单就就卖了一千多万片,实现了海量的发货! 也在此年,华为的手机芯片K3V2开始在D1四核版上使用。
殷建国说:因为职业习惯,开车的时候总是要看路边有多少摄像头,以前是几个路口才一个,现在是一个路口好几个。摄像头也深入到了社区和楼道!
曾在东南大学学影像的沈昱,毕业后去了国内会议电视公司POLYCOM工作多年,创业进入工业级高清摄像机领域,我采访了他。回忆起历史,他告诉我:“高清成像离不开高性能的成像算法芯片,之前我们的成像算法是运行在国外公司的可编程逻辑器件FPGA上,相当于在一个空地基上搭建起一所高楼,所有的软件工作都要自己完成,需要大量的工作,且可扩展性也比较差。”
沈昱又说到:“自从海思推出了专门针对于高清成像和编码产品开发的高端SoC系统芯片系列后,我们一直保持关注和跟踪,在实践中,发现海思的产品越来越能满足我们的需求,且有很不错的性价比。海思的351x系列SoC芯片接口丰富,内置了各种ISP算法模块和音视频编码模块,开发平台功能强大,技术支持及时高效,便于我们快速实现产品开发和迭代;海思开放的软件架构也便于我们嵌入自己的专有算法和软件模块,体现产品优势。我们在产品中广泛使用了海思的3516C/3516A/3519等SoC芯片。”
沈昱还提到:“我们采用海思的3519在业界率先支持4K级高清图像应用,为我们追赶和超越国外领先厂商提供了强有力的帮助。”
到了最新的H.265编解码标准时代,华为已经是标准的重要参与者之一,并有了不少的专利。
早在2014年9月,海思就基于H.265/HEVC标准推出业界第一颗高清网络摄像机处理器Hi3516A。
一流企业卖标准(授权),二流企业卖技术(芯片),三流企业卖产品(制造),四流企业卖力气。
值得一提的是,2010年开始,安防领域也有了国内自己的标准:SVAC,由*部和中星微联合研制。某些专用环境下会要求使用该标准,以后会发展到什么程度,还要拭目以待。