虹軟陳鋒：虹軟視覺感知技術(shù)打造智能安全的駕乘體驗

　　【太平洋汽車網(wǎng) 行情頻道】9月14日，由蓋世汽車主辦的2021中國商用車自動駕駛大會隆重召開。本次峰會主要聚焦商用車自動駕駛行業(yè)發(fā)展趨勢，共同探討從感知、決策到執(zhí)行層面的核心技術(shù)，以及港口、礦區(qū)、干線物流、園區(qū)等不同終端場景的產(chǎn)業(yè)化落地方案。下面是虹軟科技股份有限公司視覺車載事業(yè)群副總經(jīng)理陳鋒在此次大會上的發(fā)言。

虹軟科技股份有限公司視覺車載事業(yè)群副總經(jīng)理 陳鋒

大家好！

虹軟公司是一家算法公司，我們自1994年成立以來一直都在做視覺感知算法，只做一件事情。

視覺感知是自動駕駛的基礎(chǔ)，離開感知就等于你看不見，是一個盲人，什么事情也做不了。感知方面有毫米波雷達，有激光雷達，有其他的傳感器，包括夜視紅外，每個級別從L0到L5都離不開視覺傳感器。我們把視覺分為艙內(nèi)和艙外，在2035年到來之前，十幾年以內(nèi)可能在車上面還是有駕駛員，有駕駛員就需要做駕駛員狀態(tài)監(jiān)控，需要DMS，需要很多讓他工作起來更安全更快捷的方法。

虹軟公司是1994年在美國成立的，在2017年把總部搬到中國以后，2019年在上海科創(chuàng)板上市，是首家視覺感知的公司（科創(chuàng)板上市），也是25家第一批科創(chuàng)板上市的公司之一。我們做的視覺感知都是嵌入在客戶的設(shè)備之中，比如說最早的打印機、電腦、數(shù)字攝像機、功能手機、智能手機等等，裝載虹軟算法的終端設(shè)備已經(jīng)超過100億臺。

這是我們視覺感知的各個方面，從傳統(tǒng)基礎(chǔ)攝影技術(shù)到圖象增強，再到智能感知。我們進入汽車行業(yè)并不太久，但在進入到汽車行業(yè)以后，我們的定點的項目已經(jīng)超過了50個車型，覆蓋了乘用車領(lǐng)域國內(nèi)主要的主機廠，還包括新能源汽車。

我們的視覺感知基本上是全棧式的，從艙內(nèi)到艙外，DMS、OMS、Authenticate、人機互動、ADAS、AVM/MOD、AR導航、HUD、艙內(nèi)娛樂系統(tǒng)。為什么有艙內(nèi)娛樂系統(tǒng)？主要在乘用車，但是商用車也可能發(fā)展起來，為什么？剛才嘉賓講商用車司機疲勞是常態(tài)，長期駕駛是他工作的一部分，有什么辦法不光能檢測到他的疲勞，而且減輕他的疲勞，舒緩他的疲勞，在艙內(nèi)智能技術(shù)是不是能起到幫助的作用呢？咱們也可以一起來探討。

在商用車方面，我們的算法主要是艙內(nèi)的DMS以及人機交互、OMS、艙外ADAS、AVM相關(guān)的產(chǎn)品，在商用車領(lǐng)域除了算法授權(quán)之外，我們也有軟硬一體解決方法，有硬件產(chǎn)品，包括了一個攝像頭的AI Camera，這個攝像頭可以只做DMS，也可以只做開門提醒，我們也有2-4路中低端硬件解決方案AI BOX，4路攝像頭可以做AVM，也可以組合做其他功能，包括4-8路高端解決方案AI BOX。

AI Camera應(yīng)用最多是艙內(nèi)感知DMS。2-4路的，比如說BSD，前左右BSD加上DMS，還有其他的組合，我們不僅有硬件，算法也是一起提供的。這是AVM，也可以把4路全部用做AVM，4-8路就更多了，這里有部標機形態(tài)，也可以做其他非部標的形態(tài)，這里可以有不同組合。

下面主要用視頻跟大家分享一下我們實際做的產(chǎn)品情況，首先是DMS。這里面包括人臉識別，可以識別駕駛員是誰，包括疲勞、分心、抽煙、打電話以及手勢控制等。（VCR內(nèi)容）

疲勞除了簡單的眼部以及臉部表情識別之外，我們加了很多其他功能來做疲勞檢測，比如說視線方向和狀態(tài)，可能會顯示出你是不是疲勞狀態(tài)。比如你在疲勞前，真正要打磕睡以前，很多人會揉揉眼睛，也可能會揉揉臉，也可能會扭扭脖子做做其他的動作，我們就可以把早期疲勞狀態(tài)提前檢測出來。

昨天討論的時候也提到，目前DMS設(shè)備等到報警的時候已經(jīng)太晚了，已經(jīng)太疲勞了，沒有用，我們可以有其他辦法讓這個疲勞檢測更加精準，而且能夠預判，讓決策和執(zhí)行機構(gòu)根據(jù)感知結(jié)果進行決策和控制。還有生理特征，通過同樣一個DMS攝像頭檢測到血流的變化得到心率情況，如果心率變慢也有可能是開始進入疲勞狀態(tài)，這樣各種組合真正知道駕駛員身體和生理狀態(tài)是不是疲勞。

還有安全帶檢測，各個視角的攝像頭，以及駕駛員玩手機、看手機、發(fā)微信等可以非常魯棒性的知道，真正的檢測到你這個行為的狀態(tài)。還可以用三維視覺TOF來檢測到這個手是不是真正在方向盤上面。

OMS主要在客運里面用的比較多，在共享汽車后排遺留物，乘客的流量，比如說比亞迪這樣的客車公司，把人流統(tǒng)計應(yīng)用在調(diào)度系統(tǒng)，根據(jù)車上乘客多少的情況，可以實時進行監(jiān)控，調(diào)度各路公交車。

兒童檢測，在歐洲和美國都開始有立法，就是對車上面的兒童安全進行保護。有沒有兒童，有沒有兒童座椅，在不在座椅上面，大人走了是不是兒童遺留在上面，這些都有法規(guī)要求，在2024年以后可能所有的車都要搭載這個功能，這些都是可以通過視覺來感知的。

身份認證，簡單來說可以通過手機進行注冊，上車以后通過同一個DMS攝像頭，就可以進行人臉識別駕駛員驗證。

在互動方面，現(xiàn)在的技術(shù)很多，對于駕駛員來講，特別是卡車，大的車輛駕駛員來講，有的時候做一個手勢可能更便捷更安全，所以我們是通過各種手勢進行艙內(nèi)操作，比如說接電話，切歌等等都可以通過手勢進行控制。

視線喚醒各種屏幕，現(xiàn)在車上各種屏幕很大，包括前面講的EMS，把側(cè)視鏡子用攝像頭替代，用視線交互來控制什么時候亮，還有通過控制器來交互，這也是視線喚醒的一種應(yīng)用。

ADAS不用多講，大家都很熟悉，我們有幾乎所有功能的ADAS，針對車輛、車道線、行人、交通標志、地面交通標志、三維汽車模型、三階曲線擬合等等都做了很多工作，包括紅綠燈。

AVM，這個現(xiàn)在在商用車上面是一個必備的功能。因為我們做手機的全景拍攝很多年，所以對于拼接、去畸變、去鬼影等技術(shù)已經(jīng)有非常多的積累，所以我們用在車輛上面可以實現(xiàn)很快的轉(zhuǎn)化。

（PPT內(nèi)容）這是加了一個透明底盤，就是說把這些圖像進行處理以后，底盤下面情況也可以看到。這是加了倒車指引線以及行人識別和障礙物識別，這些都是有機整合在同一個攝像頭一套系統(tǒng)里面。

講到盲區(qū)，這是在商用車里面非常重要的一個技術(shù)，確確實實商用車盲區(qū)非常大，特別是大型卡車和客車，司機是真的看不見，那么怎么幫助他們避免事故的發(fā)生，也是我們技術(shù)非常重視的部分。

每一輛車盲區(qū)不一樣，它需要安裝的攝像頭個數(shù)和位置都不一樣，對我們視覺感知技術(shù)也是有不同的要求，我們的算法可以適應(yīng)不同車輛、位置和環(huán)境，能夠做到最大限度減少盲區(qū)危險。

同時也可以在廣角魚眼攝像頭上面直接做障礙物和行人車輛非機動車的檢測，復用同一顆攝像頭，不需要增加另外一個設(shè)備，在司機看得到的同時能提醒你有沒有危險，有沒有行人，有沒有其他的障礙物。

我們有可行駛區(qū)域，雖然檢測到有行人，但是在人行道上不可能被你撞到，所以這種情況下就沒有必要對你進行提醒。

還有一個非常好用的功能就是開門提醒，我們用AVM攝像頭或者其他攝像頭可以跟門鎖控制聯(lián)動在一起，這也是在中國道路上經(jīng)常出現(xiàn)的事故。

AR HUD，這個量產(chǎn)現(xiàn)在也越來越多了，在商用車上以后可能也會用，因為確實能夠讓司機專注在前方道路上不需要向其他地方去看。

最后講講車內(nèi)娛樂系統(tǒng)，可以在車上面做手機可以做的事情，可以美顏，可以虛化背景，可以做各種各樣的AI的事情，乘用車上這也是為了吸引年輕一代的消費者，而在商用車上在休息的時候是不是也可以做一些直播或者加一些美顏等等，這也是有可能的。

以上就是我們所做的事情，那么虹軟的優(yōu)勢是什么？

虹軟二十多年一直在做一件事情視覺感知算法，我們的優(yōu)勢，首先是算法優(yōu)勢，我們是一站式全解決，從基礎(chǔ)的圖像增強、圖像處理到圖像分析到智能分析都有。另外就是平臺優(yōu)勢，我們做的平臺很多，不管是高通的，TI的和其他平臺都有針對性優(yōu)化算法。此外是服務(wù)的優(yōu)勢，裝載我們的設(shè)備超過100億臺，我們有專業(yè)的服務(wù)團隊可以就地在車廠幫助你們進行落地。

我們的算法落地就是覆蓋所有影像視覺基礎(chǔ)技術(shù)，在AI、AR/VR上面，還有三維立體建模等等都是非常成熟的方案。

對于算法，比如說ADAS算法，這是一個視頻前方測試，前方靜止車輛或者靜止行人的時候，我們跟市場上比較優(yōu)秀的算法比較，我們的算法跟他們相比不相上下，有的時候有一些優(yōu)勢。對于靜態(tài)行人也是一樣，如果從80米開始，前方有一個靜態(tài)行人，什么時候開始檢測到這個行人，檢測到距離精確度也有比較多的測試，我們的算法還是有不少優(yōu)勢的。

平臺優(yōu)勢有主流平臺，高通就不用多講了，我們是戰(zhàn)略合作伙伴，每次高通新的芯片發(fā)布的時候，基本會放一段虹軟算法展示他們的效果，在其他的NXP、TI、Ambarella、MTK等等上面都有很好的落地案例。

虹軟從算法到平臺二十多年的耕耘，二十多年的優(yōu)化落地的能力。我們認為，對于客戶來講，最關(guān)鍵的就是要成就他們，不光有算法，還要落地，對于我們產(chǎn)品來說最重要的是算法和工程，我們常講的優(yōu)勢就是三個P：Price、Performance、Power Consumption。在各種不同環(huán)境下，在暗光、強光各種情況下都有很好的表現(xiàn)，我們在多年手機上面芯片上面深度優(yōu)化的積淀對資源的利用非常地高。比如說在現(xiàn)有硬件上加功能，比如你對自己的DMS不滿意，但是你現(xiàn)在只有有限的資源，能不能用我們的DMS來取代，讓你做的更好更精確，比如只給一個DSP或者一個CPU有限算力的情況下，我們可以幫助你做到最優(yōu)，做到最好。