芯耀
858
4月22日下午，國(guó)產(chǎn)芯片廠商國(guó)科微正式發(fā)布其自研新一代人工智能圖像處理引擎（AI ISP）品牌——圓鸮，標(biāo)志著其在人工智能與圖像處理技術(shù)結(jié)合方面邁出關(guān)鍵一步，有望為安防、低空經(jīng)濟(jì)、消費(fèi)電子、工業(yè)互聯(lián)網(wǎng)等行業(yè)帶來(lái)更加先進(jìn)的智慧視覺(jué)處理芯片及解決方案。
什么是AI ISP？有何優(yōu)勢(shì)？
傳統(tǒng)的圖像信號(hào)處理(lmage Signal Processing, ISP) 主要是用于對(duì)圖像傳感器輸出的原始圖像信號(hào)進(jìn)行處理和優(yōu)化。其原理是將圖像傳感器接收到的光信息處理成圖像信息，并通過(guò)系列數(shù)字圖像處理算法對(duì)圖像噪聲、亮度、色彩等進(jìn)行優(yōu)化，讓智能終端設(shè)備面對(duì)復(fù)雜多變的現(xiàn)實(shí)環(huán)境，擁有看清世界的能力。
但是隨著用戶對(duì)于畫(huà)質(zhì)的要求越來(lái)越高，傳統(tǒng)的ISP所能夠帶來(lái)的畫(huà)質(zhì)改善的空間已經(jīng)越來(lái)越小，特別的面對(duì)暗光等復(fù)雜場(chǎng)景，傳統(tǒng)ISP要有明顯的效果提升，則不可避免的需要增加器件，比如增加ISP的核心數(shù)量（不少智能手機(jī)芯片廠商甚至在旗艦芯片當(dāng)中采用了三個(gè)ISP）來(lái)提升性能、采用大面積的圖像傳感器、大光圈鏡頭、增加補(bǔ)光燈等，如此一來(lái)成本較高，難以普惠大眾。
國(guó)科微智慧視覺(jué)產(chǎn)品線高級(jí)市場(chǎng)經(jīng)理潘雨表示：“事實(shí)上，傳統(tǒng)ISP一直在持續(xù)迭代，但是能夠看到的收益已經(jīng)越來(lái)越小，給用戶帶來(lái)的能夠感受到的體驗(yàn)的提升非常有限。而將AI技術(shù)與ISP技術(shù)融合，通過(guò)構(gòu)建AI視覺(jué)的處理模型，則能夠突破傳統(tǒng)ISP的性能的天花板，帶來(lái)視覺(jué)效果的質(zhì)的提升?！?/p>
那么相對(duì)于傳統(tǒng)ISP，AI ISP具體能夠帶來(lái)哪些方面的提升呢？
簡(jiǎn)單來(lái)說(shuō)，AI ISP通過(guò)加入人工智能（AI）技術(shù)，使得ISP對(duì)于圖像信號(hào)的處理更加的智能和個(gè)性化，不僅能夠看得清，還能為“看得懂”提供有力保證。
具體來(lái)說(shuō)，傳統(tǒng)的ISP主要涉及信號(hào)的預(yù)處理、降噪、色彩校正、白平衡調(diào)整、圖像增強(qiáng)和壓縮等步驟。這些步驟通常依賴于固定的算法和預(yù)設(shè)參數(shù)來(lái)對(duì)圖像進(jìn)行處理，在光線不足或復(fù)雜光環(huán)境下，圖像很容易出現(xiàn)噪聲、色彩失真、細(xì)節(jié)丟失等問(wèn)題。而AI ISP則通過(guò)將訓(xùn)練過(guò)的AI算法模型、專用的NPU/IPU加速單元和圖像信號(hào)處理器進(jìn)行融合，不僅支持AI降噪、HDR增強(qiáng)、色彩矯正、提升逆光/暗光表現(xiàn)，并能夠根據(jù)實(shí)時(shí)場(chǎng)景、拍攝的物體、用戶的偏好來(lái)自適應(yīng)地來(lái)優(yōu)化各種參數(shù)，提供更精確、清晰的圖像處理效果。
得益于AI ISP的諸多優(yōu)勢(shì)，其在智能手機(jī)、安防監(jiān)控、工業(yè)檢測(cè)、AI/AR眼鏡、自動(dòng)駕駛、醫(yī)療成像等諸多領(lǐng)域?qū)碛袕V泛的增長(zhǎng)空間。
四大核心技術(shù)能力加持，智慧視覺(jué)芯片市場(chǎng)國(guó)科微份額居前
作為多年來(lái)一直深耕于視頻處理、端側(cè)AI及車載電子領(lǐng)域的芯片及解決方案提供商，國(guó)科微憑借持續(xù)的研發(fā)投入以及市場(chǎng)端的不斷反饋和驗(yàn)證，形成了四大核心技術(shù)能力：
1、豐富的復(fù)雜SoC芯片及方案設(shè)計(jì)經(jīng)驗(yàn)。包括自研核心模擬IP；高集成度的能力，可以幫助客戶降低產(chǎn)品復(fù)雜度及成本；成熟的復(fù)雜SoC系統(tǒng)設(shè)計(jì)能力；多操作系統(tǒng)解決方案能力: Linux/Android/TVOS等。
2、優(yōu)異的視頻編解碼能力。在AVS2/AVS3、H.264/H.265/H. 266等編解碼技術(shù)方面，國(guó)科微都有深厚的積累，實(shí)現(xiàn)1080P~8K編解碼能力的完整布局，不僅支持HDR VIVID、Audio VIVID、ChinaDRM等國(guó)標(biāo)，還支持Smart264/265方案，可以進(jìn)一步降低碼率。
3、領(lǐng)先的圖像信號(hào)處理能力。國(guó)科微長(zhǎng)期投入算法自研算法，并自研了核心的ISP，以及圖像處理IP。
4、自研NPU，實(shí)現(xiàn)了0.2T-20T算力的布局，可滿足多種場(chǎng)景應(yīng)用需求。其中，神經(jīng)網(wǎng)絡(luò)加速器利用率高，全面適配主流網(wǎng)絡(luò)，擁有高能效比，可滿足極低功耗應(yīng)用。在開(kāi)發(fā)工具鏈方面，也非常高效易用。
憑借這四大核心技術(shù)能力的加持，國(guó)科微已經(jīng)成功構(gòu)建了從前端到后端、從高端到低端的AI視覺(jué)處理器產(chǎn)品矩陣，并在國(guó)內(nèi)的ISP、安防監(jiān)控IPC芯片、NVR/DVR芯片市場(chǎng)取得了不錯(cuò)的市場(chǎng)份額。
據(jù)潘雨介紹，國(guó)科微的自研ISP目前穩(wěn)居行業(yè)第一梯隊(duì)。憑借在ISP、編解碼、NPU等核心技術(shù)領(lǐng)域的優(yōu)勢(shì)積累，國(guó)科微AI視覺(jué)芯片已在國(guó)內(nèi)安防市場(chǎng)占據(jù)穩(wěn)定的市場(chǎng)份額。一些第三方數(shù)據(jù)顯示，在安防監(jiān)控IPC芯片市場(chǎng)，國(guó)科微大概占據(jù)了約20%的市場(chǎng)份額，在消費(fèi)類的智慧視覺(jué)芯片市場(chǎng)也拿到了約20%的市場(chǎng)份額。
國(guó)科微圓鸮AI ISP發(fā)布：六大關(guān)鍵技術(shù)特性解析
得益于國(guó)科微在上述四大核心技術(shù)方面的積累，以及對(duì)于AI視覺(jué)市場(chǎng)需求的敏銳洞察，國(guó)科微推出全新的圓鸮AI ISP產(chǎn)品線也是順理成章。
據(jù)介紹，圓鸮AI ISP在降噪、多光譜融合、RGBIR、防抖、拼接、快速對(duì)焦等技術(shù)方面實(shí)現(xiàn)了全方位的支持與性能提升，可以帶來(lái)更加優(yōu)異的“黑光全彩”效果與高質(zhì)量成像。
具體來(lái)說(shuō)，在超感光降噪方面，圓鸮AI ISP基于自研的AI降噪算法模型，可以將信噪比提升8db，這樣可以有效區(qū)分圖像中的信號(hào)和噪聲，從而實(shí)現(xiàn)精準(zhǔn)降噪，即使在極低照度場(chǎng)景下，成像也能夠做到夜如白晝。
在多光譜融合方面，圓鸮AI ISP能夠支持同時(shí)融合紅外光和可見(jiàn)光圖像信息，結(jié)合自研的ISP融合算法，可以實(shí)現(xiàn)在暗光、弱光的環(huán)境中，僅需補(bǔ)充紅外光，即可輸出無(wú)光污染的全彩圖像，在夜間成像能夠?qū)崿F(xiàn)全彩透亮的效果。
“紅外光可以補(bǔ)充更多的細(xì)節(jié)，且不會(huì)產(chǎn)生光污染，與可見(jiàn)光（補(bǔ)充色彩信息）進(jìn)行融合后，可以實(shí)現(xiàn)圖像質(zhì)量的大幅提升。另外還可以一路接入紅外熱成像傳感器（可以感知溫度），一路接入可見(jiàn)光來(lái)做融合，這樣還可以實(shí)現(xiàn)更多的功能?！迸擞赀M(jìn)一步解釋道。
設(shè)備運(yùn)動(dòng)所帶來(lái)的畫(huà)面抖動(dòng)也是圖像處理的一大難點(diǎn)。國(guó)科微圓鸮AI ISP通過(guò)結(jié)合AI算法，可以支持6-DOF數(shù)字防抖，支持電子防抖和數(shù)字防抖，可以精準(zhǔn)識(shí)別并消除高頻抖動(dòng)，讓運(yùn)動(dòng)圖像更加流暢。
國(guó)科微ISP研發(fā)中心負(fù)責(zé)人王璽林告訴芯智訊：“傳統(tǒng)的防抖解決方案主要有兩大類，一類是光學(xué)防抖、機(jī)械防抖，這類解決方案可以實(shí)現(xiàn)出色的穩(wěn)像，但是成本很高；另一類則是電子防抖（EIS）、數(shù)字防抖（DIS），成本相對(duì)較低。其中，電子防抖是依賴于陀螺儀，但其對(duì)平移的抖動(dòng)不敏感，相比之下數(shù)字防抖對(duì)平移敏感。所以，圓鸮AI ISP可以幫助客戶以低成本實(shí)現(xiàn)超級(jí)穩(wěn)像。”面對(duì)大視野的圖像處理需求，圓鸮AI ISP也能夠很好的滿足。據(jù)介紹，圓鸮AI ISP支持最大四目拼接，通過(guò)整合四個(gè)攝像頭的圖像，可提供更寬廣的視角和無(wú)縫融合，實(shí)現(xiàn)更高分辨率的成像，極大地拓展成像視角。
與此同時(shí)，圓鸮AI ISP還支持PDAF技術(shù)，可以實(shí)現(xiàn)快速對(duì)焦。
王璽林指出，多年以來(lái)，國(guó)科微在2D NR、3D NR、雙3DNR降噪，寬動(dòng)態(tài)，多光譜融合，AI降噪等方面有著深厚的技術(shù)積累，同時(shí)通過(guò)算法團(tuán)隊(duì)、AI 團(tuán)隊(duì)與邏輯芯片團(tuán)隊(duì)的深度協(xié)同創(chuàng)新，形成跨領(lǐng)域技術(shù)融合的研發(fā)優(yōu)勢(shì)，確保技術(shù)創(chuàng)新能夠高效轉(zhuǎn)化為實(shí)際產(chǎn)品競(jìng)爭(zhēng)力。未來(lái)，圓鸮AI ISP將在AI SR，AI超分技術(shù)、AI去霧、AI拼接、AI DRC寬動(dòng)態(tài)等方面持續(xù)進(jìn)階，不斷提升產(chǎn)品的競(jìng)爭(zhēng)力。
圓鸮Al ISP芯片已獲安防頭部企業(yè)采用
目前，首款基于圓鸮AI ISP的AI視覺(jué)處理芯片GK7606V1系列已在安防行業(yè)頭部企業(yè)實(shí)現(xiàn)應(yīng)用。據(jù)介紹，GK7606V1系列內(nèi)置雙核Cortex A55處理器，擁有最高2.5TOPS NPU算力，支持4K編解碼、4K@25fps AI降噪，具有高畫(huà)質(zhì)、低碼率、低內(nèi)存、低延時(shí)以及低功耗等優(yōu)勢(shì)。可以滿足專業(yè)安防、中高端消費(fèi)類IPC、運(yùn)動(dòng)DV、行車記錄儀、圖傳等應(yīng)用。
根據(jù)國(guó)科微公布的對(duì)比數(shù)據(jù)來(lái)看，GK7606V1系列在噪聲控制、飽和度、清晰度及暗區(qū)細(xì)節(jié)上，表現(xiàn)整體優(yōu)于友商。
除了GK7606V1系列之外，國(guó)科微還推出了一款搭載圓鸮AI ISP的普惠4K AI視覺(jué)處理芯片GK7206V1。該芯片支持雙核Cortex A7處理器并內(nèi)置RISC-V小核，1TOPS算力，支持4K@25 H.264/H.265編碼，支持AOV、快啟，支持雙MIPI+DVP三目輸入，近期即將上市。
AI ISP市場(chǎng)混戰(zhàn)，國(guó)科微能否脫穎而出？
根據(jù)市場(chǎng)調(diào)研數(shù)據(jù)顯示，2023年中國(guó)用于AI視覺(jué)芯片銷售收入將達(dá)到630億美元，同比增長(zhǎng)約18%。預(yù)計(jì)到2024年，AI視覺(jué)芯片銷售額將增長(zhǎng)25%，達(dá)到799億美元。近年來(lái)，隨著用戶對(duì)于圖像質(zhì)量要求的持續(xù)提升，已經(jīng)推動(dòng)了獨(dú)立的ISP芯片市場(chǎng)的快速增長(zhǎng)。
根據(jù)dataintelo的數(shù)據(jù)顯示，2023年，全球獨(dú)立ISP芯片市場(chǎng)規(guī)模約為32億美元，預(yù)計(jì)到2032年將增長(zhǎng)到約59億美元，預(yù)測(cè)期內(nèi)復(fù)合年增長(zhǎng)率為7.1%。但是，由于傳統(tǒng)ISP對(duì)于圖像質(zhì)量的提升已經(jīng)遇到了“瓶頸”，而在人工智能技術(shù)加持下的AI ISP芯片，則能夠持續(xù)滿足不同領(lǐng)域?qū)τ诟鼜?fù)雜圖像信號(hào)處理需求，這也意味著AI ISP芯片有望逐步取代傳統(tǒng)的獨(dú)立ISP。并且，隨著應(yīng)用需求從傳統(tǒng)的安防監(jiān)控、車載市場(chǎng)進(jìn)一步擴(kuò)展到AI/AR眼鏡、工業(yè)等更廣泛的應(yīng)用領(lǐng)域，市場(chǎng)空間也將會(huì)進(jìn)一步打開(kāi)。
目前，在AI ISP技術(shù)領(lǐng)域，除了國(guó)科微之外，還有華為海思、星宸科技、富瀚微、愛(ài)芯元智等玩家，他們也都在積極地推動(dòng)AI ISP對(duì)于傳統(tǒng)的ISP的替代，預(yù)計(jì)未來(lái)這一市場(chǎng)的競(jìng)爭(zhēng)也將會(huì)越來(lái)越激烈。
對(duì)此，王璽林認(rèn)為，國(guó)科微擁有成熟的傳統(tǒng)算法團(tuán)隊(duì)，同時(shí)組建了優(yōu)秀的AI算法團(tuán)隊(duì)，外加邏輯和軟件團(tuán)隊(duì)，形成多個(gè)團(tuán)隊(duì)深度融合，構(gòu)建了從算法、邏輯到軟件平臺(tái)的完整組織架構(gòu)。特別是在降噪技術(shù)領(lǐng)域，國(guó)科微做了大量的儲(chǔ)備，構(gòu)筑了圓鸮AI ISP的技術(shù)優(yōu)勢(shì)。
AI ISP市場(chǎng)才剛剛興起，隨著人工智能技術(shù)的不斷提升，AI ISP在各行業(yè)的應(yīng)用需求將會(huì)日益增長(zhǎng)。國(guó)科微此次推出的GK7606V1和GK7206V1系列一高一低的定位，將可為智能安防、行車記錄儀、無(wú)人機(jī)圖傳、運(yùn)動(dòng)DV、會(huì)議攝像頭等應(yīng)用領(lǐng)域提供豐富的解決方案。
編輯：芯智訊-浪客劍
