索尼發布兩款具備AI處理功能的智能視覺傳感器

日本，東京——索尼公司（下(xià)稱：索尼）今天宣布将發布兩款具備AI（人工(gōng)智能）處理功能的智能視覺傳感器。圖像傳感器自帶AI處理功能，可在實現高速的邊緣AI處理的同時隻提取必要數據，從而減少使用雲端服務時的數據傳輸延遲，保證隐私安全，并降低功耗和通信成本。

       新發布的圖像傳感器極大(dà)拓寬了AI攝像頭的研發空間，将有望廣泛應用于零售和工(gōng)業設備行業，并有助于構建與雲端連接的優化系統。

智能視覺傳感器 左：IMX500 右：IMX501

       物(wù)聯網的普及讓所有類型的設備都能連接到雲端，使得信息處理系統得到廣泛應用，從這些設備獲得的信息需通過雲上的AI進行處理。另一(yī)方面，雲端處理的信息量越來越大(dà)，也帶來了各種問題：數據傳輸延遲的增加，阻礙了實時信息處理；在雲端存儲個人身份數據相關的用戶隐私安全問題；雲服務的使用功耗和通信成本的提高等其它問題。

       新款傳感器的特點是像素芯片和邏輯芯片組成的堆疊式結構，在邏輯芯片上配備了AI圖像分(fēn)析和處理功能的圖像傳感器。像素芯片獲取的信号通過傳感器上的AI進行處理，無需高性能處理器或外(wài)部存儲，可助力邊緣AI系統的開(kāi)發。傳感器輸出元數據（屬于圖像數據的語義信息）而不是圖像信息，從而減少了數據量并保證了隐私安全。此外(wài)，AI能夠爲廣泛應用領域提供多樣化的功能，例如高速AI處理下(xià)進行實時對象跟蹤。也可以根據用戶的需求或系統使用位置重新編寫内存來選擇不同的AI模型。

索尼智能視覺傳感器介紹視頻(pín)：https://v.youku.com/v_show/id_XNDY3MjE1MDUwNA==.html

主要功能

·  具備AI處理功能的圖像傳感器

       像素芯片是背照式進光的，有效像素約爲1230萬，可以捕捉廣闊視角的圖像信息。除了傳統的圖像傳感器操作電路外(wài)，其邏輯芯片還配備了索尼原發的DSP（數字信号處理器），專門用于AI信号處理，并爲AI模型存儲。這種配置無需高性能處理器或外(wài)部存儲，使其成爲邊緣AI系統的理想選擇。

·  元數據輸出

       像素芯片采集的信号通過ISP（圖像信号處理器）進行處理，并在邏輯芯片的處理層進行AI運算，将提取的信息作爲元數據輸出，可以減少需要處理的數據量。同時，不輸出圖像信息有助于降低安全風險和保證隐私安全。除了傳統圖像傳感器捕捉的圖像外(wài)，用戶還可以根據自己的需要和用途選擇數據輸出格式，包括ISP格式輸出圖像（YUV/RGB）和ROI（感興趣區域）特定區域提取圖像。

可選擇數據輸出格式，以滿足各種需要

· 高速AI處理

       當使用傳統的圖像傳感器錄制視頻(pín)時，需要發送每一(yī)幀的視頻(pín)數據進行AI處理，導緻數據傳輸量大(dà)，難以實時呈現結果。索尼的新款傳感器産品在邏輯芯片上進行ISP處理和高速AI運行（MobileNet V1*1 3.1毫秒處理），在一(yī)個視頻(pín)幀内完成整個過程。這種設計可以在錄制視頻(pín)的同時保證高精度、實時的目标追蹤。

*1 mobilenet V1：一(yī)種用于移動設備上目标識别的圖像分(fēn)析AI模型。

· 可自由選擇AI模型

       用戶可以将自己選擇的AI模型寫入嵌入式内存中(zhōng)，并根據其需求或系統使用位置對其進行改寫和更新。例如，當多個搭載新款傳感器的攝像頭被安裝在零售場所時，某個單一(yī)類型的攝像頭可以在不同的地點、環境、時間或目的下(xià)使用：當安裝在場所入口時，可用于計算訪客人數;當安裝在商(shāng)店(diàn)的貨架上時，可以用來檢測庫存短缺;當安裝在天花闆上時，它可以用來繪制商(shāng)店(diàn)客流的熱力圖 （探測到許多人聚集的位置），等等。此外(wài)，指定相機中(zhōng)的AI模型可以被改寫，從一(yī)個用于檢測熱力圖的模型變成一(yī)個用于識别消費(fèi)者行爲的模型，等等。

攝像頭在商(shāng)場中(zhōng)使用的案例

主要參數