近日，香港理工大學(xué)柴揚(yáng)和華中科技大學(xué)何毓輝教授造出一款動(dòng)態(tài)視覺傳感器，實(shí)現(xiàn)了高級別的動(dòng)態(tài)視覺處理。

本次研究結(jié)合了動(dòng)態(tài)視覺傳感器和傳感器內(nèi)計(jì)算，通過充分利用兩者的優(yōu)點(diǎn)，他們還設(shè)計(jì)出一款動(dòng)態(tài)傳感器內(nèi)計(jì)算架構(gòu)。該架構(gòu)可以大幅提高運(yùn)算效率，實(shí)現(xiàn)低延時(shí)、低功耗的運(yùn)動(dòng)識別。

這種直接在傳感器內(nèi)進(jìn)行實(shí)時(shí)處理和決策的方式，有望用于邊緣計(jì)算，以及用于那些對延遲高度敏感的場景比如無人駕駛汽車、機(jī)器人技術(shù)等領(lǐng)域，并能有效節(jié)省通信帶寬，此外還能增強(qiáng)數(shù)據(jù)的安全性和隱私性。

那么，相比現(xiàn)有的圖像傳感器、或互補(bǔ)金屬氧化物半導(dǎo)體（CMOS，Complementary Metal Oxide Semiconductor），動(dòng)態(tài)視覺傳感器在捕捉動(dòng)態(tài)圖像時(shí)，在工作原理上有著哪些不同？

據(jù)了解，傳統(tǒng)相機(jī)所基于的標(biāo)準(zhǔn)圖像傳感器具有固定的幀率，不管像素點(diǎn)的光強(qiáng)是否發(fā)生變化，都會(huì)在每一幀記錄下所有像素的光強(qiáng)，因此會(huì)包含大量冗余的視覺數(shù)據(jù)。

另一方面，較長的曝光時(shí)間限制了事件捕獲的延遲，導(dǎo)致所捕捉到的高速運(yùn)動(dòng)物體圖像存在模糊和過曝等問題。

相比之下，受生物視網(wǎng)膜啟發(fā)的動(dòng)態(tài)視覺傳感器（DVS，Dynamic Vision Sensor），可以只針對場景中的相對變化區(qū)域作出反應(yīng)。

對于動(dòng)態(tài)視覺傳感器來說，只有在像素點(diǎn)的位置發(fā)生光強(qiáng)變化的時(shí)候，才會(huì)產(chǎn)生脈沖信號從而生成稀疏數(shù)據(jù)，這樣一來就能大大減少數(shù)據(jù)的冗余量。

動(dòng)態(tài)視覺傳感器還具備超高的時(shí)間分辨率，能夠確保動(dòng)作信息被完整記錄下來。因此，它也能被用于檢測場景中的變化，輸出稀疏且重要的信息。

而對于傳感器內(nèi)的脈沖信號來說，它是否也能被反饋給傳感器神經(jīng)元，從而做出相應(yīng)的調(diào)整？

對于這一問題，答案是肯定的。為了執(zhí)行復(fù)雜的計(jì)算任務(wù)比如動(dòng)作識別，像素單元需要被擴(kuò)展到陣列級別，并通過單元之間合適的物理互連，構(gòu)建成脈沖神經(jīng)網(wǎng)絡(luò)（SNN，Spiking Neural Network）。

而每個(gè)子像素陣列，在連接之后可以輸出神經(jīng)元。在動(dòng)態(tài)場景中，當(dāng)像素點(diǎn)的光照強(qiáng)度發(fā)生變化時(shí)，子像素單元也會(huì)產(chǎn)生正負(fù)電流脈沖，來對 LIF（leaky integrate and fire）神經(jīng)元中的電容進(jìn)行充放電。

一旦電容的積分電壓也就是神經(jīng)元的膜電位，達(dá)到神經(jīng)元的閾值時(shí)就會(huì)輸出脈沖。

來源：傳感器專家網(wǎng)