【導(dǎo)讀】來自于康納爾大學(xué)的這篇研究論文給出了 一個利用物理系統(tǒng)實現(xiàn)深層網(wǎng)絡(luò)學(xué)習(xí)和推理的框架。本文對于文章舉例的三個系統(tǒng)不屬于線性時不變系統(tǒng)進(jìn)行分析。除了其中SHG系統(tǒng)比較復(fù)雜之外，其它兩個系統(tǒng)（三極管、揚(yáng)聲器）是如此的簡便，吸引人去進(jìn)行搭建系統(tǒng)，測試一下相應(yīng)的性能性能。對于參加智能車競賽的同學(xué)來講，也許將來不再需要借助于復(fù)雜高性能單片機(jī)來完成神經(jīng)網(wǎng)絡(luò)推理，只利用幾只三極管便可完成。
01 物理神經(jīng)網(wǎng)絡(luò)
看到最近在 Nature 雜志上發(fā)表的一篇文章 Deep Physical Neural Networks Trained with Backpropogation[1] 介紹了利用多層非線性物理系統(tǒng)構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)，并通過反向隨機(jī)梯度下降完成系統(tǒng)訓(xùn)練方法的確令人驚訝、毀人三觀。
??
你敢想象利用幾只揚(yáng)聲器，或者幾只場效應(yīng)管就可以組成深度物理神經(jīng)網(wǎng)絡(luò)（Physical Neural Networks），完成圖像分類？分類效果比起傳統(tǒng)的數(shù)字神經(jīng)網(wǎng)絡(luò)也不遜色。對于MNIST手寫體數(shù)字識別也可達(dá)到97%以上。（見下面基于四通道雙諧波信號發(fā)生器（SHG）方案）
圖1 分別基于機(jī)械系統(tǒng)、電子線路、光學(xué)系統(tǒng)構(gòu)建的P物理神經(jīng)網(wǎng)絡(luò)
??
這類建構(gòu)在物理系統(tǒng)而非數(shù)字處理器之上的神經(jīng)網(wǎng)絡(luò)目標(biāo)是在推理速度和能效方面超過傳統(tǒng)數(shù)字計算機(jī)，構(gòu)建智能傳感器和高效網(wǎng)絡(luò)推理。
??
猜測大多數(shù)人和我一樣，第一看到這個文章都會有疑問：這類常見到的揚(yáng)聲器、三極管、光學(xué)透鏡怎么就能夠像深度學(xué)習(xí)網(wǎng)絡(luò)那樣完成學(xué)習(xí)訓(xùn)練和推理的呢？特別是這其中都是一些常見到的物理系統(tǒng)，這里面并沒有包含什么量子計算機(jī)、神經(jīng)計算機(jī)之類結(jié)構(gòu)。
??
文章包含的工作很多（原文PDF有60多頁），我還沒有看完，不過文章一開始把為什么物理神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)人工神經(jīng)網(wǎng)絡(luò)算法的原理還是講的比較明白。傳統(tǒng)的深度學(xué)習(xí)可以分解若干網(wǎng)絡(luò)層的級聯(lián)計算，每一層的計算包括輸入數(shù)據(jù)（Input）、網(wǎng)絡(luò)參數(shù)(Parameters），它們經(jīng)過融合后經(jīng)過神經(jīng)元非線性傳遞函數(shù)形成網(wǎng)絡(luò)的輸出（Output）。
圖2 人工神經(jīng)網(wǎng)絡(luò)（ANN）與物理神經(jīng)網(wǎng)絡(luò)（PNN） 之間的聯(lián)系
??
物理神經(jīng)網(wǎng)絡(luò)也是分成若干層的級聯(lián)，比如若干個揚(yáng)聲器，每個揚(yáng)聲器是一層神經(jīng)網(wǎng)絡(luò)。輸入信號是揚(yáng)聲器的輸入電壓；網(wǎng)絡(luò)參數(shù)則是一組可以控制的電壓信號，比如持續(xù)時間，幅值可以改變的信號，它們與輸入信號通過（疊加、串聯(lián)等）合并后送入揚(yáng)聲器，揚(yáng)聲器的輸出聲音再經(jīng)過麥克風(fēng)采集形成網(wǎng)絡(luò)的輸出。
圖1.3 由揚(yáng)聲器組成的一層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖
??
在由晶體管組成的放大電路、光學(xué)倍頻器（SHG）組成的系中，對于輸入信號，網(wǎng)絡(luò)參數(shù)以及它們的融合方法根據(jù)各子系統(tǒng)特點有所不同。
??
比如在下圖中，網(wǎng)絡(luò)參數(shù)實際上就是一段長度和幅值不同的直流信號，嵌入在輸入變化的信號中（A），經(jīng)過三極管電路之后形成輸出（B），輸入信號和網(wǎng)絡(luò)參數(shù)融合部分進(jìn)行展開與歸一化（C）形成網(wǎng)絡(luò)輸出信號。
圖3 在三極管電路中輸入信號網(wǎng)絡(luò)參數(shù)信號（幅值可控一段直流電平）的串聯(lián)，以及對應(yīng)的電路輸出信號
??
盡管現(xiàn)在對于網(wǎng)絡(luò)如何進(jìn)行訓(xùn)練，如何進(jìn)行工作的細(xì)節(jié)還有待進(jìn)一步的了解，但文章所展示關(guān)于深度神經(jīng)網(wǎng)絡(luò)算法的本質(zhì)令人耳目一新。利用了系統(tǒng)輸入輸出之間的非線性把輸入信號與網(wǎng)絡(luò)信號進(jìn)行融合完成信息的處理，所以文章所舉例的三個系統(tǒng)（揚(yáng)聲器、三極管電路、二次倍頻光學(xué)系統(tǒng)）都應(yīng)該不是線性時不變系統(tǒng)。
??
下面我們拋開物理神經(jīng)網(wǎng)絡(luò)算法，先看看論文中的這三個系統(tǒng)的特點。
02 非線性系統(tǒng)
在大學(xué)本科階段所學(xué)習(xí)的“信號與系統(tǒng)”、“自動控制理論”中所討論的原理和方法基本上都是針對于線性時不變系統(tǒng)，因此判斷一個系統(tǒng)是否是線性時不變是應(yīng)用這些理論第一步需要做的事情。
??
在前面Nature 論文中所提到的三個物理系統(tǒng)（機(jī)械、電子、光學(xué)）是否都滿足線性時不變呢？
2.1 三極管電路
文章中三極管電路最簡單，同樣它的非線性也最為明顯。
??
電路包含有四個元器件：電阻、電感、電容以及場效應(yīng)三極管。其中電阻、電感、電容都是線性元器件，只有場效應(yīng)三極管是一個非線性器件。它的漏極飽和電流與柵極電壓之間呈現(xiàn)平方關(guān)系。所以該電子系統(tǒng)是一個非線性系統(tǒng)。
圖2.1.1 三極管電路
2.2 二次諧波產(chǎn)生系統(tǒng)（SHG）
二次諧波產(chǎn)生系統(tǒng) 是一個光學(xué)系統(tǒng)，也是文章舉例中最復(fù)雜的系統(tǒng)。
??
對于SHG（Second-Harmonic Generation）光學(xué)系統(tǒng)我不是很熟悉，通過 檢索相應(yīng)文獻(xiàn)[2] 可以了解到它的基本原理。它利用了 一些特殊的分子物理狀態(tài)可以將輸入光學(xué)信號的頻率進(jìn)行倍頻，產(chǎn)生對應(yīng)的二次諧波信號。
圖2.2.1 二次諧波產(chǎn)生系統(tǒng)
??
對于這類你不熟悉的物理系統(tǒng)，那么該如何判斷它 是否屬于線性時不變系統(tǒng)呢？
??
在這里我們需要利用線性時不變系統(tǒng)的一個特性：線性時不變系統(tǒng)不會產(chǎn)生新的頻率信號。
??
雖然它可以改變輸入信號中不同頻率分量的幅度和相位，但不會有新的頻率分量產(chǎn)生。SHG光學(xué)系統(tǒng)是將輸入光譜中所有頻率分量都進(jìn)行倍頻，產(chǎn)生了新的倍頻分量，因此它不屬于線性時不變系統(tǒng)。
??
因此，倍頻是該系統(tǒng)能夠用于完成物理神經(jīng)系統(tǒng)的關(guān)鍵，一個線性時不變光學(xué)系統(tǒng)是無法構(gòu)建物理神經(jīng)網(wǎng)絡(luò)的。
2.3 揚(yáng)聲器
文章舉例的三個系統(tǒng)中，就數(shù)揚(yáng)聲器機(jī)械振動系統(tǒng)最令人感到撲朔迷離。系統(tǒng)分為揚(yáng)聲器、音頻功放、麥克風(fēng)組成。其中揚(yáng)聲器需要進(jìn)行改裝。
??
他們把動圈式喇叭的振動膜和防塵罩拆除，露出音頻線圈，在上面使用膠水粘上一個金屬螺釘，再固定一個3.2cm×3.2cm見方，1mm厚的金屬鉭制作的金屬片。讀到此，你會覺得他們這通騷操作屬于脫了褲子放屁，故弄玄虛。
圖2.3.1 利用揚(yáng)聲器制作的機(jī)械振蕩系統(tǒng)
??
原以為他們這么改裝應(yīng)該是想在喇叭機(jī)械系統(tǒng)中融入非線性環(huán)節(jié)，但在音圈（Sound Coil）上增加的金屬螺釘和鉭片好像僅僅是增加了喇叭線圈慣性質(zhì)量，對于其中高頻振蕩進(jìn)行壓制，起到一個低頻濾波的作用。因此該系統(tǒng)仍然屬于一個線性時不變系統(tǒng)。
??
下面是論文補(bǔ)充材料中給出的揚(yáng)聲器輸入電壓信號，麥克風(fēng)錄音信號以及信號降采樣的數(shù)字信號。可以看到麥克風(fēng)錄制的音頻信號的確是對輸入信號的低通平滑濾波。
圖2.3.2 揚(yáng)聲器的輸入信號、麥克風(fēng)錄音信號以及降采樣數(shù)字信號
??
下圖是文章中給出的輸入隨機(jī)信號中嵌入了幅度可控一段直流信號（相當(dāng)于網(wǎng)絡(luò)參數(shù)），施加在揚(yáng)聲器上之后，麥克風(fēng)采集到的音頻信號。最后一張圖上可以看到在不同時刻對應(yīng)的輸出信號與輸入信號之間呈現(xiàn)線性關(guān)系。
圖2.3.3 輸入隨機(jī)噪聲加上可控直流信號片段噪聲的輸出信號
??
那么問題來了：這個系統(tǒng)中的非線性環(huán)節(jié)到底在哪兒呢？
??
現(xiàn)在能夠想到的就是其中麥克風(fēng)信號進(jìn)行降采樣可能會改變系統(tǒng)的線性時不變特性，類似于卷積神經(jīng)網(wǎng)中的 Pooling 層的作用。
※ 論文總結(jié) ※
來自于康納爾大學(xué)的這篇研究論文給出了 一個利用物理系統(tǒng)實現(xiàn)深層網(wǎng)絡(luò)學(xué)習(xí)和推理的框架。本文對于文章舉例的三個系統(tǒng)不屬于線性時不變系統(tǒng)進(jìn)行分析。除了其中SHG系統(tǒng)比較復(fù)雜之外，其它兩個系統(tǒng)（三極管、揚(yáng)聲器）是如此的簡便，吸引人去進(jìn)行搭建系統(tǒng)，測試一下相應(yīng)的性能性能。
??
對于參加智能車競賽的同學(xué)來講，也許將來不再需要借助于復(fù)雜高性能單片機(jī)來完成神經(jīng)網(wǎng)絡(luò)推理，只利用幾只三極管便可完成。
參考資料
[1]Deep Physical Neural Networks Trained with Backpropogation: https://www.nature.com/articles/s41586-021-04223-6.pdf
[2]檢索相應(yīng)文獻(xiàn): https://www.sciencedirect.com/topics/chemistry/second-harmonic-generation
免責(zé)聲明：本文為轉(zhuǎn)載文章，轉(zhuǎn)載此文目的在于傳遞更多信息，版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
極低噪聲幻像電源如何設(shè)計？詳細(xì)原理圖和三種消噪方法
傳感器在工業(yè) 4.0 預(yù)測性維護(hù)中的應(yīng)用
