意法半導體近期發布的 STM32Cube.AI v7.2 帶來了對深度量化神經網絡的支持功能，從而可以在現有微控制器上運行更準確的機器學習應用軟件。STM32Cube.AI 于 2019 年推出，用于把神經網絡轉換為適合STM32 MCU 的代碼。該解決方案依附于 STM32CubeMX，這是一個幫助開發人員初始化STM32芯片的圖形界面軟件。同時，STM32Cube.AI 還用到 X-CUBE-AI軟件包，其中包含用于轉換訓練好的神經網絡的程序庫。開發人員可以參照我們的入門指南，從STM32CubeMX內部開始使用 X-CUBE-AI并體驗新功能。 目前，新增加的深度量化神經網絡支持已經出現在我們與施耐德電氣合作開發的人數統計應用軟件中。

STM32Cube.AI: 從研究到實際軟件

神經網絡是什么？

最簡單的神經網絡就是一系列網絡層。在神經網絡中有一個輸入層和一個輸出層，以及介于兩者之間的一個或多個隱藏層。因此，深度學習是指三層以上的神經網絡，其中“深度”這個詞表示有多個中間層。每一層都包含多個節點，每個節點都連接到下層的一個或多個節點。簡而言之，信息通過輸入層進入神經網絡，穿過隱藏層，然后，從一個輸出節點出來。

量化神經網絡和二值化神經網絡分別是什么？

開發人員在節點內使用權重和偏差兩種參數來決定信息在神經網絡上的傳播方式。在數據通過網絡時，這兩個參數將會影響數據。權重是系數。當權重越復雜，網絡輸出越準確，但算量也隨即增大。每個節點還用激活函數來確定如何轉換輸入值。因此，為了提高網絡性能，開發人員可以使用權重精度較低的量化神經網絡。最高效的量化神經網絡是權重值和激活函數值只用+1 和 -1兩個數值的二值化神經網絡 (BNN)。因此，BNN神經網絡對算力的要求非常低，然而準確度也最差。

為什深度量化神經網絡很重要？

業界面臨的挑戰是找到一種簡化神經網絡的方法，以便在微控制器上運行推理運算，同時又不把準確度降到讓神經網絡毫無用處的程度。為了解決這個問題，意法半導體和意大利薩勒諾大學的研究人員在深度量化神經網絡DQNN上展開合作。DQNN網絡只用較小的權重值（1 位到 8 位），并且可以包含混合結構，即只有一部分層是二值化，而另一部分層則用位寬更高的浮點量化器。意法半導體和該大學的研究人員發表的研究論文論述了哪種混合結構可以產生最佳的結果，同時RAM 和 ROM的存儲占用空間最低。

STM32Cube.AI 的新版本是這些研究活動的直接成果。7.2 版確實支持深度量化神經網絡，充分利用二值化層的高效，同時不會喪失運算準確性。開發人員可以先用 QKeras 或 Larq 等開發框架訓練神經網絡模型，然后再通過 X-CUBE-AI處理訓練好的神經網絡。改用DQNN網絡有助于節省內存占用空間，讓工程師能夠選用成本效益更好的芯片，或用一個微控制器代替多個元器件設計整個系統。因此，STM32Cube.AI 繼續為邊緣計算平臺帶來更強大的推理能力。

從演示軟件到市場趨勢

如何開發人數統計演示軟件？

意法半導體和施耐德電氣最近推出了雙方合作利用 DQNN開發的一個人數統計演示軟件。該系統通過處理熱傳感器圖像數據，在 STM32H7 上運行推理算法，來確定是否有人越過一條假想線，以及是從哪個方向進出的。元器件的選擇非常引人注目，因為它宣揚物料成本相對較低。施耐德沒有選用更昂貴的處理器，而是使用深度量化神經網絡來大幅降低內存和 CPU 的占用，從而縮減了應用系統面積，并為成本效益更高的解決方案打開大門。兩家公司都在 2022 年 3 月的 TinyML 展會期間展示了該演示軟件。

如何克服邊緣機器學習的炒作問題？

意法半導體是第一家提供類似STM32Cube.AI 解決方案的 MCU廠商，根據 MLCommons 基準測試，我們的工具的性能繼續名列前茅。從學術論文到軟件發布，最新的發展歷程表明，意法半導體之所以表現出色，是因為我們優先考慮有意義的影響實際應用的研究活動。我們關心的是讓 AI 變得實用且可用，而不只是一個時髦術語。Gartner的市場分析師預計，嵌入式 AI 開發企業將很快經歷“幻滅低谷期”。通過爭做業界龍頭，以研究為動力，專注實際應用和精心優化，意法半導體克服了這一問題。

參考文獻

Check out STM32Cube.AI v7.2

D. Pau, M. Lattuada, F. Loro, A. De Vita and G. Domenico Licciardo. “Comparing Industry Frameworks with Deeply Quantized Neural Networks on Microcontrollers”. 2021. IEEE International Conference on Consumer Electronics (ICCE)pp. 1-6, https://doi.org/10.1109/ICCE50685.2021.9427638. 

“5 Trends Drive the Gartner Hype Cycle for Emerging Technologies, 2020.” www.gartner.com.