光芯片可用于訓練人工神經(jīng)網(wǎng)絡(luò )訓練并更具優(yōu)勢

  ICCSZ訊 美國斯坦福大學(xué)的研究人員在《Optica》上發(fā)表研究成果，展示了直接在光芯片上使用光模擬“反向傳播”算法的方式可訓練人工神經(jīng)網(wǎng)絡(luò )，證實(shí)直接在一個(gè)光芯片上訓練人工神經(jīng)網(wǎng)絡(luò )的可能性。該重大突破性進(jìn)展展示了光電路能夠實(shí)現基于電子的人工神經(jīng)網(wǎng)絡(luò )的重要功能，并能夠以更廉價(jià)、更快和更高能效的方式來(lái)執行類(lèi)似語(yǔ)音或圖像識別等復雜任務(wù)?！胺聪騻鞑ァ彼惴ㄊ怯柧殏鹘y神經(jīng)網(wǎng)絡(luò )的標準方式。

      需求背景

  人工智能神經(jīng)網(wǎng)絡(luò )是一個(gè)通過(guò)使用互連單元以類(lèi)似人腦的方式來(lái)處理信息的一種人工智能。人工智能神經(jīng)網(wǎng)絡(luò )可用來(lái)執行復雜任務(wù)，如在語(yǔ)音識別中，需要重要步驟來(lái)訓練算法來(lái)為不同單詞等輸入進(jìn)行分類(lèi)。

  盡管神經(jīng)網(wǎng)絡(luò )處理通常在傳統計算機進(jìn)行，但在設計神經(jīng)網(wǎng)絡(luò )計算專(zhuān)用硬件上也投入了巨大精力。以光器件實(shí)現對人工神經(jīng)網(wǎng)絡(luò )的訓練獲得了大量關(guān)注，因為其能夠使用比電子器件更少的能量及并行方式執行計算。

  論文的第一作者Tyler W. Hughes說(shuō)：“使用一個(gè)物理器件而不是一個(gè)計算機模型來(lái)進(jìn)行訓練，可使訓練過(guò)程更加精確。而且，因為訓練是實(shí)現神經(jīng)網(wǎng)絡(luò )的一個(gè)高計算密集型過(guò)程，以光學(xué)方式執行該過(guò)程是改進(jìn)人工智能網(wǎng)絡(luò )計算效率、速度、功耗的關(guān)鍵?！?

  雖然光人工神經(jīng)網(wǎng)絡(luò )最近以實(shí)驗方式進(jìn)行了展示，但訓練步驟使用的仍是在傳統數字計算機上的模型，然后將最后的設置輸入到光電電路中。

       核心進(jìn)展

  在此次進(jìn)展中，研究人員設計了一款能夠復制傳統計算機訓練神經(jīng)網(wǎng)絡(luò )方法的光芯片，克服了實(shí)現一個(gè)全光神經(jīng)網(wǎng)絡(luò )所面臨的重大挑戰。

  一個(gè)人工神經(jīng)網(wǎng)絡(luò )可以被認為是一個(gè)帶有很多旋鈕的黑盒子。在訓練階段，這些旋鈕轉動(dòng)一點(diǎn)，然后對整個(gè)系統進(jìn)行測試，看看算法的性能是否改進(jìn)了。Hughes說(shuō)：“我們的方法不僅能夠幫助預測旋鈕轉動(dòng)的方向，還能預測每個(gè)旋鈕應該旋轉多少以盡可能獲得想要的性能。我們的方法能夠顯著(zhù)加速訓練，尤其是大的網(wǎng)絡(luò )，因為我們并行地獲得每個(gè)旋鈕的信息?！?

       成果展示

  研究人員已經(jīng)展示了可使用一個(gè)光芯片(圖中藍色長(cháng)方形區域)來(lái)訓練一個(gè)神經(jīng)網(wǎng)絡(luò )。在完整網(wǎng)絡(luò )中，有幾個(gè)這樣的光芯片連接到一起。激光輸入(綠色)對信息進(jìn)行編碼，然后由光電波導(黑色)傳過(guò)芯片。芯片使用可調分光器執行對人工神經(jīng)網(wǎng)絡(luò )關(guān)鍵的操作，這些通過(guò)波導中的彎曲部分來(lái)表現，耦合兩個(gè)相鄰的波導，通過(guò)調整光移相器的設置來(lái)調整(紅色和藍色閃光部分)，它像“旋鈕”一樣工作，在訓練過(guò)程中調整來(lái)執行給定的任務(wù)。(圖片來(lái)源：Tyler W. Hughes, Stanford University)

       過(guò)程說(shuō)明

  新的訓練協(xié)議在帶有可調分光器的光電電路上運行，這些分光器可通過(guò)改變光移相器來(lái)改變設置。激光編碼信息傳遞到光芯片進(jìn)行處理，并由光波導傳遞通過(guò)分光器，這些分光器像旋鈕一樣調整來(lái)訓練神經(jīng)網(wǎng)絡(luò )算法。

  在新的訓練協(xié)議中，激光首先通過(guò)光芯片。當離開(kāi)器件時(shí)，就可計算出與預期輸出的差異。然后使用該信息來(lái)產(chǎn)生新的光信號，這個(gè)信號然后以相反的方向送回并穿過(guò)光電網(wǎng)絡(luò )。通過(guò)測量在這個(gè)過(guò)程中每一個(gè)分光器的光電密度，研究人員展示了對神經(jīng)網(wǎng)絡(luò )性能的并行測量是如何根據每個(gè)分光器設置發(fā)生改變。移相器設置能夠基于該信息發(fā)生改變，該過(guò)程將重復進(jìn)行直到神經(jīng)網(wǎng)絡(luò )產(chǎn)生所需的輸出。

  結果測試

  研究人員使用一個(gè)光電仿真測試了他們的訓練技術(shù)——教一個(gè)算法來(lái)執行復雜功能，例如在一套點(diǎn)中挑選復雜特性。他們發(fā)現光實(shí)現過(guò)程的性能可與傳統電子計算機一致。

  意義及下一步工作

  研究團隊領(lǐng)導者、斯坦發(fā)大學(xué)的Shanhui Fan說(shuō)：“使用光電芯片來(lái)執行神經(jīng)網(wǎng)絡(luò )計算比數字計算機可能實(shí)現的效率更高，可以實(shí)現更復雜的問(wèn)題得到解決。這將提高人工神經(jīng)網(wǎng)絡(luò )執行特定任務(wù)的能力，如自動(dòng)駕駛汽車(chē)或對一個(gè)發(fā)問(wèn)給出合適的答案。他將以我們現在無(wú)法想象的方式來(lái)改進(jìn)我們的生活。我們的工作展示了能夠使用物理學(xué)來(lái)實(shí)現計算機科學(xué)算法。通過(guò)在光學(xué)域訓練這些網(wǎng)絡(luò )，顯示了光神經(jīng)網(wǎng)絡(luò )能夠用于實(shí)現只用光自身就可實(shí)現的某種功能?！?

  研究人員計劃進(jìn)一步優(yōu)化網(wǎng)絡(luò )，并打算使用其來(lái)實(shí)現神經(jīng)網(wǎng)絡(luò )任務(wù)的實(shí)際應用。他們設計的通用方法可用于多種神經(jīng)網(wǎng)絡(luò )架構，并且用于可配置光電器件等其他應用。

  參考文獻：Tyler W. Hughes, Momchil Minkov, Yu Shi, Shanhui Fan.Training of photonic neural networks through in situ backpropagation and gradient measurement. Optica, 2018; 5 (7): 864 DOI:10.1364/OPTICA.5.000864

  原標題：光電神經(jīng)網(wǎng)絡(luò )|美國斯坦福大學(xué)證實(shí)可直接在一個(gè)光芯片上訓練人工神經(jīng)網(wǎng)絡(luò )，具備比傳統電子器件更高的能效、更快的速度和更低的成本