韩国美女高清爽快一级毛片-韩国美女毛片-韩国美女人成网站在线看看-韩国美女丝袜一区二区-韩国美女一级毛片-韩国美女一级片

24小時(shí)聯(lián)系電話:18217114652、13661815404

中文

您當(dāng)前的位置:
首頁>
電子資訊>
技術(shù)專題>
電阻式存儲(chǔ)器為邊緣AI...

技術(shù)專題

電阻式存儲(chǔ)器為邊緣AI提供了受生物啟發(fā)的架構(gòu)


近年來,在腦啟發(fā)計(jì)算領(lǐng)域的研究活動(dòng)獲得了巨大的發(fā)展。主要原因是試圖超越傳統(tǒng)的馮·諾依曼架構(gòu)的局限性,后者越來越受存儲(chǔ)器-邏輯通信的帶寬和等待時(shí)間的局限性影響。在神經(jīng)形態(tài)架構(gòu)中,內(nèi)存是分布式的,可以與邏輯共定位。鑒于新的電阻式存儲(chǔ)器技術(shù)可以集成在CMOS工藝的互連層中,因此可以輕松地提供這種可能性。

雖然目前AI部署中的大部分注意力都集中在大型常規(guī)計(jì)算系統(tǒng)中實(shí)現(xiàn)深度學(xué)習(xí)算法,但對設(shè)備和電路技術(shù)的影響卻是混雜的。盡管先進(jìn)的標(biāo)準(zhǔn)CMOS技術(shù)已用于開發(fā)GPU和特定的電路加速器,但并沒有真正推動(dòng)使用任何受生物啟發(fā)的硬件。新興的電阻式存儲(chǔ)設(shè)備(RRAM)可以打開途徑,由于能夠(感知到)不夠成熟,可以通過在相對較低的偏置電壓下調(diào)節(jié)電導(dǎo)來在納米尺度上模擬生物學(xué)上合理的突觸行為,因此這些方法僅限于研究組。技術(shù)。

但是,這些新設(shè)備可以為將AI大量部署到消費(fèi)和工業(yè)產(chǎn)品中所面臨的主要問題之一提供解決方案:能源效率。如果將AI的使用范圍擴(kuò)大,將所有數(shù)據(jù)傳輸?shù)皆?/span>/服務(wù)器系統(tǒng)進(jìn)行分析的能源開銷將很快達(dá)到AI的經(jīng)濟(jì)可行性的極限。此外,對于自動(dòng)駕駛汽車和工業(yè)控制等實(shí)時(shí)系統(tǒng)而言,如果連接到5G基礎(chǔ)架構(gòu)以處理數(shù)據(jù)的服務(wù)器集中在定義明確的區(qū)域而不是分布在整個(gè)基礎(chǔ)架構(gòu)中,則延遲仍然是一個(gè)問題。由于這些原因,并且在歐洲也出于隱私考慮,具有高度節(jié)能的邊緣/使用點(diǎn)的,具有AI的系統(tǒng)將變得越來越重要,并且可能會(huì)逐步改善本地學(xué)習(xí)能力。

嵌入式AI系統(tǒng)非常適合處理需要實(shí)時(shí)響應(yīng)的數(shù)據(jù),并且在能源是主要問題的情況下。如tinyML計(jì)劃的成功所證明的那樣,對此類系統(tǒng)的興趣正在增長[1]。當(dāng)處理稀疏,時(shí)域,由傳感器(如麥克風(fēng),激光雷達(dá),超聲波等)生成的數(shù)據(jù)流時(shí),該領(lǐng)域的生物啟發(fā)(即存儲(chǔ)元件還充當(dāng)互連和計(jì)算元件)方法具有額外的優(yōu)勢。這些系統(tǒng)將然后能夠在模擬域中進(jìn)行大多數(shù)操作,從而避免了耗電,不必要的多次模數(shù)轉(zhuǎn)換以及使用非時(shí)鐘數(shù)據(jù)驅(qū)動(dòng)架構(gòu)來簡化數(shù)據(jù)流。僅在信號(hào)脈沖期間沒有時(shí)鐘和存儲(chǔ)元件中的耗散,在沒有輸入的情況下會(huì)導(dǎo)致極低的功耗(因此適用于稀疏信號(hào)),并且可能不需要特定的睡眠模式即可獲得電池供電的工作狀態(tài)。而且,非易失性僅在首次上電或系統(tǒng)最終更新時(shí)才需要設(shè)置參數(shù),而在每次上電時(shí)都不需要從外部來源進(jìn)行傳輸。

但是,使用新型電阻式存儲(chǔ)器不僅限于此類邊緣生物啟發(fā)應(yīng)用,還可以使執(zhí)行慢速非易失性高速緩存/快速大容量存儲(chǔ)中間存儲(chǔ)器功能的傳統(tǒng)全數(shù)字時(shí)鐘系統(tǒng)受益神經(jīng)加速器的水平。在這種情況下,好處將是減少快速DRAMSRAM緩存區(qū)域,同時(shí)仍減少訪問大容量存儲(chǔ)的延遲。

生物啟發(fā)式計(jì)算的硬件平臺(tái)

從技術(shù)角度來看,RRAM由于具有CMOS兼容性,高可伸縮性,強(qiáng)大的耐用性和良好的保留特性,因此是神經(jīng)形態(tài)應(yīng)用的良好候選者。但是,定義大規(guī)模混合集成神經(jīng)形態(tài)系統(tǒng)(具有阻性記憶突觸的CMOS神經(jīng)元)的實(shí)際實(shí)施策略和有用應(yīng)用仍然是一個(gè)困難的挑戰(zhàn)

已經(jīng)提出了諸如相變存儲(chǔ)器(PCM),導(dǎo)電橋RAMCBRAM)和氧化物RAMOxRAM)之類的電阻RAMRRAM)設(shè)備來模擬生物學(xué)上受突觸功能啟發(fā)的功能,這些功能對于實(shí)現(xiàn)神經(jīng)形態(tài)硬件至關(guān)重要。在不同類型的模擬突觸特征中,依賴于尖峰時(shí)序的可塑性(STDP)是最常用的一種,但肯定不是唯一的可能性,并且某些可能顯示出對實(shí)際應(yīng)用的實(shí)現(xiàn)更為有用。

實(shí)施這些思想并驗(yàn)證該方法的電路示例是SPIRIT,由IEDM 2019提出[2]。已實(shí)現(xiàn)的SNN拓?fù)涫菃螌拥模耆B接的拓?fù)洌淠康氖窃?/span>MNIST數(shù)據(jù)庫上執(zhí)行推理任務(wù),有10個(gè)輸出神經(jīng)元,每個(gè)類一個(gè)。為了減少突觸的數(shù)量,將圖像縮小到12×12像素(每個(gè)神經(jīng)元144個(gè)突觸)。使用單級(jí)單元(SLCRRAM實(shí)現(xiàn)突觸,即僅考慮低和高電阻級(jí)別。結(jié)構(gòu)為1T-1R類型,每個(gè)單元帶有一個(gè)訪問晶體管。多個(gè)單元并聯(lián)連接以實(shí)現(xiàn)各種重量。在學(xué)習(xí)框架上進(jìn)行的突觸量化實(shí)驗(yàn)表明,介于-4+4之間的整數(shù)值是分類精度和RRAM數(shù)量之間的良好折衷。由于我們旨在獲得加權(quán)電流,因此必須使用4個(gè)RRAM作為正權(quán)重。對于負(fù)權(quán)重,也可以使用RRAM對符號(hào)位進(jìn)行編碼:但是,由于將需要容錯(cuò)三重冗余,因此最好使用4個(gè)附加RRAM來實(shí)現(xiàn)負(fù)權(quán)重。

集成與射擊(IF模擬神經(jīng)元設(shè)計(jì)是在數(shù)學(xué)等效性的指導(dǎo)下進(jìn)行的,該數(shù)學(xué)等效性是在有監(jiān)督的離線學(xué)習(xí)中使用的tanh激活函數(shù)。規(guī)格如下:(1)突觸重量等于±4的刺激必須產(chǎn)生尖峰;(2)神經(jīng)元必須產(chǎn)生正負(fù)尖峰;(3)它們必須有一個(gè)不應(yīng)期,在此期間它們不能散發(fā)尖峰,但必須繼續(xù)積分。神經(jīng)元是圍繞MOM 200fF電容器設(shè)計(jì)的。使用兩個(gè)比較器將其電壓電平與正閾值和負(fù)閾值進(jìn)行比較。由于必須在RRAM的端子之間以不超過100mV的電壓降讀取RRAM,因此,為了防止將設(shè)備設(shè)置為LRS,所獲得的電流不能被神經(jīng)元直接積分,因此它們會(huì)被電流注入器復(fù)制。評(píng)估了編程條件的影響,并使用足夠的編程條件來確保有足夠大的內(nèi)存窗口。放松機(jī)制的確出現(xiàn)在很短的時(shí)間范圍內(nèi)(不到一小時(shí))。因此,分類精度不會(huì)隨時(shí)間降低。還驗(yàn)證了讀取穩(wěn)定性,將高達(dá)800M的峰值發(fā)送到電路。

MNIST數(shù)據(jù)庫的10K測試圖像上的分類精度測得為84%。該值必須與88%的理想模擬獲得的精度進(jìn)行比較,該精度受簡單的網(wǎng)絡(luò)拓?fù)湎拗疲?/span>1層具有10個(gè)輸出神經(jīng)元)。每個(gè)突觸事件的能量耗散等于3.6 pJ。當(dāng)考慮電路邏輯和SPI接口時(shí),它總計(jì)為180 pJ(可以通過優(yōu)化通信協(xié)議來降低它)。測量表明,圖像分類平均需要136個(gè)輸入峰值(對于ΔS= 10):每個(gè)輸入所累積的峰值少于一個(gè)峰值,與130nm節(jié)點(diǎn)中的等效形式編碼MAC操作相比,能量增益提高了5倍。能量增益來自(1)基本操作的輕度(累積,而不是像經(jīng)典編碼中那樣進(jìn)行乘法累加)和(2)由于尖峰編碼而導(dǎo)致的活動(dòng)稀疏性。稀疏性的好處將隨著層數(shù)的增加而增加。

這個(gè)小演示者展示了如何可以與傳統(tǒng)的嵌入式方法相提并論,但功耗卻大大降低了。實(shí)際上,在SNN演示中使用的速率代碼使該實(shí)現(xiàn)等效于經(jīng)典編碼的實(shí)現(xiàn):從經(jīng)典域到尖峰域的代碼轉(zhuǎn)換不會(huì)引起準(zhǔn)確性上的任何損失。但是,從概念驗(yàn)證中使用的簡單拓?fù)洌磫螌痈兄鳎┛梢越忉專c使用更大網(wǎng)絡(luò)和更多層的最新深度學(xué)習(xí)模型相比,分類精度略低。為了克服這種差異,目前正在實(shí)施一種更為復(fù)雜的拓?fù)浣Y(jié)構(gòu)(MobileNet類),并且分類精度將相應(yīng)提高,同時(shí)具有相同的能源優(yōu)勢。

相同的方法將擴(kuò)展到嵌入了麥克風(fēng)或激光雷達(dá)的電路,以本地和實(shí)時(shí)分析數(shù)據(jù)流,從而無需通過網(wǎng)絡(luò)傳輸。速率編碼和時(shí)間編碼策略都可以用于優(yōu)化網(wǎng)絡(luò),具體取決于信號(hào)的信息內(nèi)容。最初,學(xué)習(xí)將集中進(jìn)行,并且僅將推理集成到系統(tǒng)中,但是在以后的世代中將引入一定程度的增量學(xué)習(xí)。

利用對嵌入式AI產(chǎn)品有益的屬性RRAM的另一種方法是使用基于RRAM交叉開關(guān)陣列的模擬架構(gòu)。與傳統(tǒng)的數(shù)字實(shí)現(xiàn)相比,它們可以提供更密集的乘法累加器(MAC)功能實(shí)現(xiàn),在推理和學(xué)習(xí)電路中居于中心。如果采取進(jìn)入時(shí)域并消除時(shí)鐘的進(jìn)一步步驟,則可獲得超出當(dāng)前技術(shù)水平的緊湊型低功率系統(tǒng)。盡管這種方法非常有前途并且受到學(xué)術(shù)界的廣泛研究,但該方法仍未被業(yè)界廣泛接受,這指出了設(shè)計(jì),驗(yàn)證,表征和認(rèn)證模擬異步設(shè)計(jì)的難度,以及擴(kuò)展模擬解決方案的難度。在我們看來,

這些記憶的部分感知困難來自觀察到的變異性,但這是實(shí)驗(yàn)條件的反映。當(dāng)在300mm內(nèi)工作并且集成過程更加成熟時(shí),我們觀察到更好的分布,因此我們假設(shè)可變性問題可以在工業(yè)化過程中解決。設(shè)計(jì)工具也即將問世,更精確的模型也逐漸可用。溫度變化當(dāng)然會(huì)產(chǎn)生影響,但是這種計(jì)算類型的統(tǒng)計(jì)性質(zhì)及其在推理階段對參數(shù)變化在某種程度上具有固有的魯棒性,因此其最終影響遠(yuǎn)不如使用社區(qū)的常規(guī)模擬設(shè)計(jì)那么重要。模擬交叉開關(guān)方法的優(yōu)點(diǎn)之一是,當(dāng)施加數(shù)據(jù)時(shí),自動(dòng)沒有電流。

有些問題更為根本。第一個(gè)是功率效率和高度并行性來自權(quán)衡時(shí)間復(fù)用(工作頻率)與面積的關(guān)系:權(quán)衡有利的網(wǎng)大小(問題或類別數(shù)量)的極限是多少?它如何取決于實(shí)現(xiàn)節(jié)點(diǎn)?另一個(gè)是這些存儲(chǔ)器的可循環(huán)性。雖然對于推理階段就足夠了,并且可以在初始化階段以可接受的開銷進(jìn)行交叉開關(guān)的編程,但是由于過多的寫入負(fù)載,使用經(jīng)典的反向傳播方案和迭代次數(shù)的片上學(xué)習(xí)是毫無疑問的。但是,正在探索使用其他學(xué)習(xí)方法的非常有前途的途徑,并有望在未來幾年內(nèi)提供有效的解決方案。

在引入這種類型的電路之前,可以在常規(guī)實(shí)現(xiàn)中使用RRAM3D集成等技術(shù)來以較小的功率預(yù)算和較小的尺寸系數(shù)提供解決方案。如今,用于高度定制化應(yīng)用的FPGA實(shí)現(xiàn),運(yùn)行在MCUCPU上的純軟件實(shí)現(xiàn),或?qū)S糜?/span>GPU的高度并行多核/加速器(類似于或類似的GPU)用于更通用的應(yīng)用,已成為當(dāng)今的主流。所有這些都可以從本地非易失性存儲(chǔ)器中受益,這可以使FPGA變得更緊湊,為MCU / CPU和多核/加速器芯片提供更優(yōu)化的存儲(chǔ)器層次結(jié)構(gòu)。

 

請輸入搜索關(guān)鍵字

確定
主站蜘蛛池模板: 亚洲乱码在线视频 | 国产欧美日韩综合二区三区 | 狠狠操狠狠插 | 日本aa在线观看 | 日韩精品欧美成人 | a网在线| 久久青草免费免费91线频观看 | 日韩免费视频观看 | 亚洲精品蜜桃久久久久久 | 奇米影视在线观看 | 青青草久热精品视频在线观看 | 天天拍天天干天天操 | 在线中文字幕网 | 美女在线视频观看影院免费天天看 | 成人高清毛片a | 黄 色 免费网 站 成 人 | 九9热这里只有真品 | 亚洲国产婷婷综合在线精品 | 久草在线看片 | 国产精品天天看 | 中国一级特黄高清免费的大片 | 亚洲精品tv久久久久久久久 | 一级毛片在线播放免费 | 欧美操操 | 亚洲一区二区免费在线观看 | 99热这| 久久精品视频免费 | 国产精品久久自在自线观看 | 涩综合| 97在线国产视频 | 日本色午夜| 在线综合 亚洲 欧美中文字幕 | 免费黄片毛片 | 天天操天天干天天 | 国产精品免费视频一区一 | 国产欧美一区二区精品久久久 | 亚洲一级毛片在线观播放 | 亚洲国产精品成人综合色在线婷婷 | 绿色视频在线看 | 久久久久久亚洲精品不卡 | 3d动漫精品成人一区二区三 |
请您留言

上海韬放电子科技有限公司18217114652

提交