Memristif Özelliklere Dayalı Denetimli Sinir Ağı Algoritması ve Devre Tasarımı
Memristor (Memristor) ilk olarak 1970'lerde Profesör Cai Shaotang tarafından önerilmiştir.Direnç, kapasitans ve endüktansın yanı sıra dördüncü tip temel bileşen olan memristor, yük miktarı ile manyetik akı arasındaki ilişkiyi ifade eder. 2008 yılında, HP Labs memristörü ilk kez yapmak için hammadde olarak TiO2 kullandı. Memristorlar, insan beyni nöronlarının öğrenme kurallarını simüle edebildikleri için (Spiking Timing-Dependent Plasticity, STDP), memristörlerin yapay sinir ağlarında elektronik sinaps olarak kullanılması, yavaş yavaş memristörlerin araştırma sıcak noktalarından biri haline geldi.
Süreçle sınırlı, memristörün gerçek parametreleri büyük ölçüde dalgalanıyor. Bunu incelemenin uygun bir yolu, memristoru uygulama olasılıklarını keşfetmek için teknik araçlar aracılığıyla modellemektir; öte yandan, nasıl iyi olunur Memristörlerin yapay sinir ağlarına uygulanması hala keşif aşamasındadır.İkisini iyi bir şekilde birleştirebilecek tam bir teori veya pratik yoktur. Yapay sinir ağındaki memristörün özelliklerini ortaya çıkarmak için yeni bir fikir ve yöntem bulmak özellikle önemlidir ve hem yapay sinir ağının hem de memristörün gelişimi için çok değerlidir.
Mevcut memristör ve yapay sinir ağının yakından entegre olmadığı sorununu hedefleyen bu makale, memristör ve yapay sinir ağı için dijital devreler uygulamak için Alan Programlanabilir Kapı Dizisini (FPGA) kullanır. Bu yöntemle gerçekleştirilen denetimli hatırlayıcı sinir ağı, güçlü sağlamlık, yüksek entegrasyon ve yüksek paralellik avantajlarına sahiptir. Şu anda, FPGA'nın geliştirme teknolojisi çok mükemmeldir.Tüm bu tasarım süreci, sinir ağının yapısını mükemmelleştirmeyi çok kolaylaştırır ve aynı zamanda elektronik sistemin uygulanmasına da yakındır. Memristörün bellek kapasitesine dayalı olarak, bu makale ağı FPGA'da görüntü sınıflandırma ve tanımaya uygular ve bu tür denetimli memristif sinir ağının uygulanması için bir referans sağlayan iyi deneysel sonuçlar elde eder.
1 Memristor FPGA modellemesi
2008 yılında, HP laboratuvarı araştırmacıları, pozitif ve negatif elektrot olarak iki platin (Pt) kullandı ve ardından pozitif ve negatif elektrotlar arasına titanyum dioksit (TiO2) filmi koydu ve bir TiO2 katmanı üzerinde oksijen boşluk doping işlemi gerçekleştirdi. Oksijen boşlukları ile doping yapıldıktan sonra, bu TiO2 tabakasının iletkenliği, bazı oksijen atomlarının eksikliğinden dolayı büyük ölçüde artar ve diğer TiO2 tabakası, bir yalıtıcıya benzer şekilde düşük iletkenlik göstererek katkılanmaz. Memistörün her iki ucuna da eşikten daha büyük bir akım veya voltaj uygulandığında, elektronlar ve delikler, katkılı ve katkısız TiO2'nin iki katmanı arasında hareket edecek ve bu da katkılı arayüzün belirli bir yer değiştirmesine neden olacaktır. Değişime karşı direncine neden oluyor. Bu klasik HP memristörüdür.
HP memristor türevine göre, genel sıvı kontrol memristor modeli aşağıdaki gibidir:
M (t) memristörün mevcut direncidir. Yukarıdaki formüle göre, Quartus üzerinde gerçekleştirmek ve simüle etmek için Verilog kodunu kullanın, Roff = 16 k, Ron = 100 , D = 10 nm, v = 10-14m2s-1V-1 ayarlayın. Memistörün başarılı yapısının işareti, iki ucuna periyodik bir trigonometrik voltaj uygulandığında, volt-amper karakteristik eğrisinin kapalı bir histerezis eğrisi olmasıdır. Girişe U (t) = 2sint ekleyin, memistör parametrelerini değiştirmeden tutun ve memistör modelinin volt-amper karakteristik eğrisini ölçmek için bir osiloskop kullanın.Sonuç Şekil 1'de gösterilmiştir.
Şekil 1'den görülebileceği gibi, yukarıdaki yöntemle uygulanan sıvı kontrollü memristör modeli, memristörün benzersiz performansını yansıtabilir ve sinir ağı sistemlerindeki uygulaması için sağlam bir temel oluşturur.
2 Hatırlatıcı sinir ağını denetleme tasarımı ve uygulaması
2.1 Genel ağ tasarımı
Temel ağ yapısı, giriş katmanı, gizli katman ve çıktı katmanından oluşur.Memristor, ağda bir ağırlık depolama modülü görevi görür ve depolanan direnci, Şekil 2'de gösterildiği gibi ağırlık modülünün vermesi gereken ağırlık olarak kullanılır. .
Donanım tasarımında sinir ağı algoritması modüler yöntemlerle uygulanır. Ağdaki nöron yapısı ve algoritmanın tamamı nöron modülü tarafından gerçekleştirilir.Nöron modülü, transfer fonksiyon modülü ile yapılan işlem sayesinde çıkış hata değerini elde eder ve hesaplanan hata değeri ile eğitim modülünü kontrol eder.Hata değeri de ayrıca iletilir. Ağırlık güncelleme modülü, güncellemeden sonraki ağırlık hafızalı ağırlık depolama modülü tarafından kaydedilir ve okunur. Ağın genel tasarımında, boru hattı yöntemi, ağın işlem frekansının daha yüksek bir seviyeye ulaşması için birden çok yazıcının eşzamanlı atamasını veya eşzamanlı çalışmasını azaltmak için mümkün olduğunca bütünü optimize etmek için benimsenir. Montaj hattı tasarımından sonra modüller arasındaki bağlantı sırası Şekil 3'te gösterilmiştir.
Transfer fonksiyonu modülü genellikle, kordik algoritma ile FPGA'da tasarlanabilen hiperbolik tanjant fonksiyonunu kullanır. Kordic algoritma, trigonometrik fonksiyonlar veya logaritmik fonksiyonlar gibi doğrusal olmayan denklemlere yaklaşan bir donanım algoritmasıdır. Amaç fonksiyonuna yaklaşmak için döngü yinelemesini kullanır. Donanım üzerinde kordik algoritmayı tasarlarken, yaklaşık bit sayısı ne kadar yüksek ayarlanırsa, hesaplama doğruluğu o kadar yüksek olur, ancak aynı zamanda daha fazla donanım kaynağı tüketilir; bit sayısı düşükse, donanım kaynakları daha az yer kaplasa da, ilgili hesaplamalar Doğruluk yetersiz olacak ve hatta ağ tanımanın doğruluğunu etkileyecektir. Donanım üzerindeki gerçek tasarım, gerçek ihtiyaçlara göre kordon algoritmasının yaklaşık basamaklarını belirlemelidir, bu nedenle tasarım basamakları 27 basamağa ayarlanır, bu da algoritmanın donanım kaynaklarının işgalini yüksek doğrulukla kontrol etmesini sağlayabilir.
Hata hesaplama modülünün, önceki eğitimin sonuçlarını karşılaştırmak için öğretmen sinyalini önceden ayarlaması gerekir ve ağırlık güncelleme miktarı, donanımdaki çıkarıcı tarafından hesaplanabilir. Ağ, eğitim kontrol modülü aracılığıyla elde edilen ağırlık güncelleme miktarını değerlendirir, eğitim kontrol sinyalini verir ve bir sonraki işlemin mevcut numunenin eğitimine devam edip etmeyeceğine veya bir sonraki örnek görüntüye atlayıp atlamayacağına karar verir. Donanım devresinde, eğitim kontrol modülü bir karşılaştırıcıdan oluşur. Ağ yapısı küçük olduğunda, öğretmen sinyali önceden kayıt defterinde saklanabilir ve hesaplama için doğrudan hata hesaplama modülüne getirilebilir.
Tüm ağ hesaplama süreci, boru hattı tasarımı yoluyla çalışma hızını iyileştirmiştir.En karmaşık transfer fonksiyonu modülü ve memristor ağırlık depolama modülü dahil olmak üzere dahili hesaplamalarda, yalnızca çarpanlar ve çıkarıcılar kombinasyonu ile gerçekleştirilebilir. Donanım kaynakları ve hız daha kolay.
2.2 Nöron modülü tasarımı
Nöron modülü, sinir ağı donanımındaki en önemli temel modüldür. 3x3 piksel ikili görüntüyü örnek olarak alırsak, giriş nöronunun eğitim örneği görüntüsünün her pikseline karşılık geldiği düşünülürse, giriş katmanında 10 nöron vardır. İlk giriş değeri ön gerilim voltajıdır ve değer -1 olarak ayarlanır. Sonraki 9 nöron sırasıyla 9 noktaya karşılık gelir. Piksel siyah olduğunda giriş değeri 1'dir ve piksel beyaz olduğunda giriş değeri -1'dir. , Şekil 4'te gösterildiği gibi.
Eğitim yöntemi, bir numune eğitildiğinde, ikinci numune görüntünün tüm numuneler eğitilene kadar eğitilmesidir, bu da eğitimin tamamlandığı anlamına gelir. Ağ belirlenen gereksinimleri karşılamıyorsa, ilk örneğe geri dönün ve tamamlanana kadar baştan eğitime başlayın.
Örnek olarak 3 × 3 bir görüntü alırsak, gizli katmandaki nöron sayısı 3'tür ve Ii sonucunu elde etmek için giriş değeri ile ağırlık çarpılarak toplanır. Hesaplama süreci şu şekildedir:
Bunlar arasında Wij, nöronlar arasındaki bağlantıya karşılık gelen ağırlık, j giriş nöronunun sayısı ve i gizli katman ve çıkış katmanı sayısıdır. Giriş katmanındaki nöron sayısı 10, gizli katmandaki nöron sayısı 3 olduğu için toplam ağırlık sayısı 30'dur. Yukarıdaki çarpma ve biriktirme işlemi sonucu, kaydı çarparak ve biriktirerek doğrudan elde edilebilir.
2.3 Akılcı ağırlık modülü tasarımı
Örnek olarak 3 × 3 bir görüntü alarak ağırlık güncelleme işlemi şu şekilde hesaplanır:
Qij, eğitim sırasında memistörden geçen şarj miktarındaki değişikliktir. Başlangıç ağırlığı 0 olduğu için şunları alabiliriz:
Bunların arasında Qij, memristörden geçen birikmiş yük miktarıdır. Bir eğitim seansı tamamlandıktan sonra memristif ağırlık modülünün ağırlığının değiştirilmesi gerektiğinde, memristörden geçen elektriğin değeri formül (5) ve formül (6) 'ya göre değiştirilebilir.
2.4 Eğitim kontrol modülünün tasarımı
Örnek olarak 3 × 3 bir görüntü alırsak, eğitim setindeki görüntülerin tümü doğru sınıflandırma sonuçlarını verdiğinde, ağ eğitiminin tamamlandığı ve eğitimin bu sırada durduğu anlamına gelir. Eğitim seti eğitim için sıralı olarak girdi olduğundan ve önceki resmin çıktı sonucu bir sonraki giriş değerinin sonraki resim mi yoksa ilk resme mi döndüğünü belirlediğinden, eğitim kontrol modülünü uygulamak için bir durum makinesi kullanılır. Sonlu durum makinesinin başlangıç durumu 0 durumudur. İlk eğitim örneği görüntüsü girildiğinde, görüntünün sınıflandırma sonucunun doğru olup olmadığına karar verilir.Doğru ise, sonlu durum makinesi 1 durumuna atlar ve yanlışsa 0 durumuna atlar. İkinci eğitim örneği girildiğinde, sınıflandırma sonucunun doğru olup olmadığına karar verilir.Doğru ise, durum 2'ye atlar. Doğru değilse, sonlu durum makinesi 0 durumuna atlar ve ilk örnek görüntüden eğitimi yeniden başlatır. Benzetme yoluyla, tüm eğitim örnekleri doğru şekilde sınıflandırıldığında, sınırlı durum fırsatı son duruma atlayacaktır.Bu anda, eğitim kontrol modülü, eğitimi durdurmak için hatırlayıcı sinir ağını kontrol eder, aksi takdirde ağ eğitime devam eder.
3 Deneysel sonuçlar ve analiz
Bu kağıt, sinir ağı eğitiminde ve testinde yaygın olarak kullanılan 3x3 piksel ikili görüntüyü sinir ağı sisteminin eğitim ve test veri seti olarak kullanır.Örnek set 30 adet 3x3 ikili görüntü içerir ve her 10 örnek görüntü birdir. Grup, Şekil 5'te gösterildiği gibi z, v, n ve kısmen hasarlı görüntüler olmak üzere 3 kategoriye ayrılmıştır.
Ağın eğitimi, eğitim döngüsü olarak 30 fotoğraf çeker.Eğitimin ilk 10 resmi z harfi, ortadaki 10 resim v harfi ve son 10 resim n harfidir. İdeal olarak, birinci tipteki z harfinin bir görüntüsünü girerken, birinci çıktı nöronunun değeri ikinci ve üçüncü çıktı değerlerinden daha büyük olmalıdır. İkinci ve üçüncü türleri benzer şekilde girin. Testte kullanılan örnekler eğitimle tutarlıdır.Sisteme herhangi bir resim girildiğinde doğru sınıflandırma sonucu elde edilmelidir.Sürekli olarak 30 resim girilmesi de her resim için doğru sınıflandırma sonucunu alabilir.
Yukarıdaki teoriye göre çeşitli parametreleri ayarlayın Her ağırlığın başlangıç değeri 0 ile 1 arasındaki herhangi bir değerdir. Eğitim toplam 30 döngüden sonra durur ve durum makinesinin göstergesi de son döngüde durur. Eğitimin bittiği düşünülebilir. Sırasıyla 30 resmi sisteme girin ve elde edilen 3 sınıflandırma çıktısı Şekil 6'da gösterilmektedir.
Şekil 6'da, ilk ayar sinyalidir, clk saat sinyalidir, durum makine atlama sinyalidir, k1, k2 ve k3 sırasıyla z, v ve n'nin üç kategorisine karşılık gelir. Şekilden de görülebileceği gibi 30 döngü arasından ilk 10 döngü sınıflandırma sonuçları, ilk çıkış nöronunun yüksek seviyede olduğunu yani çıktının şekilde k1'de gösterildiği gibi z harfi olduğunu gösterir; ortadaki 10 döngünün sınıflandırma sonuçları İkinci çıkış nöronunun yüksek seviyede olduğunu, yani çıktının k2'de gösterildiği gibi v harfi olduğunu gösterin; son 10 döngünün sınıflandırma sonuçları, üçüncü çıkış nöronunun yüksek seviyede olduğunu, yani çıktının şekilde gösterildiği gibi n harfi olduğunu gösterir. K3'te gösterilir. Şekil 6'dan görülebileceği gibi, ağın 3 × 3 veri seti için sınıflandırma doğruluğunun% 100 olduğu, bu da hatırlayıcı ağın etkinliğini ve güvenilirliğini doğrulamaktadır.
Tüm tasarımı sentezlemek için Quartus II yazılımını kullanın, Cyclone II: EP2C70F896I8 FPGA'yı seçin, kaynak kullanımı ve işleme hızı Tablo 1'de gösterilmektedir.
Tablo 1'den eğitim için toplam 30 saat çevriminin gerekli olduğu görülebilir. Ağın genel işlem hızını Tablo 1'de birleştirerek, tüm eğitim süresinin sadece t = 30 / (89.64 × 103) = 0.33 ms olduğu elde edilebilir Test sırasında donanıma bir görüntünün girilmesinden test sonucunun elde edilmesine kadar sadece t gereklidir. = 10 s tamamlamak için. Unutulmaz sinir ağlarının mevcut donanım algoritmaları ile karşılaştırıldığında, bu algoritma yüksek doğruluk ve hızlı işlem hızı avantajlarına sahiptir.
4. Sonuç
Bu makale, hatırlayıcı özelliklere dayalı bir denetimli sinir ağı algoritması önermekte ve bunu FPGA'da uygulamaktadır. Bu tasarımda memristör modellenir ve işlevsel olarak simüle edilir ve ardından memristör modülü sinir ağında ağırlık depolama modülü olarak kullanılır ve son olarak denetimli bir ezberli sinir ağı oluşturulur. Tasarım, görüntü sınıflandırma işlevine uygulanır ve donanım devresinin yüksek paralellik ve yüksek işlem hızının avantajlarını yansıtan iyi deneysel sonuçlar elde edilir. Bu tasarım, memristör ve sinir ağının bir kombinasyon yöntemini önermekte ve ayrıca denetimli memristif sinir ağı algoritmasının devre sistemi uygulaması için referans sağlamaktadır.
Referanslar
Cai Kunpeng, Wang Rui, Zhou Ji Dördüncü pasif elektronik bileşen memristorunun araştırma ve uygulama ilerlemesi Elektronik Bileşenler ve Malzemeler, 2010 (4): 78-82.
Liu Dongqing, Cheng Haifeng, Zhu Xuan, ve diğerleri. Memristorlar ve dirençli anahtarlama mekanizmaları üzerine araştırma ilerlemesi. Açta Phys. Sin. 2014, 63 (18): 187301.
Duan Meitao. STDP kurallarına ve uygulamasına dayalı hatırlatıcı sinir ağı. Chongqing: Southwest Üniversitesi, 2013.
Jia Linnan, Huang Anping, Zheng Xiaohu, ve diğerleri Arayüz etkisi modüle edilmiş memristörler çalışmasında ilerleme Acta Physica Sinica, 2012, 61 (21): 217306-217306.
Hu Bolin, Wang Lidan, Huang Yiwen ve diğerleri Memristors için Simulink modelleme ve grafik kullanıcı arayüzü tasarımı. Journal of Southwest University (Natural Science Edition), 2011, 33 (9): 50-56.
Rong Hui, Zhang Jishi Yapay sinir ağı ve mevcut durumu ve beklentileri Elektronik Teknoloji Uygulaması, 1995 (10): 4-5.
Wang Leyi. Araştırma ilerlemesi ve memristors uygulama umutları Elektronik Bileşenler ve Malzemeler, 2010 (12): 71-74.
Lu Yan, Du Jihong, Liang Xun. Kontrolde Yapay Sinir Ağı Uygulaması Elektronik Teknoloji Uygulaması, 1996 (2): 4-7.
Xu Zhiyong, Tang Genwei, Jiang Xinquan ve diğerleri.Donanım dostu sentetik parmak izi tanımlama algoritması üzerine araştırma.Elektronik Teknoloji Uygulaması, 2016, 42 (10): 54-57.
Bai Yanyu, Shen Chaoqun, Yang Xinfeng. SIFT özelliklerini ve sinir ağı havuzunu birleştiren nesne sınıflandırma yöntemi.Elektronik Teknoloji Uygulaması, 2017, 43 (7): 130-134, 139.
Wang Meng, Chang Sheng, Wang Hao. Uyarlanabilir eğitim BP sinir ağı FPGA tasarımı Modern Elektronik Teknolojisi, 2016, 39 (15): 115-118.
Hong Qinghui, Zeng Yicheng, Li Zhijun.Magnetron ve yük kontrollü memristörlerle kaotik devrenin tasarımı ve simülasyonu Acta Physica Sinica, 2013, 62 (23): 230502-230502.
Zhang Kefeng, Li Chaopei, Gu Anqiang.Yeniden yapılandırılabilir bir boru hattı yapısının tasarımı analogdan dijitale dönüştürücü Elektronik Teknoloji Uygulaması, 2008 (5): 51-53, 58.
Li Quan, Li Xiaohuan, Chen Shiping. CORDIC algoritmasına dayalı yüksek hassasiyetli kayan noktalı aşkın fonksiyonun FPGA uygulaması Elektronik Teknolojisi Uygulaması, 2009, 35 (5): 166-170.
yazar bilgileri:
Tang Zhiri, Zhu Ruohua, Chang Sheng
(Fizik Bilimi ve Teknolojisi Okulu, Wuhan Üniversitesi, Wuhan, Hubei 430072)
