g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Görüntü sınıflandırması 40 nanosaniyede tamamlanır ve görüntü sensörü Nature'da bir sinir ağı ile birlikte gelir

Aufei Tapınağı'ndan Yuyang Xiaocha Qubit Raporu | Genel Hesap QbitAI

AI çipleri başka ne yapabilir? Doğa üzerine yapılan son araştırmalar yeni ilhamlar getiriyor.

Geçmişte, görüntü sınıflandırmasını birkaç adıma ayırdık: önce sensörlerle görüntü analog sinyallerini toplayın, ardından bunları dijitalden analoğa dönüştürmeden sonra işlenmek üzere bir bilgisayara aktarın. Gözlerin görüntüleri beyne iletmesi gibi, tüm süreç enerji ve zaman alıcıdır.

Bir düşünün, eğer insan gözleri beyni rahatsız etmeden görüntüleri doğrudan işleyebiliyorsa, görsel görüntü bilgisinin işlem hızı büyük ölçüde geliştirilebilir mi?

Bugün, bu yeni araştırmanın öncü niteliği, "gözlerin" görüntüleri doğrudan işlemesidir. Ve efekt geri bildirimi oldukça şok edici:

Yalnızca yeni ışığa duyarlı öğeyi kullanma 40 ns Görüntü sınıflandırması, bilgisayar işlemeden daha hızlı olan tamamlanabilir Yüzbinlerce kez .

İnanılmaz.

Fotodiyot ağı

Çekirdekte, araştırma ekibi çip üzerinde bir fotodiyot ağı kurdu ve ışığa duyarlı malzeme olarak 2D yarı iletken tungsten diselenidi (WSe2) seçti.

Tek bir tungsten diselenid fotodiyotunun şematik diyagramı

Fotodiyot dizisi, iyi tekdüzelik, ayarlanabilirlik ve doğrusallığa sahip 27 dedektörden oluşur, 3 × 3 görüntüleme dizisinde düzenlenmiştir, piksel boyutu yaklaşık 17 × 17m'dir ve her piksel 3 tungsten diselenide fotoelektrikten oluşur Diyot (alt piksel) bileşimi, ışığa tepkisi kapı voltajı ile ayarlanabilir.

Diğer bir deyişle, yarı iletkenin ışığa tepkisi, uygulanan voltajı değiştirerek ve böylece her bir diyotun duyarlılığını ayarlayarak ayarlanabilir.

Aslında bu, fotoelektrik sensör ağını, basit hesaplama görevlerini yerine getirmesini sağlamak için optik algılama ve nöromorfik hesaplamayı birleştiren bir sinir ağına dönüştürür.

Diyotun hassasiyetini değiştirmek, sinir ağındaki ağırlığı değiştirmeye eşdeğerdir.

Sensöre ağırlık verin

Diğer sinirlerin aksine, bu sistemin ağırlığı bilgisayarın belleğinde ve sabit diskinde depolanmaz, bunun yerine doğrudan görüntü sensörüne entegre edilir.

Deneyde tungsten selenid fotodiyottan yapılan özel geçit devresi kullanıldı. Özel özelliği, sinir ağı eğitimine eşdeğer olan modüle edilebilmesidir.

Harici öngerilim voltajının farkı ile diyotun ışığa duyarlılığı da farklıdır, bu da ağın eğitim sonucunu doğrudan sensör ucuna koymaya eşdeğerdir.

Önceki sinir ağı, eğitim ağırlıklarını harici bellekte depolar ve bunları devre aracılığıyla her bir algılama cihazına gönderir.

Tıpkı bir bilgisayarın hafızası gibi, saklanan bilgiler de elektrik kesintisinden sonra kaybolacaktır.

Ve bu ekipman seti, elektrik kesintisinden sonra bile ağırlık bilgilerini saklayabilen bir sabit diske benzer.

Araştırmacılar modüle edilmiş elektrodu, yüzer geçidi bor nitrür yalıtım katmanına gömdü, önce alüminyum oksit yalıtım katmanındaki kapıya voltaj uygulandı ve ardından dış voltaj kaldırıldı.

Yüzer kapı, harici ön gerilim voltajı değiştirilene kadar sonraki 2300 saniye boyunca fotodiyotun modülasyonunu koruyabilir.

Araştırmacılar bu yöntemi iki tür sinir ağını uygulamak için kullandı: sınıflandırıcılar ve otomatik kodlayıcılar.

Sınıflandırıcıda, fotodiyot dizisi, çip algılayıcı ve çipin dışındaki doğrusal olmayan aktivasyon fonksiyonu birlikte çalışır. Bu sinir türü, girdi görüntüsünü P farklı çıktı kategorilerine y sınıflandırabilen denetimli bir öğrenme algoritmasını temsil eder.

Gerçek etki nedir? 3x3 piksellik "basit" harflerden oluşan bir dizi, yani n, v ve z yaptılar.

Görüntü sensörü eğitildikten sonra, yalnızca ilgili devrenin akımının 0 olup olmadığını ölçmesi gerekir ve ardından hangi harf olduğunu bilebilirsiniz.

Zaman içindeki voltaj değişim grafiğinden, sensör 40ns görüntüyü aldığında, iki n ve v girişinin ürettiği voltajın büyük bir fark göstermeye başladığı ve farkın yaklaşık 100ns sonra maksimuma ulaştığı görülebilir.

İkinci sinir ağı, denetimsiz eğitim sırasında P giriş görüntüsünün etkili bir temsilini öğrenebilen bir otomatik kodlayıcıdır. Kod çözücü ile birlikte kullanılır, kod çözücünün eğitilmesinden sonra görüntü çıktısında yeniden üretilebilir.

Kodlayıcı, fotodiyot dizisinin kendisinden oluşur ve kod çözücü, harici elektronik cihazlardan oluşur.

Bu işlemde, görüntü aktarım verileri sıkıştırılır.

Büyük potansiyel, ancak yine de çok sayıda takip araştırmasına ihtiyaç var

40 nanosaniye içinde iki farklı görüntü ayırt edilebiliyor ve yapay zeka vizyonu insan beyninin verimliliğine doğru ilerliyor gibi görünüyor.

Ancak bu heyecan verici yeni teknolojinin pratik uygulamadan hala çok uzak olduğu açıklığa kavuşturulmalıdır.

Her şeyden önce, fotodiyot dizisi yalnızca 27 dedektörden oluştuğu için yalnızca 3x3 görüntüyü işleyebilir.

İkinci olarak, otonom sürüş ve robotikte gerçek anlamda uygulanabilmesi için, görüş sisteminin geniş bir görüş alanına sahip üç boyutlu dinamik görüntüleri ve videoları yakalamasına ihtiyaç vardır. Ancak şimdi bu teknoloji, 3B görsel bilgileri işleme, hareket bilgilerini ve derinliği kaybetme için 2B'ye dönüştürüyor.

Görüntü sensörü dizisinin düzlemsel şekli de geniş açılı kameraların yeteneklerini sınırlar.

Ek olarak, Nature'a göre, makalede anlatılan cihazın loş ışıkta görüntülenmesi zordur. Dahası, tasarımı yüksek voltaj ve yüksek güç gerektirir, aksine, biyolojik bir sinir ağında her işlem tarafından tüketilen enerji sadece 10-15 ila 10-13 Joule'dir.

Süreç açısından bakıldığında, çipte kullanılan ince yarı iletkenin geniş bir alanda üretilmesi ve işlenmesi şu anda zordur.

Dahası, görüntü sensörünün hem alma hem de hesaplama işlevlerine sahip olmasına ve analogdan dijitale dönüştürmeyi azaltmasına rağmen, harici devrede hala tüm sistemin bekleme süresini etkileyecek olan doğal gecikme sorunları vardır.

Bununla birlikte, hala çok fazla araştırma alanı olmasına rağmen, sensörlerde bilgi işlemle ilgili araştırmalar, AI donanımının daha da geliştirilmesini teşvik etti. Bu tür araştırma fikirleri bilgisayarla görme ile sınırlı değildir, duyma ve dokunma gibi diğer fiziksel girdileri de kapsayacak şekilde genişletilebilir.

Diğer girişimler

İnsanların görüntü bilgilerinin hızlı işlenmesi için giderek daha fazla gereksinimleri vardır ve birçok bilim insanı, girdi tarafında görüntü işleme yöntemlerini araştırmaktadır.

Son zamanlarda, Hollanda ve Amerika Birleşik Devletleri'nden bilim adamları, sensör tarafında görüntüleri doğrudan işlemek için bir yöntem icat ettiler.

Bununla birlikte, bunlar çıktı görüntüsünün sınıflandırması değil, hedef tespiti ve anlamsal bölümleme için büyük önem taşıyan çıktı görüntüsünün kenarıdır.

Sensörün önüne bir "süper yüzey" eklediler: yarım milimetreden daha ince, 206 nm kalınlığında, 142 nm yüksekliğinde ve 300 nm aralıklı silikon şeritlerle kaplanmış bir safir levha.

CCD sensörünün yüzeyine yerleştirildiğinde, meta yüzey bir mercek gibi davranır ve ışık ona yalnızca dik bir açıyla yönlendirilebilir ve küçük bir olay açısına sahip ışık filtrelenir.

Görüntü özellikleri, tek renkli bir arka plan yerine yalnızca insan yüzünün kenarları gibi daha keskin bileşenler bırakarak, ışık dalgalarının taşıdığı diğer ayrıntıları filtreleyen farklı ışık dalgalarından oluşur.

İşlemin tamamı yalnızca 150 nanosaniye sürer ve işlenmesi için bilgisayara teslim edilmesi birkaç milisaniye sürer.İkisi arasındaki fark 4 büyüklük sırasıdır.

Araştırma takımı

Son olarak, Avusturya'daki Viyana Teknoloji Üniversitesi'nin Unterrainer grubundan araştırma ekibini tanıtacağım.

İlk makale: Lukas Mennel, elektrik mühendisliği ve fotonik alanında doktora adayı, bir keresinde MIT'ye araştırma değiş tokuşu yapmak ve kuantum fotoniği okumak için misafir akademisyen olarak gitti.

Lukas Mennel

Makalenin diğer ilgili yazarı Viyana Teknoloji Üniversitesi'nde doçenttir. Thoms Mueller Thomas Muller, Thomas Muller'in futbol oynamakta iyi olmadığını bilmeme rağmen, 2D malzeme bilimi alanında Profesör Muller'in araştırması, temel araştırmaları, optoelektronik cihazları, elektronik entegre devreleri, fotonik entegre devreleri vb. Kapsar. Aynı zamanda bir başarıdır.