Derin öğrenme Bellek ve Dikkat teknolojisinin en son ilerlemesi (75PPT indirme)
Xinzhiyuan Derleme 1
Derin öğrenmede hafıza ve dikkatin sınır gelişimi
Yazar: Stephen Merity
Sınıflandırma görevi
İyi verilerle derin öğrenme, görüntü ve metin sınıflandırmasında son derece yüksek doğruluk sağlayabilir. Sınıflandırıcının eğitimi aslında çok kolay: 6. ve 7. sınıf ortaokul öğrencileri% 90 doğruluk oranıyla özelleştirilmiş bir görsel sınıflandırıcı oluşturdu.
Tıbbi tanıda uygulama: kafa içi kanamanın incelenmesi
ImageNet'teki sınıflandırma hatası oranı yıldan yıla azalıyor
GPU performansı artırır
Ancak, derin öğrenme her derde deva değildir.
Soru ve cevap görevi
Bilgi darboğazı
Modeliniz sıkıştırılmış bir sunum kullanmaya nerede zorlanıyor? En önemlisi, bu iyi bir şey mi?
Sinir ağları ve sıkıştırma birbirine benzer mi?
Gerçek dünyada kimse CNN sıkıştırması yapamaz
Magic Pony olmadığı sürece
Twitter ve Magic Pony işbirliği yaptı.
Kelime vektör
"Köpek" kelimesi 100 boyutlu bir vektöre dönüştürülebilir
Word2vec aracılığıyla kelime vektörü
(Küçük bir miktar) Hafıza, (hayır) Dikkat
Giriş katmanından gizli katmana çıktı katmanına
Tekrarlayan Sinir Ağı (RNN) Örneği
Sinir makinesi çevirisi
Dikkat ve Hafıza
Nöral Makine Çevirisi Uygulaması
Dinamik hafıza ağındaki sorular ve cevaplar
Sonuç olarak, üç deneye odaklanın: metin, vizyon ve Dikkat görselleştirme
Soru-Cevap görevlerinde Dikkat ve Hafıza
İşaretçi Ağları
