"Bengio liderliğindeki" DeepMind, Google Beyin Çekirdeği Araştırmacısı 2017 Derin Öğrenme Son Raporu (PPT)
Xinzhiyuan Derlemesi
Montreal Üniversitesi'nin derin öğrenme yaz okulu uzun süredir bir üne sahiptir.Derin öğrenmede lider olan Yoshua Bengio'nun çağrısı altında, her yıl ders vermek için en iyi derin öğrenme ve yapay zeka akademisyenlerini bir araya getirir. Bu yılki yaz okulu, yoğun öğrenim kurslarının ilk eklendiği zamandır.
Derin Öğrenme Yaz Okulu
Derin sinir ağları veya verileri birden çok soyutlama katmanında temsil etmeyi öğrenen sinir ağları, konuşma tanıma, nesne tanıma, nesne algılama, ilaç molekülü aktivitesini tahmin etme ve diğer birçok teknolojiyi büyük ölçüde iyileştirmiştir. Derin öğrenme, dağıtılmış temsiller (denetimli öğrenme, denetimsiz öğrenme, pekiştirmeli öğrenme) oluşturarak büyük veri kümelerindeki karmaşık yapıları keşfeder.
Derin Öğrenme Yaz Okulu (DLSS), lisansüstü öğrenciler, mühendisler ve araştırmacılar içindir. Makine öğrenimiyle ilgili bazı temel bilgilere (derin öğrenme dahil, ancak gerekli değildir) hakim olmanızı gerektirir ve bu hızla gelişen araştırma alanını daha iyi anlamayı umar.
Bu yılki DLSS, Graham Taylor, Aaron Courville ve Yoshua Bengio tarafından düzenlendi.
Yoğun öğrenim yaz okulu
Bu, DLSS'yi tamamlayan Montreal Üniversitesi'nin ilk Yoğun Öğrenme Yaz Okulu'dur (RLSS). RLSS, pekiştirmeli öğrenmenin temel bilgilerini kapsayacak ve en son araştırma eğilimlerini ve sonuçlarını sergileyecek ve bu alandaki lisansüstü öğrenciler ve kıdemli araştırmacılar için etkileşim fırsatları sunacaktır.
Yoğun öğrenmeye yönelik bu yaz okulu, makine öğrenimi ve ilgili alanlarda lisansüstü öğrenciler içindir. Katılımcıların bilgisayar bilimi ve matematik konusunda ileri düzeyde eğitime sahip olmaları gerekir ve CIFAR Makine ve Beyin Öğrenimi Proje Araştırma Laboratuvarında öğrencilere öncelik verilir.
Bu yılki RLSS, Joelle Pineau ve Doina Precup tarafından düzenlendi.
Şu anda, kursun derin öğrenme kısmı sona erdi, tüm ders notlarının resmi yayını olan PPT, kurs içeriğinin bu yılki derin öğrenme kısmı şunları içeriyor:
-
Montreal Üniversitesi'nden Yoshua Bengio "Dolaşan Sinir Ağları" üzerine konferans verdi.
-
Google'ın Phil Blunsom dersleri, "Doğal Dil İşleme, Dil Modelleme ve Makine Çevirisi" ve "Doğal Dil Yapısı ve Temel" olmak üzere iki bölüme ayrılmış, doğal dil işlemeyle ilgili içerik üzerine dersler.
-
Montreal Üniversitesi'nden Aaron Courville "Üretken Modeller" üzerine konferans verdi.
-
Google Brain'den Hugo Larocelle "Neural Network" ü sunacak.
-
McGill Üniversitesi'nden Doina Precup, "Makine Öğrenmesine Giriş" konulu bir konferans verecek.
-
Oxford Üniversitesi'nden Mike Osborne, "Derin Öğrenmede Olasılık Sayıları" üzerine bir konferans verecek.
-
Toronto Üniversitesi'nden Blake Aaron Richards "Beyinde Derin Öğrenme" konulu bir konferans verecek.
Yoshua Bengio "Zaman Tekrarlayan Sinir Ağı" dersini veriyor: RNN için 7 İpucu
Bengio'nun bu yılki konusu "Zaman Tekrarlayan Sinir Ağı". Sinir ağında, zaman özyinelemeli sinir ağı modeli, bir giriş dizisini sabit boyutlu bir durumdaki bir vektörden seçici olarak rafine etmek için özyinelemeli bir güncelleme kullanır. Zaman tekrarlayan sinir ağı, zamanın her noktasında bir çıktı üretebilir.
Bir RNN, tamamen bağlantılı bir yönlü üretken modeli temsil edebilir, yani her değişken ön sipariş değişkeninden tahmin edilebilir.
Konuşmasında birçok RNN türü tanıttı: iki yönlü RNN, özyinelemeli ağ, çok boyutlu RNN, vb. PPT konuşmasına göre, uzun bağımlılıkları öğrenmek için gradyan inişini kullanmak çok zordur. 1991 yılında, Bengio MIT'deyken, araştırmadaki örnek deney yalnızca iki tür sekans yapabiliyordu.
Gradyan tabanlı öğrenme neden zordur? Bengio, kısa vadeli bağımlılıklar ile karşılaştırıldığında, uzun vadeli bağımlılıkların çok az ağırlık aldığına ve katlanarak küçüldüğüne inanıyor. Bu nedenle, RNN örneğinden, gradyanın derin ağda kaybolmasının çok zor olduğu görülebilir. Bu nedenle, bilginin istikrarlı bir şekilde saklanması için dinamiklerin sözleşmeli olması gerekir.
RNN hakkında 7 ipucu:
Gradyanı uyarlayın (gradyan aşırı yüklenmesini önlemek için)
Güvenlik açığı entegrasyonu (uzun vadeli bağımlılığı teşvik etme)
Kinetik enerji (ucuz ikinci seviye)
Başlatma (aşırı yüklenmeyi / kaybolmayı önlemek için doğru aralıkta başlayın)
Seyrek gradyan (kırık simetri)
Gradyan yayılmasının düzenlenmesi (kaybolan gradyandan kaçının)
Kapı kendi kendine döngü (LSTMGRU, gradyan kaybolmasını azaltır)
Konuşmasında dikkat mekanizmasına odaklandı: 20 yıllık hızlı ilerleme: hafıza izinleri için dikkat mekanizması
Sinir Ağı Turing Makinesi
Bellek ağı
Belleğin okuma ve yazma izinlerini kontrol etmek için içeriğe dayalı dikkat mekanizması kullanın
Dikkat mekanizması, bellek konumunun ötesinde bir Softmax çıkaracaktır
Derin öğrenmede dikkat mekanizmasının şematik diyagramı
Dikkat mekanizması artık uçtan uca makine çevirisinde kullanılıyor ve büyük bir başarı elde etti.
Tasarım RNN mimarisi
Bengio kurslarının tüm PPT adresleri:
https://drive.google.com/file/d/0ByUKRdiCDK7-LXZkM3hVSzFGTkE/view
Google Phil Blunsom doğal dil işleme üzerine dersler
Doğal dil, Montreal Üniversitesi'ndeki bu derin öğrenme yaz okulunun odak noktası haline geldi.
Google'dan Phil Blunsom, iki raporda "Doğal Dil İşleme, Dil Modelleme ve Makine Çevirisi" ile "Doğal Dilin Yapısı ve Temeli" ni tanıttı.
Bu raporda konuşmacı tanıtıldı Dil modelleme Üç kanal:
-
N-gram tabanlı modeli hesaplayarak, önceki n kelimeyle kelimelerin geçmişini yaklaşık olarak hesaplıyoruz.
-
Sürekli bir uzayda, sinir ağının n-gram modeli, farklı geçmişler arasındaki ilişkiyi daha iyi yakalamak için aynı sabit n-gram geçmişine gömülüdür.
-
Zaman tekrarlayan sinir ağını kullanarak, sabit n-gram geçmişini sonlandırıyoruz ve tüm geçmişi sabit uzunlukta bir vektöre sıkıştırıyoruz, böylece uzun mesafeli ilişkiler yakalanabilir.
Aaron Courville, Montreal Üniversitesi: Üretken Model
Montreal Üniversitesi'nden CIFAR Üyesi ve Aaron Courville, bu derste üretken modellerin bazı önemli noktalarını öğretti. Aaron Courville başka biri değil, Yapay zeka alanında başka bir "İncil düzeyinde ders kitabı" "Derin Öğrenme" nin üçüncü yazarı - geri kalan ikisi Ian Goodfellow ve Yoshua Bengio.
Model perspektifinden, denetimsiz öğrenmenin olasılık modelleri ve olasılık dışı modellere ayrıldığını biliyoruz. Seyrek kodlama, otomatik kodlayıcılar ve K-ortalamalarının tümü olasılıklı olmayan modellerdir ve iki dal olasılık modelinden türetilmiştir: yüzleşmeyi oluşturmak için Açıkça Yoğunluk Modeli ve Örtük Yoğunluk Modeli Ağ (GAN) ikincisine aittir.
Açık yoğunluk modelleri ayrıca İzlenebilir Modeller ve İzlenemez Modeller olarak ikiye ayrılır. NADE ve PixelRNN çözülebilir modellerdir, Boltzmann makinesi (BMV) ve değişken otomatik kodlayıcı (VAE) ise zor modellerdir.
Courvill'in kursunun içeriği, otoregresif modeller hakkında konuşmak için örnek olarak PixelCNN ve gizli değişken modellerde VAE ve GAN (WGAN dahil) alınarak iki bölüme ayrılmıştır.
Google Brain'den Hugo Larocelle, sinir ağları üzerine bir konferans verecek
"Sinir Ağı" kursu, yapay sinir ağlarının ilgili bilgilerini ayrıntılı olarak açıklayacak çevrimiçi video dersler şeklindedir. İçerik şunları kapsar: Nöral ağ, x girişinden f (x) tahminini nasıl alır ve ileri yayılımı, nöronu anlamanız gerekir. Veriye dayalı bir sinir ağı (sınıflandırıcı) nasıl eğitilir, kayıp işlevini, geri yayılımı, gradyan iniş algoritmasını, bazı eğitim becerilerini vb. Anlamanız gerekir; Derin öğrenme: denetimsiz ön eğitim, bırakma, toplu standardizasyon vb.
McGill Üniversitesi'nden Doina Precup Makine Öğrenmesine Giriş dersleri veriyor
Bu ders, bazı makine öğrenimi problemleri türlerinin yanı sıra doğrusal yaklaşımlayıcılar, hata fonksiyonu / amaç fonksiyonu makine optimizasyon yöntemleri, sapma sapması ödünleşmeleri, aşırı uydurma ve yetersiz uydurma, doğrusal tahmin edicilerin L2 ve L1 düzenlenmesi ve düzenlileştirmeyi tanıtmaktadır. Bayesçi yorumlama ve lojistik regresyon. Makine öğrenimi problemlerinin türleri denetimli öğrenmeyi, pekiştirmeli öğrenmeyi ve denetimsiz öğrenmeyi içerir.Bu kurs, örnek olarak yüz algılama ve tanıma, TD-Gammon, tümör algılama vb. Kullanır ve bu tür sorunları çözmek için gerekli adımları ve mevcut yöntemleri sunar.
Oxford Üniversitesi'nden Mike Osborne, derin öğrenmede olasılık sayıları üzerine ders veriyor
Toronto Üniversitesi'nden Blake Aaron Richards beyinde derin öğrenme üzerine bir ders verecek
Algılarımız, eylemlerimiz ve anılarımız nereden geliyor? Sinir sistemimizdeki nöronların aktivitesinden. İnsan beyninde milyarlarca beyin nöronu vardır.Bu nöronlar arasındaki sinaptik bağlantılar ve bu bağlantıların gücünün hassas bir şekilde ayarlanması, dünyadaki en karmaşık ve gizemli fizyolojik fonksiyonları mümkün kılar.
Ancak bu bağlantılar insan genomu tarafından belirlenmez. İster böcek ister insan olsun, nöronların bağlantıları edinilir.Hayvanlar, nöronlar arasındaki sinaptik bağlantıları şekillendirmek için duyusal ve motor deneyimlerinden gelen bilgileri kullanır.
CIFAR Associate Fellow, Blake Richards'ın araştırma alanları nörofizyoloji, sistem sinirbilimi ve hesaplamalı sinirbilimdir. Hesaplamalı sinirbilim, sinir sistemini modelleme ve analiz etme sürecinde hesaplama yöntemlerini ve kavramlarını uygulayarak sinir sistemini simüle etmek için çeşitli girişimleri bütünleştirir. Bunların arasında makine öğrenimi yöntemleri ve uygulamalı matematik sinirbilim problemlerini çözmek için kullanılacak.
Richards'ın Derin Öğrenme Yaz Okulu'ndaki konusu çok ilginç - "Beyinde Derin Öğrenme". Yapay sinir ağları, insan sinir ağlarının birçok kavramını taklit eder.Derin öğrenmenin kendisi, hesaplamalı nöroloji yapan insanlar tarafından icat edilmiştir. Bu yüzden beyinde de derin öğrenmenin kullanılması şaşırtıcı değil. Richards, gerçek beyindeki mevcut derin öğrenme araştırmalarının potansiyel uygulamalarını tanıttı. Spesifik olarak, esas olarak Geri Yayımlamadır.
Algoritma ve matematiksel formül türetmede beyindeki derin öğrenmeyi deneyimleyin.
Tüm bildirileri indirin
Phil Blunsom-Doğal Dil İşleme, Dil Modelleme ve Makine Çevirisi (indir:
Doğal Dilde Blunsom Yapısı ve Topraklama (indir:
