AI'nın ilk dersi! CMU Derin Öğrenme Sonbahar Kursu başladı (PPT ve video ile)
Kaynak: Xinzhiyuan
Bu makale hakkında 1000 Word, önerilen okuma 5 dakika.
Bu kursun içeriği, derin öğrenmenin temel içeriğinin yanı sıra yeni pekiştirmeli öğrenme, GAN vb. Konularını kapsar.
CMU'nun derin öğrenme sonbahar kursu başladı! Kursun ana eğitmeni CMU Bilgisayar Okulu'ndan Derin Öğrenme Daniel ve Bhiksha Raj'dır.Kurs içeriği, derin öğrenmenin temel içeriğini ve daha yeni pekiştirmeli öğrenme, GAN vb.
Derin öğrenme araştırması alanında CMU her zaman dünyanın ön saflarında yer almıştır ve kursları giriş materyalleri için neredeyse ilk tercihtir. Kursun slaytları ve videoları, kurs ilerledikçe kademeli olarak yayınlanacaktır. , Sistematik olarak öğrenmek ve derin öğrenmede ustalaşmak isteyen okuyucular bunu kaçırmamalı.
Derin sinir ağları tarafından temsil edilen "derin öğrenme" sistemleri, yeteneklerini dil anlama, konuşma ve görüntü tanıma, makine çevirisi, planlama ve hatta oyunlar ve otonom sürüş dahil olmak üzere çeşitli AI görevlerinde giderek daha fazla gösteriyor. Bu nedenle, derin öğrenmenin mesleki bilgisi giderek öngörülemeyen bir durumdan birçok ileri akademik problemde ustalaşılması gereken arka plan bilgisine dönüşmüştür ve derin öğrenme yetenekleri de iş piyasasında büyük bir avantaja sahiptir.
Bu derste, derin sinir ağlarının temellerini ve çeşitli AI görevlerindeki uygulamalarını öğreneceğiz. Kursun sonunda, öğrenciler ders konuları hakkında yeterli bir anlayışa sahip olacaklar ve derin öğrenmeyi çeşitli görevlere uygulayabilecekler. Öğrenciler ayrıca bu alandaki büyük miktarda güncel literatürü okuyacak ve daha fazla araştırma yoluyla mesleki bilgilerini genişleteceklerdir.
Bu kursta yer alan kavramlar kapsamlıdır. Öğrencilerin derin öğrenmenin temellerini anlamalarına yardımcı olacaktır. Kurs, MLP (Çok Katmanlı Algılayıcı) ile başlar ve yavaş yavaş dikkat modeli ve diziden diziye model gibi daha karmaşık kavramların derinlerine iner. Öğrencilerin, derin öğrenme modellerini uygulamak için çok önemli olan PyTorch'a tamamen hakim olmaları gerekir.
Bir öğrenci olarak, derin bir öğrenme modeli oluşturmak için gereken çeşitli araçları öğreneceksiniz. Ödev genellikle iki bölümden oluşur: Autolab ve Kaggle . Kaggle bölümü, birden fazla mimariyi keşfetmemize ve modeli nasıl ayarlayıp sürekli iyileştireceğimizi anlamamıza olanak tanır. Tüm görevlerin görevleri benzerdir ve aynı görevi çözmek için birden fazla derin öğrenme yönteminin nasıl kullanılacağını öğrenmek eğlencelidir. Genel olarak, bu kursun sonunda, derin öğrenme modellerini oluşturmak ve ayarlamak için yeterli güvene sahip olacaksınız.
Kurs öğretmeni: Bhiksha Raj (bhiksha@cs.cmu.edu) Öğretim asistanı: Ryan Brigden (rbrigden@andrew.cmu.edu) Raphael Franck Olivier (rolivier@andrew.cmu.edu) Sai Nihar Tadichetty (ntadiche@andrew.cmu.edu) Shubham Tripathi (shubhamt@andrew.cmu.edu) Soham Ghosh (sohamg @ andrew.cmu.edu) Madhura Das (madhurad@andrew.cmu.edu) Ipsita Prakash (iprakash@andrew.cmu.edu) Dhruv Shah (ddshah@andrew.cmu.edu) Shaden Shaar (sshaar@andrew.cmu.edu) ) David Zhang (davidz1@andrew.cmu.edu) Anushree Prasanna Kumar (apkumar@andrew.cmu.edu) Ahmed Shah (mshah1@andrew.cmu.edu) Jiawei Yang (jiaweiy@andrew.cmu.edu) Omar Khattab, Doha için (okhattab@cmu.edu) Kigali için Nebiyou Yismaw (nyismaw@andrew.cmu.edu) Önkoşullar1. Genel amaçlı bir araç seti (özellikle PyTorch) kullanacağız. Araç seti esas olarak kullanılır Python Programlama. En az bir dilde programlama yapabilmeniz gerekir. Veya programlama için tanıdık bir dil kullanabilirsiniz, ancak ilgili araç setini kendiniz bulmalı ve öğrenmelisiniz.
2. Temel bilgilere aşina olmanız gerekir Matematik (farklılaşma, zincir kuralı), doğrusal cebir ile Temel olasılık bilgisi .
Ders kitabıBu ders belirli bir ders kitabına göre yapılmayacak, ancak birçok materyal seçecektir. İlgili kitapları listeleriz ve her ünite için ilgili okuma materyallerine bağlantılar sağlarız. Öğrencilerin dersten önce bu materyallere aşina olmaları gerekir. Okuma materyali bazen anlaşılması güç olabilir ama merak etmeyin, sınıfta daha basit bir açıklama yapacağız.
- Tartışma panosu: Piazza
- Piazza'yı tartışma için kullanıyoruz, bağlantı:
- https://piazza.com/class/jhyyudofj9u4za
- Burada bulabilirsin Güncel literatürdeki modellerin kataloğu :
- https://www.datasciencecentral.com/profiles/blogs/concise-visual-summary-of-deep-learning-architectures
- Şimdi tam olarak anlayamıyorsanız, kursun sonunda wiki ve katalogdaki model mimarilerinin çoğunu anlayabileceğinizi umuyoruz.
- Kaggle:
- Kaggle, katılımcıların yarışmalar yoluyla bir veri setini öğrenmek veya analiz etmek için en iyi modeli oluşturdukları çok popüler bir veri bilimi platformudur. Bu kursun ödevleri, değerlendirme sonuçlarının Kaggle liderlik tablosuna gönderilmesini gerektirecektir.
- Derin Öğrenme Ian Goodfellow, Yoshua Bengio, Aaron Courville Online kitabı, 2017
- Neural Networks and DeepLearning, Michael Nielsen Çevrimiçi kitabı, 2016
- Python ile Derin Öğrenme - J. Brownlee
- Python ile Adım Adım Derin Öğrenme: Pratik Veri Bilimi için Derin Sinir Ağlarına Çok Nazik Bir Giriş Yazan N.D. Lewis
- Rumelhart ve McClelland Tarafından Paralel Dağıtılmış İşleme Baskısı tükendi, 1986
Ders 1 (8.29):
- Derin Öğrenmeye Giriş
- ders programı
- Sinirsel hesaplamanın tarihsel ve bilişsel temeli
- Algılayıcı ve çok katmanlı algılayıcı
Ders 2 (8.31):
- Sinir Ağı: Genel Bir Yaklaşımcı
Ders 3 (9.5):
- Sinir ağını eğitin
- Algılayıcı öğrenme kuralı
- Deneyim riskini en aza indirin
- Gradyan iniş kullanarak optimize edin
Ders 4 (9.10):
- Geri yayılım
- Geri Yayılım Hesabı
Ders 5 (9.12):
- Sinir ağı yakınsama sorunu
- yakınsama hızı
- Kayıp işlevi
- Öğrenme oranı ve optimizasyon yöntemi
- RMSProp, Adagrad, Momentum
Ders 6 (9.17):
- Stokastik gradyan inişi
- hızlandırmak
- Aşırı uyum ve düzenleme
- İpuçları: Sapma (kayıp) işlevini seçin, Toplu normalleştirme, Bırakma
Ders 7 (9.19):
- Eğitim incelemesi
- Öğrenci QA
Ders 8 (9.24):
- Sorunu optimize etmeye devam edin
Ders 9 (9.26):
- Evrişimli Sinir Ağları (CNN'ler)
- Şablon olarak ağırlıklar
- Çeviri değişmezliği
- Eğitim için parametre paylaşımını kullanın
Ders 10 (10.1):
- Görsel model
- Neurocognitron (Neocognitron)
- CNN'nin matematiksel ayrıntıları
- Alexnet, Başlangıç, VGG
Ders 11 (10.3):
- Tekrarlayan Sinir Ağları (RNN'ler)
- Dizi modelleme
- Zaman içinde geri yayılım
- Çift yönlü RNN
Ders 12 (10.8):
- Model kararlılığı
- Gradyan patlaması / kaybolması
- Uzun kısa süreli bellek birimi (LSTM) ve çeşitleri
- Yeniden ağlar
Ders 13 (10.10):
- Tekrarlayan ağın kaybı işlevi
- Sıra tahmini
Ders 14 (10.15):
- Sıralama yöntemine sıralama
- Bağlantılı Zaman Sınıflandırıcı (CTC)
Ders 15 (10.17):
- Dizi modeli dizisi, dikkat modeli (konuşma ve dil örnekleri)
Ders 16 (10.22):
- Ağ ne anlama geliyor?
- Otomatik kodlayıcı ve boyut küçültme
- Öğrenim temsili
Ders 17 (10.24):
- Değişken Otomatik Kodlayıcı (VAE)
Ders 18 (10.29):
- Generative Adversarial Networks (GANs) Part One
Ders 18 (10.31):
- Generative Adversarial Networks (GANs) Part 2
Ders 19 (11.5):
- Hopfield sinir ağı
- Boltzmann Makineleri
Ders 20 (11.7):
- Hopfield ağını eğitin
- Rastgele Hopfield ağı
Ders 21 (11.12):
- Kısıtlı Boltzmann makinesi
- Derin Boltzmann Makinesi
Ders 22 (11.14):
- Pekiştirmeli öğrenme 1
Ders 23 (11.19):
- Pekiştirmeli öğrenme 2
Ders 24 (11.21):
- Şükran Günü
Ders 25 (11.26):
- Pekiştirmeli öğrenme 3
Ders 26 (11.28):
- Pekiştirmeli öğrenme 4
Ders 27 (12.3):
- Pekiştirmeli öğrenme 4
- Q öğrenme
- Derin Q öğrenme
Ders 28 (12.5):
- Derin öğrenmede yeni modeller ve trendler
- Kurs incelemesi
