"Leading by Bengio" Paris'teki Veri Bilimi Yaz Okulu'nun temel noktalarından oluşan bir koleksiyon

1 Yeni Zhiyuan derlemesi

Ayrıntılı kurs planı ve PPT, web sitesi bağlantısı, vb. Burada bulunabilir:

Bu, Ecole Polytechnique Data Science Yaz Okulu'nun (28 Ağustos - 1 Eylül) saha kaydıdır.

Konuşmacılar şunları içerir:

  • Yoshua Bengio-Montreal Üniversitesi Profesörü (Derin Öğrenme)

  • Csaba Szepesvari-Alberta Üniversitesi (Haydutlar)

  • Pradeep Ravikumar-Yardımcı Doçent CMU (grafik model)

  • Peter RichtarikI-Doçent, University of Edinburgh (stokastik optimizasyon yöntemi)

  • Cédric Archambeau-Baş Uygulama Bilimcisi, Amazon

  • Olivier Bousquet-Google Teknik Direktörü

  • Damien Eenst-Professor at Université de Liège

  • Laura Grigori-INRIA Araştırma Direktörü

  • Sean Meyn-Profesör, Florida Üniversitesi

  • Sebastian Nowozin-Araştırmacı, Microsoft Araştırma Cambridge

  • Stuart Russell-UC Berkeley Üniversitesi Profesörü

Yoshua Bengio: Derin Öğrenme

Ecole Polytechnique müdürü Jacques Biot ve yaz okulunun ana organizatörleri tarafından yapılan giriş konuşmasından sonra, Yoshu Bengio önce geri yayılım, ileri beslemeli derin sinir ağları, teknikler, RNN ve NLP içeren "Derin Öğrenme AI" üzerine bir konuşma yaptı. Konuşması çok genel: İyi çalışmadaki son teknoloji yöntemlerden, mevcut derin sinir ağının neler yapabileceğinden, araştırma noktalarından ve sonraki sınırdan bahsetti.

Yoshua Bengio'nun konuşmasının temel noktaları:

  • Bileşimsellik fikri

1. Dağıtılmış temsil / yerleştirme

2. Özellik hiyerarşisi

  • Görsel ve konuşma tanıma için insan seviyesinde yetenekler

  • NLP ilerliyor, ancak daha yapılacak çok iş var

  • Makine öğreniminin beş bileşeni

1. Büyük miktarda veri

2. Çok esnek model

3. Yeterli bilgi işlem gücü

4. Hesaplama açısından verimli akıl yürütme

5. Boyutluluk lanetini yenebilecek güçlü bir öncelik

  • Derin öğrenmede yeni şeyler

1. GAN gibi denetimsiz üretken sinir ağı

2. Yolluk biriminin dikkat mekanizmasını kullanın, örneğin nöral makine çevirisi

3. Bellek artırmalı ağ (bellek artırmalı ağ)

4. Müfredat öğrenimi

5. 0 vuruşlu öğrenme

6. Farklı yöntemler kullanın (resim, metin, ses)

7. Çok görevli öğrenme (sınıflandırma, regresyon, görüntüden metne, görüntüden sese)

  • Sıralı veriler için, RNN ile uzun vadeli bağımlılıkla başa çıkmak için birden çok zaman ölçeği kullanın

  • Temsilin altında yatan faktörlerin kilidini açan derin öğrenme, görüntüler, sözcükler vb. İçin doğrusal cebir yapmak için orijinal verilerin doğrusallaştırılmış hareket algılamasını üretecektir.

  • "Ne kadar veriye ihtiyaç duyulduğu" gibi çok önemli ama zor bir soru için, Yoshua oldukça basit ama biraz hayal kırıklığı yaratan bir cevap ortaya koyuyor: Doğruluk geliştirilmeye devam edilebildiği sürece "doğruluk ve örneklem boyutu" deneysel bir eğri çizin Veri toplamaya devam edin.

Sean Meyn: Pekiştirmeli Öğrenme

Daha sonra Sean Meyn, pekiştirmeli öğrenme için "Gizli Teori ve Yeni Ultra Hızlı Algoritmalar" başlıklı bir konferans verdi, çok teknikti ve yazar bunu anlamadığını söyledi.

Sean Meyn'in dersinin temel noktaları:

  • Pekiştirmeli öğrenme için, belirli durumları yeniden keşfetmek yerine rastgele tahminler öğrenin

Pradeep Ravikumar: Olasılıksal Grafik Modeli

Pradeep Ravikumar'ın dersi olasılıksal grafik modelleri (temsil, akıl yürütme, öğrenme) tanıtmaktadır.

Pradeep Ravikumar'ın konuşmasının ana noktaları:

  • PGM, dağıtımı depolamak ve muhakeme yapmak için uygun bir yoldur

  • Olasılıksal Grafik Model için Python kitaplığı

  • Olasılıklı Grafik Model (PGM) ve pgmpy hakkında kısa eğitim

Peter Richtarik: Stokastik optimizasyon yöntemi

Peter Richtarik'in dersi stokastik optimizasyon yöntemleri hakkındadır.

Peter Richtarik'in dersinin kilit noktaları:

  • Optimizasyon standart algoritma araç kutusunda 8 araç

1. degrade iniş

2. Hızlanın

3. Yakın beceriler

4. Rastgele ayrıştırma (stokastik gradyan inişi (SGD) / rastgele koordinat inişi (RCD))

5. mini gruplama

6. Varyans azaltma

7. Önemli örnekleme

8. ikilik

Stuart Russell: BLOG modeli

Stuart Russellın sınıfı BLOG modelini tanıttı. İstatistiklerin uzun zamandır sözdizimini (sözdizimi) göz ardı ettiğini ve sözdiziminin teorik bilgisayar bilimi ve mantığında çokça ortaya çıktığını fark etti.Son iki alan (CS, mantık) uzun zamandır AI'nın ana yöntemleri olmuştur. Onun fikri istatistik ve mantığı birleştirmek. Spesifik olarak, verilerin prolog gibi bir dilde tanıtılması veya PGM gibi bir dilde birinci dereceden mantık dilbilgisinin tanıtılmasıdır.

Stuart Russell'ın dersinin kilit noktaları:

  • BLOG modeli (önerdiği istatistiksel / mantıksal hibrit modelin adı), gerçekleri / tamamen denetimsiz metin anlayışını önermek için kullanılabilir

  • Blog modeli, Birleşmiş Milletler tarafından depremler ve nükleer testler arasında ayrım yapmak için kullanılıyor

Csaba Szepesvari: haydutlar

Csaba Szepesvari, harika referans materyalleri ile haydutlar için çok basit bir kurs sağlar.

Csaba Szepesvari dersinin temel noktaları:

Web sitesi: tüm içeriğe sahiptir

Olivier Bousquet: öğrenmeyi öğrenin

Olivier Bousquet, Google'da makine öğrenimi araştırma başkanıdır. Dersi derin öğrenmedeki en son gelişmeler, özellikle de "öğren 2 öğren" yöntemi hakkındadır.

Olivier Bousquet'in dersinin kilit noktaları

  • Öğren 2 öğren

  • İnşa edilen ağın kaybından elde edilen pekiştirmeli öğrenme geri bildirimini kullanarak başka bir ağ oluşturmak için bir ağ kullanın

  • AutoML: otomatik öğrenme

1. Mimari

2. Gradyan inişi

3. Kayıp işlevi

  • TensorFlow Araştırma Bulutu

  • TPU

Sebastian Nowozin: Denetimsiz öğrenme

Microsoft Research'ten Sebastian Nowozin denetimsiz derin öğrenme üzerine ders veriyor.

Sebastian Nowozin'in dersinin temel noktaları:

  • GAN teorisi üzerine güncel araştırma çalışmaları

  • f-diverjans (Kullback-Leibler gibi) GAN için yararlıdır

Cédric Archambeau: Amazon ML araştırması Bayes optimizasyonu

Cédric Archambeau iki konuşma yaptı:

  • Amazon ML araştırması hakkında

  • Gauss sürecinde iyi hiperparametreler bulmak için kullanılan Bayes optimizasyonu hakkında (örneğin, derin öğrenmede)

Cédric Archambeau sınıfının temel noktaları

  • Amazon'dan birçok şeyden bahsetti

1. Amazon AI blogu

2. Açık kaynaklı bir nöral makine çeviri aracı: sockeye, her tür "sırayla sıraya göre dikkatle" öğrenmeyi gerçekleştirmek için kullanılabilir

3. DeepAR: Otoregresif Tekrarlayan Ağ (Otoregresif Tekrarlayan Ağ) ile olasılık tahmini

4. Farklı pozisyon ve uzunluklarda pencereler çizerek zaman serilerinin "veri artırma" tekniğinden bahsetti.

5. Amazon'da MXNet kullanmayı tercih ediyorlar

6. Yakın zamanda GPyOpt ile işbirliği yaptılar

Laura Grigori: Doğrusal Cebir Algoritması

Son olarak, Laura Grigori'nin bir dersi var, araştırma alanı doğrusal cebir algoritmaları.

Laura Grigori'nin dersinin kilit noktaları:

  • Onlar sayesinde daha fazla bilgi işlem gücüne sahip olabiliyoruz :)

Orijinal adres: https://gmarti.gitlab.io/ml/2017/09/02/ds3-datascience-polytechnique.html

İş ayrıntılarını görüntülemek için orijinal metni okumak için tıklayın ve katılmanızı dört gözle bekleyin ~

Anlaşılması gereken bir makale: Serbest mod Bao Zhoubo Noteman'ın kâr sırrı Dün
önceki
Tek bir makalede anlayın: Serbest modun kâr sırrı
Sonraki
Domino etkisi, Çin ve Rusya dahil olmak üzere 23 ülkenin dolar değer kaybetmeye başlayabileceğinden sonra, işler yeni bir ilerleme kaydetti
Gerçek bir usta birkaç yıl boyunca nasıl plan yapabilir?
Sürüş daha keyifli hale geliyor! Bu yeni SUV'lar L2 otonom sürüşe ulaşabilir
Ruhu arındırmak ve sinirli kalbi sakinleştirmek için on zen şiiri!
Tsinghua-Qingteng Future Technology Academy açılışı: Toplam değeri 89 milyarı aşan 48 son teknoloji projesi
Hala Noel için elma mı veriyorsun? Jinjiang Inn size farklı bir Noel Arifesi yaşatacak!
Merhaba 110!
"Yapay Zeka Konularının Küresel Sıralaması" CMU birinci sırada ve Tsinghua Üniversitesi dördüncü sırada
Zarif ve romantik Terazi en çok nerede seyahat etmeyi sever?
Hindistan'ın döviz rezervleri dolar sıkıntısına düştükten veya bir petrol kriziyle karşı karşıya kaldıktan sonra düştü, işler yeni bir ilerleme kaydetti
40 saatte 2800 kilometre kardeş Wen Kai, geldik!
Fransa'da kışın kaplıcalar rehberi, bir sürü tümsekleri aşağı atın!
To Top