Bu on zorluk DL'nin önünde: Marcus'un uzun makalesi derin öğrenmeyi sorguladı
Xia Yi Ruopu Annie Derleme ve bitirme
Qubit Üretildi | Genel Hesap QbitAI
New York Üniversitesi'nde uzun yıllardır derin öğrenmeye soğuk su dökmekte olan psikoloji profesörü Gary Marcus, nihayet bugün uzun bir makale yazdı ve derin öğrenme konusundaki görüşlerini kapsamlı ve sistematik bir şekilde açıkladı.
27 sayfalık (referanslar dahil) makalesi "Derin Öğrenmenin Kritik Değerlendirmesi", Marcus son beş yıldaki derin öğrenmenin rönesansını gözden geçirdi ve daha da önemlisi, Derin öğrenmenin karşılaştığı on büyük zorluğa işaret etti.
bu makale Derin Öğrenme: Kritik Bir Değerlendirme ArXiv'de yayınlayın
Adres: https://arxiv.org/abs/1801.00631
Gary Marcus
Marcus aynı zamanda en çok satan bir yazar, yapay zeka alanında bir girişimci ve New York Üniversitesi'nde psikoloji ve sinirbilim profesörüdür.Geometric Intelligence şirketi Uber tarafından satın alındıktan sonra Uber'de yapay zeka laboratuvarının başkanı olarak görev yaptı.
Derin öğrenmenin sınırlamaları hakkındaki tartışması, bu dalganın yeni geri döndüğü 2012 yılına kadar izlenebilir. Son zamanlarda hala aktif, LeCun ile tartışıyor ve Hassabis AlphaZero hakkında konuşurken sorguluyor ve görüşleri çok keskin.
Qubit, Marcus'un son makalesindeki ana noktaları şu şekilde sıralıyor ve tanıtıyor: (derin öğrenme bilimi bölümünü atladı):
Derin öğrenmenin sınırlamaları hayatlarımızdaki bir tezatla başlar: yaşadığımız dünya, veriler asla sonsuz değildir. Derin öğrenmeye dayanan sistemler genellikle gördükleri belirli veri aralığının ötesinde genelleme yapmak zorundadır; bu, kelimelerin yeni telaffuzları veya alışılmadık görseller olabilir. Bu yerlerde veriler "sonsuz" olmaktan uzaktır ve resmi ispat garantileri Yüksek kaliteli yetenekler daha da sınırlıdır.
Genellemeyi iki türe sahip olarak düşünebiliriz, biri bilinen örnekler arasında interpolasyon, diğeri ise eğitim örneklerinin sınırlarının ötesinde bir ekstrapolasyondur.
Bir sinir ağının iyi bir şekilde genellemesi için genellikle büyük miktarda veri gereklidir ve test verilerinin eğitim verilerine benzer olması gerekir, böylece eski cevaplar arasına yeni cevaplar eklenebilir. Hinton'un öğrencileri ImageNet şampiyonasını kazanmaya yönlendirdiği 2012 makalesinde (Krizhevsky, Sutskever ve Hinton, 2012), 1.000 farklı kategori kullanılarak 600 milyon parametre ve 650.000 düğüm içeren 9 katmanlı bir evrişimli sinir ağı eğitildi. Yaklaşık 1 milyon farklı vaka.
Bu tür kaba kuvvet, tüm uyaranların tek bir kategoride sınıflandırılabileceği ImageNet gibi sınırlı bir dünyada çok kullanışlıdır. Ayrıca, örneklerin tutarlı bir şekilde sınırlı bir konuşma kategorisine eşlenebildiği istikrarlı konuşma tanıma dünyasında da iyidir. Ancak derin öğrenme, birçok nedenden dolayı yapay zeka için genel bir çözüm olarak kabul edilemez.
Mevcut derin öğrenme sistemi bununla karşı karşıya 10 zorluk :
1. Şu an itibariyle, derin öğrenme hala çok veriye aç
Bu soyut ilişkiler, açık tanımlara güvenerek insanlar tarafından kolayca öğrenilebilir. Ancak derin öğrenme, dil tanımının net tanımları yoluyla soyut kavramları öğrenme yeteneğine sahip değildir.Binlerce, milyonlarca ve hatta milyarlarca eğitim örneği olduğunda en iyi şekilde kullanılır.
Karmaşık kuralları öğrenmede, insanlar derin öğrenme sistemlerinden çok daha etkilidir.
Geoff Hinton ayrıca, derin öğrenme sistemlerinin yakın tarihli bir Capsule Networks makalesinde büyük miktarlarda etiketli verilere güvenmesi konusundaki endişesini dile getirdi.
2. Şimdiye kadar, derin öğrenme sınırlı aktarım yetenekleriyle hala çok yüzeyseldir
Bilirsiniz, "derin öğrenmedeki" "derin", teknik ve mimari doğaya atıfta bulunur, yani birçok gizli katman yığılmıştır. Bu tür bir "derinlik", soyut kavramları derinlemesine anladığı anlamına gelmez.
Örneğin, DeepMind, "240 dakikalık eğitimden sonra (sistem), duvardaki bir tüneli delmenin kazanmanın en etkili yolu olduğunu keşfeden Atari" Tuğla Kırma "çalışmasını oynamak için derin takviye öğrenimini kullandı. "Ama aslında, sistem tünelin ne olduğunu veya duvarın ne olduğunu bilmiyor. Öğrendiği şey, yalnızca belirli bir senaryodaki özel bir durumdur.
Bu, derin takviye öğrenme sistemine eğitim ortamından biraz farklı bazı sahneler sağlamak ve nasıl performans gösterdiklerini görmek için geçiş testi ile doğrulanabilir. Sahnede raketin yüksekliğini ayarlamak ve ekranın ortasına bir duvar eklemek gibi küçük değişikliklerle, DeepMind'ın Atari oyunlarını oynamak için kullanılan yükseltilmiş algoritması A3C bunu kaldıramaz.
Sistem "duvar" kavramını öğrenmedi, sadece küçük bir tam eğitimli sahnede "duvarı kırma" davranışına yaklaştı. Derin öğrenme algoritmalarıyla soyutlanan modeller genellikle göründüğünden daha yüzeyseldir.
3. Şu an itibariyle, derin öğrenme hiyerarşik yapıyla doğal olarak baş edemiyor
Chomsky, dilin hiyerarşik bir yapıya sahip olduğunu ve büyük yapısal bileşenlerin yinelemeli olarak küçük bileşenlerden oluştuğunu defalarca vurguladı. Bununla birlikte, mevcut derin öğrenme tabanlı dil modellerinin çoğu, cümleleri kelime dizileri olarak ele alır. Alışılmadık bir cümle yapısıyla karşılaşıldığında, Tekrarlayan Sinir Ağı (RNN) cümlenin özyinelemeli yapısını sistematik olarak görüntüleyemez ve genişletemez.
Bu durum, planlama ve motor kontrolü gibi karmaşık hiyerarşik yapılar gerektiren diğer alanlarda da aynıdır.
Derin öğrenmede öğrenilen çeşitli özellik grupları arasındaki korelasyon düzdür ve temel bir problem olan hiyerarşik bir ilişki yoktur.
4. Açık uçlu akıl yürütme elde etmek için derin öğrenmeyi kullanmak için, yine de çok çalışmamız gerekiyor
Sistem, "John Mary'ye gideceğine söz verdi" ile "John Mary'den ayrılacağına söz verdi" arasındaki nüansları sunamadığında, kimin kimi terk ettiğini veya bundan sonra ne olacağını kestiremez.
Stanford soru cevap veri setinde SQuAD, sorunun cevabı başlık metninde yer alıyorsa, mevcut makine okuma ve anlama sistemi buna iyi cevap verebilir, ancak metinde yoksa sistem performansı çok daha kötü olacaktır. Diğer bir deyişle, mevcut sistem insanlarla aynı muhakeme yeteneğine sahip değil.
Bu alanda bazı çalışmalar olmasına rağmen, şu anda gerçek bilgiye dayalı olarak insanlar kadar doğru bir şekilde akıl yürütebilecek bir derin öğrenme sistemi yoktur.
5. Şimdiye kadar, derin öğrenme yeterince şeffaf değil
Geçtiğimiz birkaç yıl içinde, sinir ağlarının "kara kutu" doğası büyük ilgi gördü. Ancak şu ana kadar bu şeffaflık sorunu çözülememiştir, derin öğrenme finansal işlemlerde, tıbbi teşhislerde ve diğer alanlarda kullanılacaksa bu potansiyel bir dezavantajdır.
6. Derin öğrenme, önceki bilgilerle birleştirilmemiştir
Büyük ölçüde, tam da bu farklı kader nedeniyle, önceki bilgilerin derin öğrenme sistemine entegre edilmesi zordur.
Makine öğrenimi alanında, Kaggle'da olduğu gibi birçok yarışma vardır. Bu yarışmalar genellikle katılımcıların belirli bir veri setinde en iyi sonuçları elde etmelerini gerektirir. Sorun için gerekli tüm ilgili girdi ve çıktı dosyaları düzgün bir şekilde paketlenmiştir. Sorun şu ki hayat bir Kaggle yarışması değil, çocuklar ihtiyaç duydukları tüm verileri bir sözlükte alamıyorlar, ancak gerçek dünyadaki dağınık verilerden öğrenmeye devam edebiliyorlar.
Önceden bilgi eksikliğinden dolayı, derin öğrenmenin tellere dolanmış bir halatla bisikletin nasıl tamir edileceği gibi açık problemleri çözmesi zordur? Matematik veya sinirbilim alanında uzmanlaşmalı mıyım? Görünüşte basit olan bu sorular, gerçek dünyadaki farklı tarzlar hakkında büyük miktarda bilgi içerir ve bunlar için hiçbir veri seti uygun değildir.
Bu ayrıca, yapay zekanın bilişsel esnekliğinin insan seviyesine ulaşmasını istiyorsak, derin öğrenmeden farklı araçlara ihtiyacımız olduğunu gösteriyor.
7. Şu an itibariyle, derin öğrenme nedensellik ve korelasyon arasında ayrım yapamaz
Kabaca konuşursak, bir derin öğrenme sistemi girdi ve çıktı arasındaki karmaşık ilişkiyi öğrenir, ancak bunlar arasındaki nedensel ilişkiyi öğrenemez.
Derin öğrenme sistemi kolaylıkla öğrenebilir: Bir çocuğun boyu ve kelime bilgisi birbiriyle ilişkilidir. Ancak boy ile kelime dağarcığı arasındaki nedensel ilişkiyi kavramıyoruz Aslında, uzamanın kelime dağarcığınızı artırmayacağını ve kelime dağarcığınızı artırmanın sizi daha uzun yapmadığını kolayca anlayabiliriz.
Nedensellik, diğer AI yöntemlerinde temel faktördür, ancak derin öğrenme yönünde, çok az çalışma bu sorunu çözmeye çalışmıştır.
8. Derin öğrenme, dünyanın genel olarak istikrarlı olduğunu varsayar, ancak durum böyle değildir
Derin öğrenmenin mantığı, oldukça istikrarlı bir ortamda en iyi şekilde çalışır.Örneğin, satranç gibi bir oyunda kurallar değişmeyecek, ancak politik ve ekonomik hayatta tek sabit değişimdir.
Hisse senedi fiyatlarını tahmin etmek için derin öğrenmeyi kullanırsanız, Google'ın gribi tahmin etmek için derin öğrenmeyi kullanması çok muhtemeldir. Google başlangıçta iyi bir iş çıkardı, ancak yüksek grip sezonunun geleceğini tahmin etmedi.
9. Şu an için, derin öğrenme yalnızca bir yaklaşımdır ve cevaba tam olarak inanılamaz
Derin öğrenme, bazı belirli alanlarda iyi performans gösterir, ancak aynı zamanda kandırılması da kolaydır.
Bu alanda pek çok çalışma yapılmıştır ve derin öğrenme sistemini aynı resimle tamamen karıştırmak için sadece birkaç basit numaraya ihtiyaç vardır. Bazen ellerini ve ayaklarını bile kullanmadan hatalarını kabul edebilirler.
Örneğin, yanlış park işaretini kabul etmek, kaplumbağaları silaha çevirmek, kum tepelerini çıplak bedenlere dönüştürmek vb. Hepiniz onları görmüş olabilirsiniz.
10. Şu an itibariyle, derin öğrenmenin mühendisliği zor
Son sorun, derin öğrenmenin sağlam bir mühendislik elde etmenin zor olmasıdır.
Makine öğrenimi sistemlerinin yeni bir ortamda etkili bir şekilde çalışmasını sağlamak zordur. Daha önce makine öğrenimini uçak yapımı ile karşılaştıran Leon Bottou, uçak yapısının karmaşık olmasına rağmen, basit sistemler aracılığıyla kademeli olarak karmaşık sistemler kurmanın mümkün olduğuna işaret etti. Makine öğrenimi sistemleri bunu yapamaz.
Peter Norvig ayrıca klasik programlamaya kıyasla, makine öğreniminin hala aşamalılık, şeffaflık ve ayarlanabilirlikten yoksun olduğunu ve bunun da sağlamlık elde etmede zorluklarla karşılaştığını söyledi.
https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf
Yazının sonunda Bay Marcus, 2012'de The New Yorker'da yazdığı hafif trajik köşeden "Derin Öğrenme" yapay zeka alanında bir devrim mi? " ", incelemeye hoş geldiniz ~
https://www.newyorker.com/news/news-desk/is-deep-learning-a-revolution-in-artildo-intelligence
Bu makalede belirtildiği gibi, "derin öğrenme, daha büyük bir akıllı makine oluşturmanın yalnızca bir parçasıdır", ancak derin öğrenme, konuşma tanıma, makine çevirisi ve tahta oyunları gibi belirli alanlarda büyük ilerleme kaydetmesine rağmen, altyapı ve veriler olmasına rağmen büyük olasılıkla Kullanılabilir bilgi işlem gücünün sayısındaki artış da etkileyicidir, ancak beş yıl önce ortaya çıkan endişelerin çoğu hala mevcuttur.
Ayrıca gittikçe daha fazla akademisyenin bu sorunlarla farklı perspektiflerle karşı karşıya olduğunu ve benzer kısıtlamaları vurgulamaya başladığını belirtti. Ve Brenden Lake, Marco Baroni, Francois Chollet, Robin Jia, Percy Liang, Dileep George, Pieter Abbeel ve diğerleri gibi bu sorunlara daha önce dikkat etmeye başlayan öncekiler.
Bu öncüller arasında en endişeli, inançlarını yeniden gözden geçirecek kadar cesur olan Geoff Hinton'dur. Geçen yılın Ağustos ayında Hinton, Amerikan medyası Axios ile yaptığı röportajda geri yayılım hakkında derin şüphelerini dile getirdi ve bu yöntemin etiketli veri setlerine çok fazla dayandığından endişelenmeye başladı. Aynı zamanda Hinton, "tamamen yeni bir yöntem yaratmanın gerekli olabileceğini" öne sürdü.
"Hinton'u heyecanlandıran bu alanda bundan sonra olacakları dört gözle bekliyorum" dedi.
Onun en iyi Twitter'ı da Hinton'un bir desteğidir.
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
