Keras yazarı, Google araştırmacısı Chollet: Derin öğrenmenin teorik sınırlamaları
Wang Xiaoxin, Keras Blog'dan derlendi
Qubit Üretildi | Genel Hesap QbitAI
Görüntü işlemeden doğal dil işlemeye, konuşma tanımaya ve diğer birçok alana kadar derin öğrenme iyi sonuçlar elde etti, ancak hala bazı alanlar var ve hala derin öğrenmenin zorlukların üstesinden gelmesini bekliyoruz.
Keras yazarı Francois Chollet dün blogunda mevcut derin öğrenme teorisinin sınırlamalarını ve gelişme yönünü anlatan bir makale yayınladı. Bu makale, derin öğrenme kitabı "Python ile Derin Öğrenme" nin 9. Bölümünün 2.Bölümünün değiştirilmiş bir versiyonudur.
Bu makaleyi okumak, evrişimli sinir ağlarının temel ilkelerini, uzun ve kısa vadeli bellek modellerini ve üretken düşmanlık ağlarını anlamak gibi belirli bir temel derin öğrenme bilgisi gerektirir.
Python ile Derin Öğrenmenin ilk sekiz bölümü aracılığıyla belirli ön bilgileri de öğrenebilirsiniz.
Derin öğrenmeyi geometrik bir perspektiften görüntüleyin
Günümüzde derin öğrenmeyi kullanmak çok basit, ki bu da en şaşırtıcı nokta.
On yıl önce, gradyan iniş algoritmasıyla eğitilmiş basit bir parametre modelinin makine algılama problemlerinde bu kadar iyi sonuçlar elde edebileceğini kimse hayal edemezdi. Gerçekler, yapmamız gereken şeyin yeterince büyük bir eğitim örneği oluşturmak ve gradyan iniş algoritması aracılığıyla yeterli parametrelere sahip bir ağ modeli öğrenmek olduğunu kanıtladı.
Fizikçi Feynman bir keresinde evreni şöyle tanımlamıştı: "Bu karmaşık değil, sadece çok fazla."
Bu cümle aynı zamanda yukarıdaki model için de geçerlidir.
Derin öğrenmede, tüm veriler bir vektör olarak kabul edilebilir, yani her şey geometrik uzayda bir noktadır.
Model girişi (metin, görüntü, sinyal vb. Olabilir) ve hedef etiket ilk olarak "vektörleştirilir", yani karşılık gelen ilk girdi vektör uzayına ve hedef vektör uzayına dönüştürülür.
Giriş verileri geçtikçe, derin öğrenme modelinin her katmanı basit bir geometrik dönüşüme uğrayacaktır. Bu katmanlar, bir dizi basit geometrik dönüşümün bir kombinasyonu olarak da görülebilen çok karmaşık bir geometrik dönüşüm oluşturmak üzere toplanır. Bu karmaşık geometrik dönüşüm, girdi uzayını hedef alanla nokta nokta haritalamaya çalışır Dönüşümün parametreleri her ağ katmanının ağırlığına bağlıdır ve ağırlık, modelin mevcut eğitim etkisine göre yinelemeli olarak güncellenir.
Modelin farklılaşabilirliği, bu geometrik dönüşümün temel bir özelliğidir ve aynı zamanda gradyan iniş yoluyla ağ parametrelerini eğitmek için gerekli bir koşuldur. Sezgisel olarak, girdiden çıktıya geometrik dönüşüm düzgün ve sürekli olmalıdır ki bu önemli bir kısıtlamadır.
Girdi verilerine bu karmaşık geometrik dönüşümü uygulama sürecinin tamamı, üç boyutlu uzayda görselleştirilebilir.
Bir kağıt topu açmaya çalışan bir kişi hayal edin: Buruşuk kağıt top, modelin başlangıcındaki giriş verilerinin manifoldudur.Bir kişinin kağıt top üzerinde yaptığı her eylem, her ağ katmanının basit bir geometrik dönüşümüne eşdeğerdir. Hareket dizisi, tüm modelin bir dizi karmaşık dönüşümü olarak kabul edilebilir.
Derin öğrenme modeli, yüksek boyutlu verilerin karmaşık manifoldlarını "düzleştirmek" için kullanılan matematiksel bir araçtır.
Derin öğrenmenin cazibesi budur: gerçek değerleri vektörlere ve sonra geometrik uzaya dönüştürün ve ardından bir alanı diğerine eşleyebilen karmaşık bir geometrik dönüşümü yavaş yavaş öğrenin. Yalnızca, inşa edilen alanın, orijinal verilerde çıkarılan tüm ilişkileri kapsayabilecek kadar yüksek bir boyutluluğa sahip olduğundan emin olmanız gerekir.
Derin öğrenme teorisinin sınırlamaları
Bu basit stratejinin neredeyse sınırsız uygulama alanı vardır. Bununla birlikte, çok sayıda manuel olarak etiketlenmiş veri setiyle bile, mevcut derin öğrenme teknikleri hala birçok uygulamanın gerektirdiği işlevleri yerine getiremiyor.
Örneğin, ürün yöneticileri tarafından yazılmış binlerce hatta milyonlarca yazılım işlevi açıklamasını ve bu gereksinimleri karşılamak için programcılar tarafından yazılan ilgili kaynak kodlarını içeren bir veri kümesi oluşturabiliriz. Böyle bir veri setiyle bile, ürün açıklamalarını basitçe okumak ve uygun bir kod tabanı oluşturmak için bir derin öğrenme modeli eğitmek imkansızdır.
Bu, birçok sorunun yalnızca bir örneğidir.
Genel anlamda, bir veri seti ne kadar büyük olursa olsun, muhakeme gerektiren programlama, uzun vadeli planlama ve benzeri algoritma veri işlemleri gibi görevler derin öğrenme modelleri kullanılarak çözülemez. En basit sıralama algoritması bile, derin sinir ağını öğrenmek oldukça zordur.
Bunun nedeni, derin öğrenme modelinin yalnızca bir vektör uzayını başka bir vektör uzayına eşlemek için bir dizi basit ve sürekli geometrik dönüşüm işlemi oluşturmasıdır.
X'ten Y'ye öğrenilebilir sürekli bir dönüşüm olduğunu varsayarsak, derin öğrenmenin yapabileceği şey, yalnızca bir veri alanını X başka bir Y alanına eşlemek ve X ve Y eşleştirilmiş verilerinin yoğun örneklemesini bir eğitim seti olarak kullanabilir.
Bu nedenle derin öğrenme modelini bir uygulama olarak yorumlayabiliriz, aksine çoğu program derin öğrenme modeli ile temsil edilemez.
Çoğu görev için, sorunu çözebilecek belirli bir ölçekte derin bir sinir ağı olmayabilir. Karşılık gelen bir model olsa bile, öğrenme yeteneğine sahip olmayabilir, yani karşılık gelen geometrik dönüşüm çok karmaşık olabilir veya öğrenme için uygun bir veri seti olmayabilir.
Daha fazla ağ katmanını istifleyerek ve daha büyük ölçekli eğitim setlerini kullanarak mevcut derin öğrenme tekniklerini genişletmek, bu sorunların yalnızca bir kısmını belirli bir dereceye kadar çözebilir. Ancak program bir veri akışının sürekli bir geometrik dönüşümü olarak ifade edilemediğinde, derin öğrenme teknolojisinin yapabilecekleri çok sınırlıdır.
Antropomorfik makine öğrenimi modellerinin riskleri
Şu anda yapay zeka alanında ciddi bir sorun var: İnsanlar derin öğrenme modellerinin çalışma mekanizmasını yanlış anlıyor ve ağ modellerinin yeteneklerini abartıyor.
İnsan düşüncesinin temel özelliği "zihin teorisinde", yani bir bireyin duygusal niyetler, beklentiler, düşünme ve inançlar dahil olmak üzere kendisinin ve başkalarının zihinsel durumunu anlama ve bu bilgiyi başkalarının davranışlarını tahmin etmek ve açıklamak için kullanma becerisinde yatmaktadır. . Kayanın üzerine gülen bir yüz çizmek, kalbimizde mutlu olduğumuz anlamına gelir.
Derin öğrenme ile birleştiğinde bu, bir dereceye kadar, resimlerin içeriğine dayalı olarak metin açıklamaları oluşturabilen bir modeli başarıyla eğitebileceğimiz anlamına gelir. Dolayısıyla bu modelin resimdeki metni ve ürettiği metni anladığını düşünürüz. Ancak eğitim setinde bir görselde modelin oldukça gülünç altyazılar üretmeye başlamasına neden olan ufak bir değişiklik olduğunda şaşırıyoruz.
Derin öğrenme modeli, dişlerini fırçalayan küçük kızı "beyzbol sopası tutan küçük bir çocuk" olarak tanır.
"Tartışmalı örnekler" - yani, modeli diğer kategoriler olarak yanlış tanımlamasına neden olmak için özel olarak işlenmiş örnekler - bu sorunu vurgular.
Derin öğrenmede, belirli evrişim filtrelerinin etkinleştirme değerini en üst düzeye çıkaran karşılık gelen girdiyi oluşturmak için girdi uzayında gradyan yükselmesi gerçekleştirebiliriz.Bu, Bölüm 5'teki evrişim çekirdek görselleştirme tekniğidir ve Bölüm 8'deki Deep Dream. Algoritmalar için ortak temel. Benzer şekilde, gradyan yükselme yöntemine göre, görüntünün küçük bir modifikasyonu, belirli bir kategorinin tahmin edilen değerini maksimize edebilir. Bir panda resmini verirsek ve buna karşılık gelen "gibbonlar" gradyan değerini ayarlarsak, ortaya çıkan sinir ağı bu panda resmini gibonlara sınıflandıracaktır.
Bu, modelin istikrarsızlığını ve ağdaki girdi-çıktı haritalama ilişkisi ile insan algısı arasındaki büyük farkı kanıtlıyor.
"Tartışmalı örnekler" örneği: Görüntünün küçük bir değişikliği, modelin çıktı kategorisini etkileyebilir.
Kısacası, derin öğrenme modeli, en azından insan "anlayışı" için girdi verileriyle ilgili herhangi bir anlayışa sahip değildir.
İnsanlar duyusal-motor deneyime dayalı görüntüleri, sesleri ve dilleri anlarlar Makine öğrenimi modelleri bu algısal deneyimi elde edemezler, bu nedenle girdi verilerini temel insan yöntemleriyle "anlayamazlar".
Ağ modeline çok sayıda etiketli eğitim örneği girdik, özel bir geometrik dönüşümü öğrenmelerine izin verdik, verileri insan bilinciyle tutarlı belirli bir kategoriye eşleştirebilirler.
Ancak, bu haritalama, aynadaki loş bir görüntü gibi, insan düşüncesinde gerçek bir modelin basit bir taslağıdır.
Mevcut makine öğrenimi modeli, aynadaki loş bir görüntü gibidir.
Bir makine öğrenimi araştırmacısı olarak, bunu her zaman aklınızda bulundurun ve sinir ağını yerine getirdiği görevin içeriğini anlamakla karıştırmayın: Hayır, sinir ağının görevi anladığını söylemek zorunda kalırsanız, bu insanlar için de anlaşılmazdır. yol.
Sinir ağları, yalnızca eğitim örneklerini eğitim hedefleriyle karşılaştıran son derece sınırlı görev hedefleriyle eğitilir. Ağa eğitim verilerinden sapan herhangi bir şey girildiğinde, son derece saçma bilgiler verebilir.
Yerel genelleme ve aşırı genelleme
Derin öğrenme modelinde girdiden çıktıya basit geometrik dönüşüm, insanların düşünme ve öğrenme biçiminden temelde farklı görünüyor.
İnsanlar çok sayıda açık eğitim örneği yoluyla değil, belirli kişisel deneyimler yoluyla öğrenirler. Farklı öğrenme süreçlerine ek olarak, insan ve makine öğreniminin altında yatan temsili özellikler de temelde farklıdır.
Doğrudan uyaranları karşılık gelen doğrudan tepkilere eşlemek, derin sinir ağlarının veya böceklerin yeteneğidir ve insan yetenekleri bunları çok aşar.
İnsanlar, kendi çevrelerinin, kendilerinin ve başkalarının çeşitli karmaşık ve soyut modellerini oluşturmuştur ve bu modelleri, uzun vadeli planlamayı gerçekleştirirken çeşitli olası sonuçları tahmin etmek için kullanabilirler.
İnsanlar, kot pantolon giyen bir atın resmini çizmek veya aniden bir piyango ödülü kazanırsak ne yapacağımızı hayal etmek gibi daha önce hiç görülmemiş şeyleri temsil etmek için mevcut kavramları entegre etme yeteneğine sahiptir. Hipotezleri işleme ve zihinsel model alanını doğrudan deneyimin ötesine genişletme yeteneği veya soyutlama ve muhakeme yeteneği, muhtemelen insan bilişsel davranışının anahtar özelliğidir. Bu yeteneğe "aşırı genelleme" diyorum: çok az veya hiç alakalı veri olmadığı önceki durumlarda hiç deneyimlenmemiş yeni şeylere uyum sağlama yeteneği.
Bu, derin sinir ağlarının tam tersidir. Derin sinir ağlarının yeteneklerini "yerel genelleme" olarak adlandırıyorum: yeni test verileri eğitim sırasında kullanılan veri setinden biraz farklıysa, o zaman derin sinir ağı Buradaki girdiden çıktıya eşleştirme, çalışmayı hızla durduracaktır.
Örneğin, aya roket inişi sorununu çözmek için uygun fırlatma parametrelerini öğrenmek. Bu görevi gerçekleştirmek için derin bir sinir ağı kullanacaksanız, eğitimde ister denetimli öğrenme ister pekiştirmeli öğrenme kullanın, eğitim setini elde etmek için binlerce iniş denemesi yapmanız gerekir. Teorik olarak, bu, eğitim verilerinin giriş alanının yoğun örneklemesine dönüştürülmesi olarak yorumlanır, böylece model, giriş alanından çıktı alanına güvenilir bir eşleme öğrenebilir.
Buna karşılık, insanlar roket fırlatmaları için fiziksel bir model bulmak için soyut yetenekleri de kullanabilir ve aya roket inişi için doğru bir çözüme ulaşmak için yalnızca bir veya birkaç deneye ihtiyaç duyabilirler.
Benzer şekilde, insan vücudunu kontrol edebilen ve bir şehirde güvenli ve kazara araba kullanmayı öğrenmesine izin verebilen derin bir sinir ağı geliştirirseniz, ağın bir sonuca varıncaya kadar ağın çeşitli durumlarda kaza yapması gerekir. Araç tehlikedeyken uygun kaçınma davranışları yapın. Yeni bir şehre giderken, ağ önceki bilgilerin çoğunu yeniden öğrenmelidir.
Ve insanlar, ancak bir kaza meydana geldikten sonra güvenli davranış bilgisini öğrenemezler, bunun nedeni, insanların varsayımsal durumlarda soyut modellemeyi gerçekleştirebilmesidir.
Yerel genelleme ve aşırı genelleme
Kısacası, makine algısı alanında iyi bir ilerleme kaydetmiş olsak da, hala antropomorfik yapay zekadan uzaktayız: mevcut derin öğrenme modelleri yalnızca kısmi genelleme yapabilir ve önceki verilere çok yakın kalan yeni örneklere uyum sağlayabilir. İnsan bilişi, aşırı genellemeye aittir ve yeni ve cesur yeni bir ortama hızla adapte olabilir veya gelecekteki gelişim için uzun vadeli planlar yapabilir.
Özet ve tartışma
Şimdiye kadar, derin öğrenmenin tek gerçek başarı noktası, çok sayıda manuel olarak etiketlenmiş veri kümesi verildiğinde sürekli geometrik dönüşümler kullanarak X alanını Y uzayına eşleme yeteneğidir.
Her sektörde, bunu iyi yapmak için, temelde bu sektördeki oyunun kurallarını değiştirebilirsiniz.
Ancak antropomorfik yapay zeka açısından bakıldığında, daha önümüzde uzun bir yol var.
Derin öğrenmenin bu sınırlamalarını çözmek ve insan beyniyle rekabet etmeye başlamak için, doğrudan girdiden çıktıya basit bir haritalama ilişkisi kurmanın mevcut durumuyla yetinemeyiz ve araştırma odağını akıl yürütme ve soyutlama alanına kaydırmalıyız. Çeşitli durumların ve kavramların soyut modellemesi de belirli bir bilgisayar programına ait olmalıdır.
"Python ile Derin Öğrenme" kitabında bahsedildiği gibi, makine öğrenimi modelleri "öğrenilebilir programlar" olarak tanımlanabilir.
Şu anda, teknik olarak eğitilebilir programlar, tüm olası programların çok dar ve özel bir alt kümesidir. Peki herhangi bir programı modüler ve yeniden kullanılabilir bir şekilde öğrenebilirseniz ne olur?
İlgili Okuma
Orijinal adres:
https://blog.keras.io/the-limitations-of-deep-learning.html
Python e-kitabı ile Derin Öğrenme:
https://www.manning.com/books/deep-learning-with-python
Chollet daha sonra Keras blogunda da yayınlanan "Derin Öğrenmenin Geleceği" adlı bir makale yazdı.İngilizce versiyonunu okumaya hoş geldiniz ve yarın Qubit'in Çince versiyonuna tekrar hoş geldiniz.
Bitiş
