François Chollet derin öğrenmenin sınırlamaları ve geleceği hakkında - 1. Bölüm
Lei Feng.com AI Teknolojisi Yorumu: Bu makale, Keras yazarı François Chollet'ten alınmıştır ve ayrıca "Python ile Derinlemesine Öğrenme" kitabının 9. Bölümünden uyarlanmıştır. François Chollet, mevcut derin öğrenmenin sınırlamaları ve gelecekteki düşüncesi hakkında iki makale yazmıştır: Bunlardan ilki budur. Leifeng.com AI Technology Review aşağıdaki gibi derlenmiştir
Yazarın Notu: Bu makalenin okuyucu kitlesi, derin öğrenme deneyimi olan kişilerdir (örneğin, bu kitabın 1. Bölümünden 8. Bölümüne kadar okumuş kişiler). Okuyucunun zaten belirli bir bilgi rezervine sahip olduğunu varsayıyoruz.
Derin öğrenmenin geometrik perspektifi
Derin öğrenmeyle ilgili en şaşırtıcı şey basitliğidir. On yıl önce, hiç kimse gradyan iniş yöntemleriyle eğitilen basit parametrik modellerin makine algılama problemlerinde şaşırtıcı sonuçlar elde edeceğini beklemiyordu. Şimdi, sadece yeterli parametrelere sahip bir modele ihtiyacınız olduğu ve yeterince büyük bir veri seti üzerinde eğitim için gradyan inişini kullandığınız ortaya çıktı. Feynman'ın bir zamanlar evreni tanımladığı gibi, "karmaşık değil, sadece çok şey var."
Derin öğrenmede her şey bir vektör, yani her şey geometrik uzayda bir noktadır. Model girişi (metin, resim, vb. Olabilir) ve hedef ilk olarak "vektörleştirilmiştir", yani bazı başlangıç giriş vektör uzayı ve hedef vektör uzayı. Derin öğrenme modelindeki her katman, içinden geçen veriler üzerinde basit geometrik dönüşümler gerçekleştirir. Aynı zamanda, modelin hiyerarşik zinciri, bir dizi basit geometrik dönüşüme ayrışan çok karmaşık bir geometrik dönüşüm oluşturur. Bu karmaşık dönüşüm, girdi alanını hedef alanla her seferinde bir nokta eşlemeye çalışır. Bu dönüşüm, modelin mevcut uygulamasına göre yinelemeli olarak güncellenen katman ağırlıklarıyla parametrelendirilir. Bu geometrik dönüşümün temel bir özelliği, onun parametrelerini gradyan iniş yoluyla öğrenmemizi sağlayan, türevlenebilir olması gerektiğidir. Sezgisel olarak, bu, girdiden çıktıya geometrik deformasyonun düzgün ve sürekli olması gerektiği anlamına gelir - bu önemli bir kısıtlamadır.
Girdi verilerine bu karmaşık geometrik dönüşümü uygulama sürecinin tamamı üç boyutlu biçimde görselleştirilebilir Bunu buruşuk bir kağıt topu düzleştirmeye çalışan bir kişi olarak düşünün: buruşuk kağıt top, modelin başındaki girdi verileridir. Kopyası. Bir kişinin kağıt top üzerindeki her operasyonu, basit bir geometrik dönüşüm operasyonuna eşdeğerdir. Tam düzleştirme (kağıt top) eylem dizisi, tüm modelin karmaşık bir dönüşümüdür. Derin öğrenme modeli, yüksek boyutlu verilerin karmaşık manifoldlarını çözmek için kullanılan matematiksel bir makinedir.
Derin öğrenmenin büyüsü, anlambilimini vektörlere ve geometrik uzaylara dönüştürmesi ve ardından bir alanı diğerine eşleyen karmaşık geometrik dönüşümleri yavaş yavaş öğrenmesidir. İhtiyacınız olan tek şey, orijinal verilerdeki tüm ilişkileri yakalamak için yeterince yüksek boyutlu bir alan.
Derin öğrenmenin sınırlamaları
Bu basit strateji ile elde edilen uygulama alanı neredeyse sınırsızdır. Bununla birlikte, mevcut derin öğrenme teknolojisi daha fazla uygulama için tamamen güçsüzdür - büyük miktarda manuel açıklama verisi sağlanmış olsa bile. Örneğin, yazılım ürünü özelliklerinin İngilizce açıklamaları, ürün yöneticileri tarafından yazılan ve bu gereksinimleri karşılamak için bir mühendis ekibi tarafından geliştirilen karşılık gelen kaynak kodları içeren binlerce ve hatta milyonlarca veri seti toplamaya çalışabilirsiniz. Bu verilerle bile, yalnızca ürün açıklamasını okumak ve uygun bir kod tabanı oluşturmak için derinlemesine bir öğrenme modeli eğitemezsiniz. Bu sadece bir örnek. Genel olarak konuşursak, ne kadar veri koyarsanız koyun, derin öğrenme modelleri, programlama veya bilimsel yöntemlerin uygulanması - uzun vadeli planlama ve benzer algoritmaların veri manipülasyonu gibi muhakeme gerektiren hiçbir şeyi başaramaz. Sıralama algoritmalarını öğrenmek için derin sinir ağlarını kullanmak bile çok zordur.
Bunun nedeni, derin öğrenme modelinin bir tek Bir vektör uzayını başka bir vektör uzayına eşleyen basit bir sürekli geometrik dönüşüm zinciridir. Yapabileceği tek şey, X'ten Y'ye öğrenilebilir sürekli bir dönüşüm olduğunu varsayarak bir veri manifoldunu X başka bir Y manifolduna eşlemektir ve yoğun X: Y örneklemesini eğitim verisi olarak kullanabilir. Bu nedenle, bir derin öğrenme modeli bir program olarak yorumlanabilse de, diğer yandan, çoğu program bir derin öğrenme modeli olarak ifade edilemez - çoğu görev için, ya çözülmesi gereken gerçek boyutta derin sinir ağı yoktur. Görev veya böyle bir sinir ağı var, ancak öğrenemeyebilir, yani karşılık gelen geometrik dönüşüm çok karmaşık olabilir veya onu öğrenmek için uygun veriler olmayabilir.
Mevcut derin öğrenme tekniklerini daha fazla katman istifleyerek ve daha fazla eğitim verisi kullanarak genişletmek, yüzeydeki sorunların yalnızca bazılarını hafifletebilir. Derin öğrenme modellerinin temsil edebilecekleri içerik türlerinde çok sınırlı olduğu temel sorunu çözemez ve öğrenilebilir olması beklenen programların çoğu, veri manifoldlarının sürekli geometrik deformasyonları olarak temsil edilemez.
Antropomorfik makine öğrenimi modellerinin riskleri
Çağdaş yapay zekanın çok gerçek bir riski, insanların derin öğrenme modellerinin rolünü yanlış anlaması ve yeteneklerini abartmasıdır. İnsan düşüncesinin temel özelliklerinden biri "zihin teorimiz" dir. Etrafımızdaki şeylere niyetleri, inançları ve bilgiyi yansıtma eğilimindeyiz. Bilincimizde kayanın üzerine gülümseyen yüz taşı çizmek aniden "mutlu" olur. Derin öğrenmeye uygulandığında, bu, resimleri açıklamak için altyazılar oluşturmak için "temelde başarılı" bir model eğitebildiğimizde, modelin resmin içeriğini "anlayabileceğine" ve ürettiği altyazıları "anlayabileceğine" inanacağımız anlamına gelir. . Ardından eğitim verilerinde görünen görsel kategorileri biraz saptığında, modelin tamamen saçma başlıklar oluşturmaya başladığını görünce çok şaşıracağız.
Özellikle, "rakip örnekler" vurgulanmaya değer.Bu örnekler, modeli yanlış sınıflandırarak kandırmak için tasarlanmış bir derin öğrenme ağının girdi örnekleridir. Belirli bir kapalı döngü filtresinin etkinleştirilmesini en üst düzeye çıkaran bir girdi oluşturmak için girdi alanında bir gradyan yükselişi gerçekleştirebileceğinizi fark ettiniz.Bu, Bölüm 5'te tanıttığımız filtre görselleştirme tekniğinin ve Bölüm 8'deki Deep Dream'in temelidir. algoritması. Benzer şekilde, gradyan yükselmesiyle, belirli bir sınıf için kategori tahminini en üst düzeye çıkarmak için görüntü biraz değiştirilebilir. Bir panda resmini çekerek ve bir "gibbon" gradyanı ekleyerek, bu pandayı bir gibbon olarak sınıflandıran bir sinir ağı elde edebiliriz. Bu, bu modellerin kırılganlığını ve girdi-çıktı haritalaması ile kendi insan bilişimiz arasındaki derin farkı kanıtlıyor.
Kısacası, derin öğrenme modelleri, en azından insan bilinci anlayışı olmadan girdilerini anlamıyor. İnsanın imgeler, sesler ve dil anlayışımız, tıpkı dünyadaki yaratıkların tezahür ettiği gibi, insan olarak duyu-motor deneyimimize dayanır. Makine öğrenimi modelleri bu deneyimleri elde edemez, bu nedenle girdilerini insanlarla aynı perspektiften "anlayamaz". Çok sayıda eğitim örneği ekleyerek modelimizi eğitin. Verileri, belirli bir veri kümesindeki insan kavramlarının geometrik dönüşümü ile eşlemeyi öğrenmelerine izin veriyoruz, ancak bu eşleme, zihnimizdeki orijinal modelin yalnızca basit bir özetidir. Yaptığımız şey budur. İnsan varlığının deneyiminden, aynadaki belirsiz bir görüntü gibidir.
Bir makine öğrenimi uygulayıcısı olarak, lütfen her zaman buna dikkat edin ve sinir ağlarının gerçekleştirdikleri görevleri anladığına inanma tuzağına asla düşmeyin - en azından bizim için anlamlı bir şekilde olmayacak. Onlara öğretmek istediğimiz görevin aksine, onlar daha dar bir görevi gerçekleştirmek üzere eğitilirler: sadece eğitim seti giriş noktasını eğitim hedefiyle eşleştirin. Onlara eğitim verilerinden sapan her şeyi gösterin ve en saçma sonuçları vereceklerdir.
Yerel genelleme ve sınır genelleme
Derin öğrenme modelinde girdiden çıktıya doğrudan geometrik dönüşüm, insanların düşünme ve öğrenme biçiminden neredeyse tamamen farklıdır. Bu sadece insanların açık eğitim örnekleriyle öğrenmek yerine kendi deneyimlerinden öğrenmeleri meselesi değildir. Farklı öğrenme süreçlerine ek olarak, temel temsillerin doğasında da temel farklılıklar vardır.
İnsanlar, anlık uyaranları derin sinir ağları veya böcekler gibi anlık tepkilerle eşlemekten çok daha fazlasını yapabilir. İnsanlar mevcut durumları, kendileri ve başkaları hakkında karmaşık soyut modeller sürdürürler ve bu modelleri farklı olası gelecekleri tahmin etmek ve uzun vadeli planlar yürütmek için kullanabilirler. Bir atı kot pantolonla tasvir etmek veya piyangoyu kazanırsa ne yapacaklarını hayal etmek gibi daha önce hiç yaşamadıkları şeyleri temsil etmek için bilinen kavramları bir araya getirebilirler. Bu hipotezleri işleme yeteneği, zihinsel model alanımızı doğrudan deneyimleyebileceğimiz şeylerin uzamının çok ötesine genişletir Kısacası, soyutlama ve akıl yürütmenin insan bilişinin belirleyici özelliği olduğu söylenebilir. Ben buna "aşırı genelleme" diyorum: Bu, deneyimsiz durumlarla karşılaşıldığında çok az veriyle veya hatta hiç yeni veri olmadan yeni durumlara uyum sağlama yeteneğidir.
Bu, benim "yerel genelleme" olarak adlandırdığım derin ağın yaptığı şeyle keskin bir tezat oluşturuyor: Yeni girdi, eğitim sırasında görülenden biraz farklıysa, derin ağ tarafından gerçekleştirilen girdiden çıktıya eşleme anında anlamını yitirir. Örneğin, bir roketin aya inmesi için uygun fırlatma parametrelerini öğrenme sorununu düşünün. Bu görevi tamamlamak için derin bir ağ kullanmak istiyorsanız, ister denetimli öğrenme ister eğitim için pekiştirmeli öğrenme kullanın, binlerce hatta milyonlarca başlatma denemesi ile eğitim almanız gerekir, yani modeli yerleştirmeniz gerekir. Girdi uzayından çıktı uzayına güvenilir bir eşleme öğrenmek için yoğun girdi örnekleme noktası alanı. Aksine, insanlar soyut yeteneklerini fiziksel bir model önermek için kullanabilir - roket bilimi - ve kesin bir çözüm bulabilir.Ayda bir roketin fırlatma parametrelerini yalnızca bir veya birkaç deney elde edebilir. Benzer şekilde, insan vücudunu kontrol etmek için derin bir ağ geliştirirseniz, bir şehirde başka arabalara çarpmadan güvenli bir şekilde araba sürebilmek için, ağın çeşitli senaryolarda binlerce kez "ölmesi" gerekecektir. Otomobili ve tehlikeyi anlamak ve uygun kaçınma önlemlerini formüle etmek mümkündür. Ağın yeni bir şehre yerleştirilmesi, bilinen bilgilerin çoğunu yeniden öğrenmek zorunda kalacak. Öte yandan, varsayımsal durumları soyut olarak modelleyebilme yetenekleri sayesinde, insanların ölüm yoluyla güvenli davranışları öğrenmesi gerekmez.
Kısacası, makine algısında ilerleme kaydetmiş olsak da, hala insan seviyesinde yapay zekadan çok uzağız: modelimiz yalnızca kısmi genelleme yapabilir ve yeni bir senaryoya uyum sağlamak için orijinal verilerle yakından ilişkili olmalıdır. Biliş, uç noktalara genelleşebilir, yeni durumlara hızla uyum sağlayabilir veya uzun vadeli gelecek koşullar için planlar yapabilir.
Uzat
Aklınızda bulundurmanız gerekenler: Şimdiye kadar, derin öğrenmenin tek gerçek başarısı, büyük miktarda manuel olarak açıklama eklenen veri göz önüne alındığında, X alanını Y uzayına eşlemek için sürekli geometrik dönüşümleri kullanma yeteneğidir. Bunu iyi yapmak, her endüstri için bir oyun değiştiricidir, ancak yine de insan seviyesindeki yapay zekadan çok uzaktır.
Bu sınırlamaları kaldırmak ve insan beyniyle rekabet etmeye başlamak için, basit girdiden çıktı haritalamaya, muhakeme ve soyutlamaya geçmemiz gerekiyor. Bilgisayar programları, çeşitli durumların ve kavramların soyut modellemesi için uygun bir temel olabilir. Önceki kitapta da söylediğimiz gibi, makine öğrenimi modelleri "öğrenilebilir programlar" olarak tanımlanabilir; şu anda öğrenebileceğimiz programlar, olası tüm programların çok dar ve spesifik bir alt kümesine aittir. Peki ya herhangi bir programı modüler ve yeniden kullanılabilir bir şekilde öğrenebilirsek? Sonraki bölümde derin öğrenmenin gelecekteki gelişimini tartışalım.
keras.io, Lei Feng.com AI teknolojisi inceleme derlemesi aracılığıyla
