İki "Derin Öğrenme Üç Büyük" geldi, Hinton ve LeCun derin öğrenmenin geleceğini tahmin ettiler
23 Haziran'da, yerel saatte, bu yılki ACM Turing Ödülü kazananları, "Derin Öğrenmenin Büyük Üçlüsü" nden Geoffrey Hinton ve Yann LeCun, ACM FCRC 2019'da derin öğrenme hakkındaki en son görüşlerini paylaşan bir konuşma yaptı.
Geoffrey Hinton'ın ders başlığı "Derin Öğrenme Devrimi" dir. Şu an itibariyle yapay zekanın iki tipik örneği olduğunu söyledi. İlki 1950'lerde mantıktan esinlenen zeka ... O zamanlar zekanın özü, sembolik ifadeler yapmak için sembolik kuralları kullanmaktı. Bu yöntem akıl yürütmeye odaklanır ve esas olarak bilgisayarların insanlar gibi akıl yürütmeye dayalı olarak nasıl tepki vereceğini çözmeye odaklanır. İkincisi, biyolojik esinlenmeye dayalı yapay zeka. Temsil ettiği zekanın özü, sinir ağlarında bağlantı avantajlarını öğrenmektir. Bu yöntem, öğrenme ve algılamaya odaklanır.
(Kaynak: Geoffrey Hinton)
Bu açıdan bakıldığında, yapay zekanın bu iki paradigması çok farklıdır ve iç temsiller konusunda farklı görüşlere sahiptirler.
(Kaynak: Geoffrey Hinton)
Mantığa dayalı yapay zeka, iç temsili sembolik ifadedir. Programcı, bu sembolleri bilgisayara net bir dille girebilir; bilgisayar, mevcut sembollerin yeni temsiller üretmesini sağlamak için kuralları kullanır. Ve biyolojik temelli yapay zeka, iç temsilinin dil ile hiçbir ilgisi yoktur. Sinirsel aktivite gibidirler, çok sayıda vektörle doludurlar, bu vektörler doğrudan verilerden öğrenilir ve sinirsel aktivite üzerinde doğrudan nedensel bir etkiye sahiptirler.
Bu, bilgisayarların görevleri gerçekleştirmesi için iki yol oluşturur.
İlki, Hinton'un akıllı tasarım olarak adlandırdığı programlama. Programlama sırasında, programcı görevi işlemek için yöntem adımlarını zaten anlamıştır.Yapması gereken, hassas hesaplamalar yapmak ve tüm ayrıntıları bilgisayara girmek ve ardından bilgisayarın yürütmesine izin vermek.
İkincisi öğrenmektir Şu anda, bilgisayara çok sayıda giriş ve çıkış örneği sağlamanız, bilgisayarın giriş ve çıkışı nasıl bağlayacağını öğrenmesine izin vermeniz ve çıktıyı girişe göre eşleştirmeniz yeterlidir. Elbette bu da programlama gerektirir, ancak kullanılan program basitleştirilmiş bir genel öğrenme programıdır.
50 yıldan fazla bir süredir insanlar sembolik AI (sembolik AI) "resimleri görme" işlevini gerçekleştirmeye çalışıyorlar. Bu görev için, insanlar uzun süredir her iki yolu da denediler ve sonunda sinir ağı, saf öğrenmeye dayanan bu görevi başarıyla tamamladı.
(Kaynak: Geoffrey Hinton)
Hinton: Sinir ağlarının temel sorunu
Bu, sinir ağlarının temel sorununa yol açar: Milyonlarca ağırlık parametresi ve doğrusal olmayan nöronların birden çok katmanını içeren büyük bir sinir ağı çok güçlü bir hesaplama cihazıdır, dolayısıyla sinir ağı rastgele ağırlık parametreleriyle ve eğitim verileriyle başlayabilir. Zor bir görevi (nesne tanıma veya makine çevirisi gibi) gerçekleştirmeyi öğrenmek için tüm bilgileri edinmeye ne dersiniz?
Hinton daha sonra seleflerinin çeşitli çabalarını gözden geçirdi.
(Kaynak: Geoffrey Hinton)
Bir sinir ağı nasıl çalışır? Hinton kısa bir giriş yaptı.
(Kaynak: Geoffrey Hinton)
Araştırmacılar ilk önce gerçek bir nöronun kaba bir idealleştirmesini yaptılar, böylece nöronların zor hesaplamaları tamamlamak için nasıl işbirliği yaptıklarını inceleyebilirler.
Bir sinir ağı, birbirine bağlı çok sayıda düğümden (veya nöronlardan) oluşur. Her düğüm, etkinleştirme işlevi olarak adlandırılan belirli bir çıktı işlevini temsil eder. İki düğüm arasındaki her bağlantı, bağlantıdan geçen sinyal için ağırlık olarak adlandırılan ve yapay bir sinir ağının belleğine eşdeğer bir ağırlıklı değeri temsil eder. Ağın çıkışı, ağın bağlantı moduna, ağırlık değerine ve uyarma işlevine bağlı olarak farklılık gösterir. Ağın kendisi genellikle doğası gereği belirli bir algoritma veya işlevin bir yaklaşımıdır veya bir mantık stratejisinin bir ifadesi olabilir.
(Kaynak: Geoffrey Hinton)
Peki bir sinir ağı nasıl eğitilir? Hinton, denetimli eğitim ve denetimsiz eğitim olmak üzere iki ana yöntem olduğuna inanmaktadır.
Denetimli eğitim: Ağa bir giriş vektörü gösterin ve ona doğru çıktıyı söyleyin Ağırlıkları ayarlayarak, doğru çıktı ile gerçek çıktı arasındaki fark azaltılır.
Denetimsiz eğitim: Yalnızca ağırlığı ayarlayarak ağa yapılan girdiyi görüntüleyin, gizli nöron aktivitesinden girdiyi (veya girdinin bir kısmını) daha iyi yeniden oluşturun ve sonunda çıktıyı üretin.
Bunlar arasında, denetimli öğrenme iyi anlaşılmış bir eğitim yöntemidir, ancak kullandığı "mutasyon" yöntemi çok verimsizdir.
(Kaynak: Geoffrey Hinton)
Tersine, geri yayılım algoritması, ağırlık değişikliklerinin çıktı hatalarını nasıl etkilediğini hesaplamanın etkili bir yoludur. Ağırlıkları birer birer karıştırıp etkiyi ölçmek yerine, tüm ağırlıkların hata gradyanını aynı anda hesaplamak için kalkülüs kullanır. Bir milyon ağırlık olduğunda, geri yayılım yöntemi, mutasyon yönteminden bir milyon kat daha etkilidir.
(Kaynak: Geoffrey Hinton)
Bununla birlikte, geri yayılım algoritmalarının geliştirilmesi tatmin edici değildir.
1990'larda, geri yayılım algoritmasının etkisi oldukça iyi olmasına rağmen, insanların bekledikleri şeye ulaşmadı, derin ağları eğitmek hala çok zordu; orta büyüklükteki veri setlerinde, diğer bazı makine öğrenme yöntemleri daha da iyiydi. Daha etkili yaymak için.
(Kaynak: Yann LeCun)
Sembolik yapay zeka araştırmacıları, büyük derin sinir ağlarında zor görevleri öğrenmenin aptalca olduğunu söylüyor çünkü bu ağlar rastgele bağlantılarla başlıyor ve önceden bilgi sahibi değil.
Yani derin öğrenme bir "acı kış" döneminden geçti. Ancak 2012'den sonra insanlar derin öğrenmenin yararlı olduğunu ve derin öğrenmenin çok sayıda uygulaması olduğunu fark ettiler. Örneğin, görüntü tanıma ve makine çevirisi.
Son olarak Hinton, sinir ağı vizyonunun geleceği hakkında konuştu. Hinton, neredeyse tüm yapay sinir ağlarının yalnızca iki zaman ölçeği kullandığına inanıyor: ağırlıklara yavaş adaptasyon ve sinir aktivitesindeki hızlı değişiklikler. Sinapslar birden çok farklı zaman ölçeğine uyarlanabilir ve kısa süreli bellek için hızlı ağırlık uyarlaması sinir ağlarını daha iyi hale getirecektir.
Yann LeCun: Gelecek denetimli öğrenmede yatıyor
Yann LeCun konuşmasında, denetimli öğrenmenin veri miktarı büyük olduğunda iyi çalıştığını söyledi. Konuşma tanıma, görüntü tanıma, yüz tanıma, resimlerden öznitelik oluşturma, makine çevirisi vb.
Sinir ağının 1980'lerde ve 1990'larda önerilenler gibi bazı özel mimarileri varsa, el yazısıyla yazılmış metni iyi sonuçlarla tanıyabilir. 1990'ların sonunda, Yann LeCun bu türden geliştirdi. Sistem, Amerika Birleşik Devletleri'nde el yazısıyla yazılmış metnin% 10-% 20'sinin tanınmasını üstlenir ve bu sadece teknik olarak değil, aynı zamanda ticari olarak da başarılıdır.
(Kaynak: Yann LeCun)
Daha sonra, tüm akademik çevre neredeyse sinir ağını terk etti. Bir yandan bu, büyük veri tabanlarının olmamasından kaynaklanıyordu ve bazı nedenler, o sırada yazılan yazılımın çok karmaşık olması ve çok fazla yatırım gerektirmesiydi, diğer yandan, o zamanki bilgisayar hızı diğer uygulamaları çalıştırmak için yeterince hızlı değildi.
Evrişimli sinir ağları aslında biyolojiden ilham alır, ancak biyolojiyi kopyalamaz. Yann LeCun, biyolojik bakış açıları ve araştırma sonuçlarından ilham aldı ve geri yayılmanın bu fenomeni elde etmek için sinir ağlarını eğitmek için kullanılabileceğini buldu. Evrişimli ağlar kavramı, dünyadaki nesnelerin çeşitli parçalardan oluşması ve her bir parçanın desenlerden oluşması ve desenlerin temel bir malzeme ve kenar kombinasyonu olması ve kenarların dağınık piksellerden oluşmasıdır. Bir sistem piksellerin yararlı bir kombinasyonunu ve ardından kenarları, desenleri ve son olarak nesnenin çeşitli kısımlarını tespit edebiliyorsa, bu bir hedef tanıma sistemidir. Bu sadece görsel tanıma için değil, aynı zamanda konuşma ve metin gibi doğal sinyaller için de geçerlidir. Yüzleri tanımak ve yoldaki yayaları tanımak için evrişimli ağları kullanabiliriz.
1990'lardan 2010'a kadar, sözde bir "AI kışı" vardı, ancak Yann LeCun gibi insanlar araştırmalarına devam ettiler. Yüz tanıma ve yaya tanıma üzerine araştırmalara devam ediyorlar. Ayrıca, tüm görüntüyü otomatik olarak etiketlemek için evrişimli bir ağ kullanarak robotikte makine öğrenimini kullanırlar ve robotun ilerlemesini yönlendirmek için her piksel "yapılabilir" veya "geçemez" olarak işaretlenir.
(Kaynak: Yann LeCun)
Birkaç yıl sonra, hedef bölümleme görevini tamamlamak için benzer bir sistem kullandılar.Tüm sistem, görüntüdeki her pikseli bölümlere ayırmak için VGA'nın gerçek zamanlı dağıtımını gerçekleştirebilir. Bu sistem yayaları, yolları ve ağaçları algılayabilir, ancak bu sonuç Computer Vision Society tarafından hemen tanınmadı.
Evrişimli sinir ağları, tıbbi görüntüleme, otonom sürüş, makine çevirisi ve oyunlar gibi son yıllarda birçok uygulamaya sahiptir. Evrişimli sinir ağları çok fazla eğitim gerektirir. Bununla birlikte, bu kitlesel tekrarlanan deney yöntemi gerçekte mümkün değildir. Örneğin, sürücüsüz bir arabaya nasıl sürüleceğini öğretmek istiyorsanız, eğitimi gerçek dünyada tekrarlamak imkansızdır. Saf pekiştirmeli öğrenme yalnızca sanal dünyaya uygulanabilir.
Öyleyse neden insanlar ve hayvanlar bu kadar hızlı öğrenebiliyor?
Otonom sürüş sisteminin aksine, insanlar sezgisel olarak gerçekçi modeller oluşturabilirler, böylece arabayı uçurumdan aşağı sürmezler. Bu, insanların sahip olduğu içsel bir model, peki insanlar bu modeli nasıl öğreniyor? Makine bu modeli nasıl öğrenebilir?
Hayvanlarda da benzer mekanizmalar mevcuttur. Tahmin, zekanın vazgeçilmez bir parçasıdır.Gerçek durum ile tahmin arasında bir fark olduğunda, aslında bir öğrenme sürecidir.
Örnek olarak video içeriği tahminini ele alalım. Bir parça video verisi verildiğinde, bir parça video içeriğinden başka bir boş alanın içeriğini tahmin etmek gerekir. Kendi kendini denetleyen öğrenmenin tipik senaryosu, içeriğin hangi bölümünün boşaltılacağını önceden duyurmamaktır.Aslında, hiç bir boşluk bırakmaya gerek yoktur, ancak sistemin girdiyi bazı kısıtlamalara göre yeniden yapılandırmasına izin vermek. Sistem görevleri yalnızca gözlem yoluyla, dış etkileşim olmadan ve daha verimli öğrenerek tamamlar.
Makine öğreniminin geleceği, denetimli öğrenme ve saf pekiştirmeli öğrenmeden ziyade kendi kendine denetlenen ve yarı denetlenen öğrenmede yatmaktadır. Kendi kendine denetimli öğrenme boşlukları doldurmak gibidir.NLP görevlerinde iyi performans gösterir, ancak görüntü tanıma ve anlama görevlerinde iyi performans gösterir. Bunun nedeni dünyanın tamamen öngörülebilir olmamasıdır. Video tahmin görevleri için, sonuçların birden fazla olasılığı olabilir ve eğitim sistemi tarafından yapılan tahmin sonuçları genellikle tek "bulanık" sonucu, yani gelecekteki tüm sonuçların "ortalamasını" alır. Bu ideal bir tahmin değil.
Sonunda Yann LeCun, teorilerin formülasyonuna yüzlerce yıldır genellikle müteakip büyük icatlar ve kreasyonların eşlik ettiğini söyledi. Derin öğrenme ve zeka teorisi gelecekte ne getirecek? Beklemeye ve beklemeye değer.
(Kaynak: Yann LeCun)
