Ruh sorar: Derin pekiştirmeli öğrenme sona mı eriyor?
Xin Zhiyuan Rehberi Son zamanlarda, Reddit'teki bir netizen, OpenAI Five ve AlphaStar'ın son performansına dayanarak derin pekiştirmeli öğrenmenin sona ulaşıp ulaşmadığı sorusunu gündeme getirdi. Bu konu ortaya çıkar çıkmaz, netizenler arasında hararetli bir tartışmaya neden oldu ve görüşleri bir tarafa düştü: hiç sonu yok!
Derin takviye öğrenimi sona mı ulaştı?
Birkaç gün önce, OpenAI Five üç gündür yarışıyor ve% 99 kazanma oranıyla insan oyuncuları öldürüyordu. Ancak OpenAI Five'ın 45.000 yıllık eğitim aldığını ve insanların bunu yalnızca bir günde aşmak için bir strateji bulduğunu belirtmekte fayda var.
Hem OpenAI Five hem de AlphaStar, Derin Yoğun Kimya'nın (DRL) en büyük ve en gelişmiş uygulamalarıdır. Ancak AlphaStar sahada olsa bile tahmin edilen sonuç aynıdır.
Reddit netizenleri bu fenomene cevaben böyle bir soruyu gündeme getirdi:
Birçok netizen aşağıdaki görüşleri tercih eder: Sözde sınıra hiç ulaşılmadı, ancak insanların artık DRL hakkında konuşmak için "akıllı" kelimesini kullanmadıkları noktaya gelmiş olabilir.
Netizen Hobbesfanclub düşün:
Sanırım yeni başladık. Her gün birçok şey yayınlanıyor ve ben yetişemiyorum bile. Birkaç gün önce, en ileri teknoloji olduğunu düşündüğüm şey birdenbire ortadan kalktı, çünkü bu alanda yapılacak çok iş vardı. Bu alanda çalışan bizler için bu gelişmeler hala inanılmaz ... Bence gerçekten etkileyici olan, bu teknolojilerin genel olarak hala çok genç olması ...
Netizen maceraperest düşün:
Bu çok ilginç bir soru ve derin öğrenmenin kendisi hakkında da benzer tartışmalar var - sinir ağlarının sınırına ulaştık mı? Temel bir paradigma kayması yoksa, bu daha da imkansız mıdır?
Ama görüyorsunuz, sinir ağlarında çeşitli yöntemler var ve bu yöntemler 2012'de bazı insanları şaşırtabilir. Açıkçası, GAN, VAE, sinirsel stil aktarımı ve derin pekiştirmeli öğrenme, sinir ağları kategorisine aittir. Derin öğrenme, "yığın" altında yer aldığı için pek değiştirilmez. Bir bileşen, bir problem çözme stratejisi, bir düşünme biçimidir. Derin ağın kendisi bile geçmişte çeşitli ilerlemeler ve anlayışlar temelinde inşa edilmiştir.
Kişisel görüşüm şudur: Bu, modelsiz yöntemlerin temel bir sorunu gibi görünüyor. Özellik alanında yoğun bir kapsama alanı gerçekleştirmeniz gerekiyor veya başka bir deyişle, tamamen keşfedilmiş bir alanda ne yapmanız gerektiğini biliyorsunuz, ancak yeni bir ortam çıkaramayabilir ve çıkaramayabilirsiniz. İçin küresel bir modele ihtiyacınız var Muhakeme.
Daha önce Google Brain'in'SimPLe 'modelini temel alan RL kağıtları görmüştüm ve model tabanlı RL'ye geçiş tamamen yeni bir kavram değil. Ancak uzayda soyut akıl yürütme yeteneğine sahip bir aracı edinmeden önce, çözülmesi gereken bazı ciddi sorunlar var:
- Uzaydaki ilgili bağımsız varlıkları, eylemleri vb. Nasıl öğrenir?
- Gözetimsiz yapılabilir mi?
- Mevcut problemi çözmek için en çok ihtiyaç duyulan boyutu mükemmel bir şekilde yakalamak için mevcut dünya anlayışını daha düşük boyutlu bir temsile nasıl sıkıştırır?
- Çevresindeki çevrenin haritasını öğrenebilir mi?
- Katmanlı uzun vadeli bir plan oluşturmanın en iyi yolu nedir?
- ......
Yalnızca görüntü sınıflandırmasını kullansak bile, doku tabanlı özellikler yerine şekil tabanlı özellikleri çıkarmak bizim için hala zor. Genel olarak konuşursak, yerel modun elde edilmesi küresel moddan daha kolay görünüyor, bu yüzden OpenAI Five'ın yerel mod tarafından benimsenen stratejiyi kullanmasının daha kolay olduğunu düşünüyorum, bu da doğru içgörüye sahip oyuncular tarafından saldırıya uğramayı kolaylaştırıyor.
Judea Pearl'ün "Nedensellik" i okuyorum ve düşünmeye değer bazı ilginç şeyler var. Nedensellik modelinin, temsilcinin dünyadan net bir şekilde öğrenmesine izin vermemiz gerektiğini düşünmüyorum, ancak bir temsilci yeni ortama tam olarak uyum sağlayabilir ve makro ölçekte plan yapabilirse, bunun karşı olgusal olması gerektiği anlaşılıyor. Akıl ve kendi dünyası hakkında güçlü bir anlayışa sahip.
Sağlam bir görüntü sınıflandırıcı oluşturmak için ne gerektiğini daha yeni anlamaya başladığımızı düşünürsek (denetim altında olmayan bir ortam bir yana, denetimli bir ortamda bile), derin pekiştirmeli öğrenme tamamen gelişmeden önce, Bazı temel teoriler.
Ancak çılgınca olan şey, bu engelleri yavaş yavaş kaldırıyor gibi görünmemiz. Öte yandan, Dota2'yi oynayabilen, işbirliği yapmayı öğrenen ve dünya hakkında akıl yürütmeyi öğrenebilen denetimsiz bir sistem var Bu, insanların teknolojinin zirvesine ulaşmak üzere olduğumuzu düşünmesine neden oluyor, ama aslında yok. Dolayısıyla OpenAI'nin bu noktaya ulaşmamasına şaşırmadım. Ama bundan sonra ne olacağı konusunda hala büyük beklentilerim var.
Reddit'te konu çok sıcak görünüyor, ancak netizenlerin yorumlarına bakıldığında, bu konudaki görüşlerin bir tarafa düştüğünü görmek kolaydır:
Derin takviye öğrenimi sınırdan çok uzak, daha gidilecek uzun bir yol var .
"Acı Kış Teorisi" her yerdedir ve zafer, soğuk kışı atlatanlara aittir.
Ama aslında, insanlar sadece derin pekiştirmeli öğrenmenin "kış teorisini" değil, aynı zamanda derin öğrenmeyi de ileri sürüyorlar.
Uzun yıllardır derin öğrenme, sözde yapay zeka devriminin ön saflarında yer aldı.Birçok insan, derin öğrenmenin bizi genel AI çağına götüreceğine inanıyor. 2014, 2015 ve 2016 yıllarında pek çok olay genellikle insanların yapay zekayı anlamasını sağladı. Örneğin, Alpha Go vb. Tesla gibi şirketler bile tamamen otonom araçların yolda olduğunu iddia ediyor.
Ama şimdi, 2018'in ortasında işler değişmeye başlıyor. Yüzeyde, NIPS konferansı hala çok sıcak ve AI hakkında pek çok haber var.Elon Mask, sürücüsüz otomobiller konusunda hâlâ iyimser ve Google CEO'su, Andrew Ng'nin yapay zekanın elektrikten daha büyük katkı sağladığı sloganını sürekli yineledi. Ancak bu yorumlar çatırdamaya başladı. Çatlakların en belirgin olduğu yer otonom sürüştür -Gerçek dünyadaki bu pratik uygulama.
ImageNet'in iyi bir çözümü olduğunda (bunun görsel sorunun çözüldüğü anlamına gelmediğini unutmayın), alandaki birçok seçkin araştırmacı (düşük profilli olan Geoff Hinton bile) sosyal medyadaki röportajları aktif olarak kabul ediyor. İnternette içerik yayınlayın (Yann Lecun, Wu Enda, Li Feifei vb.). Sözleri şu şekilde özetlenebilir: Dünya büyük bir AI devriminde. Ancak, birkaç yıl geçti ve bu kişilerin Twitter mesajları daha az aktif hale geldi, örneğin Andrew Ng:
2013-0.413 günde tweet
Günde 2014-0.605 tweet
Günde 2015-0.320 tweet
Günde 2016-0.802 tweet
Günde 2017-0.668 tweet
2018-0.263 tweet / gün (24 Mayıs'a kadar)
Belki de bunun nedeni, aşağıdaki tweet'te gösterildiği gibi, Andrewün abartılı bazı yorumlarının şu anda daha ayrıntılı olarak incelenecek olmasıdır:
Derin öğrenmenin popülaritesinin büyük ölçüde düştüğü inkar edilemez. Derin öğrenmeyi nihai AI algoritması olarak öven çok daha az tweet var ve makaleler daha az "devrimci" hale geliyor. Şimdi herkes şu kelimeyi değiştirdi: evrim .
Alpha Zero'dan bu yana, DeepMind uzun süredir şaşırtıcı bir şey üretmedi. OpenAI oldukça düşük anahtardır. Medya raporlarında en son göründüklerinde otomatik olarak Dota 2 oynayan bir robot yaptılar.
Bazı makalelerden, Google'ın aslında Deepmind ile nasıl başa çıkılacağını bilmiyorum , Çünkü sonuçları başlangıçta beklendiği kadar gerçekçi değil ... Seçkin araştırmacılara gelince, genellikle finansman için çeşitli devlet kurumları arasında seyahat ediyorlar. Yann Lecun, Facebookun baş AI bilimcisi pozisyonundan bile çıktı. Masa kalktı.
Büyük, zengin şirketlerden devlet tarafından finanse edilen araştırma kurumlarına bu kadar kademeli bir geçiş, bu şirketlerin bu tür araştırmalara (sanırım Google ve Facebook) ilgisinin yavaş yavaş ortadan kalktığını gösteriyor. Bunların hepsi erken işaretlerdir ve hiç kimse bunları yüksek sesle ilan etmemiştir, ancak bu eylemler beden dili gibidir ve belirli bir anlam da taşıyabilir.
Derin öğrenmenin önemli bir sloganı, kolaylıkla genişletilebilmesidir. 2012'de 60M parametreli AlexNet'imiz vardı. Şu anda model sayısının en az 1.000 katı var mı? Bunu yapabiliriz, ama soru şu: Bu şeylerin 1000x kapasite artışı var mı? Kapasitenin 100 katı mı? OpenAI araştırması işe yarıyor:
Bu nedenle, görüntü uygulamaları açısından, VGG ve Resnets'in bir büyüklük sırasına göre bilgi işlem kaynağı uygulamaları tarafından doyurulduğunu görüyoruz (aslında parametre sayısı bakımından daha az). Xception, Google'ın Inception mimarisinin bir çeşididir. Aslında, ImageNet üzerindeki performansı diğer modellerden sadece biraz daha iyidir, çünkü AlexNet temelde ImageNet'i çözer.
Bu nedenle hesaplama miktarının AlexNet'e göre 100 kat artması ile zaten vizyon açısından neredeyse doymuş bir mimariye sahibiz. Başka bir deyişle, Görüntü sınıflandırmasının doğruluğundan artık bahsedilemez .
Nöral makine çevirisi, tüm büyük İnternet arama oyuncuları (google, baidu, yahoo, vb.) İçin büyük bir çabadır. Olduğu kadar çok makine kullanmasına şaşmamalı (Google Çeviri hala kötü olsa da, daha iyi hale geliyor).
Grafikteki son üç nokta, Deep Mind ve OpenAI'nin oyunlara uygulanan pekiştirmeli öğrenme ile ilgili projelerini ilginç bir şekilde göstermektedir. Özellikle, AlphaGo Zero ve biraz daha genel Alpha Zero, çok sayıda hesaplama gerektirir, ancak gerçek dünya uygulamaları için uygun değildir, çünkü bu modellerde kullanılmak üzere bu verileri simüle etmek ve oluşturmak için çok sayıda hesaplama gerekir.
Tamam, şimdi AlexNet'in eğitimini birkaç dakika içinde tamamlayabiliriz, ancak birkaç gün içinde AlexNet'ten 1000 kat daha büyük ve daha kaliteli bir model eğitebilir miyiz? Belli ki değil.
Şimdiye kadar, derin öğrenmenin itibarına yapılan en büyük darbe, Otonom sürüş alanı . İlk başta insanlar, Uçtan Uca derin öğrenmenin otonom sürüş sorununu belirli bir şekilde çözebileceğini düşündüler (özellikle Nvidia bu konsepti destekledi). Şimdi, dünyadaki hiç kimsenin buna hala inanmadığını düşünüyorum (yanılıyor olsam da).
Önceki yıl Kaliforniya Araç Departmanı DMV tarafından çeşitli üreticilere verilen sürücüsüz araçlara insan müdahalesi raporuna bir göz atın Nvidianın sürücüsüz arabaları insan müdahalesi olmadan bile. 10 mil boyunca yapamam .
2016'dan beri Tesla'nın otopilot sistemi, bazıları ölümcül olan birkaç kaza geçirdi. Tesla'nın otonom sürüş yardım teknolojisinin özünde aynı teknolojiye dayanmasına rağmen otonom sürüşle karıştırılmaması gerektiği söylenebilir.
Bugün bile kavşaklarda otomatik olarak duramıyor, trafik ışıklarını tanıyamıyor ve hatta kavşaklardan geçemiyor. Mayıs 2018'de, Tesla'nın batı kıyısından doğu kıyısına otonom sürüş yapacağı sözünden birkaç ay sonra (denedikleri söylentilere rağmen) 30'dan az manuel müdahale ile başarılamaz ). Birkaç ay önce (Şubat 2018), Elon Musk bir konferans görüşmesi sırasında kıyıdan kıyıya sürüş hakkında soru sorulduğunda tekrarladı:
"Kıyıdan kıyıya sürüşü başarabilirdik, ancak oyunu etkili bir şekilde oynamak için çok fazla özel kod gerektirir veya kodu yalnızca belirli bir rotaya uygulanacak şekilde kırılgan hale getirir. Bu genel bir çözüm değildir.
Sinir ağlarında kaydedilen ilerleme konusunda çok heyecanlıyım. Ama öyle görünüyor ki çok fazla ilerleme yok. Bunun kötü bir sürücü olduğunu düşünecek. Sanki ... şey, bu çok iyi bir sürücü. "Kutsal İnek" gibi!
Bu nedenle, birçok insan derin öğrenmenin "kış teorisini" öne sürmeye başladı:
Yapay zekanın kışını tahmin etmek, borsa çöküşünü tahmin etmek gibidir - tam olarak ne zaman olduğunu bilmek imkansızdır, ancak neredeyse kesin olarak bir noktada gerçekleşecektir, tıpkı borsa çöküşünden önceki gibi, bir krizin olacağına dair işaretler vardır, ancak o zaman Çevrede herkes tarafından görmezden gelinmesi kolaydır. Kanımca, derin öğrenme açık bir düşüş işaretleri gösterdi. Bu kışın ne kadar "derin" olacağını bilmiyorum ve bundan sonra ne olacağını bilmiyorum ama eminim, Bu kış kesinlikle gelecek , Ve sadece beklenenden daha erken gelecek.Ancak geçen ay 2018 Turing Ödülü açıklandı.Derin öğrenmenin üç devi: Yoshua Bengio, Geoffrey Hinton ve Yann LeCun ödülü kazandı ve üçü 1 milyon dolarlık bir ödül paylaştı.
Geçen yıl, "Derin Öğrenme Kış Teorisi" sık sık ortaya çıktı ve üç büyük tanrı da "Acı Kış" a birçok kez yanıt verdi. Aslında, üçünün "acı kış" a karşı antikorları vardı. 1980'lerde Geoffrey Hinton ve diğerleri, bu yüzyılda AI'nın patlak vermesine kadar birkaç yıl bankta oturdular.
Sadece bu değil, Geoffrey Hinton ayrıca derin öğrenmenin kusurlarını çözmek için yeni bir yol bulmaya çalışan yeni bir sinir ağı modeli Kapsül Ağı (Kapsül Ağı) önerdi, 71 yaşındaki adam en soğuk AI kışında hayatta kaldı ve bir sonraki "kışı" belirledi. Gelmeyecek.
Gerçekler, zaferin soğuk kışı atlatanlara ait olduğunu kanıtladı.
Referans bağlantısı:
https://www.reddit.com/r/MachineLearning/comments/bgvefd/d_have_we_hit_the_limits_of_deep_reinforcement/
