"DeepMin Hassabis Uzun Makalesi" Büyük AI sinirbilim olmadan yapamaz: Güçlendirmeli Öğrenme-Dikkat-Sürekli Öğrenme
Xinzhiyuan Derleme 1
Makale: Sinirbilimden Esinlenen Yapay Zeka
Yazar: Demis Hassabis; Dharshan Kumaran; Christopher Summerfield, Matthew Botvinick
Özet: Tarihsel olarak, sinirbilim ve yapay zeka (AI) uzun süredir örtüşüyor. Bununla birlikte, son yıllarda, bu iki alandaki değişim ve işbirliği gittikçe azalıyor gibi görünüyor. Bu yazıda, biyolojik beyinlerin daha iyi anlaşılmasının akıllı makinelerin yapımında önemli bir rol oynayacağını göstereceğiz. Yapay zeka ve sinirbilimin iki alanının tarihsel birlikte çalışabilirliğini inceledik ve son yıllarda yapay zekanın ilerlemesinin gerçekten de insanların ve diğer hayvanların beyinlerindeki sinirsel hesaplama araştırmalarından ilham aldığını gördük. Sonuç bölümünde, herkesin tanıdığı birkaç tema öne sürdük, bunlar bu iki alanın gelecekteki gelişiminin anahtarı olabilirler.
Makalenin tam metin adresi: https://pan.baidu.com/s/1eRRvjxS
(Yazı / Hassabis, vb.) Son yıllarda sinirbilim ve yapay zekanın ilgili alanlarında hızlı bir ilerleme kaydedildi. Bilgisayar çağının başlangıcında, yapay zeka üzerine araştırmalar kaçınılmaz olarak sinirbilim ve psikolojiye bağlıydı.Yapay zekanın birçok öncüsü bu alanların arasında yer alıyor. Yüksek çıktı.
Bununla birlikte, son zamanlarda, benzer etkileşimler gittikçe daha az yaygın hale geldi çünkü her iki disiplinin karmaşıklığı büyük ölçüde arttı ve disiplinlerin sınırları gittikçe daha sağlam hale geldi. Aşağıdaki makalede, sinirbilimin yapay zeka araştırmalarını hızlandıran ve yönlendiren kavramlar üretmenin anahtarı olduğunu ve öneminin hiçbir zaman kesintiye uğramadığını kanıtlayacağız.
İnsan seviyesinde genel amaçlı bir AI (veya AI yeteneklerine sahip akıllı bir sistem) oluşturmanın göz korkutucu bir görev olduğu varsayımından başlıyoruz, çünkü olası çözümler için arama alanı çok büyük ve çok seyrek dağıtılmış olabilir. Bunun da, insan beyninin iç işleyişini ayrıntılı olarak incelemenin yararlılığını vurguladığına inanıyoruz - çünkü şu anda insan beyni böyle bir zekanın varlığını kanıtlayabilecek tek temeldir. Hayvan bilişinin incelenmesi ve sinirsel konuşlandırılması da önemli bir rol oynar çünkü genel zekanın daha yüksek seviyelerinin önemli yönlerini görebileceğimiz bir pencere sağlayabilir.
Yapay zekanın biyolojik zekanın gelişimi etrafında yakından geliştirilmesinin iki avantajı vardır: Birincisi, sinirbilim yeni algoritma ve mimari biçimleri için çok fazla ilham kaynağı olurken, aksine geleneksel yöntemlerde matematiğe veya mantığa dayalı yöntemler hakimdir. Durum. Bu algoritmalar, matematiğe veya mantığa dayalı yöntemlerden ve fikirlerden bağımsızdır, ancak tamamlayıcı olarak kullanılabilirler. Örneğin, biyolojik hesaplamanın yeni bir yönü bilişsel işlevleri desteklemek için gerekli görülüyorsa, bunu yapay sistemlere dahil etmek için mükemmel bir seçim olarak görebiliriz. İkincisi, sinirbilim mevcut AI teknolojisinin doğrulanmasını sağlayabilir. Daha sonra beyinde bilinen bir algoritmanın uygulandığı tespit edilirse, bu, bu algoritmanın genel bir yapay zeka sisteminin dahili bir bileşeni olarak kullanılabileceğinin çok güçlü bir kanıtıdır.
Bu ipucu, özellikle en fazla çıktıyı elde etmek için kaynakları nasıl tahsis edeceğinize karar vermeniz gerektiğinde, uzun vadeli araştırma projeleri için çok önemlidir. Örneğin, bir algoritma gerekli veya beklenen performans seviyesini karşılamıyorsa, ancak bunun beyin fonksiyonunun özü olduğunu gözlemlersek, yapay sistemlerde çalışmasını sağlamak için mühendislik yatırımını ikiye katlamanın faydalı olacağını düşünebiliriz. .
Elbette pratik bir bakış açısıyla yapay zeka sistemi oluşturmak için biyolojik akılcılığa tamamen ve zorunlu olarak uymamıza gerek yok. Mühendislik açısından bakıldığında, sonunda neyin işe yaradığını anlamak önemlidir. Dolayısıyla, amaçlarımız için biyolojik akılcılık bir rehberdir, katı bir gereklilik değil. Bizim ilgilendiğimiz şey beynin sistem sinirbilim düzeyinin yani algoritma, mimari, işlev ve kullandığı temsilin anlaşılmasıdır. Bu kabaca, Marr'ın ünlü "herhangi bir karmaşık biyolojik sistemi anlamak için üç seviye" analizindeki ilk iki seviyeye karşılık gelir: sistemin amacı (hesaplama seviyesi) ve bu amaca ulaşmak için süreç ve hesaplama (algoritma seviyesi).
Bu mekanizmanın biyolojik matriste fiziksel olarak nasıl gerçekleştirildiği burada önemli değildir. Yapay zekaya ilham veren nörobilim yaklaşımımızın, Mavi Beyin Projesi veya sinirsel hesaplama sistemleri alanı gibi diğer projelerden farklı olduğunu lütfen unutmayın.Bu yöntemler, sinir devrelerinin ayrıntılarını yakından taklit etmeye veya doğrudan tersine mühendislik yapmaya çalışır. Hesaplama ve algoritma düzeylerine odaklanarak, beyin işlevinin genel mekanizmalarına ilişkin bazı taşınabilir içgörüler elde ederken, bilgisayarlarda akıllı makineler (silikon tabanlı) oluştururken ortaya çıkan benzersiz fırsatlara ve zorluklara uyum sağlamak için yer bırakıyoruz.
Aşağıdaki içerik, yapay zeka ve sinirbilimin geçmişini, bugününü ve geleceğini tartışarak bu noktaları ortaya çıkarıyor.
Başlamadan önce bir açıklama yapalım: Bu makalede "nörobilim" ve "AI" gibi terimleri kullanıyoruz ve bu terimlerin en geniş anlamını kullanacağız. Sinirbilimden bahsettiğimizde, beyin araştırması, ürettiği davranışlar ve bilişsel sinirbilim, sistem sinirbilimi ve psikoloji dahil mekanizmaları ile ilgili tüm alanları kapsamayı kastediyoruz. AI dediğimizde, akıllı makineler oluşturmayı amaçlayan makine öğrenimi, istatistikler ve tüm AI araştırmalarından bahsediyoruz.
Başlangıçta, her ikisi de sinirbilime dayanan AI araştırması-derin öğrenme ve pekiştirmeli öğrenmenin en son iki alanının kökenlerini tartışacağız. Daha sonra, mevcut AI araştırma alanındaki en son gelişmeleri tanıtacağız ve bazı vakaları listeleyeceğiz.Bu örneklerden (bazıları açıkça alıntılanmayan) ilham, sinirbilimdeki kendi kavramlarımızdan ve keşiflerimizden gelmektedir. Bu bölümde, bazı örnekleri özellikle vurgulayacağız: Bu örneklerde, derin öğrenme ile pekiştirmeli öğrenme, Monte Carlo ağaç araması gibi diğer makine öğrenimi yöntemlerini veya okunabilen harici içerik içeren bazı yöntemleri birleştiriyoruz. Depolama. Daha sonra, sinirbilimin gelecekteki AI araştırmaları üzerindeki potansiyel etkisini inceleyeceğiz. Ana odak noktamız sinirbilimin yapay zekaya ne gibi faydalar sağlayacağı olsa da, son bölümde yapay zekanın sinirbilime ne gibi faydalar sağlayabileceğini ve bu iki alan arasında neler başarılabileceğini kısaca tanıtacağız. İşbirlikçi etkileşim.
Geçmişte: paralel dağıtılmış işlemeden (PDP) derin öğrenmeye
Son zamanlarda yapılan birçok incelemede belirtildiği gibi, yapay zeka, sinir ağlarının hızlı gelişimi veya "derin öğrenme" yöntemleri nedeniyle son birkaç yılda bir devrim geçirdi. "Sinir ağı" terimi ifade ettiği gibi, bu AI yöntemlerinin kökeni doğrudan sinirbilimden gelir. 1940'larda, sinirsel hesaplama araştırması, mantıksal işlevleri hesaplayabilen yapay sinir ağlarının inşasıyla başladı. Kısa süre sonra, sinir ağlarındaki nöronların, etkili kodlama ortamı istatistiklerinin denetimli geribildirimden veya denetimsiz yöntemlerden yavaş yavaş öğrenebileceğini öne süren başka mekanizmalar önerildi. Bu mekanizmalar, yapay sinir ağlarının araştırılmasına başka bir kapı açtı ve çağdaş derin öğrenme araştırmalarının temelini oluşturdu. Bu çığır açan çalışmaların doğumundan kısa bir süre sonra, çok katmanlı sinir ağlarında "öğrenme" sürecinin gerçekleşmesini sağlayan yönlü yayılma algoritmaları ortaya çıkmaya başladı. Önemli olan, bu yöntemin yapay zekanın getirdiği aydınlanma da dahil olmak üzere zekayı anlamak için kullanılmasıdır.İlk olarak bir grup sinirbilim ve bilişsel bilim insanı tarafından o zamanki araştırmalarının paralel dağıtılmış işlemeye (PDP) ait olduğu anlaşıldı.
O zamanlar, AI araştırmalarının çoğu, dizi hesaplamalarına dayanan mantıksal işleme sistemlerinin kurulmasına odaklandı.Bu kavram, kısmen, insan zekasının sembolik temsilin işlenmesini içerdiği fikrinden esinlenmiştir. Bununla birlikte, bazı alanlarda, giderek daha fazla insan, tamamen sembolik yöntemlerin çok kırılgan olabileceğini ve insanların alışkın olduğu gerçek dünya sorunlarını çözmek için yeterince esnek olmayabileceğini fark ediyor. Bunun yerine, beyin hakkındaki temel bilgideki sürekli artış, dinamik ve oldukça paralel bilgi işlemenin önemini vurgulayarak çok farklı bir yönü işaret ediyor gibi görünüyor. Buna dayanarak, PDP'nin yükselişi bir fikir ortaya attı: insan bilişi ve davranışı dinamik, dağıtılmış etkileşimden gelir ve sinir ağındaki tek bir nöronun işleme birimine dayanır, etkileşim öğrenme süreci aracılığıyla ayarlanır ve parametreleri ayarlarlar. , Hataları en aza indirmek ve geri bildirimi en üst düzeye çıkarmak için.
PDP yöntemi başlangıçta nispeten küçük sorunlara uygulanmasına rağmen, çok sayıda insan davranışını açıklamada şaşırtıcı derecede başarılı olmuştur. Bu yol boyunca, PDP araştırması, AI'nın gelişimi üzerinde derin bir etkisi olan çok sayıda çeşitlendirilmiş kavram getirmiştir. Örneğin, mevcut makine çevirisi araştırması, kelimelerin ve cümlelerin dağıtılmış bir şekilde (örneğin Vektörler) temsil edilebileceğini kanıtlamıştır; bu, aslında erken PDP'den esinlenen cümle modelinde tanıtılmıştır. PDP'nin yükselişiyle uyarılan biyolojik hesaplamaya olan ilgiye dayalı olarak, mevcut evrişimli sinir ağı (CNN) ayrıca doğrusal olmayan dönüşüm, çeşitli düzenlilik ve havuzlanmış girdiye dayalı maksimizasyon dahil olmak üzere birçok sinirsel hesaplama imzası ekledi.
Bu işlemler, doğrudan memeli görsel korteksindeki tek hücre kayıtlarından türetilerek, görsel girdinin V1 bölgesindeki basit ve karmaşık hücrelere nasıl filtre edileceğini ve bir araya getirileceğini ortaya çıkarır. Ek olarak, mevcut ağ mimarisi, erken sinir ağı görsel işleme modellerinin gelişmiş fikirlerini takip eden, birbirini izleyen iç içe geçmiş işlem katmanlarında yakınsak ve ıraksak bilgilerin aktığı memeli kortikal sisteminin hiyerarşik yapısını kopyalar. Biyolojik ve insan yapımı sistemlerde, sürekli doğrusal olmayan hesaplamalar orijinal görsel girdiyi giderek daha karmaşık bir özellik kümesine dönüştürerek nesnelerin poz, ışık veya boyut değiştiğinde doğru bir şekilde tanımlanmasına olanak tanır.
Derin öğrenme alanı PDP araştırmasından yapay zekanın temel alanına doğru geliştikçe, derin inanç ağlarında insan dili araştırmalarından esinlenen büyük veri setlerinin tanıtımı gibi yeni kavramlar tarafından yönlendirilmeye devam ediyor. Bu dönemde nörobilimden esinlenerek önemli kavramlar almaya devam etti. Örneğin, biyoloji, eğitim verilerinin ötesinde genellemeyi desteklemek için başarılı düzenleme şemalarının kullanımını değerlendirir. Böyle bir şemada, biyolojik sistemlerdeki ortak nöronlar tarafından getirilen Poisson benzeri istatistiklerin rastlantısallığından esinlenen belirli bir eğitim örneğinin ("bırakma") işlemesine birimlerin yalnızca bir kısmı katılır. Çeşitli yerlerde, sinirbilim, yapay zekanın sinir ağlarını başarılı bir şekilde uygulamasına rehberlik edecek mimari ve algoritmaların kapsamı hakkında ön rehberlik sağlar.
Takviye öğrenme
Sinirbilim, derin öğrenmenin geliştirilmesindeki önemli rolüne ek olarak, pekiştirmeli öğrenmenin (RL) ortaya çıkmasını teşvik eden çağdaş yapay zekanın ikinci ayağını oluşturmaya da yardımcı olur. RL yöntemi, çevrenin durumunu eylemlerle eşleştirerek gelecekteki ödüllerin nasıl en üst düzeye çıkarılacağı sorununu çözer ve AI araştırmasında en yaygın kullanılan araçlardan biridir. AI araştırmacıları tarafından yaygın olarak tanınmasa da, RL yöntemi başlangıçta hayvan öğrenimi üzerine yapılan araştırmalardan esinlenmiştir.
Özellikle, zaman farkı (TD) yöntemlerinin geliştirilmesi, birçok RL modelinin temel bir bileşenidir ve deneysel ortamlarda hayvan davranışının incelenmesinden ayrılamaz. TD yöntemi, gerçek geri bildirimin geri dönmesini beklemek zorunda kalmadan farklı süreklilik tahminlerinden öğrenebilen gerçek zamanlı bir modeldir. Etkinin kalitesinin, doğrudan koşulsuz uyaranların kombinasyonu yoluyla değil, bir koşullu uyaranın diğeriyle kombinasyonunda değerlendirildiği ikincil koşullandırma adı verilen bir etki özellikle önemlidir. TD öğrenimi, ikinci düzey koşullar için doğal bir açıklama sağlar ve aşağıda tartışacağımız gibi, sinirbilimin daha geniş bulgularını aslında açıklamıştır.
Burada, derin öğrenme gibi, başlangıçta nörobilim gözlemlerinden esinlenen araştırmalar, daha fazla gelişmeye yol açtı ve AI araştırmalarının yönünü güçlendirdi. Nörobilim bilgisine dayanan TD yöntemi ve ilgili teknolojiler, yapay zekadaki en son gelişmelere temel teknolojileri getirdi: tavla uzmanlarına robot kontrolü ve Go.
Şimdiki: Dikkat, olaysal bellek, işleyen bellek, sürekli öğrenme
Çağdaş AI literatürünü okumak, insanları nörobilim ile temasın ilk günlerde olduğu gibi azaldığının daha derin bir şekilde farkına varıyor. Bununla birlikte, yüzeye ve daha derin katmanlara bakarsanız, nörobilim keşiflerinden esinlenen ve yönlendirilen birçok yeni AI gelişimi vakası bulabilirsiniz. Burada 4 özel örneğe bakıyoruz.
Dikkat
Beyin, küresel optimizasyon ilkelerini birleşik ve farklılaşmamış bir sinir ağında uygulayarak öğrenmez (Marblestone ve diğerleri, 2016). Bunun aksine biyolojik beyin, bellek, dil ve bilişsel kontrol gibi anahtar işlevleri destekleyen benzersiz ancak etkileşimli alt sistemlere sahip modülerdir (Anderson ve diğerleri, 2004; Shallice, 1988). Sinirbilimden elde edilen bu içgörü, genellikle mevcut AI'nın birçok alanına apaçık bir şekilde giriyor.
Dikkatle ilgili son yapay zeka araştırması bunun çarpıcı bir örneğidir. Yakın zamana kadar, çoğu CNN modeli, işlemenin ilk aşamalarında tüm görüntü piksellerine eşit öncelik vererek doğrudan tüm görüntü veya video karesi üzerinde çalıştı. Primat görme sistemi bu şekilde çalışmıyor. Primat görsel sistemi tüm girdileri paralel olarak işlemez Görsel dikkat stratejik olarak coğrafi konumlar ve nesneler arasında kaydırılır, bir dizi bölgesel işleme kaynağı ve temsil koordinatlarına (Koch ve Ullman) odaklanır. , 1985; Moore ve Zirnsak, 2017; Posner ve Petersen, 1990). Herhangi bir anda ilgili bilgileri önceliklendirerek ve ayırt ederek bu yöntemin hayvan davranışına faydalı olduğunu kanıtlayan belirli sinirsel hesaplama modelleri vardır (Olshausen ve diğerleri, 1993; Salinas ve Abbott, 1997). Bu nedenle, dikkat mekanizması AI mimarileri için ilham kaynağı haline geldi. Bu AI mimarilerinde, sistem her adımda giriş görüntüsüne "bakacak", dahili durum temsilini güncelleyecek ve ardından bir sonraki örnekleme konumunu seçecektir (Larochelle ve Hinton, 2010; Mnih vd., 2014) (Şekil 1A). Artık ilgisiz bir nesneyi görmezden gelmek için bu seçici dikkat mekanizmasını kullanabilen ve gürültü varlığında zor nesne sınıflandırma görevlerinde iyi performans gösteren ağlar vardır (Mnih vd., 2014). Ek olarak, dikkat mekanizması hesaplama maliyetlerinin (ağ parametrelerinin sayısı gibi) girdi görüntüsünün boyutuna göre uygun şekilde ölçeklenmesini sağlar. Daha sonra, bu yöntemin uzantısı, çoklu nesne tanıma görevlerinde etkileyici performans gösterdi ve doğruluk ve hesaplama verimliliği açısından geleneksel CNN'den (tüm görüntünün işlenmesi) üstündü (Ba ve diğerleri, 2015) ve Görüntü oluşturma görevlerinin performansı iyileştirildi (Xu ve diğerleri, 2015).
Dikkat genellikle algının yönsel mekanizması olarak görülse de, "odak noktası" içeriye yansıtılabilir ve belleğe odaklanabilir. Bu fikir, son sinirbilim araştırmalarının odak noktasıdır (Summerfield ve diğerleri, 2006) ve AI ile ilgili çalışmalara ilham vermiştir. Bazı mimarilerde, dikkat mekanizması ağın dahili belleğinden okunan bilgiyi seçmek için kullanılmıştır. Bu, makine çevirisindeki son başarıya katkıda bulundu (Bahdanau vd., 2014) ve ayrıca bellek ve muhakeme görevlerinde de önemli ilerleme sağladı (Graves vd., 2016). Bu mimariler, içerik-adreslenebilir erişim için yeni bir uygulama yöntemi sağlar ve ikincisinin kendisi, ilk olarak sinirbilim yoluyla tanıtılan AI konseptidir (Hopfield, 1982).
Dikkat mekanizmalarının yararlı olduğu bir başka alan da üretken modeller, yani eğitim sırasında görülen örneklerin yapısını simüle edebilen görüntüleri (veya diğer veri türlerini) sentezlemeyi veya "hayal etmeyi" öğrenen sistemlerdir. Derin üretken modeller (yani, çok katmanlı sinir ağlarından oluşan üretken modeller), son zamanlarda çıktıyı sentezlemek için bir dikkat mekanizması sunarak gerçek görsel sahnelerin biçimini ve yapısını yakalamada büyük başarı elde etti (Hong ve diğerleri, 2015; Reed vd., 2016). Örneğin, DRAW adlı üretken bir modelde dikkat, sistemin kademeli olarak bir görüntü oluşturmasına ve bir seferde "zihinsel kanvasın" bir parçasını işlemesine izin verir (Gregor ve diğerleri, 2015).
Bölümsel hafıza
Sinirbilimin temel bir teması, akıllı davranışın çoklu bellek sistemlerine dayanmasıdır (Tulving, 1985). Bu sadece gelişmiş mekanizmaları değil, aynı zamanda örnek tabanlı mekanizmaları da içerir (Gallistel ve King, 2009). Hafızanın son şekli aynı zamanda epizodik hafıza olarak da adlandırılır (Tulving, 2002) ve genellikle medial temporal lob devreleri, özellikle hipokampus ile ilişkilidir (Squire ve diğerleri, 2004).
AI'da yeni bir atılım, pekiştirmeli öğrenme ve derin öğrenmenin başarılı bir şekilde entegrasyonudur (Mnih ve diğerleri, 2015; Silver ve diğerleri, 2016). Örneğin, Deep Q Network (DQN), görüntü piksellerinin vektörünü eylemleri (joystick hareketi gibi) seçmek için stratejilere dönüştürmeyi öğrenir ve Atari 2600 video oyununda bir uzman seviyesini gösterir. DQN'nin önemli bir faktörü, ağın eğitim verilerinin bir kısmını örnek tabanlı bir şekilde depoladığı "deneyim tekrarı" ve daha sonra geçmişte keşfedilen yeni başarılardan veya başarısızlıklardan öğrenmek için "çevrimdışı yeniden yürütme" dir. Deneyimi tekrar oynatma, veri verimliliğini en üst düzeye çıkarmak, sürekli ilgili deneyimlerden öğrenmenin dengesiz etkisinden kaçınmak ve ağın karmaşık ve oldukça yapılandırılmış sıralı ortamlarda (video oyunları gibi) bile öğrenilebilir olmasını sağlamak için gereklidir. Değer işlevi.
Daha da önemlisi, deneyim tekrarı, memeli beynindeki çoklu bellek sistemlerinin nasıl etkileşime girdiğini anlamayı amaçlayan teorilerden doğrudan esinlenmiştir. İyi bilinen bir bakış açısına göre, hayvanların öğrenme davranışı, hipokamp ve neokorteksteki paralel veya "tamamlayıcı" öğrenme sistemlerine dayanmaktadır (Kumaran ve diğerleri, 2016; McClelland ve diğerleri, 1995). Hipokampus, tek seferlik öğrenmeden sonra haber bilgilerini kodlar, ancak bu bilgi uyku veya dinlenme sırasında yavaş yavaş serebral kortekse entegre edilir. Hipokampus ve neokorteksin tekrarının eşlik ettiği bu konsolidasyon, öğrenme olaylarına eşlik eden yapılandırılmış bir sinirsel aktivite modeli olarak görülür (O'Neill ve diğerleri, 2010; Skaggs ve McNaughton, 1996) (Şekil 1B). Bu teori başlangıçta geleneksel sinir ağlarında iyi bilinen bir sorunu çözmek için bir çözüm olarak önerildi, yani ilgili görevlerle sırayla iletişim kurmak birbiriyle etkileşime girecek ve felaket bir unutmaya yol açacaktır. Bu nedenle, DQN'deki tekrar tamponu, tıpkı biyolojik bir beyinde olduğu gibi bilgisayarların yardımlı öğrenmeyi gerçekleştirmesini sağlayan çok ilkel bir hipokampus olarak kabul edilebilir. Daha sonraki çalışmalar, yüksek ödül değeri olan olayların tekrarlarına öncelik verildiğinde, DQN'deki deneyim tekrarlarının faydalarının arttığını göstermiştir (Schaul ve diğerleri, 2015), tıpkı denizatı tekrarlarının yüksek düzeyde pekiştirme getirebilecek olayları tercih ettiği gibi (Singer ve Frank, 2009). Bellek tamponunda depolanan deneyim, yalnızca derin ağın parametrelerini en iyi stratejiye (DQN'de olduğu gibi) kademeli olarak ayarlamak için kullanılamaz, aynı zamanda kişisel deneyime dayalı hızlı davranış değişikliklerini de destekleyebilir. Aslında teorik sinirbilim, durumsal kontrolün potansiyel faydalarını kanıtlamıştır.Biyolojik bir beynin hipokampüsünde, ödül eylem dizileri, hızlı ve güncellenebilir bir hafıza bankasından dahili olarak yeniden etkinleştirilebilir (Gershman ve Daw, 2017). Ayrıca, kazanılan çevresel deneyim sınırlı olduğunda, durum kontrolü özellikle diğer öğrenme mekanizmalarından daha üstündür (Lengyel ve Dayan, 2007).
Yakın zamanda yapılan AI araştırması, derin pekiştirmeli öğrenme ağlarının yavaş öğrenme özelliklerinin üstesinden gelmek için bu fikirleri özümsedi ve bağlam kontrolünü sağlamak için bir mimari geliştirdi (Blundell ve diğerleri, 2016). Bu ağlar, belirli deneyimleri (örneğin, belirli Atari oyun ekranlarıyla ilişkili eylemler ve ödül sonuçları) depolar ve önceki durumu göz önünde bulundurarak mevcut durum girdisi ile bellekte depolanan önceki olaylar arasındaki benzerliğe dayalı yeni eylemler seçer. Olaylarla ilişkili ödüller (Şekil 1B). Nörobilim temelli ilk çalışmadan (Lengyel ve Dayan, 2007), bağlam kontrolünü kullanan yapay ilaçların özellikle erken öğrenme aşamasında derin pekiştirmeli öğrenme ağlarında inanılmaz performans gösterdiği görülebilir (Blundell vd., 2016) . Buna ek olarak, bu ağlar, büyük ölçüde tek öğrenmeye dayanan görevlerde başarılı olabilirken, geleneksel derin mimariler başarısız olacaktır.
Ek olarak, durum benzeri bellek sistemleri, yalnızca birkaç örnekle yeni kavramları hızlı bir şekilde öğrenme potansiyelini daha genel olarak göstermiştir (Vinyals ve diğerleri, 2016). Gelecekte, bu iki bileşeni memeli beyin destekli öğrenme sistemiyle bir çerçeveye entegre etmek için hızlı epizodik hafızanın ve daha geleneksel artımlı öğrenmenin avantajlarını kullanmak çok ilginç olacaktır. Bu noktaları daha sonra "Hayal Gücü ve Planlama" bölümünde daha ayrıntılı olarak tartışacağız.
Çalışan bellek
İnsan zekası, prefrontal kortekste ve birbirine bağlı alanlarda somutlaştırıldığı düşünülen aktif bir depolama alanında (çalışma belleği olarak adlandırılır) bilgiyi muhafaza etme ve kullanma yeteneği ile karakterize edilir (Goldman-Rakic, 1990). Klasik bilişsel teori, bu işlevin belirli bir alandaki merkezi bir kontrolör ("yönetici") ile ayrı bir bellek tamponu (örneğin, görsel alan çizim tahtası) arasındaki etkileşime bağlı olduğunu ileri sürer (Baddeley, 2012). Yapay zeka araştırması, zaman içinde bilgileri açıkça koruyan bazı mimariler kurarak bu modellerden ilham alır. Tarihsel olarak, bu alandaki girişimler başlangıçta, hepsi doğrudan sinirbilimden esinlenen çekici dinamikleri ve zengin ardışık davranışları gösteren tekrarlayan sinir ağı mimarilerini tanıttı (Elman, 1990; Hopfield ve Tank, 1986; Ürdün, 1997). Bu çalışma, daha ayrıntılı yapay çalışma belleği modellemesi için en önemli öncelik haline geldi (Botvinick ve Plaut, 2006; Durstewitz ve diğerleri, 2000) ve son AI araştırmalarında bulunan ileri teknolojik yeniliklerin temelini attı. Çin hayati olduğunu kanıtladı. Özellikle, sinirbilimden esinlenen bu ilk ağlardaki öğrenme dinamikleri ve uzun kısa süreli bellek (LSTM) ağlarındaki öğrenme dinamiklerinin büyük benzerliklere (yakın paralel) ve LSTM'nin daha sonra olduğu görülebilir. En gelişmiş performans birçok alanda elde edildi. LTSM, bilgiyi sabit bir aktif duruma geçirir ve uygun çıktıya ihtiyaç duyana kadar saklar (Hochreiter ve Schmid-huber, 1997). Bu tür ağların varyantları, bilgisayar kodu eğitiminden sonra değişkenlerin gizli durumunu sorgulamayı öğrenmek gibi zorlu alanlarda bazı zorlayıcı davranışlar gösterir (Zaremba ve Sutskever, 2014).
Ortak bir LSTM ağında, sıra kontrolü ve hafıza fonksiyonları yakından ilişkilidir. Bu, insanın işleyen belleğinin klasik modeliyle çelişir. Bu nörobilim temelli model, son zamanlarda kontrol ve depolamanın farklı modüllerle desteklendiği daha karmaşık yapay zeka mimari tasarımlarına ilham verdi (Graves ve diğerleri, 2014, 2016; Weston ve diğerleri, 2014). Örneğin, diferansiyel bir sinir bilgisayarı (DNC), harici bir bellek matrisinden okuyan ve yazan bir sinir ağı denetleyicisi içerir (Graves ve diğerleri, 2016). Harici belleği bağlayarak, ağ denetleyicisi baştan öğrenebilir (yani uçtan uca optimizasyon yoluyla) ve bir grafik yapısı aracılığıyla en kısa yolu bulma veya Hanoi Tower görevinin bir varyantındaki yapı taşlarını kullanma gibi çok çeşitli karmaşık bellek ve çıkarım görevlerini gerçekleştirebilir ( Şekil 1C). Bu tür sorunların daha önce tamamen sembol işlemeye ve LSTM'nin başaramadığı değişken bağlamaya bağlı olduğu düşünülüyordu.
Burada LSTM ve DNC'yi çalışma belleğine yerleştirmiş olsak da, her ikisinin de binlerce eğitim döngüsü için bilgi tutabileceğini, dolayısıyla bir kitabı saklama ve anlama gibi uzun süreli bellek formları için uygun olabileceğini belirtmek gerekir. İçerik.
Şekil 1
Öğrenmeye devam et
Temsilci, birden çok zaman ölçeğinde karşılaşılan birçok farklı görevi öğrenebilmeli ve hatırlayabilmelidir. Bu nedenle canlılar ve insan yapımı nesneler sürekli öğrenme yeteneğine sahip olmalıdır, yani yeni görevlere hakim olurken, önceki görevleri nasıl yapacaklarını unutmamalıdırlar (Thrun ve Mitchell, 1995). Hayvanların sürekli öğrenmede daha iyi görünmelerine rağmen, sinir ağları felaketle sonuçlanan unutma problemine sahiptir (French, 1999; McClelland ve diğerleri, 1995). Yıkıcı unutma, birbirini izleyen iki görevin ikinci görevini gerçekleştirmektir, ağ parametrelerinin en iyi duruma aktarılması, ilk görevi gerçekleştirmek için yapılandırmalarının üzerine yazacaktır. Sürekli öğrenmenin önemi göz önüne alındığında, sinir ağları ile sürekli öğrenme, insan gelişimi için hala büyük bir zorluktur.
Nörobilimde, gelişmiş nörogörüntüleme teknikleri (örneğin, iki fotonlu görüntüleme) öğrenme sırasında dendritik dikenlerin yapısını ve işlevini artık dinamik olarak görselleştirebilir (Nishiyama ve Yasuda, 2015). Bu yöntem, sürekli öğrenme sırasında neokorteksin esnekliğini incelemek için kullanılabilir (Cichon ve Gan, 2015; Hayashi-Takagi ve diğerleri, 2015; Yang ve diğerleri, 2009). Belirli mekanizmaların önceki görevlerin bilgisini öğrenme sürecine müdahaleden koruyabileceğine dair yeni kanıtlar vardır. Bu mekanizmalar, gelişmiş sinapsların bir kısmının esnekliğini azaltmayı içerir (Cichon ve Gan, 2015; Yang ve diğerleri, 2009) (Şekil 1D). Bu değişiklikler bilginin birkaç ay içinde saklanması ile ilgilidir ve eğer "silinirlerse" unutulma meydana gelecektir (Hayashi-Takagi vd., 2015). Teorik modeller, belleğin farklı derecelerde plastisite kademeleri arasında geçiş yapan sinapslarla korunabileceğini göstermektedir (Fusi ve diğerleri, 2005) (Şekil 1D). Bu teorik modeller ampirik anlayışlarla uyumludur.
Yukarıdaki bulguları birleştirdikten sonra, bilim adamları, derin ağlarda sürekli öğrenmenin zorluğunu çözmek için bu bulguları sinirbilimde kullanan bir tür "elastik" ağırlık entegrasyonu (EWC) (Kirkpatrick ve diğerleri, 2017) önerdiler. Özellikle, EWC, önceki görev için önemli olan ağ ağırlıklarının alt kümesini bulur, bu parametreleri sabitler, öğrenme oranlarını azaltır ve sürekli öğrenmeyi gerçekleştirir (Şekil 1D). Bu şekilde, ağ, ağ kapasitesini artırmadan birden fazla görevi öğrenebilir ve ağırlıklar, ilgili yapılara sahip görevler arasında etkin bir şekilde paylaşılabilir. Bu şekilde, EWC algoritması, büyük ölçekli sürekli öğrenmeyi desteklemek için derin takviyeli öğrenme ağlarını etkinleştirir.
Gelecek: Makine zekası ile insan zekası arasındaki uçurumun kapatılması için hala çok fazla çalışma gerekiyor
AI alanındaki son araştırma ilerlemesi çok önemlidir. Yapay zeka sistemleri artık nesne tanıma (Krizhevsky ve diğerleri, 2012) gibi birçok görevde insan seviyesinde performansa ulaştı ve Atari oyunları gibi birçok dinamik ve zıt ortamda insan uzmanlarını geride bıraktı (Mnih ve diğerleri, 2015), Eski Go oyunu (Silver vd., 2016) ve bire bir Texas Hold'em (Morav_cı'ket diğerleri, 2017) gibi eksik bilgiler içeren oyunlar. Makineler bağımsız olarak sentetik görüntüler oluşturabilir, insan konuşmasını simüle edebilir ve sonuçlar neredeyse gerçek olanlardan ayırt edilemez (Lake ve diğerleri, 2015; van den Oord ve diğerleri, 2016) ve birden çok dili çevirebilir (Wu et al. , 2016), "sinirsel sanat eserleri" yaratmak için tanınmış ressamların tarzını taklit ediyor (Gatys ve diğerleri, 2015).
Bununla birlikte, makine zekası ile insan zekası arasındaki uçurumun kapatılması için hala çok fazla çalışma yapılması gerekiyor. Bu açığı kapatmak için sinirbilimden ilham almanın vazgeçilmez olacağına inanıyoruz. . Sinirbilimde, beyin görüntüleme ve genetik biyomühendislik alanlarındaki yeni araçlar, nöral devrelerde meydana gelen hesaplamaların ayrıntılı temsillerini sağlayabildi ve bu, memeli beyin fonksiyonlarını daha iyi anlamamızı sağladı (Deisseroth ve Schnitzer, 2013). Yapay zeka araştırma gündeminin yol haritası ve bilgi işlem araçlarının kaynağı olarak, sinirbilim ve yapay zekanın alaka düzeyi aşağıdaki kilit alanlarda özellikle belirgindir.
Fiziksel dünyanın sezgisel anlayışı
Bazı yeni görüşler, insan zekasının temel parçalarının insanlar bebekken geliştirildiğini, ancak çoğu AI sisteminde eksik olduğunu vurgulamaktadır (Gilmore ve diğerleri, 2007; Gopnik ve Schulz, 2004; Lake ve diğerleri, 2016 ). Bu yetenekler, mekân, miktar ve nesnellik gibi fiziksel dünya ile ilgili temel kavramları içerir.Bu kavramlar, insanların akıl yürütme ve tahmine rehberlik etmek için kapsamlı bir zihinsel model oluşturmalarına olanak tanır (Battaglia ve diğerleri, 2013; Spelke ve Kinzler, 2007).
Yapay zeka araştırmaları bu sorunu çözmenin yollarını keşfetmeye başladı. Örneğin araştırmacılar, sahneyi insan benzeri bir şekilde açıklamak ve mantık yürütmek için sahneyi ayrı ayrı nesnelere ve bunların ilişkilerine ayrıştıran yeni bir sinir ağı mimarisi geliştirdiler (Battaglia ve diğerleri, 2016; Chang ve diğerleri, 2016 ; Eslami vd., 2016) (Şekil 2A ve 2B). Bazı durumlarda, bu yöntem bazı zorlu muhakeme görevlerinde insan düzeyinde performans sağlayabilir (Santoro ve diğerleri, 2017).
Buna ek olarak, insan bebeklerinin etkileşimli deneyler yoluyla dünya hakkında sağduyu kazanma sürecini yakalamak için derin pekiştirmeli öğrenme kullanılmıştır (Denil ve diğerleri, 2016). Buna bağlı olarak, ham duyusal girdiden zengin nesne modelleri oluşturabilen derin üretken modeller de geliştirilmiştir (Higgins vd., 2016). Bu araçlar ilk olarak nörobilimde fazlalığı azaltma (Barlow, 1959) ve bağımsız faktörlerin (şekil ve konum gibi) çözülmüş temsillerinin ortaya çıkmasını teşvik etme gibi belirlendi (Şekil 2C). Daha da önemlisi, bu üretken model tarafından öğrenilen temel temsiller kapsamlı bir yapı gösterir ve yeni görevler için esnek geçişi destekler (Eslami ve diğerleri, 2016; Higgins ve diğerleri, 2016; Rezende ve diğerleri, 2016a).
Etkili öğrenme
İnsan bilişinin özelliği, insanların yeni kavramları yalnızca birkaç örnekten hızlı bir şekilde anlayabilmesi ve önceki bilgileri tümevarımlı akıl yürütme yapmak için kullanabilmesidir. Lake ve meslektaşları, yapay zekaya yönelik bu insan yeteneğinin zorluklarını vurgulamak için yakın zamanda bir "karakter mücadelesi" önerdiler (Lake ve diğerleri, 2016). Meydan okuyan kişinin, yalnızca tek bir örneği inceledikten sonra diğer şeflerin bazı el yazısıyla yazılmış yazı tiplerini gözlemlemesi ve ayırt etmesi gerekir. İnsanlar bu tür görevleri iyi bir şekilde gerçekleştirebilirler, ancak klasik AI sistemleri için çok zordur.
Cesaret verici bir şekilde, son AI algoritmaları yapısal olasılık modelleri (Lake ve diğerleri, 2015) ve yukarıda belirtilen DRAW modeline (Rezende ve diğerleri, 2016b) dayalı derin üretken modelleri karakter zorluklarında vb. Kullanmaya başladı. Görevde ilerleme sağlandı. Veri eksikliğine ve tek bir örnek kavramdan (Şekil 2D) yeni örnekler üretme ihtiyacına rağmen, her iki sistem türü de yeni kavramlar çıkarabilir.
Ek olarak, son AI araştırması, tek seferlik kavramların öğrenilmesini desteklemek için yeni görevler hakkında bilgi edinmek için ilgili sorunların önceki deneyimini kullanan bir "öğrenmeyi öğren" ağı geliştirmiştir (Santoro ve ark. , 2016; Vinyals vd., 2016) ve RL görevlerinin öğrenimini hızlandırır (Wang vd., 2016). Yine, bu, sinirbilim kavramına dayanmaktadır: nasıl öğrenileceğini öğrenmek, ilk olarak hayvan öğrenimi çalışmasında (Harlow, 1949) ve daha sonra psikolojinin gelişiminde (Adolph, 2005; Kemp et al. ., 2010; Smith, 1995).
Transfer öğrenimi
İnsanlar aynı zamanda bir çevrede edindikleri genelleştirilmiş bilgiyi yeni, daha önce el değmemiş alanlara genişletmede iyidir (Barnett ve Ceci, 2002; Holyoak ve Thagard, 1997). Örneğin, bir insan araba kullanırken, dizüstü bilgisayar kullanırken veya bir toplantıya ev sahipliği yaparken, alışılmadık bir araç, işletim sistemi veya sosyal durumla karşılaştığında, genellikle etkili eylemlerde bulunabilir.
Şu anda, güçlü genelleme yetenekleri veya transfer yetenekleri sergileyebilen AI mimarilerinin geliştirilmesinde ilerleme kaydedilmektedir.Örneğin, kapsamlı temsil tabanlı (Higgins vd., 2016; Şekil 2C) Yeni şekil üzerinde sıfır vuruşlu çıkarım yapın. Diğer çalışmalar, ilerici ağ olarak adlandırılan bir mimari türünün, bir video oyununda edinilen bilgiyi başka bir video oyununda hızlı öğrenmeyi sağlamak için kullanabileceğini göstermiştir. Bu, insan becerilerinin "uzaktan aktarım" özelliklerinden birini elde etme potansiyeline sahiptir (uzak transfer) (Rusu ve diğerleri, 2016a). Aşamalı ağ aynı zamanda simülasyon ortamındaki ajanın bilgilerini gerçek robot koluna aktarmak için başarıyla kullanıldı ve gerekli eğitim süresini büyük ölçüde azalttı (Rusu ve diğerleri, 2016b). İlginç bir şekilde, önerilen mimarinin, başarılı insan sıralı görev öğreniminin hesaplamalı modeliyle bazı benzerlikleri vardır (Collins ve Koechlin, 2012; Donoso ve diğerleri, 2014).
Önceki nörobilim çalışmalarında, transfer öğrenmenin ayırt edici özelliği, ilgili çıkarımlar yapma yeteneğidir.Al araştırmacıları, görsel analoji problemini çözmek gibi bu tür problemleri çözmek için derin ağlar kurmada ilerleme kaydetmeye de başladılar (Reed ve ark. , 2015). Bununla birlikte, daha genel olarak, insanların veya diğer hayvanların bu üst düzey aktarım öğrenmeyi nasıl başardıkları bilinmemektedir ve hala nörobilimde nispeten keşfedilmemiş bir konudur. Bu alandaki yeni gelişmeler, yapay zeka araştırmalarını teşvik etmek ve yaşam boyu öğrenme hedefine ulaşmak için önemli bilgiler sağlayabilir.Nörologları bu konuyu daha derinlemesine incelemeye teşvik ediyoruz.
Sinirsel kodlama düzeyinde, bu soyut yapılandırılmış bilginin aktarımı, nesnelerin, bireylerin veya sahne öğelerinin değişmez kavramsal temsillerinin oluşumuna bağlı olabilir (Doumas ve diğerleri, 2008). Bununla birlikte, şu anda memeli beyinlerinde bu tür kodların varlığına dair doğrudan kanıt yok. Bununla birlikte, yakın tarihli bir rapor, çok merkezli (harita benzeri) bir mekansal temsilde önemli bir sinirsel kod olarak kabul edilen ve daha genel alanlarda soyut akıl yürütme için en önemli olabilecek çok ilginç bir ifade ortaya koyuyor.Constantinescu et al., 2016functional neuroimagingperiodic encodingConstantinescu et al., 2016
DQNRLDaw et al., 2005Daw et al., 2005; Dolan and Dayan 2013; Tolman1948
AI planningRL/MCTSBrowne et al., 2012RL
hippocampusRedish2016agentHamrick et al., 2017
AIAIAI; AIAIvirtual brain analytics
AI
fMRI MEGCichy2014; Ckuk 2013; Kriegeskorte Kievit2013 connectomic analysisGlasser2016
conceptnotion
conditioning paradigms midbrain dopaminergic neurons profile TD- TD-learning O'Doherty 2003; Schultz 1997
CNN Khaligh-Razavi Kriegeskorte2014; Yamins DiCarlo2016
Khaligh-Razavi, S.M., and Kriegeskorte, N. (2014). Deep supervised, but not unsupervised, models may explain IT cortical representation. PLoS Comput. Biol. 10, e1003915.
Hong, H., Yamins, D.L., Majaj, N.J., and DiCarlo, J.J. (2016). Explicit informa- tion for category-orthogonal object properties increases along the ventral stream. Nat. Neurosci. 19, 613622.
Yamins, D.L., and DiCarlo, J.J. (2016). Using goal-driven deep learning models to understand sensory cortex. Nat. Neurosci. 19, 356365.
Sukhbaatar, S., Szlam, A., Weston, J., and Fergus, R. (2015). End-to-end memory networks. arXiv, arXiv:150308895.
Kumaran, D., and McClelland, J.L. (2012). Generalization through the recurrent interaction of episodic memories: a model of the hippocampal system. Psy- chol. Rev. 119, 573616.
AI
AI AI
AI AI
AI
Marblestone 2016
