Beynin hipokampusu, öğrenmenin özünün sırrını gizler. Bu, DeepMind'ın yeni bir keşfidir Ekli makale
Viking DeepMind blogundan vb. Derlendi.
Qubit Üretildi | Genel Hesap QbitAI
DeepMind, sinirbilim ve yapay zeka kombinasyonunun keşfinde yeni bir ilerleme kaydetti.
Hipokampus "tahmin haritası"
Bu soruları hiç düşündünüz mü: Çalışma rotanızı nasıl seçtiniz, nereye gideceğinize nasıl karar verdiniz ve satranç oynarken bu adımı atmaya nasıl karar verdiniz?
Tüm bu senaryolarda aslında bir tahmin var: Kararınızın gelecekte ne kadar ödüllendirilebileceği.
Bu inceliklidir ve gelecek hakkında ne kadar çok düşünürseniz, olası durumların toplam sayısı o kadar fazla olur. Bu alandaki davranışımızı anlamak, nörobilim araştırmalarının önemli bir konusudur ve yapay zeka araştırmalarında, gelecekteki getirileri etkili bir şekilde tahmin edebilen sistemler geliştirmek de bir odak noktasıdır.
Nature Neuroscience'da yayınlanan yeni bir makalede, DeepMind nörobilim bilgisini makine öğrenimindeki matematiksel teorilere uyguluyor, böylece öğrenme ve hafızanın doğasına yeni bakış açıları getiriyor.
Özellikle, DeepMind beynin bir bölgesi olan hipokampusun bu soruna benzersiz bir çözüm sağladığına inanıyor. Hipokampus, gelecekteki olayları yüksek oranda özetlemek için DeepMind tarafından "tahmini haritalar" adı verilen bir mekanizma kullanır.
Geleneksel görüş, hipokampusun, özellikle labirent servisleri gibi mekansal görevlerde yalnızca hayvanların mevcut durumunu yansıttığı yönündedir. Bu görüş, kemirgenlerin hipokampüsünde "konum hücreleri" bulunduğu için çok fazla destek kazanmıştır: bu hücreler, hayvan belirli bir konumdayken etkinleştirilecektir.
(Qubit notu: 2014 Nobel Fizyoloji veya Tıp Ödülü, Birleşik Devletler ve Britanya'da çifte vatandaşlığa sahip bir nörobiyolog olan John O'Keefe'ye ve pozisyonları nedeniyle bir çift Norveçli nörobiyolog May-Britt Moser ve Edvard Moser'e verildi. Hücreler ve ızgara hücreleri üzerinde nörofizyolojik çalışma. Araştırmaları, beynin hipokampüsünde ve entorhinal korteksinde yer alan, uzamsal konumlara özgü bazı özel nöronlar keşfetti. Bu nöronlar, insanları yapan sofistike bir konumlandırma sistemi oluşturur. Uzayda nerede olduğunuzu tanıyabilir ve insanların gezinmesine yardımcı olabilir.)
Bu teori birçok nörofizyolojik bulguyu açıklayabilse de, hipokampusun neden hafıza, ilişkisel akıl yürütme ve karar verme gibi diğer işlevlerle de rol oynadığını tam olarak açıklayamaz.
DeepMind'in yeni teorisi, düşünerek gezinmenin gelecekteki maksimum getiriyi hesaplama sürecinde daha yaygın bir sorun olduğuna inanıyor. DeepMind'ın sonuçları, yapay zeka araştırmasının bir alt disiplini olan pekiştirmeli öğrenmeden geliyor. Bu öğrenme yöntemi, sürekli bir deneme yanılma sistemine odaklanır.
DeepMind'in temel fikri, gelecekteki getirileri tahmin etmek için, yapay zeka temsilcisinin (aracı) önce her durumda kaç anlık geri dönüş beklendiğini tahmin etmesi ve ardından bu getirileri gelecekte meydana gelen her durumun olasılığına göre değerlendirmesidir. Temsilci, olası tüm durumlarda ağırlıklı getirileri özetleyerek gelecekteki getirilerin bir tahminini alabilir.
Benzer şekilde, DeepMind hipokampusun tüm durumları, yani hipokampus tarafından tahmin edilen gelecekteki tüm durumları temsil ettiğine inanır.
Örneğin, işten ayrılmak üzereyseniz (yani, şu anki durumunuz), hipokampus bu tahmini yapacak: yakında ayrılacak, çocuklarınızı almak için okula gidecek ve sonunda daha uzaktaki bir eve döneceksiniz.
Her mevcut durum ile beklenen sonraki durum arasındaki ilişkiyi değerlendirerek, hipokampus gelecekteki olayların üst düzey bir özetini yapabilir. Bu davranışın bilimsel adı "takip performansı" dır. DeepMind, bu özel tahmine dayalı harita biçiminin, beynin, geleceğin son derece pahalı bir simülasyonunu gerçekleştirmek zorunda kalmadan, sürekli değişen geri dönüş ortamında çevreye hızla adapte olmasına izin verdiğine inanıyor.
Bu fikir, iki algoritmanın avantajlarını birleştirir. Bu iki algoritma, pekiştirmeli öğrenme araştırmalarında iyi biliniyor ve aynı zamanda insanların ve kemirgenlerin beyinlerinde var olduğuna inanılıyor. "Model tabanlı" algoritmalar çevresel modelleri öğrenebilir ve daha sonra gelecekteki getirileri tahmin etmek için simülasyonları kullanabilir. "Modelden bağımsız" algoritma, gelecekteki getirilerin tahminlerini doğrudan çevresel deneyimlerden türetir. Model tabanlı algoritmalar çok esnektir, ancak çok fazla hesaplama yükü vardır. Modelden bağımsız algoritmanın daha az hesaplama ek yükü vardır, ancak çok esnek değildir.
DeepMind teorisindeki algoritma, model tabanlı algoritmaların esnekliğini modelden bağımsız algoritmaların hesaplama verimliliğiyle birleştirir. Hesaplama süreci basit ağırlıklı bir toplam olduğundan, hesaplama süreci modelden bağımsız bir algoritmaya benzer şekilde çok verimlidir. Aynı zamanda, getiri beklentileri ile durum beklentilerini (yani tahmin haritaları) ayırt ederek, algoritma, geri dönüşlerdeki değişikliklere hızlı bir şekilde uyum sağlamak için durum beklentilerini korurken geri dönüş beklentilerini yenileyebilir.
DeepMind, gelecekteki çalışmalarda bu teoriyi daha fazla test etmeyi planlıyor. Tahmine dayalı harita teorisi çeşitli sinir ağı mimarilerine dönüştürülebildiğinden, DeepMind bu öğrenme stratejisinin esnek ve hızlı planlamayı nasıl destekleyebileceğini keşfetmeyi umuyor.
Daha genel bir anlamda, gelecekteki önemli bir görev, beynin farklı öğrenme türlerini nasıl bütünleştirdiğini incelemektir. DeepMind beyindeki modele dayalı ve modelden bağımsız öğrenme yöntemlerinin yerini almak için bu modeli kullansa da, öğrenme ve planlama sürecinde beynin aynı anda birden çok öğrenme türünü başlattığı gerçeğine daha yakın.
Bu öğrenme algoritmalarının birlikte nasıl çalıştığını anlamak, insan ve hayvan beyinlerini anlamada önemli bir adımdır ve ayrıca DeepMind'a karmaşık ve çok yönlü yapay zeka tasarlama konusunda rehberlik edecektir.
Sadece beyni anlayarak daha güçlü yapay zeka geliştirebiliriz
AlphaGo'yu yaratmasıyla tüm dünyada tanınan DeepMind, yapay zekanın bir sonraki seviyeye nasıl ulaşabileceğini düşünüyor.
DeepMind kurucusu Hassabis'e göre cevap insanda veya insan vücudunda yatıyor. Yapay zekanın nörobilim ile yeniden bağlantı kurması gerektiğine her zaman inanmıştır. Yapay zekayı ancak doğal zeka hakkında daha fazla şey öğrenerek gerçekten anlayabilir (ve geliştirebilir).
Aşağıdaki paragraf, Hassabis ile Temmuz ayında yapılan bir röportajdan alınmıştır.
Soru: Geçmişte DeepMind'ın en büyük hedeflerinden birinin yapay zeka geliştirmek, daha fazla bilimsel keşifleri teşvik etmek ve onu insan yaratıcılığını geliştirmek için bir araç haline getirmek olduğunu tartışmıştınız. Sinirbilim bu hedefe ulaşmanıza nasıl yardımcı olabilir?
Hassabis: Aslında iki yol var. Bunlardan biri, sinirbilimi algoritmalar ve mimari fikirler için ilham kaynağı olarak kullanmaktır. Genel zeka geliştirmenin fizibilitesi ile ilgili olarak, insan beyni var olan tek kanıttır. Bu nedenle, bu yeteneklerin nasıl oluştuğunu anlamak ve denemek için çaba sarf etmek gerektiğine inanıyoruz. O zaman bunu makine öğrenimine ve yapay zekaya aktarmanın bazı yolları olup olmadığını görebiliriz.
Doktora düzeyinde nörobilim çalışmamın nedeni de budur: Beynin hafızasına ve hayal gücüne dikkat ediyorum, beynin hangi alanlarının dahil olduğunu ve hangi mekanizmaların var olduğunu anlıyorum ve sonra bu bilgiyi yapay zeka sisteminde nasıl uygulayacağımızı düşünmemize yardımcı olmak için kullanıyorum. Aynı işlev.
Anlamaya çalıştığımız bir diğer husus da, doğal zeka ve insan zekasını da içeren zekanın ne olduğu. Bu yüzden ters yardım olabileceğini düşünüyorum. İlginç görevleri yerine getirebilen yapay zeka algoritmalarını kullanarak beynin kendisinin nasıl görülmesi gerektiğini anlayabiliriz. Beyinde neler olduğunu anlamak için bu yapay zeka sistemlerini model olarak kullanabiliriz.
Soru: Yapay zekayı geliştirmek için beynin hayal gücünün ve geleceği tahmin etme yeteneğinin temel işlevler olduğunu söylediniz. Yapay zekanın bu yeteneklere nasıl sahip olabileceğine dair bir örnek verebilir misiniz?
Hassabis: Bu gelişmiş fikirler hala çok temel bir aşamadadır. Önce hafıza, sonra hayal gücü vardır. Beyinde farklı depolama sistemleri var. Örneğin, kısa süreli çalışma belleği, telefon numaraları gibi kısa bilgileri hatırlamak için kullanılabilir. Ayrıca uzun süreli bir hafıza olan sahne hafızası vardır ve uyurken bile ondan öğrenebilirsiniz.
Bu sadece bir fikirdir Farklı bellek depolama sistemleri yapay zeka için çok değerlidir. Geleneksel sinir ağının fazla hafızası yoktur ve sadece ana odaklanır. Bu durumu değiştirmek için, insanlık Sinirsel Turing Makinesini icat etti ve sinir ağının geniş bir genişletilmiş hafızaya bağlanmasına ve kullanmasına izin verdi. Bu, sinirbilimden esinlenen bir fikir.
Öyleyse bunun insanlar ve bazı hayvanlar için dünyanın üretken bir modeli olduğunu hayal edelim Bu model, gerçek dünyadaki eylemlerden önce ne olacağını ve olası sonuçlarını değerlendirmek ve planlamak için kullanılır.
Hayal gücü çok güçlü bir planlama aracıdır. Bir dünya modeli oluşturmanız ve ardından bu modeli tahmin etmek ve zamanda ilerlemek için kullanmanız gerekir. Bu nedenle, hayal gücünün bileşimini parçalara ayırmaya başladığımızda, hayal gücünü inşa etmek için gerekli işlevler hakkında bazı ipuçları elde edebiliriz.
Kağıt indirme
DeepMindın "Natural Neuroscience" da yayınlanan son makalesi geçen yıl Aralık ayında gönderildi, bu yıl 29 Ağustos'ta kabul edildi ve 2 Ekim'de resmi olarak çevrimiçi yayınlandı.
Özet
Hipokampusun ana işlevi her zaman "bilişsel harita" olarak görülmüştür, yani konum hücreleri uzamsal geometrik gösterimleri kodlar. Bununla birlikte, konum hücresindeki öngörücü kodlama, ödül duyarlılığı ve politika bağımlılığı, boşluktan daha fazlası olduğunu gösterir.
Bu konuya pekiştirmeli öğrenme perspektifinden bakıyoruz: Ne tür bir mekansal temsil gelecekteki ödülleri maksimize edebilir? Cevabı vermek için tahmine dayalı temsil kullanıyoruz. Bu temsil, geleneksel bilişsel haritanın dışında kalan birçok konumdaki hücresel tepkileri yakalar. Dahası, entorhinal grid hücrelerinin, öngörüde paraziti bastırmak ve hiyerarşik planlamanın çok ölçekli yapısını çıkarmak için kullanılan tahmin gösterimleri için düşük Wikisetler ile kodlandığına inanıyoruz.
"Natural Neuroscience" aboneleri, makaleyi görüntülemek için aşağıdaki URL'ye gidebilir:
Ek olarak, QbitAI WeChat resmi hesabı (QbitAI) diyalog arayüzünde, " Hipokamp "Üç kelime. Bu makaleyi indirebilir ve görüntüleyebilirsiniz.
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
