DeepMind ekibi, beynin dağıtılmış ödül mekanizmasını ortaya çıkarmak için beyin bilimi alanına giriyor
DeepMind, Google'ın ana şirketi Alphabet tarafından satın alınmasından bu yana, etkileyici bir dizi teknolojik yenilik yayınladı. Bu sefer, DeepMind, insanları ve yapay zekayı daha yakından entegre etmeyi ve aynı zamanda doğrulamayı umarak beyin bilimi alanında bir etki başlattı. Dağıtılmış pekiştirmeli öğrenmenin potansiyeli.
Son zamanlarda, DeepMind ve Harvard Üniversitesi'nden araştırmacılar, dağıtılmış pekiştirmeli öğrenme algoritmalarını optimize etmek için pekiştirmeli öğrenme deneyimini kullandılar ve insan beynimizdeki ödül mekanizması hakkında yeni bir teori önerdiler: İnsan beyni, AI'ya benzer dağıtılmış bir ödül mekanizması kullanıyor.
Araştırmacılar, dopamin hücrelerinin beyin davranışı ve duyguları üzerindeki etkilerini incelemek ve açıklamak için bu algoritma teorisini kullanmayı umuyorlar. Bildirildiğine göre, Araştırma sonuçları dün dünyanın en yetkili akademik dergisi "Nature" da yayınlandı.
Makalenin yayınlanmasının ardından DeepMind kurucusu Demis Hassabis çok heyecanlandı ve tweetinde şunları söyledi:
"DeepMind her gün çok çalışacak ve kendini bu son derece yenilikçi bilimsel araştırmayı yaratmaya adamıştır!"
Bu aynı zamanda DeepMind'ın bu yıl en son araştırma makalelerini ilk kez yayınlamasıdır.Aynı gün Nature için bir ekip tarafından araştırılan iki makaleyi aynı gün içinde bir dergiye koyması alışılmadık bir öneme sahiptir.
Optimize edilmiş takviye öğrenme algoritması, dopamin ödülünün ve ceza mekanizmasının mükemmel bir şekilde gerçekleştirilmesi
Aslında, Takviye öğrenme bir tür dinamik programlamadır. Algoritmayı eğitmek için bir ödül ve ceza sistemi kullanır. Takviye öğrenme, beklenen faydaları en üst düzeye çıkarmak için çevreye dayalı olarak nasıl hareket edileceğini vurgular.Bu, sinirbilim ve yapay zeka alanındaki en eski ve en etkili çalışmalardan biridir.
1950'li yıllarda Harvard Üniversitesi'nde okuyan Marvin Minsky, ünlü fizyolog Ivan Pavlov'un hayvan davranışı alanındaki gözlem sonuçlarından ödünç alarak bir Akıllı bir makine ve sinir ağı modeli.
1980'lerin sonlarında, bilgisayar bilimcileri bu sinir ağı modelini, tek başına karmaşık davranışları nasıl gerçekleştireceklerini öğrenmek için bir eğitim sinyali olarak yalnızca ödül ve ceza geri bildirimine dayanan bir algoritma geliştirmek için kullandılar.
Aslında sonunda, takviye öğrenmenin merkezi noktası olduğu söylenebilecek bir Temporal Differences (TD) algoritması geliştirdiler.O sırada karşılaşılan makine algoritması problemlerine cevap verdi ve tahmin etti. Gelecekteki değer sistemi.
Aynı zamanda, TD algoritması geliştirildiğinde, başka bir sinirbilimci dalgası maymunlarda dopamin nöronlarının davranışını inceliyordu.
Peki dopamin nedir?
Dopaminin kimyasal formülü
Basitçe ifade etmek gerekirse, dopamin beyinde bir salgıdır. Merkezi sinir sisteminin çeşitli fizyolojik işlevlerini düzenleyen bir nörotransmiter olarak, dopamin nöronları orta beyinde toplanır ve sürekli salınımları beyne geri beslenerek insanlar için daha mutlu veya üzücü bir duruma neden olur.
Sinirbilimciler dopamini sadece maymun beyinlerini gözlemlemek için inceliyorlarsa, TD algoritması ile kombinasyon yeni bir gelişme olabilir.
Bazı bilim adamları dopamin etkisini kullanır, bunu ödül ve ceza mekanizmasına uygular ve bunu TD algoritması ile birleştirir. Ek olarak, derin sinir ağlarını daha güçlü ve yapay zekayı daha güçlü hale getirmek için, daha fazla araştırmacı dağıtılmış pekiştirmeli öğrenmeyi icat etti. Sonuçta, değişen algoritma mekanizması, AI'nın güçlü olup olmadığını belirleyen ana faktörlerden biridir.
Teknoloji sürekli değişiyor, AI sürekli güçleniyor, peki ya insanlar? Beynimizdeki dopamin ödül mekanizması nedir?
DeepMind ekibindeki araştırmacılar, dağıtılmış pekiştirmeli öğrenmeden ilham aldı, optimizasyonları benimsedi ve şaşırtıcı bir gerçeği keşfetti: İnsanlar AI ile aynı beyin mekanizmalarını kullanıyor.
Geçmişte çoğu insan, insan dopamin nöronlarının dokunduğu yanıtların AI ile aynı değil, kabaca aynı olduğuna inanıyordu.
Gazete, "Bir tür korodaki gibi, herkes tamamen aynı notaları söylüyor."
Ancak daha sonra DeepMind araştırmacıları, insanların içsel bilişlerinin yanlış olduğunu keşfettiler. Öğrenme ve motivasyon, iç ve dış ödüllerle yönlendirilir ve çevreden veya ruh halinden etkilenir. Aslında, her bir dopamin nöronu tarafından salınan sonuçlar olasılığa dayalı olarak dağıtılır, bazıları negatif ve bazıları olumludur.
Teorik olarak, DeepMind ve Harvard Üniversitesi laboratuvarlarından araştırmacılar, 11 fareyi değişken görev eğitimi vermeleri için eğitti ve onlara farklı boyutlar ve öngörülemeyen ödüller verdi. Son olarak, yukarıdaki sonuca götüren fare hücrelerinden "dağıtılmış pekiştirmeli öğrenme" kanıtı buldular.
Sonuçta, sıradan insanlar için, yukarıdaki ayrıntılar biraz belirsizdir ve yalnızca bir cümleyi hatırlamaları gerekir: Beynimiz, AI gibi dağıtılmış takviye öğrenme algoritmaları kullanır ve dopamin farklı formlarda düzenlenir. Başka bir deyişle, insan kahkahamız ve lanetimiz dört ifade değil, sayısız ifade ve durumdan oluşur.
Gelecekteki uygulamalar nerede?
Bunu görürseniz, birdenbire bu tür bir sonucun açıkça bildiğim bir sonuç olduğunu hissedeceksiniz ve bunu doğrulamaya yardımcı olacak sadece bir bilim adamı. Fakat aslında bu sonuç, yapay zeka teknolojisi ve robot etkileşiminin tüm alanına uygulanabilir.
Son yıllarda, AI teknolojisi hızla gelişti ve sesli etkileşim, Appleın Siri ve Xiaominin Xiaoai sınıf arkadaşları gibi insanların hayat senaryolarına girdi. Yavaş yavaş, arama yapma, müzik dinleme ve zil sesleri ayarlama konusundaki uygulamalı becerinizin yerini alıyor. Her şeye kadirdirler ve hatta "asistan" olarak adlandırılırlar.
Aslında, Pepper robotu bile "görevi" duygu olmadan tamamlıyor. Görev tabanlı yapay zeka, duyguları olmayan bir makinedir, dedi Assistant He Tan.
Ancak şimdi, DeepMind'in araştırma sonuçları makineyi duygusal hale getirme yönünü açabilir ve AI teknolojisinin insanlara daha iyi hizmet etmesini sağlayabilir.
Bu makalenin Nature'da yayınlanması gibi, aynı dergide başka bir DeepMind çalışması yayınlandı - Aralık 2018'de yayınlanan AlphaFold makine sistemini kullanarak, her bir amino asit çifti arasındaki mesafeyi tahmin edebilir ve Bağlı kimyasal bağlar arasındaki burulma açısı, dolayısıyla proteinin 3 boyutlu yapısını tahmin eder, bu sonuç önceki algoritma modellerinden daha doğrudur.
"Bir proteinin 3 boyutlu yapısı, proteinin ne yaptığını ve hücrede nasıl çalıştığını anlamaya yardımcı olmak için bilim insanlarının alabilecekleri en yararlı bilgi olabilir."
University College London'da (UCL) biyoinformatik grup başkanı David Jones, Bir proteinin yapısını belirlemeye yönelik deneysel teknoloji zaman alıcı ve pahalıdır, bu nedenle proteini kodlayan gen dizisinden bir proteinin yapısını doğrudan hesaplamak için daha iyi bilgisayar algoritmalarına acil ihtiyaç vardır. Ve DeepMind, moleküler biyolojide mutlak bir ilerleme olan bu uzun süredir devam eden soruna AI teknolojisini uygulamaya adamıştır. Bu, moleküler tıpta yeni bir keşiftir. "
DeepMind'ın yapay zeka teknolojisinin geliştirilmesinin ana destekçisi haline geldiğine şüphe yok.
DeepMind ekibi, Go oyununda ünlü olmak için AlphaGo'ya güvenmesine rağmen, şimdi DeepMind ekibi daha pratik ve daha kolay AI teknolojisi araştırmasına odaklanmayı umuyor.
Demis Hassabis'in bahsettiği gibi: (DeepMind, önemli istihbarat (araştırma sonuçları) yaratarak dünyanın en zor sorularının bazılarının yanıtlarını ortaya çıkarmaktır.
Belki de iki gazetenin gerçek anlamı budur. (Bu makale ilk olarak Titanium Media, yazar / Lin Zhijia, editör / Zhao Yuhang tarafından yayınlandı)
Kağıt adresi:
https://www.nature.com/articles/s41586-019-1924-6
https://www.nature.com/articles/s41586-019-1923-7
Referans kaynağı:
DeepMind resmi
https://www.newscientist.com/article/2230327-deepmind-found-an-ai-learning-technique-also-works-in-human-brains/
https://venturebeat.com/2020/01/15/deepmind-dopamine-protein-folding-ai/
