DeepMind'ın kara kutunun şifresini çözmesi için ilk adım: Orijinal sinir ağının bilişsel prensibi, insanlarınkiyle aynıdır!
Lei Feng.com AI teknolojisi yorumu: AlphaGo ile ünlü bir yapay zeka şirketi olan DeepMind, kısa süre önce sinir ağlarının yorumlayıcı sorunları üzerine en son keşiflerini tanıtan bir makale yayınladı. Makale ICML tarafından kabul edildikten sonra, DeepMind araştırmacıları daha fazla insanın yöntemlerini ve etkilerini anlamasına izin vermek için popüler bir giriş makalesi yazdı.
Aşağıda, DeepMind'in Leifeng AI Technology Review tarafından yazılan tanıtım makalesinin çevirisi yer almaktadır.
İnsanlar derin sinir ağlarına, görüntülerdeki nesneleri tanımak ve bunlarla ilgili akıl yürütmekten, Atari oyunları ve Go'da insanların ötesinde bir seviyede oynamaya kadar birçok harika şey yapmayı öğrettiler. Sinir ağlarının yapısı ve görevleri gittikçe daha karmaşık hale geldikçe, sinir ağları tarafından öğrenilen problem çözme yöntemleri insanların anlaması gittikçe zorlaşıyor.
İnsanlar bu soruna "kara kutu" diyorlar. Sinir ağları, gerçek dünyadaki sorunların çözümüne gittikçe daha fazla dahil olmaya başladıkça, bu kara kutu sorununu çözmek giderek daha önemli hale geldi.
Bu sinir ağı sistemlerini anlayabilmek ve açıklayabilmek için, DeepMind araştırmacıları yeni araçlar ve yöntemler araştırıyorlar. Son zamanlarda ICML, derin sinir ağlarını anlamak için bilişsel psikolojiden yeni bir yöntem önerdikleri DeepMind'den bir makale içeriyordu. Bilişsel psikoloji, davranışın ölçülmesi yoluyla bilişsel süreçlerin mekanizmasına etki eder.Bu mekanizmaları ayrıntılı olarak açıklayan ve mekanizmayı doğrulamak için birçok deneysel yöntemi tanıtan birçok bilişsel psikoloji makalesi vardır. En son sinir ağları belirli görevler için insan seviyesine ulaştıkça, bilişsel psikoloji yöntemleri kara kutu problemlerini çözmede çok yardımcı olabilir.
DeepMind, görüşlerini göstermek için makalede belirli bir vakayı inceledi ve karşılaştırmak ve derin sinir ağlarının görüntü sınıflandırma görevlerini nasıl çözdüğünü anlamaya yardımcı olmak için insanların bilişsel sürecini açıklığa kavuşturmak için bir deney tasarladılar.
Sonuç olarak bilişsel bilim adamlarının insanlarda gözlemlediği davranışlar da bu derin sinir ağlarında gözlemlenebilir. Dahası, insanlar sinir ağlarının bu sonuçlardan görüntü sınıflandırma görevlerini nasıl çözdüğüne dair içgörü kazanabilirler.Bu anlayışlar sadece çok yararlı değil, aynı zamanda şaşırtıcıdır. Genel olarak, bu vaka çalışmasının başarısı, derin öğrenme sistemlerini anlamak için bilişsel psikolojiyi kullanma potansiyelini göstermektedir.
Tek seferlik kelime öğrenme modellerinde şekil tercihlerini ölçme
DeepMind vaka çalışmasında şu soru üzerine kafa yordular: İnsan çocukları nesneleri nasıl tanır ve sınıflandırır? Bu soru, gelişimsel bilişsel psikolojide de kapsamlı bir şekilde incelenmiştir. Çocuklar, bir kelimenin anlamını tek bir örnekten tahmin etme yeteneğine sahiptirler. İnsanlar buna "bir kerelik kelime öğrenme" diyorlar. Bu yeteneği elde etmek çok kolaydır ve insanlar genellikle bu sürecin çok basit olduğunu düşünürler. Ancak filozof Willard Van Orman Quine, bu sürecin ne kadar karmaşık olduğunu gösteren klasik bir düşünce deneyi önerdi:
Bir alan dilbilimci başka bir kültürü deneyimlemeye gitti Bu kültürde kullanılan dil, daha önce kullandığı dilden tamamen farklıydı. Dilbilimcinin, ona bazı kelimeleri öğretmesine yardımcı olmak isteyen yerel insanlardan istemesi gerekir. Bir tavşan geçtiğinde, yerel halk "gavagai" der ve dilbilimci, yerlilerin ne demek istediğini tahmin etmek zorundadır. Dilbilimciler için kelime, tavşanlar, hayvanlar, beyaz şeyler, özellikle tavşan ve hatta tavşanın tek bir parçası olabilecek pek çok içerik türünü ifade edebilir. Aslında kelime sonsuz sayıda imgeyi ifade edebilir, insanlar aralarından doğru olanı nasıl seçer?
Elli yıl sonra, tek seferlik kelime öğrenimi yapabilen derin bir sinir ağıyla karşı karşıya kaldığında, aynı problem insanların önünde yeniden ortaya çıktı. DeepMind tarafından geliştirilen "eşleştirme ağı" örneğini ele alalım Bu model, dikkat modelleri ve bellek modellerindeki son gelişmeleri kullanarak, tek bir sınıflandırma örneğine göre sınıflandırılabilen ImageNet görüntülerinin en üst seviyesine ulaşır. Ancak ağın görüntüleri sınıflandırırken hangi varsayımları benimsediğini bilmiyoruz.
Bu sorunu derinlemesine incelemek için, DeepMind araştırmacıları gelişim psikolojisindeki bazı araştırmalara başvururlar. Bu psikologlar, çocukların tümevarımsal tercihleri olduğuna dair kanıtlar buldular. Bu tercih, birçok yanlış referansı ortadan kaldırarak doğru referansı bulmalarına olanak tanır. Bu tür tercihler şunları içerir:
-
Tüm nesne tercihi , Çocuk, bir kelimenin bileşenlerinden çok nesnenin tamamına atıfta bulunduğunu varsayacaktır (Quinein tavşanın tek bir kısmına atıfta bulunma konusundaki endişelerini ortadan kaldırır)
-
Sınıflandırma tercihi , Çocuk, bir kelimenin, bir nesnenin ait olduğu temel sınıflandırmaya atıfta bulunduğunu varsayacaktır (Quinein "tavşan" yerine "tüm hayvanlar" ın temel anlamından bahsetme endişesini ortadan kaldırır)
-
Şekil tercihi , Çocuk, bir ismin anlamının renk veya doku yerine nesnenin şekli tarafından belirlendiğini varsayacaktır (Quinein belirli nesne "tavşan" yerine tüm beyaz şeylere atıfta bulunma endişesini ortadan kaldırır)
DeepMind'daki araştırmacılar, sinir ağlarının şekil tercihini ölçtüler, bunun nedeni, özellikle insan şekli tercihi üzerine çok sayıda çalışma olmasıdır.
DeepMind araştırmacıları tarafından kullanılan klasik şekil tercihi deneyi şu şekilde gerçekleştirilir: üç nesnenin derin sinir ağı fotoğraflarını, bir test nesnesini, bir şekil eşleştirme nesnesini (test nesnesiyle aynı şekil) ve bir renk eşleştirme nesnesini ( Test nesnesiyle aynı renk ve farklı şekil). Daha sonra şekil tercihi, test nesnesi ile şekil eşleştirme nesnesinin ağ tarafından aynı kategoride sınıflandırılması olarak tanımlanır ve ardından ölçüm gerçekleştirilir.
Deneyde kullanılan görüntü, Indiana Üniversitesi Bilişsel Gelişim Laboratuvarının insan deneyinde kullanılan görüntüdür.
DeepMind ekibi, derin sinir ağlarıyla (eşleşen ağ ve karşılaştırmalı bir Başlangıç modeli) deneyler yaptı ve ağlarının nesne şekli tercihinin, tıpkı insanlar gibi renk veya malzeme tercihinden çok daha güçlü olduğunu buldu. Başka bir deyişle, "şekil tercihleri" vardır.
Bu sonuç, hem eşleşen ağın hem de Başlangıç sınıflandırıcısının yanlış varsayımları ortadan kaldırmak için şekiller için endüktif tercihler kullandığını ve bu ağların tek seferlik kelime öğrenimini nasıl çözdüğünü araştırmacılara açık bir şekilde verdiğini göstermektedir.
DeepMind ekibi şekil önyargısına ek olarak bazı ilginç şeyler de buldu:
-
Ağın erken eğitiminde şekil tercihinin yavaş yavaş ortaya çıktığını buldular. Bu, insan şekli tercihlerinin ortaya çıkışını anımsatıyor: psikologlar, daha küçük çocukların daha büyük çocuklardan daha zayıf şekil tercihlerine sahip olduklarını ve yetişkinlerin en güçlü şekil tercihlerine sahip olduklarını keşfettiler.
-
Başlatma ve eğitim için farklı rastgele tohumlar seçmenin farklı ağ tercihi düzeylerine yol açacağını buldular. Bu, derin öğrenme sistemlerini araştırırken ve sonuçlar çıkarırken, araştırmanın örneklem büyüklüğünün büyük olması gerektiğini göstermektedir, tıpkı psikologların zaten tek bir nesneyi inceleyerek sonuçlara varamayacaklarını bildikleri gibi.
-
Çeşitli ağların şekil tercihleri oldukça farklı olsa da, tek seferlik kelime öğrenme performanslarının aynı olduğunu keşfettiler, bu da farklı ağların karmaşık problemleri çözmek için eşit derecede etkili birçok yöntem bulabileceğini gösteriyor.
Bu tercih, standart sinir ağı mimarisinde mevcuttur, ancak bunu daha önce kimse fark etmemiştir. Bu kez bu tercihin keşfi, sinir ağı problem çözme çözümlerini açıklamak için insanlar tarafından yaratılan bilişsel psikolojiyi kullanma potansiyelini gösteriyor. Psikolojinin diğer alanlarındaki araştırmalar da yardımcı olabilir. Epizodik bellek literatüründeki bakış açıları, epizodik belleğin yapısını anlamaya yardımcı olabilir ve semantik bilişsel literatürdeki yöntemler, yeni kavram oluşum modellerini anlamaya yardımcı olabilir. Bu alanda, "kara kutu" problemini çözmeye yardımcı olmak için insanlara güçlü yeni araçlar getirmesi ve aynı zamanda insanların sinir ağlarının çeşitli davranışlarını daha iyi anlamasına olanak tanıyan zengin bir literatür var.
Kağıt adresi: https://arxiv.org/abs/1706.08606
DeepMind Blog aracılığıyla, Lei Feng.com AI Technology Review Compilation
