Zhou Zhihuanın grubunun son makalesi, Maya karakterlerinden esinlenen bir sinirsel mantık makinesi olan "kaçırıcı öğrenme" yi öneriyor
Xin Zhiyuan Rehberi Nanjing Üniversitesi'nden Profesör Zhou Zhihua ve diğerleri, sinir ağının algısal yeteneğini sembolik yapay zekanın muhakeme yeteneği ile birleştiren ve aynı zamanda alt-sembol verilerini işleyebilen son bir makalede "kaçırıcı öğrenme" kavramını ortaya koydu ( Ham pikseller gibi) ve sembol bilgisi. Deneyde, kaçırma öğrenme çerçevesine dayanan sinirsel mantık makinesi NLM, sınıflandırma modelini görüntü etiketleri olmadan öğrendi ve yeteneği, mevcut son teknoloji sinir ağı modelini çok aşıyor. Yazarlar, bildikleri kadarıyla, kaçırıcı öğrenmenin eş zamanlı akıl yürütme ve algılama için özel olarak tasarlanmış ilk çerçeve olduğunu ve insan seviyesindeki öğrenme yeteneklerine yakın olan yapay zekayı keşfetmek için yeni bir yön açtığını belirtti.
Farz edin ki futbol oynuyorsunuz ve top geliyor ve topu takım arkadaşlarınıza pas veriyorsunuz topu pas verme eylemi aslında iki farklı düşünme sürecini içeriyor.
Her şeyden önce, ayağınızın altında tanımaya (algıya) eşdeğer bir top olduğunu bilmelisiniz; ikincisi, hangi takım arkadaşınızın topu atacağına karar vermelisiniz. Bu çıkarımın sonucudur - A'ya geçer ama B'ye geçmez çünkü A'da kimse yoktur. Defansif olarak ve B'ye iki kişi bakıyor.
İnsan beyninde, iki düşünme süreci algılama ve akıl yürütme sorunsuz bir şekilde bağlantılıdır ve hatta aynı anda tamamlanabilir. Ancak günümüzün yapay zeka sistemleri hala bunu yapamıyor. Mevcut makine öğrenimi sistemlerinde, algılama ve muhakeme genellikle uyumsuzdur.
Bu problemi çözmek için, Nanjing Üniversitesi'nden Dai Wangzhou, Xu Qiuling, Yu Yang ve Zhou Zhihua "Tünel Açan Sinirsel Algılama ve Kaçırıcı Öğrenme Yoluyla Mantık Akıl Yürütme" başlıklı makalesinde, kaçırıcı öğrenme kavramı önerildi.
Kaçırıcı öğrenme (kaçırıcı öğrenme), sinir ağlarının algısal yeteneklerini ve sembolik AI'nın akıl yürütme yeteneğini birleştirerek insanlar gibi tümevarımlı akıl yürütme yapabilir. Kaçırma öğrenmeye dayalı olarak önerilen Nöral-Mantıksal Makine (NLM), alt sembol verilerini (ham pikseller gibi) ve sembol bilgisini aynı anda işleyebilir. Deneyde, NLM yalnızca orijinal piksellerden semboller arasındaki mantıksal ilişkiyi öğreniyor ve yeteneği, mevcut en gelişmiş sinir ağı modelini, yani iki yönlü LSTM ve DeepMind'ın Diferansiyel Sinir Bilgisayarı'nı (DNC) çok aşıyor.
Yazarlar, bildikleri kadarıyla, kaçırıcı öğrenmenin eş zamanlı akıl yürütme ve algılama için özel olarak tasarlanmış ilk çerçeve olduğunu ve insan seviyesindeki öğrenme yeteneklerine yakın olan yapay zekayı keşfetmek için yeni bir yön açtığını belirtti.
Bu araştırmanın ilham kaynağı, Maya karakterlerinin arkeologlar tarafından deşifre edilmesi sürecinden geldi.
Araştırma, Maya metninin şifresini çözen arkeologlardan ilham aldı: Görsel algı + matematiksel akıl yürütme birbirini nasıl etkiler?
Maya yazılarının sayı sistemi ve takvimi, 19. yüzyılın sonunda başarıyla çözülene kadar, Maya yazımı modern insanlar için tam bir gizemdi. Tarihçiler tarafından tanımlandığı gibi, Maya sayılarının tanınması matematiksel yasaları gösteren resimlerden gelir. Maya'nın sayı sistemi, şu anda yaygın olarak kullanılan ondalık sistemden tamamen farklı olan ondalık sistemde olduğu için bu sistemi deşifre etmek çok zordur. Maya sayılarının başarılı bir şekilde yorumlanması, iki önemli insan yeteneğini yansıtır: 1) bir görüntüdeki bireysel kelimeleri görsel olarak algılama; 2) Algılama sürecinde matematiksel arka plan bilgisine dayalı olarak çıkarımda bulunma. Bu iki yetenek aynı anda hareket eder ve birbirini etkiler. Ek olarak, bu iki yetenek genellikle insanlar tarafından bilinçaltında birbirine bağlanır ve bu, gerçek dünyadaki birçok öğrenme probleminin anahtarıdır.
Modern yapay zeka (AI) sistemleri bu iki özelliğe sahiptir, ancak izole edilmiştir. Derin sinir ağları yüzleri, nesneleri ve konuşmayı tanımada inanılmaz bir performans elde etti; mantık tabanlı AI sistemleri, matematiksel teoremleri ve ilişkisel akıl yürütmeyi kanıtlamada insan seviyelerine ulaştı. Bununla birlikte, tanıma sistemlerinin karmaşık alan bilgisini sembolik biçimlerde kullanması zordur ve algısal bilginin muhakeme sistemlerine dahil edilmesi zordur ve muhakeme sistemleri genellikle insan girdisini veya denetimini içeren anlamsal bilgi gerektirir.
En son sinir ağı modeli hafızayı geliştirme, ilişkilere odaklanma ve farklılaştırılabilir bilgi temsili yeteneğine sahip olsa bile, tam mantıksal akıl yürütme yeteneği hala eksiktir. Algı ve muhakemeyi birleştirmek için anahtar şu soruya cevap vermektir: Bir sistemde algılama ve muhakeme birbirini nasıl etkilemelidir?
Maya hiyerogliflerinin deşifre örnekleri
Şekil 1: Maya hiyerogliflerinin şifresini çözme şeması
Cevabı bulmak için Charles P. Bowditch'in tanrıların kafalarına oyulmuş Maya sayılarını deşifre etme sürecine geri dönelim. Şekil 1 bu süreci göstermektedir. Şekil 1 (A), Palenque'de bulunan üç tabletin bir bölümünü göstermektedir. İlk parça (sütunlar I-II) Maya zaman birimlerini belirtmek için standart hiyeroglifler kullanır, örneğin, II5'teki "Tun" ("360 gün" anlamına gelir) ve üç yazıtın ikinci satırında bu sembol bulunur. Dördüncü ve altıncı sütunlar, bu sembolleri tamamen farklı şekillerde çizer, ancak Bowditch, konumlarına bağlı olarak, ikinci sütunla aynı anlama sahip olduklarını tahmin eder. Ek olarak, Maya sayı sistemi onaltılık olmasına rağmen, "Tun" birimi önceki "Winal" biriminin (tüm çift sütunların 6. satırı) yalnızca 18 katıdır, bu da şifre çözmeyi daha zor hale getirir.
Bowditch, bu yazıtlar arasındaki ilişkinin tutarlılığını hesaplayarak ve değerlendirerek bunu doğruladı. Sonra III. Sütundaki sayıları yorumlamaya başladı. Şekil 1 (B) 'de gösterildiği gibi, Piktografik sembolleri farklı sayılara eşleyerek ve ardından bu sayıların matematiksel kurallara göre tutarlı olup olmadığını kontrol ederek , Bowditch sonunda bu sayıları çözdü ve doğruluğunu kanıtladı.
Bu problem çözme sürecine Charles S. Peirce tarafından "kaçırılma" adı verildi ve Herbert A. Simon buna " Yeniden üretim " . Arka plan bilgisine dayalı fenomen ve gözlemleri açıklamak için belirli gerçekleri ve varsayımları seçici olarak çıkarma sürecini ifade eder. Boditch'in Maya sayılarını deşifre etme sürecinde, arka plan bilgisi, aritmetik ve Maya takvimi hakkında bazı temel gerçekleri içerir; hipotezler, piktografik sembolleri anlamlı sembollerle eşleştiren bir tanıma modelini ve Maya takvim sisteminin daha kapsamlı bir görünümünü içerir. anlayış. Son olarak, hipotezin geçerliliğini sağlamak için deneme yanılma ve tutarlılık kontrolleri yoluyla.
Kaçıran Öğrenme: Eşzamanlı akıl yürütme ve algılama için tasarlanmış ilk çerçeve
İnsan kaçırma problemini çözme sürecinden esinlenen yazar, " Kaçıran Öğrenme "Makine öğreniminde algılama ve akıl yürütmenin birleşimini sağlayan çerçeve.
Genel anlamda makine öğrenimi, geniş bir hipotez alanında yapılan bir araştırmadır. Optimal model süreci. Kısıtlamalar, arama alanını daraltmak için kullanılır. Çoğu makine öğrenimi algoritması, matematiksel formüllerle açıkça ifade edilen kısıtlamaları kullanır. Bununla birlikte, Maya dilinin kodunu çözerken diğer alanlardaki bilgileri kullanmak gibi, gerçek dünyadaki görevlerdeki birçok karmaşık kısıtlama sembolik kurallar biçiminde ifade edilir. Dahası, bu sembolik bilgi eksik veya hatta yanlış olabilir. Abductive Learning kullanır Mantıksal kaçırma Kusursuz sembolik akıl yürütmeyle başa çıkmak için. Alan bilgisi birinci dereceden mantıksal bir kural olarak yazılırsa, Kaçırıcı Öğrenme, gözlenen gerçeklerin olası açıklamaları olarak çeşitli hipotezleri kaçırabilir, tıpkı Bowditch'in aritmetiğine dayanarak "dene" adımındaki gibi Ve bu bilinmeyen hiyeroglifleri tahmin etmek için Maya dili bilgisi.
Birinci dereceden mantık kurallarıyla yazılan alan bilgisini kullanmak için, geleneksel mantık tabanlı AI, giriş mantıksal temeline dayalı mantıksal çıkarımlar gerçekleştirmek için kuralları kullanır ve bunun sonucu, alandaki nesneler arasındaki ilişkilerin mantıksal gerçekleridir. Aslında bu, nesnelerin ve ilişkilerin mutlak varlığını dolaylı olarak varsayar. Bununla birlikte, Stuart Russell'ın da belirttiği gibi, "gerçek nesneler nadiren benzersiz tanımlayıcılar taşır ve varoluşlarını bir oyun senaryosu gibi önceden duyurmazlar." Bu nedenle, kaçırma öğrenimi, verilerden sembolleri otomatik olarak çıkarmak için sinirsel algıyı kullanır; daha sonra, sinirsel algının genelleştirilmiş sonuçlarına mantıksal kaçırma uygulanır.
Kaçırılma öğreniminin anahtarı, mantıksal kaçırma ve sinirsel algının aynı anda nasıl eğitilebileceğini keşfetmektir. Türevlenebilir bir sinirsel algılama modülü, türevlenemez mantıksal bir kaçırma modülüne bağlandığında, öğrenme sisteminin optimizasyonu çok zor hale gelir: çünkü geleneksel gradyan tabanlı yöntem uygulanamaz. Bowditch'in Maya karakterlerini çözmesine benzer şekilde, kaçırma öğrenimi Sezgisel Deneme ve Hata Arama Yöntemi (Sezgisel deneme yanılma arama yaklaşımı) bu iki işlevi birleştirmek için.
Ayrık bir akıl yürütme sistemi olarak mantıksal kaçırma, bir dizi sembolik girdiyi kolayca idare edebilir. Algılama modülünün sinirsel katmanı, sembol hipotezlerini birbiriyle tutarlı hale getiren semboller üretmelidir. Varsayımlar tutarsız olduğunda, mantık kaçırma modülü sinir algılama modülünden yanlış çıktı bulur ve düzeltir. Bu süreç, Şekil 1 (B) 'de Bowditch tarafından izlenen deneme yanılma sürecidir. Düzeltme işlevi, sinirsel algılama modülünü eğitmek için bir denetim sinyali olarak kullanılır.
Kaçırma öğreniminin etkinliğini doğrulamak için yazar, Nöral Mantıksal Makine (NLM) Bu kaçırma öğrenme çerçevesini göstermek için. Şekil 2, el yazısı denklemleri sınıflandırmak için bir NLM'nin mimarisini gösterir. El yazısı denklemlerin sınıflandırılması, makinenin bir dizi etiketli denklemden öğrenmesine izin vermek ve eğitilen modelin gelecekteki denklemleri doğru bir şekilde tahmin etmesini sağlamaktır. Bu görev, Maya hiyerogliflerini deşifre etmeye çok benzer: makine hiyerogliflerin anlamını veya hesaplama kurallarını önceden bilmiyor ve hem algıyı hem de mantığı kullanması gerekiyor.
Şekil 2: Neural Logic Machine (NLM) Mimarisi. (A) Duyusal sinir tabakası (evrişim tabakası gibi) algılama görevini tamamlar. (B) Algılama katmanının sonucu, sinirsel mantık kanalları, Prolog modülleri ve ilişkisel özelliklerden oluşan mantık katmanının girdisi olarak kullanılır. Prolog modülü, girdi tutarlılığını kontrol etmek ve ilişkisel özellikler oluşturmak için kullanılır; sinirsel mantık kanalı, algısal çıktıyı hipotezle tutarlılığa göre düzeltir; ilişkisel özellikler mantıksal sürecin sonucunu ortaya çıkarır. (C) Karar veren sinir katmanı, ilişki özelliklerini nihai çıktıya dönüştürür.
Sezgisel deneme yanılma araması (Sezgisel deneme yanılma araması) nöral mantık kanalında türev içermeyen optimizasyon kullanılarak gerçekleştirilir. Mantık katmanı, mantık kuralları ile algı sembolleri arasındaki tutarsızlığı bulabilmesine rağmen, yanlış sembollerin yerini bulamaz.
NLM'nin benimsenmesi Gradyan içermeyen optimizasyon yöntemi Sembolün nerede yanlış olduğunu tahmin etmek için. Her tahmin için, Prolog modülü, doğru sembolün belirtilen konumda göründüğünü belirlemek için abdüktif mantıksal programlama (ALP) çalıştırır ve mantıksal varsayımı daha tutarlı hale getirir. Her eğitim yinelemesi sırasında yalnızca mevcut eğitim verilerinin örneklerini sağlayarak NLM'yi daha da hızlandırıyoruz. Veri seti örneklerinden yalnızca yerel olarak tutarlı hipotezler elde edilebilir. Son olarak, NLM, yerel olarak tutarlı varsayımları ilişkisel özelliklere dönüştürmek için bir önerme tekniği kullanır.
İnsanların problem çözme sürecine bir analoji olarak NLM şu şekilde çalışır: eğitimden önce, birinci seviye mantık programına sağlanan alan bilgisi, Prolog modülü . Eğitim başladıktan sonra, eğitim veri örnekleri, nöral mantık kanalında önceden tanımlanmış aday ilkel semboller olarak yorumlanacaktır. Algısal sinir katmanı başlangıçta rastgele bir ağ olduğundan, yorumlanan semboller genellikle yanlıştır ve tutarsız varsayımlar oluşturur. Mantık katmanı, yorumlanan sembolleri değiştirmeye başlar ve eğitim verisi örnekleri arasında en tutarlı mantıksal hipotezi arar. Hipotez, mantıksal katmanda ilişkisel bir özellik olarak saklanır ve sembol düzeltmesi, sezgisel denetimli bir şekilde algısal sinir katmanını eğitmek için kullanılır.
Bu iki alt parçanın eğitimi tamamlandığında (örneğin, algısal katman yakınlaşır veya yineleme sınırına ulaştığında), NLM, kaçırma ilişkisi özelliğinin özellik vektörünü elde etmek için tüm eğitim örneklerini yeniden işler. Sonunda, Karar sinir tabakası Eğitim için tüm veri kümesindeki bu özellik vektörlerini kullanın. Karar verme sinir katmanının öğrenme süreci, kötü algı sinir katmanlarını, hipotezleri ve ilişki özelliklerini otomatik olarak filtreleyecektir. Ek olarak, sembolik kaçırmanın yüksek karmaşıklığı nedeniyle, NLM'yi eğitmek için müfredat öğrenme paradigmasını benimsiyoruz (yani, daha basit örneklerden öğrenmeye başlayın ve görevlerin öğrenilmesinin zorluğu kademeli olarak artar).
Nöral mantık makinesi: performansı çift yönlü LSTM ve DeepMind'ı çok aşan farklılaştırılabilir bir sinir bilgisayarı
Nöral mantık makinesi NLM'nin performansını doğrulamak için yazar iki deney gerçekleştirdi: El Yazısıyla Yazılmış Denklemlerin Deşifre Edilmesi ve Çapraz Görev Transferi.
El yazısı denklem tanıma görevinde giriş, el yazısı rakamları "0", "1", "+", "=" sembolleri ve benzer görünümlü "" ve "" sembollerini içeren bir resimdir, Sistemin, örnek piksellerden semboller arasındaki mantıksal ilişkiyi öğrenmesi ve ardından test setindeki denklemlerin doğru olup olmadığını belirlemesi gerekir. .
Şekil 3: A ve B örneklerdir.Sistemin, A ve B'den gelen semboller arasındaki ilişkiyi öğrenmesi gerekir; burada A, el yazısıyla yazılmış sayılar ve simgelerdir; B, doğru (P) veya değil (N) olduğunu belirten etiketli eğitim setidir. ). C test setidir ve test setinin etiketi yoktur.
Yazar, NLM'nin performansını mevcut son teknoloji ürünü çift yönlü LSTM (BiLSTM) ve farklılaştırılabilir nöral bilgisayar DNC ile karşılaştırıyor, çünkü son ikisi sekans giriş problemini çözebilir ve şu anda en yüksek kriterdir. Özellikle DNC, harici hafızadan dolayı sembolik hesaplamada güçlü potansiyel gösterir.
NLM performansının ikisinden önemli ölçüde daha iyi olduğu ve daha az eğitim örneği kullandığı ortaya çıktı. Sadece bu değil, test setinin formülü uzadığında, BiLSTM ve DNC'nin performansı hızla düşerken, NLM% 80'den fazla doğru bir oranı başarıyla koruyor. Yazara göre bu, insan seviyesine yakın bir öğrenme yeteneğini yansıtıyor.
Şekil 4: Şekil A, NLM'nin ve elle yazılmış formül tanıma üzerindeki diğer yöntemlerin sonucudur. Kırmızı, NLM'yi temsil eder Formülün uzunluğu arttıkça (5 karakterden 25'e), NLM'nin doğruluğu% 80'in üzerinde kalmıştır, ancak DNC (mavi) ve BiLSTM (gri) önemli ölçüde azalmıştır.
Yazar ayrıca NLM'de öğrenme arttıkça algısal doğruluğun arttığını da tespit etti (yukarıdaki Şekil B). Bu sonuç, mantıksal tutarlılığın bir denetim sinyali olarak hizmet edebileceğini göstermektedir.
Ek olarak, algılama yeteneği (görüntü tanıma performansı), sınıflandırma formülünde (C'nin üstünde) NLM'nin doğruluğunu artırabilir.
Çapraz Görev Transferi deneyi, NLM'nin bilgi transferindeki performansını doğrular. Ayrıntılar için kağıda bakın.
Sonuç
Bowditch'in Maya karakterlerini deşifre etme konusundaki tekrarlanan deneme yanılma deneylerinden esinlenen kaçırma öğrenimi, birinci dereceden mantığın ifade gücü sayesinde sembolik muhakemeyi temsil algısıyla birleştirir ve genel alan bilgisini doğrudan kullanabilir.
Yazar, kaçırma öğrenme çerçevesini geliştirmeye ve mükemmelleştirmeye devam edeceklerini, AI sisteminin arka plan bilgisini kendi başına öğrenmesine izin vereceklerini ve öğrenilen bilgilerin diğer görevlerde yeniden kullanılmasına izin vererek insan seviyesindeki öğrenme yeteneklerine daha da yaklaşacaklarını söyledi.
Kağıt adresi: https://arxiv.org/pdf/1802.01173.pdf
