Li Hang: Yapay zeka-hafızanın, bilginin, dilin geleceği
Leifeng.com AI teknolojisi inceleme notu: Bu makalenin yazarı Li Hang, ilk olarak 2018'de "Communications of the China Computer Society" nin 3. sayısında yayınlandı. AI teknolojisi incelemesinin yeniden basılmasına izin verildi. Bu makalenin izinsiz kullanılması, örneğin yeniden basılması, çıkarılması, kopyalanması ve ayna görüntülerinin oluşturulması yasaktır. Yeniden yazdırmanız gerekirse, lütfen CCFvoice resmi hesabının sahne arkasından başvurun ve yetki alın.
Trajik bir hikayeden konuşmak
Deborah, içeriye bakarak yavaşça kapıyı itti. Clive, yüzünde sonsuz bir sevinçle içeri giren kişinin karısı olduğunu fark etti. Doğruca kapıya gitti, "Mükemmel" diye bağırdı ve Deborah'a kollarını açarak sıkıca sarıldı. Clive, Deborah'ı öptü ve "Buradasın, beni şaşırttı" dedi. Sonra ikisi, sanki uzun süredir ayrı düşmüşler gibi tekrar sarılmaya başladı. Oturduktan sonra, Deborah, Clive'e nazik gözlerle baktı ve "Aslında, bu sabah buradaydım" dedi. Clive başını salladı ve karşılık verdi, "İmkansız. Bugün seni ilk kez görüyorum." Bu sahne, Deborah ve Clive arasında her gün tekrarlanıyor.
Clive Wearing, İngiliz bir müzisyendir. Kırklı yaşlarında, aniden ölüm oranı yüksek bir hastalık olan viral ensefalite yakalandı. Neyse ki hayatta kaldı, ancak maalesef hastalık onu hafıza kaybına bıraktı. Geçmişte olan pek çok şey artık hatırlanamıyor, ama o hala karısını tanıyor ama kızını tanımıyor. Daha ciddi olan ise şu anda neler olduğunu hatırlayamaması ve birkaç dakika içinde tamamen unutmasıdır. Davranışlarında bir sorun yok, dili ve düşüncesi normal görünüyor, yemek yiyebilir, yürüyebilir, konuşabilir, yazabilir ve hatta piyano çalabilir ve şarkı söyleyebilir, normal bir insana benziyor. Fakat uzun süreli hafızayla ilgili bir problemdir. Hissettiği dünya herkesle aynıdır, ama kafasını çevirdiğinde, az önce olan her şey zihninden kaybolacaktır. Sahip olduğu tek şey "anlık bir bilinçtir." Bağlanacak bir geçmiş ve dört gözle bekleyecek bir gelecek yoktur.
Clive Verlin, talihsiz deneyimini bize uzun süreli hafızanın zekamız ve hatta hayatlarımız için önemini ortaya çıkarmak için kullandı.
Hafıza ve zeka
İnsan beyninin hafıza modeli, bir merkezi işlem birimi, kayıtlar, kısa süreli hafıza ve uzun süreli hafızadan oluşan Şekil 1'de gösterilmektedir. Görme ve işitme gibi sensörler dış dünyadan girdi alır, bunları kasada saklar ve kayıtta 1 ila 5 saniye kalır. Kişiler bu içeriklere dikkat ederse kısa süreli hafızaya aktarılır ve yaklaşık 30 saniye kısa süreli hafızada kalır. İnsanlar bu içerikleri kasıtlı olarak ezberlerse, uzun süreli hafızaya aktarılacak ve yarı kalıcı olarak uzun süreli hafızada kalacaktır. İnsanlar bu içeriklere ihtiyaç duyduklarında, bunları uzun süreli bellekten alır ve işlenmek üzere kısa süreli belleğe aktarırlar.
Şekil 1 İnsan beyni hafıza modeli
Uzun süreli belleğin içeriği hem bilgi hem de bilgiyi içerir. Basitçe ifade edersek, bilgi dünyanın gerçeklerini temsil eder ve bilgi insanların dünya hakkındaki anlayışını temsil eder ve ikisi arasında mutlaka net bir sınır yoktur. İnsanlar bilgi ve bilgiyi uzun süreli bellekte sakladığında, yeni içerik ve mevcut içerik birbirine bağlanır ve ölçek artmaya devam eder.Bu, uzun süreli belleğin özelliğidir.
Beyinde, limbik sistemdeki hipokampus, uzun süreli belleğe okuma ve yazma işleminden sorumludur. Clive Verlin, hipokampa verdiği hasar nedeniyle hafıza kaybı yaşadı. Uzun süreli hafıza aslında serebral kortekste mevcuttur. Serebral kortekste hafıza, beyin hücreleri arasındaki bağları değiştirmek, yeni bağlantılar kurmak ve yeni ağ kalıpları oluşturmak anlamına gelir.
Mevcut yapay zeka sisteminin uzun süreli hafızası olmadığını düşünebiliriz. İster Alpha Dog ister sürücüsüz araba olsun, öğrenilmiş veya manuel olarak tanımlanmış modeli yeniden kullanır, sürekli bilgi ve bilgi edinme, sisteme yeni bilgi ve bilgi ekleme mekanizması yoktur. Yapay zeka sisteminin de bilinçli olduğunu varsayarsak, o zaman hissettiği dünya Clive Werlin ile aynıdır, yani sadece an an bilinç vardır.
Öyleyse bilinç nedir? Bu, bugün bilimdeki en büyük gizemlerden biridir ve farklı görüşler vardır. Japon-Amerikalı fizikçi Michio Kaku tanımını verdi. Bir sistem dış çevre ile (biyolojik, biyolojik olmayan, uzay ve zaman dahil) etkileşime girerse, iç durumu ortamdaki değişikliklerle değişir, o zaman sistemin "bilinci" vardır. Bu tanıma göre termometreler ve çiçekler bilinçli sistemlerdir ve yapay zeka sistemleri de bilinçlidir. Bilinçli mevcut yapay zeka sisteminde eksik olan şey uzun süreli hafızadır.
Uzun süreli belleğe sahip olmak, yapay zeka sistemlerinin daha yüksek bir aşamaya evrimleşmesini sağlayacaktır. Bu, yapay zekanın gelecekteki gelişme yönü olmalıdır.
Akıllı soru cevaplama sistemi
Yapay zeka teknolojisinin gelecekte sürekli gelişmesiyle birlikte akıllı bir soru-cevap sisteminin ortaya çıkması beklenmektedir.Sistem, dil işleme modülleri, kısa süreli bellek, uzun süreli bellek ve merkezi işlem modüllerini içermektedir (Şekil 2'de gösterildiği gibi). Girdi olarak çok sayıda yapılandırılmış ve yapılandırılmamış bilgi ve bilgi vardır ve ayrıca eğitim verileri olarak çok sayıda soru ve cevap çifti vardır. Sistem, bilgi ve bilgiyi otomatik olarak edinebilir, ana dili anlama ve üretme becerisi, bilgi ve bilgi işlemeyi ve uzun süreli bellekte depolamayı, kullanıcıların sorduğu soruları doğal dilde anlayabilir ve ezberlenmiş bilgi ve bilgileri doğru cevaplar vermek için kullanabilir.
Şekil 2 Akıllı soru cevaplama sistemi
Bir anlamda, bu tür sistemlerin prototipleri halihazırda mevcuttur, örneğin, İnternet arama motorları basitleştirilmiş sürümler olarak kabul edilebilir. Bununla birlikte, gerçekten akıllı bilgi asistanlarını gerçekten inşa etmek için üstesinden gelinmesi gereken birçok zorluk ve çözülmesi gereken birçok sorun vardır.
Bilgi sorusu cevaplamayla ilgili temel sorular şunlardır: (1) Anlamsal analiz, yani girdi doğal dil temsilini dahili anlamsal temsil ile eşleştirmek; (2) Bilgi temsili, yani, girdi bilgisi bilgisini iç anlamsal temsile dönüştürmek. En büyük zorluk, dilin belirsizliği ve çeşitliliğinden ve bilginin belirsizliğinden kaynaklanmaktadır.
Dilin belirsizliği vardır, bu da bir ifadenin farklı anlamları ifade edebileceği anlamına gelir. Aşağıda dilbilimci Charles Fillmore (Charles Fillmore) tarafından verilen bir örnek bulunmaktadır. İngilizce tırmanış kelimesinin temel anlamı, uzuvları bir yörünge boyunca yukarı hareket etmeye zorlamaktır, bu da "tırmanmak" anlamına gelir. Yani bir cümle kurmak için tırmanmayı kullanırsanız, insanlar genellikle "Oğlan ağaca tırmandı" (çocuk ağaca tırmandı) cümlesini verir. Ancak tırmanış kelimesinin anlamı farklı yönlerde genişleyecektir .. "Fiyatlar gün geçtikçe yükseliyor" denilebilir (fiyatlar gün geçtikçe yükseliyor), burada tırmanmak uzuvları sert hareket ettirmek anlamına gelmiyor. Ayrıca, tırmanmanın yukarı çıkmak anlamına gelmediği "Uyku tulumundan çıktı" da diyebilirsiniz. Dilin kelime dağarcığı aşağıdaki özelliklere sahiptir: bazı tipik sözlere karşılık gelen ve bazı özelliklerle temsil edilebilen temel bir anlambilim vardır. Ancak, bazı özellikler eksik olabilir, yeni anlamlar oluşturabilir ve yeni ifadeler oluşturabilir. Dilde, sözcüksel belirsizliğe ek olarak, sözdizimsel belirsizlik de vardır.
Aynı zamanda, dilin de değişkenliği vardır, bu da birden fazla ifadenin aynı anlamı ifade edebileceği anlamına gelir. Örneğin, "Dünya ile güneş arasındaki mesafe", "Dünya güneşten ne kadar uzakta?", "Güneş ve dünya kaç kilometre?" Hepsi eş anlamlı ifadelerdir.
İnsanların bilgisi, özellikle sağduyu, belirsizliğe sahiptir. Aşağıda, yapay zeka araştırmalarında öncü olan Terry Winograd tarafından verilen bir örnek yer almaktadır. İngilizcede bekar, bekar anlamına gelen evli olmayan yetişkin erkekler anlamına gelir. Açık bir kavram gibi görünüyor, ancak gerçekte belirli bir durumu değerlendirdiğimizde, bu kavramı anlamamızın belirsiz olduğunu bulacağız.Örneğin, evli olmayan baba bekar mı? Sahte evli adam bekar mı? Playboy hayatı yaşayan lise öğrencisi bekar mı? Oybirliğiyle alınan görüş yok.
Sinirsel sembol işleme
Son yıllarda, derin öğrenme, doğal dil işlemede muazzam değişiklikler getirdi, makine çevirisi ve diyalog gibi görevlerin performansını büyük ölçüde geliştirdi ve alanın temel teknolojisi haline geldi. Ancak öte yandan, doğal dil işleme için derin öğrenmenin sınırlamaları da ortaya çıktı. Geleceğe bakıldığında, derin öğrenme (sinirsel işleme) ve geleneksel sembol işlemenin birleşimi önemli bir gelişim yönü haline gelmelidir.Yeni sinirsel sembolik işlem paradigması giderek daha fazla insan tarafından kabul edilmektedir ve araştırması da ön ilerleme kaydetmiştir.
Şekil 3 Sinirsel sembol işlemeye dayalı akıllı soru cevaplama sistemi
Derin öğrenme, sözcükler, cümleler ve makaleler dahil olmak üzere dilleri temsil etmek için gerçek sayı vektörlerini kullanır. Vektör gösterimi ayrıca sinirsel temsil olarak da adlandırılır. Sinirsel temsilin avantajı, dilin belirsizliği ve çeşitliliği ile dil verilerindeki gürültüyle daha iyi başa çıkabilen sağlamlığında yatmaktadır. Öte yandan, geleneksel sembolik temsilin avantajı, okunabilirliği ve işlerliğindedir. Dil, sembollere dayanır Bilgisayarlar sembol işlemede iyidir. Dil işlemenin sonuçlarını ifade etmek için semboller kullanmak doğal bir seçimdir. Sinirsel sembol işleme, doğal dil işlemeyi daha iyi gerçekleştirmek için her ikisinden de yararlanarak, dilin anlambilimini tanımlamak için hem sinirsel hem de sembolik temsilleri kullanmayı amaçlar.
Sinirsel sembol işlemeye dayalı akıllı soru cevaplama sistemi, Şekil 3'te gösterildiği gibi, dil işleme modülleri, kısa süreli bellek, uzun süreli bellek ve merkezi işlem modüllerinden oluşur. Dil işleme modülü, kodlayıcı ve kod çözücüden oluşur. Kodlayıcı, doğal dil problemlerini, sembolik gösterimler ve sinirsel temsiller de dahil olmak üzere kısa süreli bellekte depolanan dahili anlamsal temsillere dönüştürür. Merkezi işlem modülü, sorunun anlamsal temsili yoluyla uzun süreli bellekten ilgili bilgi ve bilgileri bulur. Uzun süreli bellekteki bilgi ve bilgi de sembolik ve sinirsel temsile dayanır. İlgili cevabı bulduktan sonra, kod çözücü cevabın anlamsal temsilini doğal bir dil cevabına dönüştürür.
son ilerleme
Analiz, erişim ve üretime dayanan bir soru cevap sistemi uygulamanın üç yolu vardır. Genellikle tek bir diyalog turudur, ancak birden fazla diyalog turu da olabilir. Tek aşamalı analize dayalı bir soru cevap sistemi düşünün.
Geleneksel teknik anlamsal çözümlemedir. Yapay olarak tanımlanan dilbilgisi kurallarına göre, iç anlamsal temsil-mantıksal ifadeyi elde etmek için soru cümlesi üzerinde sözdizimsel ve anlamsal analizler yapılır. Anlamsal analiz, sözdiziminin manuel tanımını, yüksek geliştirme maliyetini ve zayıf ölçeklenebilirliği gerektirir.
Son yıllarda sinirsel sembol işlemeye dayalı soru cevaplama sistemi araştırması büyük atılımlar yapmıştır. Soru cevap sistemi, verilerden başlayarak tamamen uçtan uca kurulabilir. Manuel müdahale gerekmez, sadece yeterli miktarda eğitim verisinin sağlanması gerekir. Soru ve cevabın doğruluğu da iyileştirildi. Geleneksel semantik analiz teknolojisi altüst edildi. İşte birkaç temsili çalışma.
Weston of Facebook ve diğerleri, aşağıdaki senaryolarda soru ve cevap için kullanılabilecek bir bellek ağları çerçevesi önerdi:
John oyun alanında.
Bob ofiste.
John futbolu aldı.
Bob mutfağa gitti.
S: Futbol nerede?
Bir oyun bahçesi.
Hafıza ağı, sinir ağları ve uzun süreli hafızadan oluşur. Uzun süreli bellek bir matristir ve matrisin her satır vektörü bir cümlenin anlamsal bir temsilidir. Hafıza ağı, okurken belirli bir cümleyi dahili bir temsile dönüştürebilir ve uzun süreli hafızada saklayabilir. Soru cevap olarak, soru cümlesi de dahili bir temsile dönüştürülerek uzun süreli bellekteki her satırın anlamsal temsili ile eşleştirilir ve cevap bulunur ve cevaplanır.
Graves of Google DeepMind ve diğerleri, ayırt edilebilir bir nöral bilgisayar modeli icat etti. Model, sinir ağı ve harici bellekten oluşur. Harici bellek, karmaşık veri yapılarını temsil edebilen bir matristir. Sinir ağı, harici hafızayı okumaktan ve yazmaktan sorumludur.Farklı dikkat mekanizmalarına sahip, memelilerdeki hipokampusun üç işlevine karşılık gelen üç farklı okuma ve yazma kontrolünü temsil eden üç türü vardır. Sinir ağı, verilerde uçtan uca öğrenme gerçekleştirir ve öğrenmenin amaç işlevi, farklılaştırılabilir bir işlevdir. Türevlenebilir sinir bilgisayar modeli, akıllı soru yanıtlama dahil olmak üzere birçok göreve başarıyla uygulanmıştır.
Googleın Neelakantan ve diğerleri, ilişkisel veritabanlarından yanıtlar arayabilen ve doğal dil sorularını otomatik olarak yanıtlayabilen bir sinir programcısı modeli geliştirdi. Model bir bütün olarak tekrarlayan bir sinir ağıdır. Her adım, sorunun temsiline (nöral temsil) ve önceki adımın durum temsiline (nöral temsil) dayanmaktadır.Ayrıca, işlemin olasılık dağılımını ve sütunun olasılık dağılımını hesaplamayı ve bir işlemi gerçekleştirmek için veritabanı tablosunun bir sütununu seçmeyi içerir ( Sembol). Bu işlemleri sırayla gerçekleştirin ve cevabı bulun. İşlemler, toplama ve boyut karşılaştırması gibi veritabanı sütunlarında mantıksal veya aritmetik hesaplamaları temsil eder. Öğrenme sırasında, genel amaç işlevi ayırt edilebilir ve tekrarlayan sinir ağının parametreleri gradyan iniş yöntemi kullanılarak eğitilir.
Googledan Liang ve diğerleri, bir sinirsel sembolik makine modeli geliştirdi. Sinirsel sembol makinesi, "Amerika Birleşik Devletleri'nin en büyük şehri hangisi?" Gibi sorulara cevap vererek bilgi grafiği üçlüsünden cevabı bulabilir. Model, sorunun kelime dizisini bir komutlar dizisine dönüştüren bir diziden diziye modeldir. Komut dizisi, LISP dilinde² bir programdır ve yanıt, programı çalıştırarak bulunabilir. Nöral sembol makinesinin en büyük özelliği, diziden diziye model gösterimi ve program tarafından yürütülen değişkenlerin kullanılmasıdır ve ek anahtar değişken belleği (anahtar değişken belleği), anahtarın nöral temsil olduğu ve değişkenin sembolik temsil olduğu değişkenin değerini kaydeder. Modelin eğitimi, pekiştirmeli öğrenmeye dayalı uçtan uca öğrenmedir (politika gradyan yöntemi).
Şekil 4 Sorgulayıcılı akıllı soru cevaplama sistemi
Huawei'den Lv Zhengdong ve diğerleri üç model geliştirdiler: nöral sorgulayıcı, sembolik sorgulayıcı ve doğal dil ilişkisel veritabanı sorgusu için birleştirilmiş sorgulayıcı. Örneğin, Olimpiyat Oyunları veri tabanından cevaplar arayabilir ve "Olimpiyat Oyunlarının yapıldığı şehrin en fazla seyircinin olduğu alan nedir?" Gibi sorulara cevap verebilirsiniz. Soru cevaplama sistemi, dil işleme modülünü, kısa süreli belleği, uzun süreli belleği ve sorgu cihazını içerir ve dil işleme modülü, kodlayıcı ve kod çözücü içerir. Şekil 4, bu mimarinin somut olarak gerçekleştirilmesidir. Sorgulayıcı, kısa süreli bellek sorusu temsiline (sinirsel temsil) dayalı olarak uzun vadeli bellek veritabanından (sembolik ve sinirsel temsil) yanıtlar arar. Sembolik sorgulayıcı, sorunun temsilini (nöral temsil) bir dizi sorgu işlemine (sembol gösterimi) dönüştüren döngüsel bir sinir ağıdır ve yanıt, işlem dizisini yürüterek bulunabilir. Özel strateji gradyan yöntemi olan pekiştirmeli öğrenmeyi kullanarak, bu döngüsel sinir ağını uçtan uca öğrenebilirsiniz. Bir sinir sorgusu, sorunun temsilini (sinirsel temsil) veritabanının bir unsuruna (sembol temsili) birden çok kez eşleyen bir dizi derin sinir ağıdır, bu da cevaptır Bir sinir ağı, bir eşlemenin modelini temsil eder. Derin öğrenme, belirli bir gradyan iniş yöntemi kullanılarak, bu derin sinir ağları uçtan uca öğrenilebilir. Sembolik sorgu cihazı, yüksek yürütme verimliliğine ve düşük öğrenme verimliliğine sahiptir; sinirsel sorgu cihazı, yüksek öğrenme verimliliğine ve düşük yürütme verimliliğine sahiptir. Bağlantı sorgulayıcı, her ikisinin avantajlarını birleştirir. Öğrenirken, önce sinirsel sorgu cihazını eğitin ve ardından sonucu, sembol sorgu cihazını eğitmek için kullanın ve yalnızca soru ve cevaptaki sembol sorgu cihazını kullanın.
Geleceğe bakış
Bilgisayarlar, bilgi işlem ve depolamada en iyisidir. Güçlü bilgi işlem gücü gerçekte büyük bir güç göstermiştir, ancak güçlü depolama kapasitesi tam olarak kullanılmamıştır. Genellikle bilgi ve bilgiyi değil verileri depolar. Bilgisayarlar verileri otomatik olarak filtreleyemez ve iyileştiremez, bilgi ve bilgiyi çıkaramaz ve bunları ilişkilendiremez, uzun süreli bellekte saklayamaz ve insanlığa hizmet edemez.
Etkili yönetim gibi bilgi ve bilgiyi otomatik olarak elde edebilen, çeşitli soruları doğru cevaplayabilen ve herkesin akıllı yardımcısı haline gelebilen bu tür akıllı bilgi ve bilgi yönetim sistemlerinin gelecekte ortaya çıkacağı öngörülebilir. Yapay zeka teknolojisinin, özellikle sinirsel sembol işleme teknolojisinin bu hayali gerçekleştirmemize yardımcı olması bekleniyor. Bu günü dört gözle bekliyorum!
Teşekkürler
Lv Zhengdong, Jiang Xin, Shang Lifeng, Mou Lili, Yin Pengcheng, vb. Sayesinde, bu makaledeki fikirlerin çoğu onlarla yapılan çalışmada oluşturuldu.
Yazar hakkında
Li Hang
-
CCF'nin kıdemli üyesi, CCCF konuk köşe yazarı
-
Toutiao Yapay Zeka Laboratuvarı Direktörü
-
Araştırma yönü: doğal dil işleme, bilgi alma, makine öğrenimi vb.
Dipnot
¹ İnternette Clive Verlin'in hayatını tanıtan makaleler ve videolar var.
²LISP, erken geliştirilen ve önemli bir tablo işleme dili olan Liste İşleme'nin kısaltmasıdır. Sembol işleme, otomatik muhakeme, donanım açıklaması ve VLSI tasarımı için uygundur.
Referanslar
Frank L. Öğrenme ve Hafıza: Nasıl Çalışır ve Başarısız Olduğunda Stanford Lecture, 2010.
Michio K. Bilinç Ölçülebilir.Big Think, Youtube, 2014.
Percy L. Doğal Dili Anlamak için Yürütülebilir Anlamsal Ayrıştırıcıları Öğrenmek.
Weston J, Chopra S, Bordes A. Hafıza Ağları // Uluslararası Öğrenme Temsilleri Konferansı (ICLR) Bildirileri, 2015.
Graves A, Wayne G, Reynolds M ve diğerleri.Dinamik harici belleğe sahip bir sinir ağı kullanarak hibrit bilgi işlem. Nature, 2016, 538 (7626): 471.
Neelakantan A, Le Q V, Sutskever I. Programcı: Gradient Descent ile Gizli Programları Teşvik Etmek // Uluslararası Öğrenme Temsilleri Konferansı (ICLR) Bildirileri, 2016.
Liang C, Berant J, Le Q, et al. Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision // Proceedings of the 55th Annual Meeting for Computational Linguistics (ACL'17), 2017.
Yin P, Lu Z, Li H, Kao B. Neural Enquirer: Natural Language ile Tabloları Sorgulamayı Öğrenmek // Yapay Zeka üzerine 25. Uluslararası Ortak Konferansı (IJCAI'16), 2016: 2308-2314.
Mou L, Lu Z, Li H, Jin Z, Doğal Dil Sorguları için Dağıtılmış ve Sembolik Yürütme Birleştirmesi // 34. Uluslararası Makine Öğrenimi Konferansı (ICML'17) Bildirileri, 2017: 2518-2526.
