g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Sinirsel sembol sistemi: makineleri empatik hale getirmek

Lei Feng net notu: Bu makalenin orijinal yazarı, ilk olarak halka açık olan Deep Curiosity Research Group'tur. "Derinden Meraklı AI" (çok meraklı) . Leifeng.com yeniden yazdırma yetkisine sahiptir.

1. Dil anlayışına giden yol

Anlamak nedir

Doğal dil anlama, yapay zekanın temel konularından biridir ve aynı zamanda yaygın olarak en zor ve en ikonik görev olarak kabul edilmektedir. En klasik iki yapay zeka düşünce deneyi - Turing Testi ve Çin Odası, hepsi doğal dil anlayışı etrafında inşa edilmiştir. Yapay zeka teknoloji sisteminde doğal dil anlayışının önemi ortadadır, bir yandan makineler ve insanlar arasındaki iletişimi taşır, diğer yandan doğrudan bilgi ve mantığa ulaşır. Doğal dil anlayışı aynı zamanda yapay zeka bilim adamlarının da kutsal kasesidir.Makine öğrenimi devi Michael I. Jordan bir zamanlar Reddit'teki AMA (Bana Her Şeyi Sor) sütununda doğal dil anlayışına adanmış bir laboratuvar kurmak için bir milyar dolar kullanmayı hayal etmişti.

Peki doğal dil anlayışı tam olarak nedir? Anlamanın doğal dilden anlambilime bir eşleştirme olduğunu düşünebiliriz, ancak bu tanım sorunu yalnızca "anlambilim" tanımına kaydırır ve anlambilim için, biçim ve işlev açısından evrensel olarak uygulanabilir tanımlamalarda eksiklik vardır. Aslında, anlambilimin genellikle belirli bir alanda ve belirli bir bağlamda ele alınması gerekir.Örneğin, "Mutluysanız iyidir" cümlesi, farklı senaryolarda aşağılama ve dilek gibi birden çok anlam taşıyabilir. Anlama veya anlambilimle ilgili olarak, farklı yönlerini tanımlamak için aşağıdaki iki utanmaz tanımı benimsemeliyiz:

Anlambilim, belirli bir bağlamdaki pragmatik kullanımdır; bu, bir cümlenin işlevinin, anlamının nihai temsili olduğu anlamına gelir;
Bir dil nesnesini (bir paragraf gibi) anlamak, bu nesneyle ilgili tüm soruları yanıtlamaya eşdeğerdir.

Ne yazık ki, bu iki tanımın hiçbiri tam olarak işler durumda değildir, yani anlamsal eşlemenin doğru olup olmadığını veya anlamanın uygun olup olmadığını otomatik olarak ölçmek için bu tanımı kullanmak zordur. Bir anlamda, anlambilimsel anlayış bir şekilde "anlaşılması zor" ve tanım açısından belirsizdir.

Bu belirsizlik, yapay zekadaki anlamsal olarak ilişkili sistemlerin biçim ve işlevlerinin çeşitliliğine de yol açmıştır. Örneğin, Sinir Ağı Makine Çevirisi'nde (NMT), tüm anlamsal temsiller sabit uzunlukta gerçek değerli vektörlerle tamamlanır. Birinci nesil NMT sisteminde, çevrilecek cümleyi temsil etmek ve özetlemek için çok uzun bir vektör kullanıldı (kesin olmak gerekirse, dilbilgisi ve anlamsal bilginin bir karışımı) Bu vektör yorumlanabilir olmasa da, aslında bir biçim ve işlevdir. Eksiksiz temsil (vektörlerin semantiği temsil etmek için kullanılması konusunda, G. Hintonun pozitif taraftaki düşünce vektörü ve R. Mooneyin negatif taraftaki ünlü tezi gibi) pek çok tartışma olmuştur. Dikkat mekanizmasına dayalı ikinci nesil NMT sisteminde, tam anlambilim ifade etmeye yönelik bu tasarım ortadan kaldırılmıştır.Bunun yerine, birden fazla parçanın anlamını ifade etmek için bir dizi gerçek sayı kullanılır, böylece çeviri etkilerinde önemli ilerleme sağlanır. Aynı zamanda semantik temsil düzeyinde de büyük bir geri adım attı. Aynı zamanda, diğer nesnelerin açık anlamsal normlarla etkileşime girmesi gerektiğinde, sürekli açıklanamayan anlambilimsel temsillerin çok garip olduğunu fark ettik.Bilgi tabanına göre soru cevap yaptığımızda veya suç tanımına dayalı deneme tahmini yaptığımızda, ihtiyacımız var Anlamsal gösterimi bilgi tabanı veya kural sistemi ile birleştirin. Bu durumda, mantıksal ifadeler, grafikler veya diğer ayrık veri yapıları gibi sembolik anlamsal temsilleri seçeceğiz. Bu makaledeki tartışmada, beklediğimiz anlamsal temsilin en azından yorumlanabilir bir ayrık yapı içerdiğini varsayacağız.

Anlama güçlüğü

Doğal dili anlamanın zorluğu herkes için açıktır, bu nedenle mevcut doğal dil anlayışı genellikle kaba, sığ veya kısmidir. Anlama ile ilgili yaygın örneklerde, duygu analizi genellikle sadece hissin olumlu mu yoksa olumsuz mu olduğuna karar vermek içindir ve adlandırılmış varlık tanıma sadece varlığın adını (kişi, kuruluş, yer adı vb.) İşaretlemek içindir, ancak öyle bile olsa, doğruluk oranı da aynıdır. Genellikle belirli bir seviyeye ulaştıktan sonra durur. Buna karşılık, makine çevirisinin hızlı gelişimi, bir "anlıyormuş gibi davranma" modelini benimseyerek anlamaya giden yolundan kaynaklanmaktadır.

Peki doğal dili anlamak neden bu kadar zor? Dört ana neden olduğuna inanıyoruz:

1. Doğal dil, karmaşık ve esnek ifadeler içerir

Aynı anlamı ifade etmek için genellikle farklı cümleler kullanırız ve bu farklılıklar stil, ses ve varsayılan seçimler gibi birçok yönden yansıtılır. Örneğin, çok benzer anlamlara sahip aşağıdaki iki cümle, farklı kelime sıralarını ve stillerini benimser.

C: Burayla alışveriş merkezi arasındaki mesafe yaklaşık iki kilometre, taksiye binerseniz trafik sıkışıklığı yaşamadan yaklaşık on dakika sürecek.

B: Alışveriş merkezine çok uzak değil. Taksiye binmek sadece on dakika sürüyor. Trafik sıkışıklığı yoksa aslında iki kilometre.

2. Uzun mesafeli mantıksal bağlantı

Doğal dille oluşturulan metinde genellikle uzun mesafeli mantıksal bağlantılar vardır. Bu mantıksal ilişki, sadece dil yapısından bağımlılık ilişkisini değil, aynı zamanda semantik düzeydeki mantıksal ilişkiyi de içerir ve ikisi birbirine nüfuz eder. Örnek olarak aşağıdaki cümleyi alın: "Burası alışveriş merkezinden iki kilometre uzakta" anlamsal bilgisini içerir, ancak bu yargıyı yapmak için cümlenin başı ile sonu arasındaki mesafeyi geçmeniz ve öncesi ve sonrasını bulmak için anlamsal sürekliliğe güvenmeniz gerekir. Mantıksal ilişki. Bu tür mantıksal ilişkilerin keşfedilmesi ve kullanılması genellikle Yinelenen Sinir Ağı (RNN) gibi basit dizi işleme modelleriyle zordur.

3. Bilgiye aşırı bağımlılık (sağduyu dahil)

Metin anlamada, genellikle hem alan bilgisi ve sağduyu gibi uzun vadeli bilgileri hem de önceki makalede oluşturulan kısa vadeli bilgileri içeren büyük miktarda bilgiye güvenmemiz gerekir. Genellikle "bağlam" dediğimiz şey, bir tür kısa vadeli bilgi olarak da düşünülebilir.

Y: Zhang San bir iPhone X, bir iPhone 6S ve bir P20 çaldı. İPhone'lardan ikisi el değiştirdi.

B: Garajda 17 yaşında bir Accord ve 2009 yıllık Camry var, ancak onun yerine eski araba çalındı

Örnek A'da, "her iki Apple telefonu da el değiştirdi" deki belirli referansları anlarken aşağıdaki bilgileri kullanmamız gerekir:

iPhone X bir Apple telefondur

iPhone 6S bir Apple telefondur
P20, bir Huawei cep telefonu.

Örnek B'de, "eski arabanın çalındığını" anladığımızda, yalnızca

Accord 17 yaşında
Camry 2009'da

Bu iki bilgi için, "2009'daki araba 17'deki arabadan daha eski" sağduyusunu da kullanmamız gerekiyor. Bu bilginin doğru kullanımı, bilginin etkili bir şekilde edinilmesini, ifade edilmesini ve başvurulmasını gerektirir.

4. Anlamsal temsil tasarımının zorlukları

Anlamsal temsilin biçimi her zaman anlambilimsel analiz konusunda temel tartışmalardan biri olmuştur. Basitçe söylemek gerekirse, "tam" bir anlamsal temsilin kesin bilgiyi ("Zhang San öldürdü Li Si" gibi) içerebilmesi ve ayrıca dildeki duyguların belirsizliğini, belirsizliğini, derecesini ve kutupluluğunu taşıması gerekir. Aynı zamanda, su içmek, anlık erişte, ıslatma ayakları vb. İçin kullanıldığında "bu su çok sıcak" cümlesi gibi, anlamsal temsilin diğer bilgilerle (bağlam gibi) mükemmel bir şekilde bağlantılı olabileceğini umuyoruz. Farklı senaryolar, farklı anlamlara (polarite ve derece gibi) yol açabilir. Aynı zamanda, semantik temsilin gerçek kullanımı ve teknik sınırları da göz önünde bulundurması gerekir.Bu dengenin kendisi çok zor ve sürekli değişiyor.

Yukarıdaki zorluklardan bazılarının, derin öğrenmenin iyi olduğu şey olduğunu görebiliriz. Örneğin, sinir ağı yöntemleri, karmaşık ve esnek ifadeleri işlemek için vektör "bulanık gösterimini" kullanabilir; bazıları sembolik mantıkta iyidir, örneğin uzun Mesafenin mantıksal bağlantısı; ve bazıları açıkça ikisinin ortak gücünü gerektirir.Örneğin, bilgiye bağımlılık, çeşitli önemsiz ve esnek bilgileri hatırlamak ve kullanmak için yalnızca sinir ağının parametrelerini değil, aynı zamanda açıkça ifade edilebilecek bazı bilgileri de gerektirir. Saklamak ve geri çağırmak için sembolik yöntemler kullanın. Buna dayanarak, sinir ağları ve sembolik zekanın derin birleşiminin yukarıdaki zorlukları çözmenin tek doğru yolu olduğuna inanıyoruz. Bunu bu makalenin geri kalanında ayrıntılı olarak açıklayacağız.

2. Sinir + işareti

Sinir + işareti neden doğru yoldur?

Yukarıda açıklandığı gibi, insan dilini anlama süreci, mekanizması ve biçimi, sembolizm ve sürekliliğin ikili özellikleriyle doludur ve yapay zeka uygulamasında, bunların ilgili avantajlarını da keşfettik. Yapay zeka tarihinde bu, Sembolizm ve Bağlantısallık arasındaki anlaşmazlıktır. Öncelikle sinirler ve sembollerin kavramlarını ve bunların özelliklerini, avantajlarını ve dezavantajlarını açıklayalım. Bu tartışmalar aşağıdaki üç düzeyde yürütülecektir:

Sunum katmanı: kelimelerin, cümlelerin ve hatta uzun metinlerin anlamsal temsili gibi dil nesnelerinin anlamsal temsili ve ayrıca sistemdeki anlambilimle ilgili ara durumlar
Operasyonel katman: oluşturma, haritalama, dönüştürme, sınıflandırma, tahmin, sorgu, güncelleme vb. Gibi farklı tür ve ölçeklerdeki dil nesnelerinin çalışması ve dönüşümü
Bilgi katmanı: Dil bilgisi, alan bilgisi ve sağduyu gibi "uzun vadeli bilgiyi" ve anlama sürecinde oluşturulan "kısa vadeli bilgiyi" içerir.

Genel olarak,

Sinir ağı, sürekli temsil, işlem ve bilgi ile başa çıkmak için kullanılır. Belirsizlik, öğrenilebilirlik, belirsizlik, esneklik, tasarımsızlık ve açıklanamazlık özelliklerine sahiptir. Grafik yapısı, değişkenler, özyineleme ve referans vb. İle uğraşmada iyi değildir;
Sembol sistemi, ayrık ve yapısal temsiller, işlemler ve bilgilerle (grafik yapısı, değişkenler, özyineleme ve referans vb. Dahil) ilgilenmek için kullanılır ve netlik, doğruluk, yüksek yürütme verimliliği ve yorumlanabilirlik avantajlarına sahiptir.

Sistem tasarımı perspektifinden bakıldığında, sinir ağları mikroskobik ve aktif yorumlanabilirlikten (belirli bir düğümü veya belirli bir parametrenin anlamını ayarlamak gibi) feda ederek mimari ve mekanizma tasarımına yönelmiş, böylece sistem tanımlama yeteneği kazanmıştır. (Etkileyici) esneklik. Matematiksel bir bakış açısından, bir sinir ağının çok sayıda olası sembol deseninin çok sayıda parametre ile dağılımını yaklaşık olarak belirlediği düşünülebilir, böylece gradyan tabanlı yöntemlerle eğitilebilir, ancak aynı zamanda belirli sembol desenlerinin netliğini de kaybeder. Canlandırma yeteneği. Sinir ağlarının ve sembol sistemlerinin aynı gerçek göreve nasıl yaklaştığını göstermek için Şekil 1'i kullanabiliriz.

Şekil 1: Sinir ağı ile sembolik zeka görev işlemenin karşılaştırılması

Aşağıdaki tabloyu, üç temsil, işlem ve bilgi seviyesinde sinir ağları ile sembolik zeka arasındaki farkları özetlemek için kullanıyoruz.

Nörosembolizm tarihi

Yapay zeka alanında, iki fikir uzun süredir ana akım statüsünü işgal etti: sembolizm ve bağlantısallık. Sembolizm, akıl yürütme için kural tabanlı sembolleri kullanır ve mantıksal düşünme ve bilişsel süreçleri simüle etmek ve yapay zekayı gerçekleştirmek için bilgisayar sembolik işlemlerini kullanmaya kendini adamıştır. Bağlantısallık, zekanın yüksek derecede birbirine bağlı basit bir mekanizmadan kaynaklandığını vurgular, beyin yapısını taklit etme çalışmasına eğilimlidir ve daha çok sinir ağlarında bağlantı mekanizması ve öğrenme algoritmasına odaklanır. Kural sistemi güçlü yorumlanabilirlik ve yüksek doğruluk özelliklerine sahipken, sinir ağı yüksek esnekliğe, güçlü genelleme yeteneğine ve iyi bir sağlamlığa sahiptir. Bu nedenle yapay zekanın babası Marvin Minsky (Marvin Minsky) şu sonuca varmıştır: " Sembolik bilgi ve bağlantının kendi avantajları ve dezavantajları vardır. Avantajlarını bütünleştirebilecek bir sisteme ihtiyacımız var. " 1980'den bu yana birçok vizyoner yapay zeka uzmanı, sinir ağlarını sembolik zeka ile birleştirmeye çalıştı ve sayısız farklı girişimleri içeren bu yöne Sinir-sembolizm deniyor.

Bazı öncüler, nörosimbolizmin ilk araştırmalarını yaptı. 1990'ların başlarında Towell ve arkadaşları, yapay sinir ağının yapısını ve ağdaki bağlantı ağırlıklarını inşa etmek için mevcut deneysel bilgiyi kullanan KBANN'i (Bilgi Tabanlı Yapay Sinir Ağı) önerdi. Garcez ve arkadaşları, 1999 yılında CILP sistemini önerdiler. Arka plan bilgisini önermesel mantığa dönüştürdüler, buna dayalı ileri bir yapay sinir ağı oluşturdular ve mevcut bilgiyi güncellemek için örneklerden yeni bilgileri özetlediler. 2001 yılında, Garcez ve arkadaşları, sinir ağının yorumlanabilirliğini artırabilen, eğitimli bir sinir ağından mantıksal bilgiyi çıkarmak için bir yöntem önerdiler. Richardson ve diğerleri 2006'da birinci dereceden sembolik mantık ve olasılıksal grafik modellerin kombinasyonunu araştırdılar ve her formülün karşılık gelen bir birinci dereceden sembolik mantığın bilgi tabanı olan bir Markov mantık ağı önerdiler. Ağırlıklar. O zamanlar makine öğrenimi teknolojisi ve doğal dil işleme teknolojisinin kısıtlamalarıyla sınırlı olan bu keşifler, sinir ağlarının avantajlarından tam olarak yararlanamadı ve bu nedenle daha fazla başarı elde edemedi.

Daha derin katmanlara, daha fazla çeşitliliğe ve daha güçlü ifade yeteneğine sahip derin sinir ağlarının yükselişiyle, sinir ağları ve sembolik zekayı birleştirme keşfine giderek daha fazla bilim insanı katıldı. Jaeger, döngüsel sinir ağını kontrol etmek için "Kavramlayıcıları" kullanmanın bir yolunu önerdi, böylece tüm ağ geometrik özelliklere sahip olur ve Boole mantığı ile etkili bir şekilde birleştirilebilir. Graves ve diğerleri Neural Turing Machines'i önerdiler ve Sukhbaatar ve diğerleri bellek ağlarını önerdiler.Hepsi, çıkarım sürecindeki ara sonuçların depolama problemini çözmek için bellek mekanizmalarını tanıttı. Yukarıda bahsedilen yöntemler, sinirsel sembol sistemini daha da araştırır ve sinir ağına, sonraki araştırmalar için önemli aydınlatıcı bir öneme sahip olan sembolik bir yapı kazandırır.

Son yıllarda, bazı araştırmacılar kendilerini sinir ağlarının yardımıyla sembolik akıl yürütmeyi uygulamaya adadılar. Neelakantan ve arkadaşları, doğal dil anlayışına dayalı veritabanı sorgusu uygulayan "Neural Programmer" ı önerdiler. Liang ve diğerleri, sinir ağlarının karmaşık muhakemeyi daha iyi tamamlamasına yardımcı olmak için sembolik bir bellek mekanizması geliştirdi. Mou ve arkadaşları ortak kararlar almak için sinir ağlarını ve sembolik işlemleri kullandılar ve doğal dil çıkarım sorgularını çözmek için yeni bir yol önerdiler.

Sinir ağı eğitimine, öğrenmeye ve akıl yürütmeye yardımcı olmak için sembolik mantığı kullanmayı uman bazı çalışmalar da var. Hu ve arkadaşları, sinir ağının (Öğrenci) sembol kuralının sonucuna (Öğretmen) uymasına izin veren Öğretmen-Öğrenci ağını önerdi, böylece sinir ağı kuralların rehberliğinde eğitilir ve öğrenilir. Goyal ve arkadaşları, doğal dil üretimi (NLG) için karakter düzeyinde tekrarlayan sinir ağını iyileştirmek için önceki bilgileri kullandı. Luo ve diğerleri, normal ifade kurallarının sağladığı zengin bilgileri sinir ağlarının performansını iyileştirmek için kullanmayı umarak, farklı düzeylerde düzenli ifade kuralları ve sinir ağlarının kombinasyonunu araştırdılar. Bu yöntemler, sinir ağına daha fazla bilgi sağlamak için esasen sembolik bilgiyi kullanır ve sinir ağı ile sembolik zekanın birleşimi nispeten kabadır. Aynı zamanda, sinir ağlarını ve sembolik zekayı birleştirmeye yönelik bu girişimler, genellikle yalnızca çok sınırlı bir görev için ve genellikle yalnızca belirli bir seviyenin uzamsal işlemesi içindir.

3. Düşüncelerimiz ve girişimlerimiz

Sinir sistemi ve sembolik zekanın kaynaşmasına doğru

Sinir ağları ve sembolik zekanın entegrasyonunun ideal biçiminin aşağıdaki ilkeleri / talimatları izlemesi gerektiğine inanıyoruz:

İlke-I: Sinirler ve semboller arasında bir bağlantı kurun

Kısacası, sinirsel ve sembolik iletişim için arayüzler, yollar ve mekanizmalar oluşturmamız gerekiyor. İkisi arasında 1) karşılıklı kontrol ve çağrı, 2) karşılıklı giriş ve çıkış olmak üzere iki ana iletişim türü vardır. 1 için), bir örnek, sembolik işlemleri çağırmak ve yürütmek için sürekli sinyaller kullanan Neural Programmer'dır ve ikisi arasındaki arayüz, sembol bütçesinin vektör indeksidir. 2 için), sinirsel işlemin çıktısının sembolik işlemin girdisi olabileceğini ve aynı zamanda sembolik işlemin çıktısının da ("gömüldükten" sonra) sunum katmanı işlemini oluşturan sinirsel işlemin (Şekil 2) girdisi olabileceğini umuyoruz. Sinir katmanları-sembolü kapalı döngü. Örneğin, aşağıdaki örnek cümleler için

Saburo Renzhen, Zewang ve Loryi, üniversitenin yanındaki Express Hotel'de üç gece geçirdi

Sinir ağı, "San Lang Renzhen" in bir kişi adı olduğunu tahmin etmek için mevcut durumu (vektör gösterimi) kullanır.Bu sembolize edilmiş bilgi aşağıdaki kural olarak kullanılabilir

KURAL-9527: Aynı listedeki dil nesneleri aynı türe sahip olmalıdır

"Zewang" ın da bir isim olduğunu tahmin etmek. Ve sembolik işlemden elde edilen bu çıktı, gömüldükten sonra, diğer orijinal girdilerle birlikte sinir ağına tekrar girecek ve giriş şekli bir öneri (sinir ağı tarafından daha kapsamlı bir değerlendirme gerektirir) veya bir belirleme şeklinde olabilir. Sonuç.

Şekil 2: Kapalı sinir (sürekli) sinyal ve sembolik sinyal döngüsü

İlke-II: Sinirler ve semboller arasındaki yan yana ve yazışmayı oluşturun

Sinirsel sembol sistemi, üç temsil, işlem ve bilgi seviyesinde sinirler ve semboller arasındaki yan yana ve yazışmayı oluşturabilir. Burada yan yana gelme, sistem tarafından tercihli olarak veya aynı anda kullanılabilen belirli bir fazlalık oluşturan, aynı anda üst üste binen işlevlere sahip iki sinir durumu ve sembol olduğu anlamına gelir (bkz.İlke-III); ve yazışma sinirler ve semboller anlamına gelir. İki durum arasında tasarlanmış bir bilgi etkileşimi vardır. Bu etkileşim, bir formu diğerine dönüştürmeye yardımcı olabilir ve aynı zamanda iki formun birlikte eğitimini de teşvik edebilir (buradaki ortak eğitim, çoklu -Yarı denetimli öğrenme senaryosunda uygulamayı vurgulamak yerine, iki veya daha fazla kanalın tutarlılığını teşvik etmek için öğrenme açısını görüntüleyin). Bu üç seviyeyi yan yana koymanın ve bunlara karşılık gelmenin birçok yolu vardır ve aşağıda sadece iki örnek verilmiştir. 2017'de önerdiğimiz sinirsel sembollü çift kanallı problem analizi modeli (bkz.Şekil 3-a): Bir problem için ("Pekin Olimpiyatları hangi yılda yapıldı?" Gibi), sistem sinirsel analiz ve hesaplamalara sahip olacak. Yol, neredeyse simetrik bir sembol yolu da olacaktır. İki kanalın aynı hedefe giden farklı yolları vardır ve yoğun bilgi alışverişi olacaktır. Sinir yolu, öğrenmek için geriye doğru yayılma algoritmasını verimli bir şekilde kullanabilirken, sembol yolu, sembolize edilmiş özet yoluyla yüksek yürütme verimliliğine ve iyi genelleme performansına sahiptir. Eğitimde iki yolun tutarlılığını teşvik ederek, tek bir yoldan daha iyi öğrenme verimliliği, uygulama verimliliği ve genelleme performansı elde edebiliriz. En son teknolojimiz (aşağıdaki Nerual Kural Motoruna bakın) bilgi katmanındaki dönüşümü kısmen tamamlayabilir (bkz. Şekil 3-b), böylece kural sisteminin kırılganlığının üstesinden gelmek için sinir ağlarının doğal genelleme yeteneğini kullanabilir. Şekil 3-b aynı zamanda yukarıdaki dönüşümün ters sürecini de açıklamaktadır, yani sinir ağındaki parametre bilgisi kurallara özetlenmiştir Bu sürece genellikle kural çıkarma denir.

Şekil 3: Sinirler ve semboller arasındaki yan yana olma ve yazışma

İlke-III: Seçmek, kontrol etmek ve planlamak için eksiksiz merkezi kontrol mekanizması

Etkili bir şekilde eğitmek ve yürütmek için, sinirsel sembol sisteminin üç temsil, işlem ve bilgi seviyesinde seçim, kontrol ve planlama yapmak için merkezi bir kontrol sistemine ihtiyacı vardır (bkz. Şekil 4). Temsil, hesaplama ve hatta bilgi arasında bir paralellik varsa (bkz.İlke-II), o zaman yürütme aşamasında, merkezi kontrol sistemi duruma göre belirli bir anda bu üç seviyede sinirleri, sembolleri veya bunların bir kombinasyonunu kullanmayı seçecektir. Örneğin bir cümleyi okuma ve anlama sürecinde, merkezi kontrol sistemi belirli bir anda cümlenin kalan kısmının paralel bir yapı içerip içermediğini belirler. Algılama kararının kendisi semboliktir, ancak algılama davranışının kendisi bir sinir ağı modülü tarafından tamamlanabilir. Benzer şekilde, eğitimden sorumlu daha uzun vadeli merkezi kontrol sistemi, sinir yolları ve sembolik yollar arasındaki belirli iletişim ritimlerini, kontrol dönüşümü ve terfi mekanizmalarını vb. Planlayacaktır. Yukarıdaki örneği kullanarak, paralel yapıyı tespit etmek için bu sinir ağı modülü orijinal olarak basit bir kuraldan kaynaklanabilir, ancak kullanım sırasında görevden sürekli olarak denetim sinyallerini emer ve nihayet merkezi kontrol sistemi tarafından karşılık gelen kuralın yerini alacak şekilde belirlenir. Açıktır ki, III. İlkenin anlamı, ilkeler-I ve II tarafından getirilen sinirlerin ve sembollerin karmaşık bir şekilde kaynaşması olasılığından gelir ve III.

Şekil 4: Sinir ağı sisteminin düzenlenmesi

Bu üç yönün entegrasyonu nispeten bağımsızdır ve güçlü bir şekilde ilişkilidir.Aynı zamanda iç içe geçebilir ve çeşitli şekillerde kullanılabilir, mimari ve mekanizma tasarımı için sınırsız olanaklar sunar. Göreceli olarak "tam" bir sinirsel sembol sisteminin bu üç yönü entegre etmesi gerektiği düşünülebilir, böylece sinir sistemi ve sembol sisteminin avantajları derinlemesine entegre edilebilir ve metin anlayışı eşi görülmemiş bir derinliğe ulaşabilir. Spesifik bir görevin neurosymbol sisteminde olmasına rağmen, genellikle nörosimbol sisteminin sadece belirli yönlerini fark ederiz.Bunlar, son zamanlarda yapılan derin merak çalışmasından açıklanabilir.

Derinden meraklı çalışma

Deep Curiosity, sinir ağları ile sembolik zekayı birleştirmenin yukarıdaki ilkelerini takip eder ve farklı doğal dil anlama görevleri türleri için bir dizi model tasarlar. Aşağıdaki üç görevi sunuyoruz: 1) Nöral Kural Motoru, 2) Yakınlaştırma Sinir Ağı ve 3) Nöral Varlık Akıl Yürütme.

Sinirsel Kural Motoru

İnsan bilgisinin somut bir tezahürü olarak kurallar, sembolik bilginin genel bir biçiminin yanı sıra endüstriyel uygulamaları hızla inşa etmenin basit ama son derece güvenilir bir yoludur. Kurallar son derece kesin olmasına rağmen, katı ve kırılgan özellikleri sıklıkla eleştirilir. Örneğin, kurallar "işe dönüşü" arayabilir, ancak anlamsal olarak benzer "işe dönme" ile eşleştirilemez. Geleneksel kuralların bunları kapsamak için çok fazla genişletmeye ihtiyacı vardır. Anlambilimde benzer ifadeler. Önerdiğimiz Sinirsel Kural Motoru (NRE), sembolik kural bilgisini karşılık gelen işlemlerle desteklenen sinir ağının bilgi formuna dönüştürür. NRE, kuralların doğruluğunu ve yorumlanabilirliğini korurken, sinir ağı yüksek esnekliği, güçlü genelleme yeteneği ve iyi sağlamlığın avantajlarını emer. Bilgiyi kurallardan öğrenebilir ve aynı zamanda, insanların bilgiyi öğrenme şekline benzer şekilde sinir ağları aracılığıyla bilgiyi genelleştirebilir. Sinirsel kural motoru, temel işlemler ve ayrıştırıcılar ile temsil edilir. İşlem ve ayrıştırıcı, gereksinimlere göre bir sinir ağı veya sembolik bir algoritma kullanılarak gerçekleştirilebilir. Spesifik olarak, sinirsel kural motoru ilk önce kuralları bir ayrıştırıcıyla ayrıştırır, hiyerarşik bir işlem dizisi oluşturur, ardından modülleri sırayla birleştirir ve son olarak, birleştirilmiş kuralları, kuralların uyumlu olup olmadığını belirlemek için belirli durumlara uygular (Şekil 5, Kısa bir şematik diyagram). Deneyler, sinir ağlarının avantajlarıyla, sinir kural motorunun sembol bilgisini öğrendiğini ve genişlettiğini göstermektedir; bu, kuralların hatırlama oranını büyük ölçüde artırabilirken, kuralların özelliklerinin kendilerinin de muhafaza edilebilmesi için yüksek bir doğruluk oranını korur. Sinirsel kural motoru sadece yeni bir sinirsel sembol öğrenme paradigması değil, aynı zamanda mevcut endüstriyel uygulamalara etkili bir iyileştirme getiriyor.Var olan kural sistemini yükseltmek için veya eğitim verileri mevcut olmadığında kullanılabilir. Büyük durumlarda, bir sinirsel kural sistemi hızla geliştirilir (makale için arxiv.org/abs/1808.10326'ya bakın).

Şekil 5: Sinirsel kural motorunun şematik diyagramı

Yakınlaştırma-Net

Paragraflar ve listeler gibi metin yapıları, metnin içeriğini doğru bir şekilde yakalamak ve anlamak için büyük önem taşıyan bilgi aktarıcısının ifade stratejilerini içerir. Bu metin yapısının sembolik bir iskeleti vardır, ancak yerel anlambilimle derinlemesine birleştirilmesi gerekir. Kısmi sembolik metin yapısı ve nörolojik yerel anlamsal temsilin kombinasyonunu tamamlamak için yakınlaştıran bir sinir ağı (Zooming-Net) öneriyoruz. Zooming-Net, belirli bir metin ayrıntı düzeyinde (kelimeler, cümleler, paragraflar) okuma, güncelleme, atlama ve tahmin etme gibi bir dizi işlemi esnek bir şekilde gerçekleştirmek için Policy-Net'i kullanabilir. Bu benzersiz yakınlaştırma işleme yöntemi, insan okuma sürecine oldukça benzerdir. , Metin yapısını kullanarak, çok fazla gürültünün girmemesini sağlamak için bilginin seyrek kısmında kapsamlı okuma gerçekleştirir ve yararlı bilgilerin kaybolmamasını sağlamak için bilgi yoğun kısımda yoğun okuma gerçekleştirir. Modelin çıktısını yorumlamak ve hedeflenen müdahaleyi gerçekleştirmek için sembolik bir muhakeme modülü geliştirdik. Yakınlaştırma sinir ağı, bir hiyerarşik kodlayıcı, bir yakınlaştırma denetleyicisi ve metnin işlenmesini tamamlamak ve metindeki anahtar parçaları dizi açıklaması biçiminde bulmak için bir sembolik akıl yürütme modülünden oluşur (Şekil 6, basitleştirilmiş bir şematik diyagramı gösterir). Spesifik olarak, her an, hiyerarşik kodlayıcı, hiyerarşik özellikler oluşturmayı stratejik olarak seçmek, belirli bir seviyenin bilgilerini okumak ve belirli bir uzunluğu tahmin etmek için sembolik muhakeme modülü tarafından verilen geçici ayrık bilgileri birleştirmek için yakınlaştırma denetleyicisi ile işbirliği yapar. Etiket dizisi. Metnin tamamını okuduktan sonra, her andaki etiket dizisi çıktısı birleştirilir ve karşılık gelen anahtar bilgi parçaları çıkarılır. Deneyler, cümle yapısı bilgilerinin yardımıyla, yakınlaştırma sinir ağının kapsamlı okuma ve yoğun okuma sürecini daha iyi birleştirdiğini ve uzun vadeli bağımlı özellikleri daha iyi modelleyebileceğini ve verimliliği artırmak için geniş aralıklı eylemler uygulayabildiğini göstermektedir. Görevde, f1 değeri klasik sıra etiketleme modelinden (biLSTM + CRF)% 10'dan fazla daha yüksektir ve tahmin davranışının sıklığı% 50'den fazla azalmıştır. Yakınlaştırma sinir ağı, çeşitli uzun metin işleme görevleri için çok uygundur ve kullandığı kodlama ve kod çözme yöntemleri, diğer teknolojilerle kombinasyon halinde çeşitli doğal dil işleme görevlerine de genişletilebilir (kağıt için bkz. Arxiv.org/abs/1810.02114).

Şekil 6: Yakınlaştırma sinir ağının temel ilkeleri

Neural Entity Reasoner

Adlandırılmış Varlık Tanıma (Adlandırılmış Varlık Tanıma), metni anlamanın temeli ve altında yatan görev olarak kabul edilir, çünkü işlevi metindeki kişilerin ve yerlerin adlarını keşfetmek ve tanımlamaktır. Geleneksel NER yöntemleri, yerel ve düşük seviyeli dil özelliklerine dayanır, ancak belirsiz ifadeler veya nadir isimler olduğunda, bu tür yöntemler genellikle zorluklarla karşılaşır. Bu durumda, insanlar genellikle tam metni tarayarak, yerel bilgileri açıp birleştirerek bu ikilemden kurtulabilirler. İnsan düşünme modelinden ilham aldık ve NER'in bu görünüşte düşük seviyeli görevi için yüksek seviyeli bir "muhakeme" mekanizması geliştirdik. Sembolik olarak adlandırılan varlık bilgisi, "ağdan alınır ve ağ için kullanılır", böylece kullanılabilir Derin öğrenme çerçevesinde adlandırılmış varlıkları aynı metne entegre etme kararı. Adlandırılmış varlık nöral çıkarım motoru (NE-Reasoner), bir bütün olarak çok katmanlı bir mimaridir ve her katman bağımsız olarak bir NER'yi tamamlar (Şekil 7, basitleştirilmiş bir diyagramı gösterir). Her katmanın NER sonuçları, bir sonraki NER katmanı için referans olarak sembolik bir "önbellek" aracılığıyla depolanacaktır: bu referans, esasen birden fazla gerçeğe dayanan bir temel olan etkileşimli bir havuzlama sinir ağı aracılığıyla gerçekleştirilir. Muhakeme modeli. Bu tasarım sayesinde model, daha bilinçli kararlar vermek için her bir kısmi kararı verirken diğer ilgili kararları "görebilir" ve bunlara başvurabilir. Deneyler, sembolik önbellek belleğinin ve çok olgulu küresel muhakemenin, sinir ağlarının muhakeme sürecinde önbelleğe alma temelinde kullanılmasının, özellikle geleneksel belirsizlik yöntemlerinde, adlandırılmış varlık tanımanın doğruluğunu önemli ölçüde artırabileceğini göstermektedir. Nadir isimler üzerinde daha iyi performans. Adlandırılmış varlık sinir çıkarım motoru, sinirsel sembol çıkarım motorunun NER görevine uygulanmasına bir örnektir.Sadece önceki sinir ağı muhakeme kararının kara kutusunu açmakla kalmaz, muhakeme sürecindeki önemli adımları insanlar için görünür ve anlaşılır hale getirir, aynı zamanda daha fazla manuel müdahale sağlar. Muhakeme süreci ve etkili arayüz olasılığı (makale için arxiv.org/abs/1810.00347'ye bakın).

Şekil 7: Nöral varlık muhakeme (NE-Reasoner) çalışma prensibi diyagramı

4. Yeni çerçeve: nesne yönelimli sinir planlama (OONP)

Daha önce tanıtılan nispeten özelleşmiş üç teknolojiden farklı olarak, Nesne Yönelimli Nöral Programlama (OONP), karmaşık dil nesnelerinin anlaşılması için yeni bir çerçevedir. Sinirsel sembol sistemine bir örnek olarak, OONP sadece çok sayıda nöral sembolizm somut gerçekleşmesine sahip olmakla kalmaz, aynı zamanda daha fazla ve daha tam entegre sinir ağları ve semboller için yeterli alan bırakır.

OONP, nesne yönelimli programlama (OOP) fikrini ödünç alır, ayrıştırılmış varlıkları nesneler ve nesneler arasında ilişkiler oluşturmak için kullanır (Şekil 8'de gösterildiği gibi), net bir yapılandırılmış ontoloji grafiği oluşturur. Her nesne bir sınıfın somutlaştırılmış halidir.Bir sınıf kavramı, onun iç özniteliklerini, dış ilişkilerini ve yürütülebilir işlemlerinin yanı sıra diğer nesnelerle ilişki türünü belirtir.

Şekil 8: OONP analizinin şematik diyagramı Soldaki her küçük kutu bir nesneyi temsil eder ve kutunun rengi bir sınıfı tanımlar

Şekil 9'da gösterildiği gibi OONP, ana kontrol modülü Okuyucu, belgeyi karakterize eden Sıralı Bellek modülü ve önceki metnin anlaşılmasını özetleyen Taşıma Bellek modülü olmak üzere üç bölümden oluşur. ) Modül. Taşınan Bellek modülü üç bölüme ayrılabilir: Grafik yapısını temsil eden Nesne Belleği, sürekli durumları depolayan Matris Belleği ve ayrı eylemleri kaydeden Eylem Geçmişi.

Şekil 9: OONP'nin genel mimarisi

OONP, metni ayrıştırırken insanların metni okurken anlama şeklini taklit eder. OONP çerçevesi, ayrıştırma sürecini bir karar dizisine dönüştürür: OONP okuyucu, belgeyi metin sırasına göre okur ve aynı zamanda, belgenin anlaşılmasını geliştirmek için ontoloji grafik yapısını sürekli olarak zenginleştirir.Grafik yapısı, karar sürecinin işlem sırası ve analizin sonunda oluşturulur ve güncellenir Nihai metinsel anlamsal temsil olarak. Ayrıştırılacak bir belge için, OONP önce önceden işlenmiş belgeyi satırlar arası bellek modülüne koyar, okuyucu satırlar arası bellekteki sembolik ve sürekli gösterimleri sıralı olarak okur, taşıma belleği ile birleştirir, arttırmak için çeşitli işlemler üretir ve Ontoloji haritasını zenginleştirin ve taşıyıcı bellek modülünü güncelleyin. Bu işlemler, farklılaştırılabilir işlemleri (nesne belleğinin ve matris belleğinin sürekli kısmı üzerinde hareket eden) ve ayrık işlemleri (nesne belleğinin ve satırlar arası belleğin sembolik kısmına etki eden) içerir. Bu sürekli ve ayrık işlemler birbirine bağlıdır, birbirlerinin girdilerini oluşturur ve birlikte Şekil 10'daki karmaşık ve esnek bilgi akışını oluşturur.

Şekil 10: Okuyucunun mimari ayrıntıları ve bilgi akışı

OONP çerçevesi içinde, sürekli ve ayrık gösterimler, işlemler ve bilgi, kapalı bir bilgi döngüsü oluşturmak için birbirleriyle yakından bütünleştirilir. Bu, OONP'nin hatlar arası belleğe ve strateji ağına farklı biçimlerde çeşitli ön bilgileri esnek bir şekilde eklemesine olanak tanır. Özellikle:

Genel olarak, OONP analizinin karar verme süreci, sinir ağından ayrık yapıya (ontoloji grafiği) haritalama sürecidir ve bu ayrı yapı, sinir ağı tarafından kontrol edilen karar verme sürecinin girdisi haline gelir ve böylece büyük bir nöro-sembolik bilgi oluşturur. kapalı döngü. OONP'nin belirli modüllerinde, bu tür kapalı döngüler hala çok sayıda mevcuttur;
Sıralar arası bellek ve nesne belleğinde, çok sayıda kesikli ve sürekli yan yana gösterim vardır.Örneğin, nesne belleğindeki grafik benzeri ayrık yapıya farklı türde sürekli vektör gösterimleri eşlik edecektir. Aynı zamanda, OONP'nin bilgi işlem katmanında, her bir eylem kararının çıktıyı kural motorundan ve sinir ağından entegre etmesi gerekir. Örneğin, eylem geçmişini analiz etmek, çok çeşitli eylem modellerini keşfetmek ve bir sonraki karar için önerilerde bulunmak için bağımsız bir kural motoru olacak ve bu öneriler, sinirsel operasyonlardan elde edilen diğer sonuçlarla birlikte strateji ağının girdisine dahil edilecek;
OONP çerçevesinde sembolik bilginin (kurallar gibi) yakın fonksiyonlara sahip sinir modüllerine dönüştürülmesine izin verilir ve bu sinir modülleri ortak eğitim için OONP bileşenleri olarak kullanılabilir.

5. Teknolojiden ürüne

Nörosymbol sistemini temel teknoloji fikri olarak ele alan derin merak, çoklu teknoloji modüllerini içeren çekirdek teknoloji çerçevesi olarak OONP ile doğal bir dil anlama teknoloji platformu oluşturdu. Buna dayanarak, kamu güvenliği vakalarının yapılandırılması, akıllı video incelemesi, yasal belge analizi, ses ve video planlama gibi bir dizi ürün tasarladık ve ürettik (bkz. Şekil 11).

Şekil 11: Son derece meraklı teknik mimari

Burada yapılandırılmış kamu güvenliği durumunu ve akıllı video incelemesini örnek olarak alıyoruz:

Yapılandırılmış kamu güvenliği durumu: Bu sistem, kamu güvenliği soruşturmaları sürecindeki metin bilgilerini analiz eder ve vakayla ilgili kişi-şeyler-şeyler-zaman-yeri bilgi haritasını oluşturarak (bkz.Şekil 12), makinenin vakayı "anlamasına" izin verir ve böylece suçlu araştırmacılara sıralı vakalar sağlar. , Suç tahmini, bilgi karşılaştırması ve füzyon karar verme yardımı. Kamu güvenliği vakalarının yapılandırılması, karmaşık metinleri analiz etmede sinirsel sembol sisteminin avantajlarına tam anlamıyla yer veren başarılı bir OONP uygulamasıdır. Kamu güvenliği vakalarının yapılandırılmış görevinin karmaşıklığı birçok yönden yansıtılır.İlgili metinler çeşitli biçimlerde, anlatı mantığı karmaşık ve dolambaçlıdır ve nihai bilgi temsili, çoklu olayları, çoklu varlıkları, çoklu etiketleri ve zamansal ve mekansal ilişkileri içeren karmaşık bir haritadır. Belirli anlatım alışkanlıklarını ve diğer bilgileri metindeki kurallar olarak OONP'ye yerleştirmek ve genelleme yetenekleri elde etmek için, anlama sürecinde belirli alt görevleri ele almak için Neural Rule Engine'i kullandık ve az miktarda veriyle önemli sonuçlar elde ettik.

Şekil 12: Kamu güvenliği vakasının yapısal diyagramı

Akıllı video incelemesi: Bu senaryo, etkileşimli sürece dayalı olarak bilgi incelemesi ve dolandırıcılık tespiti yapmak için borçluyla bir video görüşmesi yapmaktır (bkz. Şekil 13). Son derece merak edilen akıllı video inceleme sistemi, bir diyalog sistemi oluşturmak için sesli diyaloğun anlaşılmasına dayanır, iletişim sürecinde, kullanıcı bilgilerine göre dolandırıcılık riski yüksek bilgi noktalarını tespit eder ve aktif sorgulamalar yapar. Örneğin, borçlu tarafından sağlanan istihdam bilgisi "sağlık kulübü personeli" olduğunda, sistem "şirketinizin yolcu akışı ne kadar" ve "şirketinizin ana ekipmanı nedir" gibi sorular soracaktır. Tam diyalog süreci, borçluların hile yapma ve kredileri kaçırma risklerini değerlendirmek ve belirlemek için kullanılacaktır.

Şekil 13: Akıllı video incelemesinin şematik diyagramı

6. Özet

Yapay zekanın temel görevi olan doğal dil anlayışı, sembolik zekadan istatistiksel öğrenmeye ve ardından derin öğrenmeye kadar gelişim ve evrimi deneyimlemiştir. Derin öğrenme ivme kazanıyor olsa da, dil anlama problemlerini çözmede birçok eksiklik de ortaya çıkarıyor. Bugün, derin öğrenme ve sembolik zeka kombinasyonunun, yeni nesil doğal dil anlayışı için yeni bir paradigma ve doğal dil anlamanın zor görevini çözmenin tek yolu olacağına inanıyoruz.

Minsky, Marvin L. "Logical versus analogical or symbolic versus connectionist or neat versus scruffy." AI magazine 12.2 (1991): 34.

Towell, Geoffrey G., Jude W. Shavlik, and Michiel O. Noordewier. "Refinement of approximate domain theories by knowledge-based neural networks." Proceedings of the eighth National conference on Artificial intelligence. Vol. 861866. 1990.

Garcez, Artur S. Avila, and Gerson Zaverucha. "The connectionist inductive learning and logic programming system." Applied Intelligence 11.1 (1999): 59-77.

Garcez, AS d'Avila, Krysia Broda, and Dov M. Gabbay. "Symbolic knowledge extraction from trained neural networks: A sound approach." Artificial Intelligence 125.1-2 (2001): 155-207.

Richardson, Matthew, and Pedro Domingos. "Markov logic networks." Machine learning 62.1-2 (2006): 107-136.

Jaeger, Herbert. "Controlling recurrent neural networks by conceptors." arXiv preprint arXiv:1403.3369 (2014).

Graves, Alex, Greg Wayne, and Ivo Danihelka. "Neural turing machines." arXiv preprint arXiv:1410.5401 (2014).

Sukhbaatar, Sainbayar, Jason Weston, and Rob Fergus. "End-to-end memory networks." Advances in neural information processing systems. 2015.

Neelakantan, Arvind, et al. "Learning a natural language interface with neural programmer." arXiv preprint arXiv:1611.08945 (2016).

Liang, Chen, et al. "Neural symbolic machines: Learning semantic parsers on freebase with weak supervision." arXiv preprint arXiv:1611.00020 (2016).

Mou, Lili, et al. "Coupling distributed and symbolic execution for natural language queries." arXiv preprint arXiv:1612.02741 (2016).

Hu, Zhiting, et al. "Harnessing Deep Neural Networks with Logic Rules." Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Vol. 1. 2016.

Goyal, Raghav, Marc Dymetman, and Eric Gaussier. "Natural language generation through character-based rnns with finite-state prior knowledge." Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers. 2016.

Luo, Bingfeng, et al. "Marrying up Regular Expressions with Neural Networks: A Case Study for Spoken Language Understanding." arXiv preprint arXiv:1805.05588 (2018).

Zafer Kralı Luban No. 7 pratik beceri, acemiler için bir zorunluluktur!

"Bai Tong CP" yeniden bir araya geldi, karısı ve çocukları savaşa katıldı, ancak Sha Yi bu sefer yine üzüldü ...