g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Bilişsel akıl yürütme: bir sonraki yapay zeka dalgası

Görüntü kaynağı @Visual China

Makale Akademik Başlıklar

25 Mart 2020'de Zhiyuan Araştırma Enstitüsü akademik dekan yardımcısı ve Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nden Profesör Tang Jie, ilk Çin Bilimler Akademisi "Öncü Kupası" Paralel Hesaplama Uygulaması Grand Prix'sinin açılış törenine konuk oldu ve herkese "Gelecek On Yıl Yapay Zeka" ödülünü getirdi. "Tematik rapor.

Yapay zeka gelişimi tarihinden başlayarak son on yılda yapay zekanın gelişimini analiz eden Bay Tang, yapay zekanın algıdaki önemli kazanımlarını anlattı.Özellikle algoritmaların bu algı çağının en önemli ve temsili içeriği olduğunu belirtti. BERT, ALBERT ve MoCo2 gibi hızlı hareket eden algoritmalara odaklanır. Son olarak, bir sonraki yapay zeka dalgasının yükselişi söz konusu olduğunda, akıl yürütme, yorumlanabilirlik ve biliş ile yapay zekayı gerçekleştirmektir.

Son yıllarda yapay zeka üçüncü bir dalga başlattı ve çeşitli ülkeler yapay zeka geliştirme stratejileri formüle etti.

Çin'de, 2016 yılında, Devlet Konseyi, yapay zekayı yeni nesil bilgi teknolojisinin geliştirilmesinin ana yönü olarak açıkça tanımlayan "On Üçüncü Beş Yıllık" Ulusal Bilim ve Teknoloji İnovasyon Planını yayınladı; Temmuz 2017'de, Devlet Konseyi "Yeni Nesil Yapay Zeka Geliştirme Planı" 2017'yi yayınladı; Ekim 2010'da yapay zeka, "Çin Komünist Partisi 19. Ulusal Kongresi Raporu" na dahil edildi ve bu yıl yapay zeka, kilit bir gelişme alanı olarak "yeni altyapı" nın yedi ana alanından biri olarak açıkça listelendi.

ABD, yapay zekayı ulusal strateji seviyesine yükselten 2016 yılında "Yapay Zekanın Geleceğine Hazırlık" ve "Ulusal Yapay Zeka Araştırma ve Geliştirme Stratejik Planı" olmak üzere iki rapor yayınladı; 2018'de Beyaz Saray bir yapay zeka zirvesine ev sahipliği yaptı. , Sektörden, akademiden ve hükümetten temsilcileri katılmaları için davet etti ve yapay zeka üzerine özel bir komite kurdu. Japonya ve Almanya gibi birçok ülke de yapay zekanın gelişimini güçlü bir şekilde desteklemek için ilgili stratejiler ve planlar yayınladı.

Bu çağda Önümüzdeki on yıl içinde yapay zekanın nasıl gelişeceğini düşünmemiz gerekiyor. Öncelikle yapay zeka tarihinden ilham almamız gerekiyor.

AI'nın tarihi

Claude Shannon'un (Claude Shannon) 1950'de bilgisayar oyunu önermesi ve Alan Turing'in (Alan Turing) 1954'te "Turing testi" önermesiyle yapay zeka kavramı insanların görüş alanına girmeye başladı.

1960'larda yapay zeka, doğal dil işleme ve insan-makine diyalog teknolojilerinin gelişmesiyle birlikte ilk doruk noktasına ulaştı. Temsili olaylar, Daniel Bobrow tarafından 1964'te yayınlanan bir bilgisayar problem çözme sistemi için Natural dil girdisi ve Joseph Weizenbaum tarafından 1966'da yayınlanan bir bilgisayar olan ELIZA'dır. insan ve makine arasındaki doğal dil iletişiminin incelenmesi için bir program.

Ek olarak, önemli bir gelişme var - bilgi tabanı. 1968'de Edward Feigenbaum (Edward Feigenbaum), ikinci yapay zeka dalgasının yükselişi için fırsat anlamına gelen bilgi tabanının ön tanımını verirken ilk uzman sistemi DENDRAL'ı önerdi.

Bundan sonra, yapay zeka neredeyse on yıla yayılan soğuk bir kışa girdi.

1980'lerde yapay zeka ikinci dalgaya girdi. Temsili çalışma, 1976'da Randall Davis ve 1980'de Drew Mack tarafından inşa edilen ve sürdürülen büyük ölçekli bilgi tabanıydı. Drew McDermott ve Jon Doyle tarafından önerilen monoton olmayan mantık ve daha sonra ortaya çıkan robot sistemi.

1980'de Hans Berliner'in tavla dünya şampiyonuna karşı bilgisayar zaferi bir dönüm noktası olayı haline geldi. Daha sonra, davranış temelli robotik, Rodney Brooks'un ivmesi altında hızla gelişti ve yapay zekanın önemli bir geliştirme dalı haline geldi. Bunların arasında Gerry Tesauro ve diğerleri tarafından oluşturulan kendi kendine öğrenen tavla programı, daha sonra gelişmiş öğrenmenin geliştirilmesi için temel oluşturdu.

1990'larda yapay zekada iki önemli gelişme yaşandı: İlk içerik, 1998'de Tim Berners-Lee tarafından önerilen ve semantiğe dayanan Anlamsal İnternet Yol Haritasıydı. Bilgi ağı veya bilgi ifadesi. Daha sonra OWL dili ve diğer ilgili bilgi tanımlama dilleri ortaya çıktı. İkinci içerik, Geoffrey Hinton ve diğerleri tarafından önerilen ve yapay zekanın üçüncü dalgasının yükselişine işaret eden derin öğrenmedir.

Bu dalgaya birçok şirketin de katıldığını gördük. Örneğin, Sebastian Thrun (Sebastian Thrun) Google'da sürücüsüz araçların lansmanına öncülük etti ve 2011'de IBMden Watson "Jeopardy" şampiyonluğu kazandı ve Apple'ın doğal dil soru ve cevap aracı Siri, 2011'de piyasaya sürüldü.

Yukarıdakiler, 60 yılı aşkın gelişim tarihinde yapay zekanın ikonik başarılarından ve teknolojilerinden bazılarıdır.

Yapay zekanın son on yılda gelişimi

Son on yıldaki yapay zekanın gelişimini daha ayrıntılı analiz edersek, önemli bir işaret göreceğiz: Yapay zeka algıda önemli sonuçlar elde etti . Yapay zeka, konuşma tanıma, metin tanıma ve video tanıma konusunda insanları geride bıraktı.YZ'nin algıda kademeli olarak insan seviyesine yaklaştığını söyleyebiliriz. Gelecekteki eğilimler açısından bakıldığında, yapay zeka, algıdan bilişe doğru temel bir aşamalı gelişim eğilimine sahip olacak ,Aşağıda gösterildiği gibi:

İlk olarak, yapay zekanın algılamada ne yaptığına bir bakalım. Algılama açısından, AlphaGo, insansız sürüş ve metin ve resimler arasındaki çapraz medya hesaplamaları hızlı bir gelişme kaydetti. Makro açıdan bakıldığında, Algoritmalar, bu algılama çağının en önemli ve temsili içeriğidir. . Son on yıldaki en önemli algoritmaları kategorize edip derin öğrenmeyi örnek olarak kullanırsak aşağıdaki şekilde gösterilen geliştirme bağlamını elde edebiliriz.

Üstteki açık mor kısımdaki içerik, önceki ağ tarafından temsil edilen derin öğrenme algoritmasıdır.

İkinci katmanın açık yeşil kısmının içeriği, kendi kendine öğrenme ve kendi kendine kodlama ile temsil edilen bir öğrenme çağını temsil eder.

Üçüncü katmanın turuncu kısmı, kendi kendine dolaşan sinir ağının algoritmasını temsil eder (olasılıklı grafik modelinin geliştirilmesi).

En alttaki pembe kısım, gelişmiş öğrenmeyle temsil edilen gelişim bağlamıdır.

Genel olarak konuşursak, derin öğrenme algoritmalarını bu dört bağlamda sınıflandırabiliriz ve bu dört alanda hızlı ilerleme sağlanmıştır.

Son yıllardaki en önemli gelişmeye geri dönerseniz, BERT'nin tipik bir temsilci olduğunu göreceksiniz (daha fazla bilgi edinmek isteyen okuyucular https://arxiv.org/pdf/1810.04805.pdf okuyabilir). BERT tarafından temsil edilen ön eğitim algoritması hızla gelişmektedir. Temel olarak tüm algoritmalar, aşağıdaki şekilde gösterildiği gibi ön eğitim + ince ayar + İnce ayar yöntemini benimser:

BERT, 2018'in sonunda ön eğitim yoluyla NLP'deki 11 görevin klasik algoritmasını yendi; XLNet, 2019'da BERT'yi iki yönlü bir ağ aracılığıyla aşmayı önerdi (daha fazla bilgi edinmek isteyen okuyucular https://arxiv.org/pdf okuyabilir. /1906.08237.pdf), aşağıdaki şekilde gösterildiği gibi:

Daha sonra ALBERT, XLNet'i ve orijinal BERT'i geçti (daha fazla bilgi edinmek isteyen okuyucular https://arxiv.org/pdf/1909.11942.pdf okuyabilir). Tüm BERT'nin gelişimi bir dizi takip çalışmasını tetikledi.

Diğer alanlarda, birçok temsili iş de ortaya çıktı. Örneğin, 2018'in sonunda Nvidia, ön eğitim modelleri aracılığıyla yüksek çözünürlüklü videoların otomatik olarak oluşturulmasını gerçekleştirdi. Daha fazla ayrıntı öğrenmek isteyen okuyucular https://arxiv.org/abs/1808.06601 okuyabilir.

DeepMind, grafik_net içinde temsili ilişki ilişkileri oluşturur, böylece ağda belirli çıkarımlar gerçekleştirilebilir ve yapısı aşağıdaki şekilde gösterilmektedir. Daha fazlasını öğrenmek isteyen okuyucular https://arxiv.org/abs/1806.01261 okuyabilir.

Facebook'tan He Kaiming ve diğerleri, denetimsiz öğrenmenin pek çok sonucunda denetimli öğrenmeyi geride bırakan kontrastlı öğrenmeye dayalı MoCo ve MoCo2'yi önerdiler. Bu, aynı zamanda Ön eğitim yeni bir boyuta ulaştı. Daha fazlasını öğrenmek isteyen okuyucular https://arxiv.org/abs/1911.05722 okuyabilir.

Jeffrey Hinton ve diğerleri, karşılaştırmalı öğrenmenin basitleştirilmiş bir versiyonuyla MoCo'yu geçmek için SimCLR'yi kullandı. Daha sonra MoCo2, SimCLR'yi geçtiğini iddia etti. Daha fazla bilgi edinmek isteyen okuyucular https://arxiv.org/abs/2002.05709 okuyabilir .

Genel olarak, algoritmalar çağında, ön eğitim algoritmaları hızlı ilerleme kaydetmiştir. Peki önümüzdeki on yıl içinde yapay zeka nereye gidecek?

Önümüzdeki on yılı dört gözle bekliyorum

Burada, Akademisyen Zhang Bo tarafından önerilen üçüncü nesil yapay zeka teorik sisteminden alıntı yapmak istiyorum.

2015 yılında Akademisyen Zhang Bo, üçüncü nesil yapay zeka sisteminin prototipini önerdi.

2017'de DARPA, XAI projesini başlattı. Asıl fikir, yorumlanabilir yapay zeka sistemleri hakkında üç yönden kapsamlı araştırma yürütmektir: yorumlanabilir makine öğrenimi sistemleri, insan-bilgisayar etkileşimi teknolojisi ve yorumlanabilir psikolojik teoriler.

2018'in sonunda resmen teklif edildi Üçüncü nesil yapay zekanın teorik çerçeve sistemi Temel fikir şudur:

Açıklanabilir ve sağlam yapay zeka teorileri ve yöntemleri oluşturun.
Güvenli, güvenilir, inanılır ve ölçeklenebilir yapay zeka teknolojisi geliştirin.
Yapay zekanın yenilikçi uygulamalarını teşvik edin.

Spesifik uygulama yol haritası aşağıdaki gibidir:

Beyinden ilham alan yapay zeka teorisi geliştirmek için beyin bilimiyle bütünleşin.
Yapay zeka teorisi ve veri ve bilgi füzyon yöntemi.

Bu ideolojik çerçeve altında, bazı derinlemesine araştırmalar yaptık, Biz buna bilişsel harita diyoruz. Temel kavram bilgi grafiği + bilişsel akıl yürütme + mantıksal ifadedir.

Aşağıda açıklayın.

Bilgi grafiği herkese aşinadır ve 2012'de Google tarafından önerilmiştir. Bunların arasında gişe rekorları kıran iki Turing Ödülü sahibi var: biri 1960'larda bilgi tabanı için bazı teorik sistemler ve çerçeveler öneren Edward Feigenbaum (1994 Turing Ödülü sahibi); Diğeri ise 1994'teki Tim Berners Lee'dir (2016 Turing Ödülü sahibi, WWW'nin kurucusu ve Anlamsal Web'in kurucusu). Bilgi mühendisliği ve uzman sistemlere ek olarak, temsili bir sistem CYC de vardır.CYC'nin tarihteki en uzun ömürlü proje olduğu söylenebilir .. 1985 yılından itibaren bu proje bugüne kadar devam etmiştir.

Bilgi grafiğinden bahsettikten sonra bilişsel grafikten bahsedelim.

Pek çok kişinin bilişsel haritalara görece yabancı olduğuna inanıyorum Burada bir örnek veriyoruz. "Los Angelestaki The Quality Cafede çekilmiş sahneleri olan 2003 filminin bir yönetmenini bulun" sorununu çözmek istediğimizi varsayalım. Birisi bu sorunu çözecekse, Quality Cafe'nin tanıtım belgesi, Los Angeles'taki Wikipedia sayfası vb. Gibi ilgili belgelerin izini sürmek olabilir. Bu filmin girişinde Old School gibi ilgili filmleri bulabiliriz. Belgede, Todd Phillips filminin yönetmenini de bulabiliriz. 2003 yılında filmin çekim zamanını karşılaştırdıktan sonra, son cevap Todd Phillips. Spesifik süreç aşağıdaki şekilde gösterilmiştir:

Sorunu çözmek için geleneksel algoritmaları (BIDAF, BERT, XLNet gibi) kullandığımızda, bilgisayar yalnızca kısmi parçaları bulabilir ve yine de bilgisayarlarda çok eksik olan bilgi düzeyinde bir muhakeme yeteneğinden yoksundur. İnsanlar bu açıdan avantajlara sahipken, bilgisayarlar benzer yeteneklerden yoksundur.

Yukarıdaki problemleri çözme sürecinde, insanlar akıl yürütme yollarına, muhakeme düğümlerine sahiptir ve tüm süreci anlayabilirler.Al sistemleri, özellikle mevcut AI sistemlerinde, derin öğrenme algoritmaları bu problemlerin çoğunu kara kutu olarak ele alır. ,Aşağıda gösterildiği gibi:

Nasıl yapılır? Bu bağlamda, "bilişsel grafik" kavramını önerdik. Yukarıdaki problemleri çözmek için insan bilişi dahil olmak üzere bilgi temsili, muhakeme ve karar vermeyi kullanmayı umuyoruz. Temel yapı aşağıdaki gibidir:

Bu temel fikir, bilişsel bilimdeki çift kanallı teori ile birleştirilmiştir. İnsan beyninin bilişsel sisteminde iki sistem vardır: Sistem 1 ve Sistem 2, aşağıdaki şekilde gösterildiği gibi. Sistem 1, bir kişinin ilgili bilgileri sezgisel olarak eşleştirmesiyle cevapları bulabilen bir sezgi sistemidir.Çok hızlı ve basittir; Sistem 2 ise belirli akıl yürütme ve mantıkla cevapları bulan bir analiz sistemidir.

Geçen yılki NIPS'de Turing Ödülü sahibi Bengio, konferansın açılış konuşmasında, Sistem 1'den Sistem 2'ye bilişin, aşağıdaki şekilde gösterildiği gibi, derin öğrenmenin gelecekteki gelişimi için önemli bir yön olduğunu belirtti:

Bu nedenle, muhtemelen bilişsel harita dediğimiz bu yeni yöntemi inşa etmek için bu fikri kullandık. Sistem 1'de esas olarak bilgi genişletme yapıyoruz. Sistem 2'de, aşağıdaki şekilde gösterildiği gibi mantıksal akıl yürütme ve karar verme yapıyoruz:

Sistem 1'de bilgi genişletme yaptığımız görülüyor. Örneğin, önceki problem için önce ilgili videoları buluyoruz, sonra karar vermek için Sistem 2'yi kullanıyoruz. Standart cevap ise, tüm muhakeme süreci sona erer. Standart bir cevap değilse ve ilgili bilgi yararlıysa, bunu Sistem 1'e faydalı bilgi olarak sunacağız.Sistem 1 bilgiyi genişletmeye devam edecek ve Sistem 2, cevap nihayet bulunana kadar kararlar verecektir.

Şimdi, bu iki sistemde, Sistem 1 sezgisel bir sistemdir.Onu uygulamak için BERT kullanıyoruz.Uygulamadan sonra ilgili bilgileri eşleştirebiliriz; Sistem 2 bir grafik evrişimli ağ ile uygulanır. Evrişimli ağlarda belirli akıl yürütme ve karar verme yapılabilir. Bu fikir sayesinde, belirli bir muhakeme + karar vermeyi başarabiliriz.

Bu genel bir fikirdir: Bilgiyi ve muhakemeyi gerçekten gerçekleştirmek için, aslında aşağıdaki şekilde gösterildiği gibi trilyon seviyeli bir bilgi tabanının desteğine ihtiyaç duyar. Başka bir deyişle, Feigenbaum'un 40 veya 50 yıl önce yaptığı şeyi, belki şimdi tekrar yapmalıyız, ancak daha büyük ölçekli bir sağduyu bilgi haritası oluşturmalı ve bu yöntemi ve bu sağduyu bilgisini kullanmalıyız. Grafik, yapay zekanın geleceğini gerçekten gerçekleştirmek için yukarıdaki derin öğrenmenin hesaplanmasını desteklemektedir.

Dolayısıyla bu nesil yapay zeka dalgası, sonunda akıl yürütme veya açıklama yeteneğine sahip olmayabilir. ve altında Bir dalga yapay zeka dalga nın-nin Yükselmek Yani başarmak Muhakeme ile , Yorumlanabilir , Bilişsel yapay zeka , Bunun, AI'nın önümüzdeki 10 yıl içinde geliştireceği ve kesinlikle geliştireceği önemli bir yön olduğunu düşünüyoruz.

Burada ilgili makaleleri listeledim, ilgileniyorsanız bir göz atabilirsiniz. Daha fazla bilgi edinmek için adresinde oturum açabilirsiniz.

Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang ve Jie Tang. Ölçekte Çok Zıplamalı Okuduğunu Anlama için Bilişsel Grafik. ACL'19.
Jie Zhang, Yuxiao Dong, Yan Wang, Jie Tang ve Ming Ding. ProNE: Hızlı ve Ölçeklenebilir Ağ Temsilcisi Öğrenimi. IJCAI'19.
Yukuo Cen, Xu Zou, Jianwei Zhang, Hongxia Yang, Jingren Zhou ve Jie Tang. Attributed Multiplex Heterogeneous Network için Temsil Öğrenimi. KDD'19.
Fanjin Zhang, Xiao Liu, Jie Tang, Yuxiao Dong, Peiran Yao, Jie Zhang, Xiaotao Gu, Yan Wang, Bin Shao, Rui Li ve Kuansan Wang. OAG: Büyük Ölçekli Heterojen Varlık Grafiklerini Bağlamaya Doğru. KDD'19.
Qibin Chen, Junyang Lin, Yichang Zhang, Hongxia Yang, Jingren Zhou ve Jie Tang E-ticarette Bilgiye Dayalı Kişiselleştirilmiş Ürün Tanımı Üretime Doğru. KDD'19.
Yifeng Zhao, Xiangwei Wang, Hongxia Yang, Le Song ve Jie Tang. Seri Çekim Algılamalı Büyük Ölçekli Gelişen Grafikler. IJCAI'19.
Yu Han, Jie Tang ve Qian Chen. Gelişen Ağlar için Kısmi İzleme Altına Ağ Katıştırma. IJCAI'19.
Yifeng Zhao, Xiangwei Wang, Hongxia Yang, Le Song ve Jie Tang. Seri Çekim Algılamalı Büyük Ölçekli Gelişen Grafikler. IJCAI'19.
Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Chi Wang, Kuansan Wang ve Jie Tang NetSMF: Seyrek Matris Ayrıştırması Olarak Büyük Ölçekli Ağ Gömme WWW'19.
Jiezhong Qiu, Jian Tang, Hao Ma, Yuxiao Dong, Kuansan Wang ve Jie Tang. DeepInf: Büyük Sosyal Ağlarda Etki Konumunu Modelleme. KDD'18.
Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Kuansan Wang ve Jie Tang. Matris Ayrıştırması Olarak Ağ Katıştırma: DeepWalk, LINE, PTE ve node2vec Birleştirme. WSDM18.
Jie Tang, Jing Zhang, Limin Yao, Juanzi Li, Li Zhang ve Zhong Su ArnetMiner: Akademik Sosyal Ağların Çıkarılması ve Madenciliği. KDD08.