2018'de en çok beklenen akademik ilerleme, yapay zeka araştırmacıları için bir yıl sonu özeti
Leifeng.com AI teknolojisi yorumu: 2017 geçmek üzere ve AI da 2017 ortasında hızla gelişti. Araştırmacılar birçok ilginç ve çığır açan çalışma ortaya koydu. Yapay zeka uygulayıcıları olarak, yardım edemeyiz ancak gelecek yıl yapay zekanın geliştirilmesi için daha fazla vizyonumuz var. Burada, makine öğrenimi uzmanı Alex Honcha'nın beklediği gibi, 2018'de büyük ilerleme sağlama olasılığı en yüksek olan AI alanını sunuyoruz.
Aşağıda Leifeng.com tarafından hazırlanan orijinal metnin kısmi bir derlemesi verilmiştir.
Herkese merhaba! 2017, makine öğrenimi dünyasının en üretken ve yaratıcı yılıdır. Araştırmaları ve sektördeki gelişmeleri özetlemek için birçok blog gönderisini ve hatta resmi raporları zaten görebilirsiniz. Birkaç farklı şey paylaşmak istiyorum. Üç makale aracılığıyla önümüzdeki yıl yapay zekanın ilerlemesini aşağıdaki üç farklı perspektiften analiz edeceğim:
-
Sektör gelişimini destekleyen bir yapay zeka araştırmacısı olarak (bu makale)
-
Makine öğrenimini endüstriye uygulayan bir geliştirici olarak
-
Yeni bir dünyada yaşayan sıradan bir insan olarak
Bu makaledeki tahminim 2012'den beri akademi ve teknoloji devi laboratuvarlarda araştırma fikirlerinin evrimine dayanıyor. Gelişimin ön aşamasında olan bazı alanları seçtim, ancak derinlemesine araştırma yapmaya hazırlar ve 2018'de atılımlar yapabilirler ve sonunda 2019-2020'de gerçeğe uygulanabilir.
Açık kaynak bilimsel araştırma
Diğer araştırma alanlarından kişilerin genellikle bir sorusu vardır: Bu yapay zekacılar neden bu kadar hızlı çalışıyorlar?
Öncelikle makine öğrenimi alanındaki makalelerin çoğu dergilerde değil konferanslarda yayınlanmaktadır.Aynı zamanda gerçek zamanlı arXiv ön baskıları vardır, böylece araştırmacılar makalenin yayınlanmasını beklemek yerine en son araştırma sonuçlarını istedikleri zaman görebilirler. Bundan birkaç ay sonra.
İkinci olarak, "homeopatik" makaleler yayınlamıyoruz: Makalenin yayınlanması için, en üst düzeyde veya mevcut en üst düzey yöntemlere benzer yeni yöntemler önermeliyiz. Ek olarak, yeni yöntemin farklı göstergeler altında test edilmesi gerekiyor: hız, doğruluk, paralel yürütme, matematiksel kanıt, farklı boyutlardaki veri kümelerini işleme vb. Bu, yöntemin genelleme yeteneğini büyük ölçüde geliştirir.
Son olarak, tüm ana makaleler algoritmanın uygulanmasını açık kaynaklı hale getirmiştir, bu nedenle sonuçlar başkaları tarafından çalıştırılabilir, birden fazla incelemeye tabi tutulabilir ve hatta daha da iyileştirilebilir.
Modern yapay zeka araştırmasıyla ilgili en harika şeylerden biri, makaleleri "bloglar" şeklinde yayınlamaktır. En son gelişmeleri DeepMind, OpenAI, Salesforce ve IBM bloglarında görebiliriz. Araştırma sonuçları açık ve anlaşılması kolay bir şekilde görüntülenir. Dolayısıyla bilimsel araştırmadan uzak insanlar bile bu "harika" teknolojileri kolayca anlayabilir. Şahsen sevdiğim distill pub iyi bir örnek.
Bunlar gerçek bilimsel dergilerdir, ancak makaleler daha çok resimli bloglara benziyor. Elbette, bu tür bir makale yazmak için çok çalışmak gerekiyor, ancak ancak bu formatta daha fazla insanı çekebilir. Normal koşullar altında, bu makaleler sonuçları araştırmacılara, geliştiricilere ve yatırımcılara gösterebilir. Sonuçların bu şekilde gösterilmesi kuşkusuz daha verimli Önümüzdeki birkaç yıl içinde daha fazla araştırma sonucunun bu şekilde sunulacağına inanıyorum.
Paralel korpus içermeyen dil modeli
Çok basit bir soru olarak görüyoruz:
50 Arapça kitap, 16 Almanca kitap ve 7 Ukraynaca kitap alın.Arapçayı Ukraynacaya ve Ukraynacayı Almancaya nasıl çevireceğinizi öğrenmeniz gerekmektedir.
Bunu yapabilirmisin? Bahse girerim değil. Ancak makine bunu zaten yaptı! 2017'de çığır açan iki makale yayınlandı: "Yalnızca Tek Dilli Corpora Kullanılarak Denetimsiz Makine Çevirisi" ve "Denetimsiz Nöral Makine Çevirisi". Makine çevirisinin temel fikri, bazı genel insan dili ifade alanını eğitmek için benzer anlamlara sahip cümleleri bir araya getirmektir. Bu fikir yeni değil, ancak en son yöntemler artık açıkça çiftleştirilmiş Almanca-Arapça cümleler gerektirmiyor.
Çok dilli temsil alanı örneği
Bu makalelerin yazarları, çok az denetimle model çevirisinin kalitesinin hızla artabileceğini iddia ediyor. Bu çalışmanın 2018 yazından yıl sonuna kadar tamamlanmasını bekliyorum. Bu tür bir denetim, ancak gerçek denetimli öğrenme fikri değil, diğer alanlara da yayılacaktır ve genişletilecektir.
Videoyu daha iyi anlamanın zamanı geldi
Çeşitli daha derin, daha geniş ve daha yoğun bağlantılı ağlar sayesinde insanları geride bırakabilecek bilgisayarlı görme sistemleri yarattık.
Http://aiindex.org/2017-report.pdf adresinden nesne algılama doğruluğu değişikliği
Ancak mevcut sonuçlar statik görüntülerle sınırlıdır, ancak gerçekte insanlar görüntü sekanslarını, videoları veya gerçek dünyayı gözleriyle gözlemlemeye daha alışkındır, bu nedenle videolara bilgisayarla görme yöntemlerini uygulamalı ve onları statik görüntüleri işleyebilmelerini sağlamalıyız. hızlı.
Ancak, dürüst olmak gerekirse, sabit bir görüntüde 1000 nesneyi tespit etmek çok sıkıcı hale gelecek ve hiç de seksi olmayacaktır.
Son NIPS 2017'de, sonraki kare tahmini ve video gösterimi öğrenimi hakkında bazı ilginç sonuçlar yayınlandı. Kullanmaya ve üzerinde çalışmaya çalışabileceğiniz bazı modeller: geliştirilmiş dikkat modeli, videoda optik akışın kullanımı ve büyük videoları verimli bir şekilde işlemek için döngü yapılarının kullanılması.
https://research.google.com/youtube8m/
Çok modlu / çok görevli öğrenme
Çevremizdeki dünyayı gözlemlediğimizde, sadece hareketli görüntüler görmüyoruz: aynı zamanda sesleri de duyuyoruz, dışarıdaki sıcaklığı hissediyoruz ve bazı duyguları da hissediyoruz. Bu, çevremizdeki dünyayı modaliteler dediğimiz farklı kaynaklardan "gördüğümüz" anlamına gelir. Dahası, konuşan bir kişinin sesini duymak gibi yalnızca bir yöntemi "görsek" bile, bunu bir konuşma tanıma sistemi gibi metne çevirmekle kalmayız, aynı zamanda konuşmacının cinsiyetini, yaşını ve konuşmayı da anlayabiliriz. İnsanların duyguları. Aynı anda farklı şeyleri anlayabiliriz. Makinelerin de bu tür yeteneklere sahip olabileceğini umuyoruz.
İnsanlar bir resimden yüzlerce sonuç çıkarabilir, makineler neden çalışmaz?
Şu anda, çok-görevli problemleri çözmek için kullanılan çok fazla veri seti yoktur, ancak Oxford Üniversitesi son zamanlarda çok modlu görüntü tanıma için bir veri seti ve zorluk önermiştir. Önümüzdeki yıl sesli uygulamalarda daha fazla veri kümesi ve sonuç görünecek (örneğin: yaş, duygu):
İnsanlar ondan fazla modu idare edebilir, neden makineler yapamaz?
Bu makaleye multi-modal öğrenmeyi eklemeye karar vermeden önce, aslında yapay zekanın finansta uygulaması hakkında yazmak istedim, ancak aşağıdaki veri setinin yayınlandığını görünce finansal işlemlerin asla eklenmeyeceğini biliyordum. Bu makalede. Bu HoME veri seti, görme, konuşma, anlambilim, fizik ve diğer nesnelerle etkileşim gibi çeşitli verileri içeren çok şok edici bir ortam içerir. Robota neredeyse gerçek bir odada her şeyi görmeyi, hissetmeyi ve dinlemeyi öğretebilirsiniz!
https://home-platform.github.io/
Tüm modaliteleri birlikte halledebilir miyiz?
Ayrıca merak ediyor musunuz, tamamen farklı girdilere dayalı olarak tamamen farklı görevleri çözebilen süper çok modlu çok görevli bir model oluşturabilir miyiz? Google Research bunu başardı. Girdi olarak görüntü ve metin alabilen ve görüntü tanıma, bölümleme, metin çevirisi, ayrıştırma ve diğer sorunları çözmek için tek bir sinir ağı kullanabilen bir mimari oluşturdular. Bence bu, bu tür bir görevi çözmenin en akıllı yolu değil, ama bu iyi bir başlangıç!
Pekiştirmeli öğrenme: bir oyundan daha fazlası
Takviyeli öğrenme benim için en heyecan verici ve şüpheli alanlardan biri: satranç, Go ve poker gibi karmaşık oyunları herhangi bir denetim olmaksızın kendi kendine oynayarak kazanabilir, ancak aynı zamanda, Takviyeli öğrenmede yapay ortamlarda tırmanabilen 3B oyuncak figürleri veya mobil robotik kollar gibi gerçek dünya uygulamaları neredeyse hiç yoktur. Bu nedenle, pekiştirmeli öğrenmeyle ilgili araştırmanın gelecek yıl devam etmesi gerektiğini düşünüyorum. Bence iki büyük atılım olacak: OpenAI'den Dota 2 (profesyonel oyuncuları 1'e 1 yenen) ve DeepMind'in StarCraft 2'si.
DotA ve StarCraft şampiyonlarının gelecekte OpenAI ve DeepMind robotları tarafından yenileceğinden oldukça eminim. Artık OpenAI'nin deneysel ortamını kullanarak StarCraft 2 oynayabilirsiniz.
Oyun oynamayı sevmeyen araştırmacılar için, OpenAI'nin bazı ilginç sonuçları da var: rekabetçi kendi kendine oyunlar, diğer modellerden öğrenme, iletişim ve işbirliğini öğrenme ve tabii ki Facebook öğrenme müzakeresi. Önümüzdeki 1-2 yıl içinde bu sonuçları chatbotlarda görmeyi umuyorum, ancak şimdiye kadar yapılacak çok fazla araştırma var.
Facebook Müzakere Robotu
Yapay zekanın kendini açıklaması gerekiyor
Sinir ağlarını kullanmak harika. Farklı katman sayılarına sahip sinir ağlarını kullanabilirsiniz. Farklı bağlantı yoğunluğu, ImageNet'te 0,05'lik bir iyileştirme sağlayabilir. Tıbbi radyoloji görüntülerinin analizine bile uygulanabilir. Ancak kendilerini açıklayamazlarsa, gerçekten Onlara güvenebilir misin?
Bu ağın neden bu görüntünün bir köpek olduğunu düşündüğünü, neden bu kişinin gülümsediğini düşündüğünü veya neden bir hastalığım olduğunu söylediğini bilmek istiyorum.
Ancak sinir ağı çok doğru sonuçlar verebilse de yukarıdaki soruların cevabını veremez:
Yapay zeka yorumlama problemi hala açık bir problem olarak görülüyor, ancak bazı başarılı uygulamalarımız olmasına rağmen, örneğin: derin ağlardan ağaç tabanlı kuralların çıkarılması, evrişimli katmanların görselleştirilmesi Ve Gizli kavram ve / veya grafik eğitimi gibi daha karmaşık kavramlar veya görsel açıklamalar üretme:
Https://arxiv.org/pdf/1603.08507.pdf adresinden resim
Ve şu anda en iyi model: InterpretNet:
Https://arxiv.org/pdf/1710.09511.pdf adresinden resim
Ayrıca, tahminlerin kesinliğini takip edebilen Bayes yöntemlerini daha fazla düşünmeliyiz. Bu, gelecek yıl makine öğreniminde sıcak bir konu olmalı.
AI güvenliği: artık küçük bir sorun değil
Yapay zeka yorumlanabilirliğinden sonra çözülmesi gereken ikinci önemli görev, rakip örnekler tarafından kolayca saldırıya uğrayabilen modern makine öğrenimi algoritmalarının kırılganlığıdır.
https://blog.bigml.com/2016/09/30/hype-or-reality-stealing-machine-learning-models-via-prediction-apis/
https://blog.openai.com/adversarial-example-research/
Ian Goodfellow, bu sorunlar için CleverHans adlı özgün bir çalışma yaptı. Şifrelenmiş verilere dayalı veri gizliliği ve eğitim meselesinin yanı sıra, homomorfik şifreli sinir ağının basit bir örneğini gösteren Dr. Oxford'un harika makalesine de göz atabilirsiniz.
AI'nın girişini (özel veriler), iç yapısını (saldırıya uğramayı önlemek için) ve öğrendiklerini (eylemlerinin güvenliğini sağlamak için) korumamız gerekir.
Ancak, bunlar günümüzde yapay zekanın tüm sorunları değildir.Matematik açıdan bakıldığında (özellikle pekiştirmeli öğrenmede), algoritmalar çevreyi hala güvenli bir şekilde keşfedemez. Bu, fiziksel robotların dünyayı özgürce keşfetmesine izin verirsek, eğitim aldıkları anlamına gelir. Süreç, hataları tamamen önleyemez veya güvenli olmayan davranışlarda bulunamaz; aynı zamanda modelimizi yeni dağıtıma tam olarak uyarlayamıyoruz.Modelin genelleme yeteneği önemli bir konudur.Örneğin, gerçek dünya veri kümeleri üzerine eğitilmiş ağın elle çizilmiş olarak tanınması zordur. Nesne; ve diğer birçok soruyu aşağıdaki makaleye göz atabilirsiniz:
https://blog.openai.com/concrete-ai-safety-problems/
DeepMind: AI Güvenlik Sorunlarını Belirleme (Lei Feng Net AI Technology Review)
Optimizasyon: Gradyanın ötesinde ne var?
Optimizasyon teorisinin büyük bir hayranıyım ve optimizasyon yöntemlerinin 2017'deki en iyi incelemesinin Sebastian Ruder tarafından yazıldığını düşünüyorum:
Burada, genel SGD + geri yayılımı iyileştirmenin birkaç yolunu gözden geçirmek istiyorum:
-
Sentetik gradyanlar ve diğer yöntemler, derin ağlar aracılığıyla karmaşık zincir kurallarından kaçınır.
-
Olası yerel minimumları önlemek için türevlendirilemez bir kayıp işlevi kullanan, pekiştirmeli öğrenmeye yönelik evrimsel algoritma
-
SGD'yi, daha iyi öğrenme oranını ve parti boyutu planlamasını geliştirin
-
Optimizasyonu öğrenmek, optimizasyon probleminin kendisini bir öğrenme problemi olarak ele alın.
-
Farklı alan optimizasyonu, ağımızı Sobolev uzayında eğitirsek ne olur?
Http://bair.berkeley.edu/blog/2017/09/12/learning-to-optimize-with-rl/ adresinden resim
Türevlenemeyen fonksiyonların optimizasyon problemini evrimsel algoritmalar, pekiştirmeli öğrenme ve öğrenme optimizasyon teknikleri yoluyla çözmenin, AI modellerini daha etkili bir şekilde eğitmemize yardımcı olacağına inanıyorum.
3D ve Grafikler için Geometrik Derin Öğrenme (Geometrik Derin Öğrenme)
Bu konuşma NIPS'de yayınlanmadan önce, bu konunun pek farkında değildim. Tabii ki, gerçek dünya verilerinin genellikle daha yüksek boyutlu bir uzayda bulunduğunu ve verilerin ve bilginin kendi geometrik ve topolojik yapılarına sahip olduğunu biliyorum. Üç boyutlu bir nesne bir nokta bulutu olarak düşünülebilir, ancak gerçekte bir yüzeydir (manifold), kendi yerel ve küresel matematiği (diferansiyel geometri) olan bir şekildir. Veya grafikleri düşünün.Bunları bazı bitişik matrisler şeklinde tanımlayabilirsiniz, ancak bazı yerel yapıları veya bazı grafikleri kaybedersiniz. Görüntüler, sesler ve metin gibi diğer nesneler de geometrik olarak düşünülebilir. Bu alandaki araştırmalardan birçok ilginç içgörüler elde edeceğimize inanıyorum.
Tüm veriler, kaçınamayacağımız yerel ve küresel geometrik bilgilere sahiptir.
Bu bağlantıda daha fazla bilgi bulunabilir:
sonuç olarak
Yukarıda tartışılan içeriğe ek olarak, bilgi temsili, transfer öğrenimi, tek öğrenme, Bayes öğrenimi, farklılaştırılabilir hesaplama vb. Hakkında da konuşabiliriz, ancak aslında bu alanlar tam olarak hazırlanmamıştır ve 2018'de kullanılamaz. Yıl içinde tamamen yeni bir aşamaya geliştirildi. Bayesian öğreniminde, matematiksel örneklemede mahsur kalmış durumdayız; diferansiyel hesaplamalar harika, ancak sinirsel Turing makineleri ve DeepMind diferansiyel sinir bilgisayarları hala çok uzakta; temsil öğrenimi zaten derin öğrenme algoritmalarının merkezinde yer alıyor, bu yüzden yazmaya değmez; Tek seferlik ve birkaç seferlik öğrenme henüz geliştirilmemiştir ve iyi tanımlanmış değerlendirme kriterleri ve veri setleri yoktur. Umarım bu makalede bahsedilen çeşitli temalar yavaş yavaş olgunlaşacak ve 2019-2020'de gerçek dünyaya daha çok uygulanacaktır.
Ek olarak, herkesin dikkatini çekeceğini umduğum bazı web siteleri, en son araştırma ilerlemelerinin çoğunu sağlayabilir:
OpenAI, DeepMind, IBM AI Research, Berkley AI, Stanford ML Group, Facebook Research, Google Research (Yerli hayranların okumasını kolaylaştırmak için Leifeng.com AI Technology Review da harika makaleleri ilk kez derleyecektir)
Araştırmacılar için 2018'de AI aracılığıyla, yapay zeka hakkında daha ayrıntılı raporlar için lütfen bizi takip etmeye devam edin
