Yeni DeepMind Başarısı: Yapay zekanın 2 milyon matematik problemi yapmasına izin verin, sonuçlar endişe verici
Metin | Beyin Kutupsal Gövdesi
"Ailelerini ve çocuklarını terk etmenin" sınırını çılgınca araştıran ebeveynleri kurtarmak için, birçok K12 eğitim platformu zamana ayak uydurdu ve matematik dersi lüks hizmet paketlerine art arda yapay zeka ekledi.
Çeşitli haberlerde, AI matematik öğretmeninin stili genellikle şu şekildedir:
Scumbag'ı küçük düşürmek - 2017 Ulusal Kolej Giriş Sınavı Matematik II'yi cevaplamak için sadece 10 dakika, 100 puan (toplam 150 puan), "maskeleme soruları" o kadar hızlı değil;
Japonya'nın üniversiteye giriş standart testi, SAT ve diğer ülkelerin "üniversiteye giriş sınavı" nda akademik ustaların elde ettiği ortalamanın üzerinde puanların üstesinden gelmek ve şampiyona yakın olmak;
İnsan öğretmenleri değiştirmek - insanlar tarafından girilen puanlama koşullarına göre bir anda doğru veya yanlışı yargılayabilir ve cevapları karşılaştırabilirsiniz. Verimlilik, insan yargı öğretmenininkinden birkaç üstel düzeydir ve hata oranı da daha düşüktür.
Birçok ebeveyn taşınmalıdır. Burada gerçeği hayal kırıklığı ile söylemeliyiz - en gelişmiş yapay zeka sistemlerinde bile matematik seviyesi lise öğrencileriyle kıyaslanamayabilir bile.
DeepMind şahsen yüzüne tokat attı: AI matematiksel bir pislik mi?
Bu yıllarda, makaleleri değerlendirmek için yapay zekaya güvenmek yeni bir şey değil. İlkokul öğrencileri bunu Zhang'ın standart cevabıyla yapabilirler. Ancak matematik problemlerini öğretmek için yapay zekaya güvenmek çok tekniktir Test edilen şey kapsamlı okuma, muhakeme, hesaplama, mantık ve benzeri becerilerdir. En azından "yeni bir batı" ustası olmalısınız.
İkincisinin ders saatlerini kullanırsanız, ilkokul öğrencilerinden ev ödevlerine yardım etmelerini isteyin, tabii ki herkes bunun bir şaka olduğunu düşünecektir. Ancak ilkokul öğrencilerinin yapay zeka ile değiştirilmesi durumunda, ebeveynler bunun için "habersiz" olacaklar.
Ancak, DeepMindın en son araştırma sonuçları, en gelişmiş yapay zeka sistemlerinde bile matematik problemlerinin sıradan lise öğrencileriyle kıyaslanamayacağını gösteriyor. Biraz hayal kırıklığı değil mi?
Durum şöyle: DeepMind, aritmetik, cebir, olasılık ve hesaplama gibi çeşitli soru türlerini kapsayan yapay zeka (Deep Neural Network) için 2 milyon soruluk bir soru bankası oluşturmak için Birleşik Krallık'taki 16 yaşındaki okul çağındaki çocukların matematik testine atıfta bulunuyor. Teste katılmak için en gelişmiş performansa sahip iki model, Tekrarlayan Sinir Ağı (RNN) ve Transformatör gönderildi.
Yuvarlama, toplama ve çıkarma, boyutların karşılaştırılması ve sayı sıralaması gibi basit sorulara ek olarak, çarpanlara ayırma, karma hesaplamalar içeren bazı ileri düzey konulardaki yapay zeka performansının lise öğrencileri kadar iyi olmadığı, hatta çizgiyi geçme Hiçbiri ulaşmadı.
Neler oluyor, soruları nasıl yaptıklarına bir bakın.
Hem LSTM hem de Transformer mimarileri bir kodlayıcı ve kod çözücü içerir. Bununla birlikte, spesifik işlem mantığı açısından, LSTM soruyu anahtarlar ve değerlerle temsil edilen bir dizi spesifik pozisyona (41 + 132) kodlayacak ve ardından kod çözücü bir sonraki karakteri (173) tahmin edecek ve haritalayacaktır.
Dikkat mekanizmasının katılımı nedeniyle, LSTM önce tamamlanması gereken bazı mantıksal nesneleri önceden işleyebilmektedir.Örneğin, 8 / (1 + 3) hesaplanırken, insan işlemlerine biraz yakın olan (1 + 3) 'ün ilk olarak hesaplanması gerektiği bilinmektedir. Muhakeme adımı şimdi.
Transformer'in farkı, kodlayıcısının matematiksel bir problemi aynı uzunlukta bir diziye dönüştürebilmesi ve ardından dikkat mekanizması aracılığıyla konuma tamamen bağlı bir katmana rastgele matematiksel ifadeler yerleştirebilmesi ve ardından dönüşümü gerçekleştirmesidir.
Bunun avantajı, Transformatörün daha fazla hesaplama yapmak için aynı sayıda parametreyi kullanabilmesi (sadece gömme işlevini değiştirebilmesi) ve aynı zamanda çok seviyeli ve ilgili karma işlemlerle uğraşırken daha iyi olan sürekli bir "dahili belleğe" sahip olmasıdır. Doğru cevabı daha uzun bir sırayla verebilmenin bir avantajı vardır.
Hesaplama yöntemi açık, o zaman iki modelin nihai sonucu nedir?
Cevap çok üzücü. Transformer modeli yalnızca 14/40 soruyu doğru cevapladı, bu da E seviyesine eşdeğerdir. Aksine, LSTM'nin puanı daha da korkunç. Bunu insan öğrencilerin üzerine koymak kesinlikle ebeveyn olarak adlandırılmanın ritmi.
(Şekil, parametre ölçeğini ve her modelin ortalama doğru oranını gösterir)
Yapay zeka matematik öğrenmenin zorluğu nedir?
Bir zamanlar yapay zeka tarafından hesaplama gücü ve karar verme verimliliği açısından yere sürülen insanlar nihayet matematiksel olarak şaşkına döndü ve DeepMind, YZ'nin bir yüzü olarak kabul edilebilir. Ancak mesele gönül rahatlığı değil. Asıl mesele şu ki, AI için bir dizi matematik hatası oluşturmak istiyorsanız, bu deneyin hatırlamaya ve telafi etmeye değer eksiklikleri nelerdir:
Biri zayıf hafıza.
Araştırmacılar, makine çevirisi gibi sekans problemleriyle başa çıkmada iki önemli savaşçı olan LTSM ve transformatörü tanıtmış olsalar da, matematik problemlerinin karmaşıklığına ve dil çeşitliliğinin baskısına hala direnemiyorlar. Çarpanlara ayırma, polinom fonksiyonlar vb. Gibi ara değer hesaplamaları gerektiren bazı modüllerde, sistemin belleği "düşünme" sırasında açıkça yetersizdir ve sembollerin aktarımı ve bilginin ölçeklenebilirliği de büyük ölçüde etkilenir, bu da doğrudan etkiler Sonuçların doğruluğu.
Örneğin, Transformer basit toplama, çıkarma veya çarpma ve bölmeyi hesapladığında, doğruluk oranı% 90'a kadar çıkar. Toplama, çıkarma, çarpma ve bölme bir kez karıştırıldığında, sıra konusunda biraz kafa karışıklığı oluşur ve doğruluk oranı yalnızca% 50'ye düşer. Bu performans bir hesap makinesinden daha düşüktür, yani işlevlerin yazımı ve ezberlenmesi gerektiğinde, makine insanlarla kıyaslanamaz.
Ek olarak, bilgi işlem gücü var ama bilgi yok.
İnsanlar matematik problemlerini çözdüklerinde, sadece hesaplama yeteneklerini değil, aynı zamanda çeşitli bilişsel becerileri de uygularlar. Örneğin, soru kökünü anlamak için kelimeleri veya simgeleri aritmetik işleçlere dönüştürmeniz gerekir; problemi çözme fikrini belirlemek için mantık yürütmeniz ve bilinen aksiyomlardan en iyi stratejiyi bulmanız gerekir; özel hesaplama sürecinde, hesaplamayı tamamlamak için çalışma belleğini kullanmanız gerekir; Notların istikrarını sağlamak için, öğrenilen bilgi ve kuralları aynı tip problemlere aktarmak gerekir ...
Açıktır ki, sinir ağı insanlarla birbirlerinden çıkarımlar yapabilme konusunda henüz rekabet edememiştir, sadece bazı dahili depolama problemleriyle başa çıkabilir ve yeni şeyleri anlamak için mevcut ortamın ötesine geçemez. Her deneysel projeye özgü, daha güçlü bilgi aktarım yeteneğine sahip model, birleşik veri setinde daha iyi matematiksel performans.
Son analizde, bu eksiklikler matematiksel problemler ile mühendislik verimliliği arasındaki çelişkiden kaynaklanmaktadır.
Matematiğin özü, genellikle problemler oluşturmayı ve bilinen bilgiye dayalı yeni kavramları soyutlamayı ve gerektiğinde yeni aksiyom sistemleri önermeyi gerektiren tümdengelimli kanıttır. Bu, çıkarıma dayalı son derece karmaşık bir "kural oyunudur".
Makinenin hesaplama modeli ergodik ve ampiriktir, bu da tüm olasılıkların büyük ölçekli verilerle tüketildiği anlamına gelir.
DeepMind araştırmacılarının sözleriyle, matematik "kendi kendine tutarlı bir evren" (kendi kendine tutarlı bir evren) içerir, "basit AI sistemi" matematiksel önermelere meydan okumak ister, ki bu imkansızdır.
Örnek olarak "Borel-determinasi" yi ele alalım, sadece ikinci dereceden bir aritmetik önermesi olmasına rağmen, ispatı sonsuz sıralı aritmetik gerektirir. Bu tür problemleri çözmek için, AI sistemi çoğu matematiksel işlemi barındıracak kadar geniş olacak şekilde tasarlanmalıdır. Şu anda kuralların büyüklüğü ve karmaşıklığı Go derecesiyle karşılaştırılamaz, ancak 1T 2 ^ arasında en uygun kararı bulmak olabilir. Şu anda, AI'nın rakibi matematik değil, kaynaklar, para ve zamandır.
AI problem çözme: Ne tür ideal beklentiler benimsenmeli
Matematiği yapay zekanın "IQ değerlendiricisi" olarak kullanmanın açıkça önyargılı olduğunu ve yapay zekanın insanların matematik alanındaki çözülmemiş gizemleri çözmesine yardımcı olamayacağını söyledi. Bu durumda, yapay zekanın matematik öğrenmesine izin vermenin amacı nedir? Belki de ikisi arasındaki ilişkiyi yeniden anlamalıyız.
Mevcut geçmişe göre, yapay zekanın matematiksel yeteneğini geliştirmenin muhtemelen iki olumlu etkisi vardır:
Biri teknik düzeydedir. Yapay zeka esasen matematiği, algoritmaları ve mühendislik pratiğini yakından birleştiren bir alandır.Matematik keşfi, AI teknolojisinin genel ilerlemesine elverişlidir.
Örneğin, 1964 gibi erken bir tarihte, bilim adamları bilgisayarlara matematik problemleri yaptırmaya çalıştılar. O sırada önerilen ÖĞRENCİ (Bobrow 1964) sistemi, önceden belirlenmiş bir açıklama yöntemiyle bir matematik problemi girmek ve ardından doğal dili (dilsel form) geçmek idi. Desen eşleştirme, karşılık gelen işlevsel ilişki ifadesiyle eşleştirilir. "Kafeste bir tavuk ve bir tavşan var, kafeste kaç hayvan var" ifadesini "1 + 1 =?" E çevirmek gibi bir şey. Bu, matematikte iyi notlar almak için önce doğal dilde okuduğunu anlama becerisini geçmeniz gerektiğini gösterir.
Örneğin, karmaşık soruları standartlaştırılmış matematik diline dönüştürmenin bir yolu olmadığından, Ulusal Bilgi Bilimi Enstitüsü 2016'da Tokyo Üniversitesi giriş sınavına girmek için yapay zeka sistemi Torobo-kun'dan ve 2017'de Çin'in "üniversiteye giriş sınavı robotundan" vazgeçmek zorunda kaldı. (863 Projesi'ndeki insana benzer zeka projesi), gerçek insanlara karşı (liberal sanat derslerinde 43 lise öğrencisi) insan ortalamasının altında bir puanla mağlup edildi.
Metinli sorulara ek olarak, bazı sorular konuşma tanıma ve görüntü tanıma gibi teknik becerileri de içerir (bkz. Grafik sorular). Başka bir deyişle, matematik problemlerini çözmek istiyorsanız, Çince veya mantık derslerinde tek bir konudan sapamazsınız!
Diğer bir potansiyel fayda sosyal düzeydir.Matematik araştırma sonuçları, fen problemlerini çözmede çeşitli yapay zeka sistemlerinin zayıflığını etkili bir şekilde artırabilir ve bilgi motorunun performansını ve verimliliğini doğrudan iyileştirebilir.
Özellikle şimdi, kapsamlı arama ve XX arama dahil olmak üzere her tür bilgi soru cevap platformu, insanların soruları cevaplamaları için ana araçlar haline geldi. Matematik problem çözme sistemi, K12 eğitiminin başlattığı "öldürücü bir özellik" haline geldi. Bununla birlikte, matematik problemlerini girmek ve matematiksel modelleri, problem çözme adımlarını ve cevapları doğru bir şekilde kurtarmak gibi yüksek kaliteli matematik arama hizmetleri sağlamak basit bir mesele değildir.
Daha önce de söylediğimiz gibi, matematik problemleri sadece hesaplama yeteneğini test etmekle kalmaz, aynı zamanda bilgi tabanını genellemek için çok sayıda kuralı da içerir. Go'nun siyah beyaz kurallarından çok daha karmaşıktır. Bazen değerlerle, ideolojiyle, sanatla vb. Yüzleşmek zorundadır. Ölçülemez birçok şey. Giderek daha fazla dijital öğrenme yöntemi karşısında, platformların önceden oluşturulmuş matematiksel bilgi modelleri bulunamadı, uyumsuz ve cevaplar "biraz ihmal edildi" ve sayıları oluşturmak için alıştırma kitabına verilen cevapların kullanılması alışılmadık bir durum değil.
Dahası, kullanıcı tarafından girilen soru önceden tanımlanmış kalıp eşleştirme kurallarına uymadığında, makine soruyu "yanlışlıkla" yanıtlamaya başlayabilir.
Problem çözme uygulamasının matematik seviyesi her zaman başarılıysa ve hatta problemin anlaşılması ve doğru oran garanti edilemiyorsa, AI sisteminin öğrencilerin cevap kağıtlarından kaybın nedenlerini analiz etmesini ve onları daha ileri çalışmalar için yönlendirmesini nasıl bekleyebiliriz? ? Öğrenme eşiğini düşürmek ve eğitimin kapsayıcılığını ve adaletini gerçekleştirmek için sözde ona güvenmek, açıkça sadece fantezi düzeyinde kalabilir.
AI modelinin matematiksel yeteneğini geliştirmek ve ardından arama modelinin genel performansını geliştirmek, birçok İnternet eğitim platformu ve ebeveyn için büyük önem taşımaktadır.
Aynı zamanda matematiğin kendisi de öğrenmenin başlangıç noktasıdır (makine öğrenimi dahil).
Çoğu matematiksel problem doğrudan uygulanamasa da, doğrulama ve muhakeme arama sürecinde genellikle daha güçlü akıl yürütme modelleri doğar ve daha yüksek makine zekası için sağlam bir temel oluşturur.
Örneğin, MIT, 2014 yılında ACL üzerinde matematik problemlerini formülün etiketine göre farklı soru türlerine kategorize eden ve soru türünü otomatik olarak belirlemek için sorudaki farklı özellik seviyelerini çıkaran istatistiksel bir öğrenme yöntemi KAZB önermiştir. .
Bu yöntemin dezavantajı, sistemin eğitim seti dışındaki soru tiplerini belirleme imkanının olmamasıdır. Bu sorunu çözmek için, Baidu ve Microsoft'un araştırma ekipleri sırasıyla optimize etti ve geliştirdi ve yaklaşık% 10'luk bir performans artışı sağladı.
Diğer bir deyişle, hepsi olmasa da sinir ağlarının matematiksel yeteneğini geliştirmek, makine muhakeme yetenekleri için sağlam bir temel oluşturabilir. Bu, insan çocuklarının "tavuk ve tavşanı aynı kafeste" öğrenmesine benzer, aslında yetişkinlikten sonra tavuk ve tavşanları saymanın rahatlığı için değil, ancak bu süreçte dünyayı anlamak ve tanımak için yeni bir düşünme biçimini yavaş yavaş kullanmayı öğrenirler.
Belki de o güne kadar endişelenmemiz gereken, makinelerin yanlış sorular sorması değil, insanların hiçbir şey yapmayacağıdır ...
Daha heyecan verici içerik için Titanium Media WeChat ID'yi (ID: taimeiti) takip edin veya Titanium Media Uygulamasını indirin
