Derin öğrenme sona erdi ve yapay zekanın geleceği grafik ağı
AI, bir muz fotoğrafını ekmek kızartma makinesi olarak tanıyabilir, ancak AI'ya eğitim aşamasında tıpkı bilgi kartları gibi muz, sümüklü böcek, salyangoz ve diğer benzer nesnelerin binlerce fotoğrafı gösterilebilir ve AI'nın tekrar tekrar pratik yapmasına izin verir. Sınıflandırmayı tamamen kavrayana kadar.
Bununla birlikte, binlerce eğitim seansında bile, bu gelişmiş sistem kolayca karıştırılabilir - tanıma sonucunu değiştirmek için görüntünün bir köşesine küçük bir etiket yapıştırmanız yeterlidir.
Google Brain'deki derin öğrenme araştırmacıları tarafından "düşman saldırısı" olarak adlandırılan yukarıdaki örnek keşfedildi. Bu çalışma, yapay zekanın insan yeteneklerine yaklaşmadan önce uzun bir yol katetmesi gerektiğini vurguluyor.
Toronto Üniversitesi'nden, derin öğrenmenin öncülerinden biri olan bilgisayar bilimcisi Geoffrey Hinton, "Başlangıçta, düşman örneklerin sadece can sıkıcı bir sorun olduğunu düşündüm, ancak şimdi çok ezoterik olduklarını düşünüyorum. Bize neyi yanlış yaptığımızı söyleyecekler." Dedi.
Bu aynı zamanda AI uygulayıcılarının ortak görüşüdür.Araştırmacılardan herhangi biri, derin öğrenmenin dezavantajlarının uzun bir listesini kolayca söyleyebilir. Aldatmaya karşı savunmasız olmanın yanı sıra, ciddi verimsizlikler de vardır.
Örneğin bir çocuğun inekleri öğrenmesi için annesinin on bin kere "inek" demesine gerek yoktur.İnsanların yeni kavramları öğrenmek için genellikle sadece bir veya iki örneğe ihtiyacı vardır. Ancak 10.000 kat, genellikle derin öğrenme sistemleri için gerekli olan bir sayıdır.
Bir de opaklık sorunu var. Bir derin öğrenme sistemi eğitildikten sonra, nasıl kararlar aldığı her zaman o kadar net değildir. MIT-IBM Watson Yapay Zeka Laboratuvarı başkanı hesaplamalı sinirbilimci David Cox, "Çoğu durumda, doğru yanıtı alsa bile opaklık kabul edilemez." Dedi.
Bir bankanın kredi notunuzu değerlendirmek için yapay zekayı kullandığını ve ardından size kredi vermeyi reddettiğini ve reddedilme nedenini bilmediğini varsayalım.
Belki de en önemlisi, sağduyuya sahip değiller. Derin öğrenme sistemleri, piksel seviyesindeki kalıpları tanımada ustalaşabilir, ancak onlar hakkında akıl yürütmek bir yana, modellerin anlamını anlayamazlar. DeepMind'de bir AI araştırmacısı olan Greg Wayne, "Mevcut AI sisteminin, koltukların ve sandalyelerin oturmak için kullanıldığını anlayıp anlamadığını bilmiyorum" dedi.
AI'nın bu zayıf yönleri, özellikle otonom sürüşte giderek daha fazla endişeye neden oluyor. Kendi kendine giden arabalar, navigasyon için benzer derin öğrenme sistemlerini kullanır ve birkaç iyi bilinen ölümler olmuştur.
Derin öğrenme konusunda en açık sözlü şüphecilerden biri olan New York Üniversitesi'nde bilişsel bir bilim adamı olan Gary Marcus, "İnsanlar (derin öğrenme) sistemiyle ilgili sorunlar olabileceğini söylemeye başladılar." Dedi. Dedi ki: "Yaklaşık bir yıl önce, derin öğrenmenin sihir olduğu duygusu her zaman vardı. Şimdi insanlar derin öğrenmenin sihir olmadığını anladılar."
Bununla birlikte, derin öğrenmenin çok güçlü bir araç olduğu inkar edilemez - sadece 10 yıl önce neredeyse imkansız olan yüz tanıma ve ses tanıma gibi uygulamaların konuşlandırılmasını çok yaygın hale getirdi.
Bu nedenle, araştırmacıların şu anda derin öğrenmenin ortadan kalkacağını hayal etmesi zordur.
Geçtiğimiz 2018'de, derin öğrenmenin ilerlemesi insanların beklentilerini karşılamıyor gibiydi ve "zirveye kadar derin öğrenme" ve "derin öğrenme öldü" argümanları sık sık ortaya çıktı. Derin öğrenme hala canlılıkla dolu olsa da, insanların onu değiştirmesi veya geliştirmesi ve yeni nesil haleflerini yetiştirmesi daha olasıdır.
Bugünün derin öğrenme devrimi, iki farklı yapay zeka yönteminin savunucuları arasında birçok tartışmanın olduğu 1980'lerde "beyin savaşları" nda ortaya çıktı.
Biri, 1950'lerden beri sahaya hakim olan ve şimdi "eski moda AI" olarak bilinen yöntemdir.
Bu yöntem aynı zamanda sembolik AI olarak da bilinir ve nesnelerle nesneler arasındaki ilişkiyi temsil etmek için matematiksel semboller kullanır. İnsanlar tarafından inşa edilen geniş bilgi tabanıyla birleştiğinde, bu sistemlerin tıp gibi alanlarda muhakeme ve karar vermede mükemmel olduğu kanıtlanmıştır.
Ancak 1980'lerde insanlar sembolik yapay zekanın gerçek hayatta sembolleri, kavramları ve muhakemeyi işlemede çok kötü performans gösterdiğinin giderek daha fazla farkına vardılar.
Bu eksikliklere yanıt olarak, bazı araştırmacılar, günümüzün derin öğrenme sistemlerinin öncülü olan yapay sinir ağlarını veya bağlantısal yapay zekayı savunmaya başladılar.
Bu tür bir sistemin fikri, sinyalleri insan beynindeki nöronlara benzer bir analog düğüm ağı aracılığıyla işlemektir. Sinyaller bir düğümden diğerine bağlantılar veya bağlantılar yoluyla geçer: nöronlar arasındaki sinaptik bağlantılara benzer. Ve öğrenme, tıpkı gerçek beyinde olduğu gibi, her bir bağlantının taşıdığı sinyalleri güçlendiren veya zayıflatan "ağırlıkları" ayarlama sorunudur.
Uygulamada, çoğu ağ, serebral korteksteki farklı işlem merkezlerine kabaca benzer şekilde düğümleri bir dizi katman halinde düzenler. Bu nedenle, örneğin, görüntü tanımaya adanmış bir ağ, tıpkı çubuk şeklindeki hücrelerin ve piramidal hücrelerin retinaya giren ışığa tepki vermesi gibi, tek tek piksellere yanıt veren bir giriş düğümleri katmanına sahip olacaktır. Etkinleştirildikten sonra, bu düğümler, etkinleştirme düzeylerini bir sonraki düzeydeki diğer düğümlere ağırlıklı bağlantılar yoluyla yayarlar.Bu düğümler, giriş sinyallerini birleştirir ve sırayla etkinleştirir (veya devre dışı bırakır).
Bu işlem, sinyal düğümün çıkış katmanına ulaşana kadar devam eder, burada aktivasyon modu bir cevap sağlar - örneğin, giriş görüntüsü "9" sayısıdır. Yanıt yanlışsa - giriş görüntüsünün "0" olduğunu varsayarak - o zaman "geri yayılım" algoritması, bir dahaki sefere daha iyi sonuçlar elde etmek için ağırlıkları ayarlayarak katman boyunca geriye doğru çalışacaktır.
1980'lerin sonunda, bu tür sinir ağlarının gürültülü veya bulanık girdileri ele alma konusunda sembolik yapay zekadan çok daha iyi olduğu kanıtlanmıştı.
Ancak, bu iki yöntem arasındaki çatışma çözülmedi, çünkü temelde bilgisayara kurulabilen AI sistemi çok sınırlıydı. İnsanlar hala bu sistemlerin neler yapabileceğini tam olarak bilmiyor.
2000 yılına kadar bu anlayış, bilgi işlem gücünde büyük bir artışa sahip bilgisayarların ve büyük miktarda görüntü, ses ve diğer eğitim verilerini sağlayan sosyal medya sitelerinin ortaya çıkmasıyla gelişmeye başladı.
Bu fırsatlar dalgasını ilk yakalayan, geri yayılım algoritmasının savunucularından biri ve 1980'lerde bağlantısallığın lideri olan Hinton'du. 2005 yılına gelindiğinde, kendisinin ve öğrencilerinin eğittiği ağ sadece öncekilerden çok daha büyük değildi, aynı zamanda çok daha derindi ve katman sayısı bir veya ikiden altıya çıktı. (Bugünün iş ağında genellikle 100'den fazla katman vardır)
2009 yılında Hinton ve iki yüksek lisans öğrencisi, bu tür bir "derin öğrenmenin" konuşmayı bilinen diğer yöntemlerden daha iyi tanıyabildiğini kanıtladı.
2012'de Hinton ve diğer iki öğrenci tarafından yayınlanan deneyler, derin sinir ağlarının görüntüleri tanımada standart görme sistemlerinden çok daha iyi olabileceğini ve "hata oranını neredeyse yarıya indirdiğini" gösterdi.
Konuşma ve görüntü tanıma alanındaki ikili atılımlarla birlikte derin öğrenme uygulamalarında devrim başladı ve araştırmacıların bu teknolojiyi geliştirme çabaları da başladı.
İlk öncelikli görevlerden biri, derin öğrenme sistemlerinin eğitim yöntemlerini genişletmektir. DeepMind'den Matthew Botvinick, hem konuşma hem de görüntü tanıma sistemlerinin sözde denetimli öğrenmeyi kullandığını, bu da her görüntünün doğru bir cevaba sahip olduğu anlamına geldiğini söyledi - örneğin "Kedi" -İnternet yanlışsa, doğru cevabın ne olduğunu söylemelisin. Ardından, ağ sonraki tahmini iyileştirmek için bir geri yayılım algoritması kullanır.
Aslında, gerçek dünyadaki çoğu görev için pekiştirmeli öğrenme gereklidir. Örneğin, bir takviye öğrenme sistemi, video oyunları oynarken ödül aramayı (hazine bulmayı) ve cezadan (para kaybetmekten) kaçınmayı öğrenebilir.
Takviye öğrenme derin sinir ağının ilk başarılı uygulaması, DeepMind'den bir ekibin klasik Atari 2600 arcade oyununu oynamak için bir ağı eğitmesiyle 2015 yılında gerçekleşti.
Ağ, oyun sırasında girdi olarak ekran görüntülerini alır ve çıktıda, joystick'in nasıl hareket ettirileceği gibi çalıştırma talimatlarını formüle eden katmandır. Bu oyunda, sinir ağının performansı insan oyuncularla karşılaştırılabilir veya ondan daha yüksektir.
Daha sonra 2016'da, DeepMind araştırmacıları AlphaGo'da aynı yöntemin daha rafine bir versiyonunu uyguladılar, karmaşık Go oyununda ustalaştı ve insan Go'nun dünya şampiyonu Li Shidong'u yendi.
Önümüzdeki birkaç yıl içinde, AI tüm insanlar için bir konu haline geldi, ancak onu burada tanıtmayacağım.
Ne yazık ki, bu kilometre taşlarından hiçbiri derin öğrenmenin temel sorununu çözmüyor. Örneğin, Atari AI'nın, çoğu insan oyuncunun birkaç dakika içinde öğrenebileceği bir oyunda ustalaşmak için binlerce tur oynaması gerekiyor. Öyle bile olsa, ağ ekrandaki nesneleri anlayamaz veya yorumlayamaz.
Bu nedenle, Hinton tarafından ortaya atılan soru hala geçerli: Derin öğrenmede eksik olan nedir?
Belki hiçbir şey eksik değildir, belki de tek gereken daha fazla bağlantı, daha fazla katman ve daha karmaşık eğitim yöntemleridir. Sonuçta, Botvinick'in belirttiği gibi, sinir ağları matematiksel olarak genel amaçlı bir bilgisayara eşdeğerdir, bu da onların gerçekleştirilemeyecek hesaplamaları olmadığı anlamına gelir - en azından teoride, doğru bağlantı ağırlıklarını bulabildiğiniz sürece.
Fakat pratikte bunlar ölümcül olabilir ve bu nedenle bu alanda giderek daha fazla insan derin öğrenmenin eksikliklerini çözmek için temelde bazı yeni fikirlere ihtiyaç olduğuna inanmaktadır.
Çözümlerden biri, eğitim verilerinin boyutunu basitçe genişletmektir. Örneğin, Mayıs 2018'de yayınlanan bir makalede, Botvinick'in DeepMind grubu, bir ağın birden fazla görevi yerine getirmesi için eğitildiğinde ne olacağını inceledi.
Ağın, sonraki katmanlardan önceki katmanlara kadar çalışmak için yeterli "dairesel" bağlantıya sahip olduğu sürece, önceki görevde öğrendiği dersleri otomatik olarak öğrenebileceğini ve sonraki yeni görevi daha hızlı öğrenebileceğini buldular.
Bu, en azından insan tarzı bir meta-öğrenmenin veya öğrenmeyi öğrenmenin temelidir ve bu, insanların hızlı bir şekilde ustalaşma becerisinin önemli bir parçasıdır.
Daha radikal bir yaklaşım, eldeki sorunu çözmek için büyük bir ağı eğitmekten vazgeçmek ve bunun yerine birden çok ağın birlikte çalışmasına izin vermektir.
Haziran 2018'de DeepMind ekibi, manuel giriş olmadan karmaşık bir sanal ortamda öğrenmek için iki farklı ağ kullanan Generative Query Network adlı bir mimari yayınladı. Bunlardan biri, yapay zekanın herhangi bir anda görebileceklerini tanımak için esasen standart görüntü tanıma öğrenimini kullanan "temsil ağı" olarak adlandırılıyor.
Aynı zamanda, üretim ağı ilk ağın çıktısını almayı öğrenir ve tüm ortamın 3 boyutlu bir modelini oluşturur - aslında, AI'nın göremediği nesneleri ve özellikleri tahmin eder. Örneğin, bir tablonun yalnızca üç görünür ayağı varsa, model aynı boyut, şekil ve renkteki dördüncü bir ayağı tahmin edecektir.
Botvinick, bu tahminlerin sistemin standart derin öğrenme yöntemlerini kullanmaktan daha hızlı öğrenmesine izin verdiğini söyledi. Bir şeyleri tahmin etmeye çalışan bir aracı, her adımda otomatik olarak geri bildirim alır, çünkü tahmininin nasıl olduğunu görebilir. Bu nedenle, modellerini daha iyi hale getirmek için sürekli olarak güncelleyebilir.
Daha da heyecan verici olan şey, bu öğrenmenin kendi kendine denetlenmesidir: Araştırmacıların ortamdaki herhangi bir şeyin çalışmasını sağlamak için etiketlemesine, hatta ödül ve cezalar vermesine gerek yoktur.
Daha radikal bir yaklaşım, artık ağın her sorun için sıfırdan öğrenmesini gerektirmemektir.
Bebekler, bazı temel kavramları inanılmaz bir hızda öğrenmelerini sağlayan birçok doğal "tümevarımsal önyargı" ile doğmuş gibi görünüyor. İki aylık olduklarında, nesnelerin varlığı kavramı da dahil olmak üzere sezgisel fizik prensiplerini kavramaya başladılar.Nesneler sürekli bir yol boyunca hareket etme eğilimindedir ve iki nesne birbirine dokunduğunda hareket yolları değişecektir.
Bu yerleşik tümevarımlı önyargıya sahip olmak, derin sinir ağlarının eşit derecede hızlı öğrenmesine yardımcı olabilir, bu yüzden bu alandaki birçok araştırmacı şimdi bunu bir öncelik haline getiriyor.
Aslında sadece son bir veya iki yılda, bu alanda büyük ilgi uyandıran "grafik ağı" adı verilen güçlü bir potansiyel yöntem ortaya çıktı. Botvinick, "Bunlar, nesneleri doğal olarak nesneler ve ilişkiler olarak temsil etme eğiliminde olan derin öğrenme sistemleridir" dedi.
Örneğin, pençeler, kuyruklar ve bıyık gibi belirli nesnelerin tümü daha büyük bir nesneye (kedi) ait olabilir ve bunlar arasındaki ilişki "a-parçası" (a-parçası) şeklindedir. Benzer şekilde, bir A topu ve bir B karesinin "yan yana" ilişkisi olabilir, dünya ve güneşin "yörünge etrafında" bir ilişkisi olabilir ve bu böyle devam eder, Pek çok örnek var. Bu ilişkiler, düğümlerin "nesnelere" karşılık geldiği ve çizgilerin "ilişkilere" karşılık geldiği soyut bir grafikle temsil edilebilir.
Bu nedenle, bir grafik ağı, bu tür grafikleri girdi olarak (ham pikseller veya ses dalgaları yerine) alan ve daha sonra nesnelerin ve bunların ilişkilerinin zaman içinde nasıl geliştiğini anlamayı ve tahmin etmeyi öğrenen bir tür sinir ağıdır.
Grafik ağı yaklaşımı, karmaşık video oyunları da dahil olmak üzere bir dizi uygulamada hızlı öğrenme ve insan seviyesi yetenekleri göstermiştir. Araştırmacıların umduğu gibi gelişmeye devam edebilirse, eğitim hızını ve verimliliğini artırarak 10000 inek derin öğrenme sorununu hafifletebilir.
Ek olarak, grafik ağı, ağı düşman saldırılarına karşı daha az duyarlı hale getirebilir. Nedeni basittir, nesneleri piksel desenleri yerine nesneler olarak temsil eden ve biraz gürültü veya alakasız etiketlerle kolayca rahatsız edilmeyecek bir sistemdir.
Botvinick, bu alanlardan hiçbirinin kolay ve hızlı bir şekilde temel ilerleme kaydetmeyeceğini kabul ediyor. Ancak yine de, grafik ağının geleceğinin sınırsız olduğuna inanıyor. "Zorluklar gerçektir, ancak çıkmaz sokak değildir."
