Tarihteki en güçlü NLP modeli, halkın öfkesini kışkırtacak açık kaynak değildir! Musk öfkeyle OpenAI'den ayrıldı
Planlama Editörü | Vincent
Kaynak | AI Frontline
Geçen hafta OpenAI tarafından başlatılan yeni evrensel dil modeli GPT 2.0 bir fırtınaya neden oldu. Bu model, tutarlı metin paragrafları oluşturabilen, 7 büyük veri kümesinin karşılaştırmasını yenileyebilen ve ön eğitim olmaksızın okuduğunu anlama, soru ve cevap, makine çevirisi vb. Tamamlayabilen "tarihteki en güçlü genel NLP modeli" olarak adlandırılır. Farklı dil modelleme görevleri.
Bununla birlikte, OpenAI onu açık kaynak olarak planlamadığından, teknik topluluk tarafından hızla kınandı. Bu tartışma dalgası bugüne kadar devam etti Tartışmanın odağı hiçbir zaman kaynak açma kararının doğru olup olmadığı ve modelin kendisinin övülüp beğenilmediği olmuştur.Bugüne kadar bazı kişiler bu haberin sadece viral yayılmaya neden olan bir gösteri olabileceğini sorguladı.
GPT 2.0 açık değil, topluluk kınamasını tetikliyor
Son zamanlarda, kar amacı gütmeyen yapay zeka araştırma şirketi OpenAI tarafından oluşturulan yeni bir dil modeli olan GPT 2.0, teknik toplulukta ve sosyal ağlarda yaygın tartışmalara neden olan bir fırtına patlatıyor. İnsanları güldürür ve ağlatır. OpenAI, bu metin oluşturucunun performansı çok iyi olduğu için bu teknolojinin suistimal edileceğinden endişelendiklerini, bu yüzden modeli şimdilik açık kaynak yapmamaya karar verdiklerini ve Github'da sadece az sayıda halka açık örnek yayınladıklarını söyledi: https: //github.com/openai/gpt-2
Makaledeki örnek: https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf
Sonrasında tüm dünya çıldırdı ve bu haber medyadaki en sıcak haber oldu ve bir süre her türlü haber akın etti.
Bu raporlar arasında OpenAI'nin özelleştirilmesinin toplumdaki bazılarını kızdırdığı ve onu şirketin araştırmasını açma taahhüdünü ihlal etmekle suçladığı yer alıyor.
Geçtiğimiz birkaç gün içinde, topluluktaki bazı tanınmış araştırmacılar OpenAI'yi eleştirdi. Bunlar arasında, Bar Ilan Üniversitesi Bilgisayar Bilimleri Bölümü'nde kıdemli öğretim görevlisi olan Yoav Goldberg ve Berkeley Kaliforniya Üniversitesi'nde yardımcı doçent olan Ben Recht eğlenceli bir üslupla eleştirdiler. Yayınlamanın tehlikeli ve imkansız olduğu ifadesi sadece medyanın ilgisini çekmek için bir yemdir.
Ancak, daha hoşgörülü bir tavır alan ve bunu, olası bir istismar meydana gelmeden önce tamamen dikkate alınabilecek "yeni bir ahlaki standart" olarak adlandıran başkaları da var.
OpenAI'nin politika direktörü Jack Clark, kuruluşun birincil görevinin "teknolojinin kötüye kullanılmasını veya kötüye kullanımını önlemek" olduğunu ve "dengeyi bozmanın çok zor olduğunu" söyledi. Veriler, modeller ve kaynak kodları açık değildir çünkü birisinin teknolojiyi başkalarının kimliğine bürünmek veya yapmak için kullanacağından korktukları için Yanlış haberler.
GPT 2.0'ın geleceği ile ilgili olarak OpenAI, GitHub'da farklı kriterlerin kaynak kodunu yayınlayabileceğini ve açık kaynaklı daha büyük modelleri düşünebileceğini belirtti.
Musk tartışmaya yanıt verdi ve OpenAI'den ayrıldığını yineledi
OpenAI bir kelime savaşına girerken, OpenAI'nin fon sağlayıcılarından biri olan Elon Musk da tartışmaya girdi. Bu bağlamda Musk kararlı bir şekilde, "Bu potu ezberlemeyeceğim!" Dedi. Bugün bir tweet ile "OpenAI kurumsal işlerine bir yıldan fazla süredir dahil olmadığını" söyledi. Şu anda Tesla ve SpaceX'in yönetimine odaklanıyor. OpenAI ekibiyle bazı konularda anlaşmazlıklar nedeniyle kendisinin ve şirketin "barışçıl bir şekilde dağıldığını" ve GPT 2.0 ile ilgili anlaşmazlıklara yanıt verdiğinden şüphelenildiğini söyledi.
Bunu görünce, GPT 2.0'ın neden olduğu gerçekten çok sayıda tartışma var. Dolayısıyla, yukarıdaki heyecana ek olarak, fenomen üzerinden öze bakıyoruz, gerçekten endişelenilmesi gereken şu sorular: GPT 2.0 nedir? GPT 2.0 aşırı mı övülür? Ve sıcak haberler sadece bir aldatmaca mı?
Soru 1: GPT 2.0 nedir?
Öncelikle, GPT 2.0 nedir? Bu model gerçekten büyülü mü?
Basit bir ifadeyle, akıl yürütme için, dil modelleri kelime dizilerine olasılıklar atar. Genellikle, bu olasılığı zincir kuralı aracılığıyla, her kelimenin olasılığının ürünü olarak, öncülüyle ifade ederler.
Bir şart olarak. Veya insanlar her kelimeyi arkadan öne doğru tahmin etmek için dil modelini geriye doğru eğitebilirler. Dil modelini eğittikten sonra, genellikle 1) metni oluşturmak için soldan sağa yinelemeli olarak kodu çözmek için kullanın veya 2) bazı aşağı akış denetimli öğrenme görevlerine ince ayar yapın.
Büyük ölçekli sinir ağı dil modellerini eğitmek ve ardından bunları aşağı akış görevlerine uygulamak, çağdaş NLP araştırmalarında çok kaynak tüketen bir görev haline geldi.
2018'de NAACL'de AllenNLP, 1 milyar kelime ölçütüyle eğitilmiş büyük ölçekli ileri ve geri dil modellerinden oluşan bir sistem olan ELMo'yu (https://allennlp.org/elmo) piyasaya sürdü. Modelin birçok alt görevde optimum performans elde etmek için kullanılabileceğini kanıtladılar.
Daha sonra, Google araştırmacıları, Transformer mimarisini kullanan ve dil modelleme hedefinden biraz farklı olan bir doldurma öğrenme hedefi modeli olan BERT'yi yayınladı.
NLP alanında çalışıyorsanız, geçen yıl isminizi duyduğunuzdan daha fazla "ELMo" ve "BERT" duyabilirsiniz. NLP literatüründe, bu teknolojilerin popülaritesi nedeniyle, gerçek durdurma kelimeleri haline geldiler.
AI Frontline Notu: Kelimeleri Durdur, bilgi erişiminde, depolama alanından tasarruf etmek ve arama verimliliğini artırmak için, doğal dil verilerini (veya metni) işlemeden önce veya sonra belirli kelimelerin veya kelimelerin otomatik olarak filtreleneceği anlamına gelir. kelime .Aralık ayında, Google'ın Magenta ekibi derin öğrenmenin yenilikçi uygulamalarını araştırdı ve Transformer mimarisini metin yerine müzik üretmek için "dil modelleme" görevine uyguladı (https://magenta.tensorflow.org/music-transformer). Sonuçların tutarlılığı çok sevindirici.
Perşembe gününe geri dönün: OpenAI, 45 milyon bağlantıdan taranan verileri içeren WebText adlı büyük bir yeni veri kümesi üzerinde büyük bir dil modeli eğitti. Araştırmacılar, ilginç bir veri seti oluşturdular ve etkileyici bir model oluşturmak için standart araçlar kullandılar. Pek çok aşağı yönlü sıfır atış öğrenme görevinde değerlendirildikten sonra, bu model genellikle önceki yöntemlerden daha üstündür. Music Transformer'ın sonuçları gibi, üretilen örneklerin de önceki sonuçlardan daha tutarlı göründüğünü belirtmekte fayda var. Bu sonuç ilginç ama şaşırtıcı değil.
NLP için ileri bir adımı temsil ediyorlar ve tüm topluluk bu yola girişti.
Soru 2: GPT 2.0 iyi biliniyor mu?
Aslında, GPT 2.0 bir gecede popüler hale gelmesine rağmen, bir günlük bir çaba değildi.GPT, BERT'den daha erken ortaya çıktı, ancak doğar doğmaz geniş bir ilgi görmedi.
Esasen, GPT 2.0'ın büyük çerçevesi aslında GPT 1.0'ın çerçevesidir, ancak Finetuning'in ikinci aşaması denetimli bir aşağı akış NLP görevi olarak kullanılır ve yerine denetimsiz bir aşağı akış görevi gelir. En büyük iyileştirme, Transformer model parametrelerini değiştirmektir. Genişleme, parametrelerin ölçeği benzeri görülmemiş bir ölçek olan 1,5 milyara ulaştı. GPT 2.0 ve GPT 1.0 hakkında daha ayrıntılı bilgi için lütfen "Harika efektlere sahip evrensel bir dil modeli olan GPT 2.0!" Bize ne söylüyor? ".
Genel olarak, bir dil modeli olarak GPT 2.0, doğal dilde cümleler veya paragraflar oluşturma konusunda özellikle güçlü bir yeteneğe sahiptir.Bu, OpenAI resmi blogunda yayınlanan nesil örneklerinden görülebilir:
"Geri dönüşüm dünya için kötü. Çevre için kötü, sağlığımız için kötü, ekonomi için kötü. Şaka yapmıyorum. Geri dönüşüm çevre için kötü. Gezegen için yıkıcı ve küresel ısınmanın temel nedeni. Geri dönüşüm çevre için kötü. Sağlığımız kötü, obeziteye, kalp hastalığı, kanser gibi hastalıklara neden oluyor.Geri dönüşüm ekonomimiz için kötü, ürün maliyetini artırıyor, bu da ürünlerin fiyatını yükseltiyor. Geri dönüşüm ülkemiz için kötü. Sahip olmak için varız Dünyadaki en gelişmiş ve etkili geri dönüşüm sisteminin ayrıcalığı çok büyük bir bedel ödüyor. Geri dönüşüm çok fazla zaman, enerji, para ve kaynak israf ediyor. "Geri dönüşüm dünya için iyidir.Neredeyse herkes bu bakış açısına katılıyor, ancak GPT 2.0 bunun tam tersini yapıyor.
Yukarıda bahsedilen makalede, Sina Weibo'da kıdemli bir algoritma uzmanı olan Zhang Junlin, GPT 2.0'ın iyileştirme yönü için, özellikle iyi üretilmiş makaleler üretmek için arsa kısıtlamalarının nasıl ekleneceğinin çok umut verici bir yön olduğunu söyledi. Bu noktada, GPT 2.0'ın katkısı bizim için bir yol, yani Transformer + için veri miktarını fırçalamak ve iş gücü ve makineden tasarruf etmek için bir yol göstermektir. Buna ek olarak, Transformer genellikle daha önce dil modellerinde RNN yapamaz .. Takip çalışmaları RNN ile benzer etkiler elde edebileceğini göstermiş olsa da, GPT 2.0 şüphesiz bu engeli daha da kırar ve Transformer'in daha sonraki saldırıları için sağlam bir temel oluşturur.
Bu açıdan, GPT 2.0'ın performansı aşırı övgü olarak değerlendirilemez.
Soru 3: OpenAI hiping mi?
Öyleyse, OpenAI'nin ifşa edilmemiş verileri ve kaynak kodu, Anima Anandkumar'ın yukarıda bahsettiği gibi bir aldatmaca mı? Bir yandan, OpenAI sık sık "AI" teknolojisinin yanlış ellere düşmesi konusundaki endişelerinden bahsediyor. Bu modelin ürettiği sahte makaleler ile birlikte, endişeleri makul görünüyor. Öte yandan, OpenAI her zaman sansasyonelleştirmeyi sevmiştir ve genellikle dikkat çekmek için resmi bloglar aracılığıyla halka olgunlaşmamış çalışmaları teşvik eder.
Bu örnekler arasında, New York Times'ın, pekiştirmeli öğrenmenin yanlış amaç işlevini kullanması durumunda, sizi tatmin edecek bir strateji öğrenemeyeceğiniz şeklindeki esasen olağanüstü keşfini rapor etmeye teşvik edilmesi yer almaktadır (https://www.nytimes.com/2017 /08/13/technology/art artificial-intelligence-safety-training.html).
Sonuçta, bu büyük hikayeler OpenAI blogundaki basın bültenleriyle aynı çizgidedir ve OpenAI, medyanın bildirmesi için kasıtlı olarak böyle bir hikaye planlamış olabilir.
Bu bağlamda, AI cephesi Jack Clark'tan fikrini sordu ve olumlu yanıt vermedi, ancak resmi blog makalesine ve GitHub açık adresinin bir kısmına bir bağlantı verdi.
Aslında, bu çalışma ana akım NLP araştırmasının bir ara aşaması gibi görünüyor. Bu çok iyi bir çalışma ve muhtemelen duyurulacak. Önümüzdeki bir veya iki ay içinde, aynı güçlü NLP laboratuvarı aynı görünebilir Sonuçlar.
Belki de bu blog medyada viral bir yayılma oluşturacaktır. Haberlerin arz ve talep üretim şekli ile ilgilidir.İsteğe bağlı haber üretimi çok yaygın hale gelmiştir.Resmi PR blogu güvenilir bir haber üretim kaynağı haline gelmiştir ve geniş çapta yayılmıştır.
Ancak yazar, bazı halkla ilişkiler yöntemleri kullanılsa bile, GPT 2.0'ın mükemmel dil oluşturma performansının gizlenemeyeceğine inanmaktadır.İyi bir araştırma sonucunun karanlıkta saklanmaktansa gerekli rolünü oynaması için önce bilinmesi gerektiğine inanmaktadır. Köşe keşfedilmeyi bekliyor.
Referans bağlantısı:
