Kavun yeme tarihindeki en güçlü NLP modeli GPT 2.0 rehberi
Görüntü kaynağı @Visual China
Metin | Beyin Kutupsal Gövdesi
Fener Festivali sona erdiğinde, yıl resmen biter. OpenAI ve Musk'ın aslında Bahar Şenliği'nin küçük kuyruğunu yakalayıp dünyanın dört bir yanındaki insanlara büyük bir kavunla katkıda bulunacaklarını hiç düşünmemiştim.
Durum şu: Geçen hafta OpenAI, "tarihteki en güçlü genel NLP modeli" olarak adlandırılan yeni bir GPT-2.0 algoritması başlattı, ancak modeli ve veri setini her zamanki gibi açmadı.
Araştırmacıların güzel sözlerini bitirmek için zamanları yoktu ve OpenAI operasyonlarının dalgasına hemen kızdılar ve onu orijinal niyetlerini ve kötü niyetli aldatmacayı unutmakla suçladılar.
Bazıları "ClosedAI" olarak yeniden adlandırılması gerektiğinden şikayet ederken, diğerleri öfkelerini OPENAI'nin fon sağlayıcılarından biri olan Elon Musk'a yaktı. İkincisi, "bir yıldan fazla bir süredir OpenAI şirketinin işlerine karışmadığını", "konsept olarak uzun süredir tutarsız olduğunu" söyleyerek potu hemen çarptı ve "barışçıl ayrılık" için resmi olarak tweet attı ...
Sadece halkın öfkesini uyandırmakla kalmadı, aynı zamanda fon sağlayıcının kurucusunu ve babasını da kaçırdı.OpenAI büyük bir mesele ve bir kavun tarlası sözleşmesi yaptı.
Teknoloji ve lezzetle kavun yemek istiyorsanız, önce teknoloji topluluğunu bozabilecek "suçlu" yu anlamalı ve OpenAI'yi pot-GPT2.0'ı desteklemeye istekli yapmalısınız, sihir nedir?
Fırtınanın merkezinde GPT2.0 ne kadar özel?
Büyük sinir ağı dil modellerini eğitmenin her zaman NLP alanında en değerli araştırma olduğunu biliyoruz. Bunlar arasında, anlamsal tutarlılık, yani dil üretme modelinin bağlamı tahmin etme doğruluğu her zaman "büyük bir sorun" olmuştur.
Bu sorunu çözmek için, daha iyi performansa sahip genel bir dil modeli araştırmacıların odak noktası haline gelmiştir. AI2'nin ELMo'sundan OpenAI'nin GPT1.0'ına, Google'ın BERT'ine kadar, kısa bir süre önce, hepsi makineyi artık garip ve sohbet etmeyecek ve daha sorunsuz ve tutarlı konuşacak.
Ancak birkaç ay önce "NLP'yi yeni bir çağa götürmek" olarak bilinen BERT'nin bu kadar çabuk GPT2.0 ile değiştirilmesini beklemiyordum.
Derin öğrenmenin dört unsuruna göre, GPT 2.0'ın gücü nedir?
1. Eğitim verileri. Yaygın ilgi gören BERT, eğitim için 300 milyon parametre kullandı ve o dönemde benzeri görülmemiş olan 11 NLP kaydını yeniledi.
Öte yandan, OpenAI tarafından başlatılan GPT-2, 8 milyon web sayfası veri setinde eğitilmiş ve çok çeşitli konuları kapsayan 1,5 milyarlık bir parametre hacmine sahiptir. GPT-2'nin mevcut en büyük derinlik modeli olabileceğini söylemek abartı olmaz.
2. Model. Derin öğrenme yönteminde, "gelişmiş temsilciler" BERT ve GPT-2'nin her ikisi de Transformer teknolojisini kullanır. Geleneksel özellik çıkarıcılar RNN ve CNN ile karşılaştırıldığında Transformer, özellik çıkarma, hesaplama verimliliği ve çeviri görevleri için kapsamlı yetenekler açısından kazanan bir çizgiye sahiptir.
Aradaki fark, BERT'nin ön eğitim için iki yönlü bir dil modeli kullanması, GPT2.0'ın ise eski zamanların tek yönlü dil modelini kullanmasıdır. Açıkçası, GPT-2'nin ön eğitimde kullanabileceği mimari türü bu nedenle sınırlıdır ve bağlamı tam olarak entegre edemez.Sonuç olarak, aşağı akış görevlerinde gösterilen performans, orijinal BERT'den çok daha az şaşırtıcıdır.
Neden "erdemli olanı görmüyorum" ve daha gelişmiş bir iki yönlü dil modeli benimsemeye gelince, muhtemelen tüfeği bir mızrakla çevirmenin zorluğudur, bu da "cesur ve cesur" in inek tavrını daha iyi gösterebilir.
3. Hesaplama gücü. "Big Mac" GPT-2'nin antrenman öncesi veri ölçeği, yaklaşık 10 milyon makaleden oluşan bir veri kümesi ve 40 GB'lık bir metin koleksiyonu kullanarak tüm oyuncuları taradı. Bu şekilde eğitilen dil modelinin bariz avantajları vardır: Tescilli bir veri seti kullanmaktan daha çok yönlüdür, dili ve bilgi mantığını anlar ve herhangi bir alandaki aşağı akış görevleri için kullanılabilir.
Ancak bu görevi tamamlamak için süper büyük bir GPU makine öğrenimi kümesi kullanılmalıdır.Bu nedenle, OpenAI sıkı ve pahalı GPU eğitim süresi için rekabet etmek zorundadır.Yalnız büyük maliyet, çalışmalarını kopyalamak isteyen birçok araştırmacıyı caydırmak için yeterlidir. Yukarı.
4. Uygulama. Bunu söyledikten sonra, GPT-2'nin gerçek uygulama etkisi nedir? Gelin ve edebi eserlerini takdir edin:
George Orwell'in "Bin Dokuz Yüz Seksen Dört" ün açılış konuşmasını girin: "Bu Nisan ayında bir gün, hava açık ve soğuk ve saat on üç kez çarptı." Sistem, belirsiz fütüristik tonu ve roman tarzını tanır ve yazmaya devam eder:
"Yeni bir iş bulmak için arabayı Seattle'a giderken kullandım. Benzini koydum, anahtarı taktım ve çalışmasına izin verdim. O günün nasıl olacağını hayal ettim. Bugün, yüz yıl sonra. 2045'te, Çin kırsalındaki bir okulda öğretmenlik yapıyorum. Çin tarihi ve bilim tarihi ile başladım. "
Yalnızca duygusal taklit değil, GPT-2 fikirleri de yenileyebilir (yanlış olsalar bile). Örneğin, "Geri dönüşüm dünya için kötüdür. Çevre için kötüdür, sağlığımız için kötüdür ve ekonomi için kötüdür." Bu tür açıklamalar politik olarak doğru ve yanıltıcı değildir.
Gerçek etkiden, GPT-2'nin bağlamı anlama, paragraflar oluşturma ve kelime sırasının tutarlılığı herkes için açıktır. Bazı uzmanların gelecekte olay örgüsüyle ilgili kısıtlamalarla birlikte GPT-2'nin 40 kez "Kırmızı Konaklar Rüyası" yazmaya devam edebileceğini söylemesine şaşmamalı.
Yükselen bir yazı yıldızı gibi görünüyor ve gerçekten de çok sayıda bilinmeyen insana titreyebilir. Ancak "çapraz yaş" BERT bile kolayca açık kaynaktır ve GPT-2'nin küçük kapalı kaynağı biraz ilgi çekici görünüyor.
Teknik bir dövüşçüden hedefe: OpenAI nasıl yanlış eli yaptı?
Sahte haber yapmak için kötü niyetle kullanılmasından korktuğunuzu söylerseniz büyük fırtınalar yaşayan insanları ikna edemezsiniz. Sahte videolar gördüm. İlkokul öğrencilerinin seviyesini bir kenara bırakın, hayalet yazar robotların haber yazdığı şey nedir? "Süpürge kendini besliyor" mu?
Sektördeki meslektaşları sözlü olarak eleştirmeye başladı ve Musk çok akıllıca yürüdü. Ayrıntılı olarak, OpenAI tarafından eleştirilen üç günah vardır:
1. Açık endüstrinin "gizli kurallarını" ihlal etti
Bugünün internetinde, açık kaynak kültürü çoktan gelişti ve AI alanında açıklık varsayılan seçenektir.
Altta yatan teknolojinin yükseltilmesi, daha geniş bir ekosistem, daha fazla üst düzey teknik personel ve buna katılmak için daha fazla kurum gerektirir. Açık işbirliği, açık bir şekilde en son yenilikleri en hızlı şekilde doğuracaktır.
Araştırma sonuçlarının ve kaynak kodlarının çoğunun bloglar, konferanslar, topluluklar ve diğer kamusal biçimler aracılığıyla elde edilebileceği kesin olarak budur.Bunu yapmanın diğer bir avantajı, araştırma kaynaklarını israf etmekten kaçınmak ve araştırmanın rasyonelliğini ve gerçekliğini en üst düzeye çıkarmaktır. . OPENAI'nin kapalı kaynağı açıkça bu temel kuralı ihlal ediyor.
2. Eylemsizlik heyecanının neden olduğu "hale etkisi"
Psikolojide "hale etkisi" adı verilen bir yasa vardır Bilişsel kişi, bir kişinin belirli bir özelliğine ilişkin sabit bir izlenim oluşturduğunda, bu yargıdan diğer özellikleri çıkaracaktır. OPENAI ne yazık ki bir "aldatıcı yutturmaca" "hale" taşıdı ve herkesin ilişkilerini başarıyla tetikledi.
Bire bir DOTA2'de en iyi insan oyuncu "Dendi" yi yenmeden önce, OPENAI "Capture DOTA2", "AI insanları tamamen kötüye kullanıyor" ve "Crush AlphaGo" gibi çok abartılı olmakla suçlanan beyanlar yayınladı.
OPENAI abartmak ve medya raporlarını teşvik etmek için fazla bir şey yapmadı. GPT-2'ye dönüp bakıldığında, genel görüş, dolandırıcılık riskinden kaçınmak için açılmamanın güvenliğe veya teknolojik ilerlemeye yararlı olmadığıdır.
Eski modeli benimsemek zorunda olmanın inatçılığı ve "insan yazarı ezme" tonuyla karşı karşıya kalan herkes, tanıdık rutinden "aynı formül ve tadı" hemen kokladı. Bu arzu edilirlik noktası, "AI kaygısı" hakkındaki önceki yutturmacanın sonradan gelen etkileriyle de boğulmuştu.
3. AI merkezileştirmenin gerçek gölgesi
Yukarıda belirtilen suçlamalar kaçınılmaz olarak biraz idealizm taşıyorsa, GPT-2'nin özelleştirilmesinin somut etkisi halkın paniğini ateşleyen gerçek fitil olabilir.
"Yeni petrol" olarak, veri kaynakları uzun süredir kapanma belirtileri gösteriyor. Google, Amazon ve Facebook gibi teknoloji devleri ellerinde büyük miktarda veri zenginliği biriktirdiler ve gittikçe güçleniyorlar. Tüm ülkeler, AI başarılarını ulusal stratejik kaynaklar olarak görüyor ve Almanya ve Fransa, veri toplama ve kullanma için vergi almaya başladı.
GPT-2 tarafından temsil edilen denetimsiz öğrenme eğilimi, teknolojik ilerleme ve yeniliğin giderek daha büyük kapasiteli modellere ve süper büyük ölçekli veri setlerine dayandığı anlamına gelir.
Diğer bir deyişle, büyük şirketler kaynak ve veri setlerini açmaya isteksiz olduklarında, üniversiteler ve yetersiz finansal kaynaklara sahip küçük ve orta ölçekli geliştiriciler masaya davet edilmeleri çok muhtemeldir.
Başlangıçta "tüm insanlığın AI teknolojisine eşlik edeceğini" söyleyen OpenAI özelleştirildi.Açık kaynak kültürünün "düşmanlaştırıldığı" ve bunun gösterilmesinde çok kötü bir rol oynadığı aşikar.
Ancak, sadece körü körüne eleştirerek, bu kavunu teknik içerik olmadan yiyoruz. Anahtar, püskürtüleceğini bilse bile OpenAI neden bunu yapmak zorunda olduğunu bulmaktır.
Açık kaynak ve özelleştirme: algoritma şirketlerinin iş ikilemi
OpenAI'nin teknoloji özelleştirme tercihi, her türlü tatmin edici olmasa da, fikri mülkiyet haklarının mülkiyetinde suçlanacak hiçbir şey yoktur. Onu ideallerini ihlal etmeye zorlayan temel neden, yapay zekanın ve insanlığın gerçek düşmanı olabilir.
Basitçe söylemek gerekirse, içinden düşen, algoritma şirketlerinin kolektif ticarileştirilmesiydi.
Amerikalı çağdaş teknoloji filozofu Andrew Feenberg, 1990'larda teknolojinin açılmasının, teknolojinin ticari değeriyle savaşmaktan çok, tüm toplumun teknolojik refahını iyileştirmek olduğunu ileri sürdü. Ancak bu güne kadar, algoritmaların ticarileştirilmesine giden yol hala uzun ve zor.
Yüksek veri ve Ar-Ge maliyetleri ile algoritma şirketleri uzun vadeli araştırmaları üç ana yoldan desteklemek istiyor:
1. Patent satışı. Algoritma araştırma ve geliştirme, yapay zeka endüstrisi zincirindeki en yeni ve en değerli işletme olarak kabul edilebilir, ancak algoritma şirketleri patent sahibi olsa bile, daha derin yazılım ve donanım uygulamalarının olgunlaşmamış olduğu bir ortamda kendilerini beslemek zordur.
2. Açık kaynak, diğer işletmelerden yararlanın. İnternetin "domuzlardan yün" iş modelinden dersler çıkararak, algoritmanın değeri diğer işletmeleri tamamlayarak gerçekleştirilebilir.
Örneğin, Facebook tüm kodunun ve teknik mimarisinin kaynak kodunu açmaya kendini adamış, birçok seçkin geliştiriciyi cezbetmiştir ve markası ve itibarı da artmıştır. Ancak öncül, Facebook'un yazılım satarak para kazanmaması ve açık kaynağın kendi işini etkilememesidir. Saf bir algoritma şirketi için bu kesinlikle mümkün değil.
3. "Destekleyecek" fon sağlayıcısını bulun. Şu anda, finansman elde etmek için büyük bir ticari kuruluş aramak, Deepmind için Google ve OpenAI için Tesla gibi algoritma şirketleri için neredeyse en iyi hedeftir. Ama başkaları tarafından zapt edilmek hayatı elbette kolay değil.
İkisinin birleşiminin sonucu, bir yandan yatırımcıların geri dönüş peşinde koşma arzusunu tatmin etmek, diğer yandan ana işin zarar görmesine ve kendi teknolojilerini geciktirmeye karşı korunmaktır. Musk'ın yönetim kurulundan çekilmesiyle OpenAI'nin geleceği birdenbire belirsizleşti.
Sonuçta, OpenAI'nin açık kaynak ikileminin arkasında, saf teknoloji şirketlerinin kolektif bir çaresizliği de ortaya çıktı: açık kaynak yapmak zorundasınız, yoksa teknolojik ekolojiyi sürdüremezsiniz; her şeyi açık kaynak yapamaz ve altın bir kaseyle yemek için yalvaramazsınız. Bu dereceyi kavramak gerçekten zor.
Veri kapama dalgasıyla birlikte, yapay zeka açık kaynağının geleceğinin iyimser olmadığı kanıtlanmış bir gerçek olduğunu anlamak zor değil.OpenAI sadece bir ateş ekliyor ve özelleştirme potu hatırlanamıyor.
Bu sorunu çözmek için ahlaki adam kaçırmaya veya büyük kurumların iyiliği için dua etmeye dayanmaz ve söz savaşı durdurulabilir. Aksine, eksiksiz bir endüstriyel zincir sistemini daha hızlı olgunlaştırmak ve daha çeşitli iş modellerini ve uygulama senaryolarını etkinleştirmek için tüm toplumun gücünü bütünleştirir.
Algoritmaların ticari değeri ortaya çıkmaya başladığında, teknoloji şirketlerinin sosyal sorumluluk üstlenme gücüne sahip oldukları zamandır.
Daha heyecan verici içerik için Titanium Media WeChat ID'yi (ID: taimeiti) takip edin veya Titanium Media Uygulamasını indirin
