Hangi Çin Yeni Yılı beyiti güçlü, yapay zeka çılgın
(Yapımcı Leifeng.com) Beyit geleneğinin uzun bir tarihi vardır.Bahar Şenliği beyitlerinin yazımı son derece yüksek edebi okuryazarlık gerektirir.Sanatsal anlayışta sadelik ve simetri gerektirmekle kalmaz, aynı zamanda kötü ruhlardan uzak durmanın ve felaketleri ortadan kaldırmanın ve refahı karşılamanın iyi dileklerini ifade eder. Ancak modern insanlar için, geleneksel edebiyatın cehaleti ve beyit uygulamasının olmaması nedeniyle beyit beyitleri zorlaştı.
Ancak günümüzde yapay zeka teknolojisinin popülaritesi ile insanlar beyitlerin zorluklarını şimdiden aşmaya çalıştılar. Bunların arasında en ünlüsü ve en edebi olanı, Microsoft Research Asia başkan yardımcısı Zhou Ming tarafından geliştirilen ve bağlantıyı ve yatay partiyi isteğe göre değiştirmek için bu etkileşimli yöntemi kullanabilen Microsoft Research Asia'nın beyit sistemidir. Aşağıdaki şekilde gösterildiği gibi, sadece bir çift "Binlerce Nehir ve Su, Binlerce Nehir ve Ay" "Bin Mil, Bulutsuz, On Bin Mil" i gösterebilir.
Adres:
Ancak yenilik ve kişiselleştirme açısından yeni ortaya çıkan Baidu Bahar Şenliği beyit sistemi kadar iyi değil Baidu'nun geliştirdiği beyit sistemi, yüz üstü beyite ve gizli beyite gibi sistemlere sahip. Aşağıdaki şekilde görüldüğü gibi yapay zeka başlığı ile AI bir beyit veriyor.
Telefonu açın: https://aichunlian.cctv.com/?from=singlemessageisappinstalled=0
Beyit oluşturmak için sadece yüzünüzü fırçalamakla kalmaz, aynı zamanda 20 yaşındaki görünüşünüzü tahmin edip sentezleyebilirsiniz. Lei Feng.com bunu Dr. Li Feifei'nin bir fotoğrafıyla denedi ve her adımın metni aşağıdaki kaydırma alanında açıkça görülebilir. Sonuçlar, öngörülen yaşın 32 yaşında olduğunu ve AI'nın görünüm için 80 puan aldığını gösteriyor. Ek olarak, Dr. Li'nin oluşturulan 20 yaşındaki fotoğrafı oldukça gençtir (* ).
Elbette, geçen yıl çok popüler olan AI beyitinin kişisel versiyonu da var.Tasarımcı, Heilongjiang Üniversitesi'nden bilgisayar bilimleri alanında lisans ve Birleşik Krallık'taki Leicester Üniversitesi'nden bilgisayar bilimleri alanında yüksek lisans derecesi ile mezun olan Wang Bin. Test sonuçlarından yola çıkarak (aşağıdaki şekilde gösterildiği gibi), genel beyit etkisinden de yararlanılır ~
Couplet adresi: https://ai.binwang.me/couplet/
Lei Feng.com'a göre, bu AI eğitimi derin öğrenme seq2seq modeline dayanmaktadır. TensorFlow ve Python 3.6 kullanır. Kod açık kaynaklıdır. Eğitimi denemek için açık kaynak kodunu indirmek için aşağıdaki GitHub adresini açabilirsiniz. Ek olarak, onu eğitmek için kullanılan veri seti, toplamda 700.000'den fazla beyit içeren Feng Chongpu_ Zhai Sanye adlı bir blog yazarının Sina blogundan geliyor.
açık kaynak kodu:
https://github.com/wb14123/seq2seq-couplet
Eğitim veri seti: https://github.com/wb14123/couplet-dataset
Bu nedenle, Bahar Şenliği beyitlerini kendi başlarına yazmak isteyen, ancak büyük hareketi engelleyemeyenler, kendi beyitlerinizi oluşturmak için yukarıdaki AI sistemlerinden herhangi birini kullanabilir.
AI beyitlerinin arkasındaki teknoloji
Yapay zeka beyitlerinde kullanılan teknoloji ile ilgili olarak, Microsoft Zhou Ming bir keresinde blogunda şu paragrafı yazmıştı: "Basit bir model tasarladım ve beyitlerin üretilme sürecini bir çeviri süreci olarak değerlendirdim. Bir beyit verildiğinde, kelimeye göre Yazışma ve kelime yazışması, birçok seçilmiş kelime ve aday kelime üretin, soldan sağa doğru bir kelime haritası elde edin ve ardından dinamik bir programlama algoritmasına göre en iyi bağlantıyı bulun.
Yukarıdaki metinden, AI çiftlerinin bir dizi makine çevirisi algoritması kullandığını öğrenebiliriz. Üst satır göz önüne alındığında, farklı diller arasındaki çeviriden farklı olarak, alt satırın dışındaki AI, aynı diller arasındaki çeviridir.
Bu, beyit sisteminin seviyesinin doğrudan makine çeviri sisteminin geliştirme geçmişine bağlı olduğu anlamına gelir.
Makine çevirisinin orijinal kaynağı 1949'a kadar izlenebilir. O zamanlar, ana teknoloji kural tabanlı makine çevirisiydi. En yaygın yöntem, doğrudan bir sözlükten sözcük kelime çevirmekti, ancak bu çeviri yöntemi pek işe yaramadı. Kural okulu nun yenilgisinden sonra, Japonya'daki Kyoto Üniversitesi'nden Profesör Nagao Ma, örnek tabanlı bir makine çevirisi önerdi, yani yeterince örnek cümleler saklandığı sürece, eksik eşleşen cümlelerle karşılaşsalar bile, değiştirilmedikleri sürece karşılaştırılabilirler. Aynı kelimenin çevirisi gayet iyi. Ancak bu yaklaşım çok fazla sorun yaratmadı.
1993 yılında yayınlanan "Makine Çevirisinin Matematiksel Teorisi" makalesi, kelimelere dayalı beş istatistiksel model önermiştir. Asıl fikir, çeviriyi bir olasılık sorunu olarak ele almaktı.Bu çeviri yöntemi o zamanlar çok popüler olmasına rağmen, gerçekten bir devrim başlattı. 2014 yılında derin öğrenmenin yükselişidir.
2016'da Google, tüm istatistiksel makine çevirisinin kaldırıldığını resmen duyurdu ve sinir ağı makine çevirisi, modern makine çevirisinin mutlak ana akışı haline geldi. Spesifik olarak, piyasadaki mevcut AI çiftleri temel olarak dikkat mekanizmasına dayalı seq2seq modelinin sekans oluşturma görevi üzerinde eğitilmiştir. Seq2seq modeli, Encoder-Decoder olarak da adlandırılır.
Bu model hakkında AI teknolojisi incelemesi daha önce detaylı bir makale yazmıştır, anlamayan okuyucular bu "Tamamen Resimli RNN, RNN Varyantı, Seq2Seq, Dikkat Mekanizması" na tıklayınız.
Şimdi ayrıca temel bölümleri şu şekilde özetliyoruz: Kodlayıcı-Kod Çözücü yapısı ilk olarak giriş verilerini bir bağlam vektörü c'ye kodlar:
C'yi elde etmenin birçok yolu vardır. En kolay yol, Kodlayıcının son gizli durumunu c'ye atamaktır.Ayrıca, c'yi elde etmek için son gizli durumda bir dönüşüm gerçekleştirebilir veya tüm gizli durumlar üzerinde dönüşümler gerçekleştirebilirsiniz.
C'yi aldıktan sonra, kodunu çözmek için başka bir ağ kullanın Ağ yapısının bu kısmına Kod Çözücü adı verilir. Spesifik yöntem, Dekodere önceki başlangıç durumu h0 olarak c girmektir:
Diğer bir yol, her adım için girdi olarak c'yi kullanmaktır:
Bu Kodlayıcı-Kod Çözücü yapısı, giriş ve çıkış dizisinin uzunluğunu sınırlamadığından, uygulama aralığı çok geniştir.
Dikkat mekanizması
Kodlayıcı-Kod Çözücü yapısında, Kodlayıcı tüm girdi dizilerini birleşik bir anlamsal özellik c'ye kodlar ve sonra kodunu çözer Bu nedenle, c orijinal dizideki tüm bilgileri içermelidir ve uzunluğu modelin performansını sınırlayan bir darboğaz haline gelir. Makine çevirisi problemi gibi, çevrilecek cümle uzun olduğunda, bir c çok fazla bilgi tutmayabilir, bu da çeviri doğruluğunun düşmesine neden olur.
Dikkat mekanizması, her seferinde farklı bir c girerek bu sorunu çözer.Aşağıdaki şekil Dikkat mekanizmalı bir Kod Çözücüdür:
Her c, çıktısı alınacak mevcut y için en uygun bağlam bilgisini otomatik olarak seçecektir. Spesifik olarak, Kodlayıcının j'inci aşamasındaki hj ile kod çözme sırasında i'inci aşama arasındaki korelasyonu ölçmek için aij kullanırız ve son olarak, Kod Çözücüdeki i-inci aşamanın girişinin bağlam bilgisi ci, tüm hj ve aij'in ağırlıklı toplamından gelir. Makine çevirisini örnek olarak alın (Çinceyi İngilizceye çevirin):
Giriş dizisi "Çin'i seviyorum", bu nedenle Kodlayıcıdaki h1, h2, h3 ve h4, sırasıyla "I", "aşk", "" ve "ülke" ile temsil edilen bilgiler olarak kabul edilebilir. İngilizceye çevrildiğinde, birinci bağlam c1, "I" sözcüğüyle en alakalı olmalıdır, bu nedenle karşılık gelen a11 nispeten büyüktür ve karşılık gelen a12, a13 ve a14 nispeten küçüktür. c2 en çok "aşk" ile ilişkili olmalıdır, bu nedenle karşılık gelen a22 daha büyüktür. Son c3, h3 ve h4 ile en alakalı olanıdır, bu nedenle a33 ve a34'ün değerleri nispeten büyüktür.
Bu noktada, Dikkat modeli ile ilgili son bir sorumuz var, o da: aij bu ağırlıklar nasıl ortaya çıkıyor?
Aslında, aij de modelden öğrenilir ve aslında Kod çözücünün i-1'inci aşamasının gizli durumu ve Kodlayıcının j. Aşamasının gizli durumu ile ilgilidir.
Ayrıca yukarıdaki makine çevirisi örneğini, a1j hesaplamasını ele alalım (bu durumda, ok, h 've hj'nin aynı anda dönüştürüldüğü anlamına gelir):
A2j'nin hesaplanması:
A3j'nin hesaplanması:
Yukarıdakiler, Dikkatle Kodlayıcı-Kod Çözücü model hesaplamasının tüm sürecidir.
Kod çözücüler ve kodlayıcılar hakkında
Kod çözücüler ve kodlayıcılar tarafından kullanılan ağ yapıları, derin öğrenme çağında çoğunlukla evrişimli ağları (CNN) ve tekrarlayan ağları (RNN) kullanır.Ancak Google, dönüştürücünün kod çözücü ve kodlayıcı olarak da kullanılabileceği yeni bir mimari önermiştir.
Not: Transformer, ilk olarak "Tüm İhtiyacınız Olan Dikkat" adlı kağıt tarafından önerilmiş ve kademeli olarak NLP'de ana akım model olarak RNN'nin yerini almıştır. Artık Google Cloud TPU tarafından önerilen referans modeldir, kendi TPU'yu tanıtan Google'ın Bert'i de Transformer modelidir. . Genel olarak, NLP görevindeki performansı ilk iki sinir ağından daha iyidir.
Bu, geçmiş kavramı tamamen altüst etti, CNN ve RNN kullanmadı, daha az bilgi işlem kaynağı kullandı ve geçmiş yapıdan daha iyi sonuçlar elde etti.
Transformer aşağıdaki özellikleri sunar: Kaynak dilin iç ilişkisini ve hedef dilin iç ilişkisini doğrudan öğrenmek için dikkat mekanizmasının kullanılmasını önerir, 1. Öğrenmek için önceki RNN kullanımından vazgeçin; 2. Birçok farklı ilişki olduğu varsayımı için ve çoklu önerme ( CNN'deki çoklu kanal kavramına biraz benzeyen çok başlı) dikkat mekanizması; 3. Kelimenin konumu, farklı frekansların günah ve cos fonksiyonları ile kodlanmıştır.
Makine çevirisinin önünde uzun bir yol var
Beyit perspektifinden bakıldığında, mevcut makine çevirisinin hala büyük bir gelişme yönü var.Örneğin, bir süre önce çok popüler bir Shanglian "Mo Yanlu ve Yu Qiuyu" vardı.Microsoft beyit sistemi ile girdikten sonra cevap yok. Bu sorunun nedeni algoritmada ve veri setinde yatmaktadır.
Ancak bu üst halkayı beyit sisteminin Wang Bin versiyonuna girdiğimizde, "Uzaktaki Bahar Esintisine Bakın" alt halkasını alacağız. Her ne kadar Xianlian verilmiş olsa da, sanatsal anlayış Şanghaycılığınkinden çok uzak: "Mo Yanlu ve Yu Qiuyu" modern zamanlarda kelimenin tam anlamıyla üç edebiyat anlamına geliyor ve sanatsal anlayış, AI tarafından verilen "yolun uzun, boş, yalnız ve sonbahar yağmuru" olduğunu söylemeye gerek yok. Xialian, yalnızca sanatsal anlayış açısından yanıt vermekte başarısız olmakla kalmaz, aynı zamanda gerçek anlama karşılık gelmez.
Leopar bakıldığında, yalnızca bu örnek mevcut makine çevirisinde bazı problemler olduğunu söyleyebilir. AI Technology Review Baidu'dan öğrendiği gibi: "Şu anda, beyitleri ve şiirleri otomatik olarak yazmak için esas olarak uçtan uca sıra oluşturma modellerini kullanıyor. Genel kullanıcılar için. Oluşturulan Bahar Şenliği beyitlerinin veya şiirlerinin de akılda kalıcı ve iyi hissettirdiği söyleniyor.
Profesyonel bir bakış açısından, aslında iyileştirme için çok yer var.Örneğin, mevcut modellerin tümü derlem öğrenmeye dayalı olarak üretilir ve toplanan yay beyitleri kütüphanesi genellikle sınırlı kelime dağarcığı içerir ve oluşturulan yay beyitleri belirli bir homojenliğe sahiptir. İçerik yeniliğinin gelişmeye devam etmesi gerekiyor. İkinci olarak, makineler bazen sağduyuya uymayan içerik üretir ve üretilen içeriğin anlaşılması da daha derine inmeye değer. "
Makro düzeyden tüm makine çevirisi düzeyine kadar, farklı diller arasında makine çevirisinde düzensiz kelime sırası ve yanlış anlamlar gibi üstesinden gelinmesi gereken birçok teknik zorluk vardır.
Algoritmaların ve hesaplama gücünün mevcut gelişimi gerçekten de bazı özel zorlukları çözebilir, ancak makine çevirisi araştırması aşağıdaki üç açıdan çığır açmalıdır: izole cümleleri işlemek yerine geniş bağlam; artık anlamaya dayanmıyor Sözdizimsel analiz düzeyinde kalın; son derece uzmanlaşmış ve uzmanlaşmış.
Referanslar:
https://www.jianshu.com/p/7e66bec3123b
