Pekin Üniversitesi'nden Profesör Wan Xiaojun: Makinelerin edebiyat yaratması için ne gibi ilerlemeler ve zorluklar var?
Öncülük etmek: Bu makale Pekin Üniversitesi Wan Xiaojun Şirketinde Professor Byte Tech 2019 Machine Intelligence Frontier Forumu Paylaşın. Byte Tech 2019, China Artificial Intelligence Society, ByteDance, Tsinghua University tarafından ve Tsinghua Üniversitesi Veri Bilimi Enstitüsü tarafından ortaklaşa organize edilmektedir.
Konuşmadan önce sizinle görüşmek istiyorum Neden doğal dil üretimi (NLG), Daha önce, doğal dil işlemenin önemli bir hedefi olan doğal dil anlayışına (NLU), yani insan dilini anlamaya daha çok maruz kaldık. Şimdi, makineler ve insanlar arasındaki iletişimi daha da gerçekleştirmek için ekipmanın akıllı olmasını bekliyoruz Yapmamız gereken, NLG teknolojisini, yani doğal dil üretme teknolojisini daha da iyileştirmek, makineler ve insanlar arasındaki doğal etkileşimi gerçekten gerçekleştirmek ve makinelerin zeka düzeyini iyileştirmektir.
Her şeyden önce, Doğal dil üretimi NLG nedir? NLG, farklı giriş türlerine dayanan farklı alt görevlerle geniş bir yelpazeye sahiptir. Giriş, görüntüleri, sesleri, tabloları, metni vb. İçerir ve sonunda metin oluşturulmalıdır. Metinden metne oluşturma, birden çok alt görev türü içerebilir. Örneğin, uzun metne dayalı olarak kısa metnin çıktısı bir belge özetidir, metin yeniden anlatımı ise metnin yeniden yazılmasıdır.Giriş ve çıktı uzunlukları benzerdir ve oluşturulan metin, girdi metni ile aynı anlamlara sahiptir, ancak metin ifadesi farklı olacaktır.
Ek olarak, diyalog oluşturma ve makine çevirisi de metinden metne üretmenin görevleridir. Makine çevirisi, bir dildeki metni girdi olarak alır ve başka bir dildeki metni çıkarır. Diyalog üretimi, yukarıda üretilen cevaba dayanmaktadır. İki diyalog oluşturma ve makine çevirisi alanı çok geniştir ve genellikle ayrı ayrı ele alınırlar ve metin oluşturma alanında birleştirilmezler.
Metinden metne üretmeye ek olarak, iş alanında çok önemli kullanımlara sahip olan finansal tablolara dayalı finansal açıklama metni oluşturma vb. Gibi verilerden metne üretme de bulunmaktadır Şu anda birçok birim bu teknolojiyi incelemektedir.
Anlambilim ve sözdizimine dayalı cümleler oluşturmak, akademide incelenen bir NLG görevidir. Hem NLU hem de NLG'yi içereceği için pratik uygulamalarda uygulanması daha karmaşıktır.
Son olarak, metin oluşturmak için görüntülerin veya videoların girilmesi de NLG'nin temel araştırma yönüdür ve daha fazla araştırma, bilgisayar görüşü (CV) alanında yoğunlaşmıştır. NLG'nin tüm kapsamının çok geniş olduğunu görebiliyoruz Şahsen, belge özetleme araştırması yapmaya başladım ve sonra yavaş yavaş diğer NLG görevlerini inceledim.
NLG'nin geniş bir uygulama alanı vardır, Şu anda çok popüler olan diyalog robotu Xiaoice, özet oluşturma, haber oluşturma, şiir oluşturma vb. Dahil.
Şu anda, NLG'nin uygulama talebi çok büyük ve piyasadaki NLG teknolojisine olan talep de çok geniş. Bire çok makale yeniden yazma, yeni senaryo oluşturma vb. Dahil. Ancak şu anda bu ihtiyaçları çözmek çok zor, bir bilgisayarın gerçek anlamda yaratılışı gerçekleştirmesi kadar zor ... Yapmamız gereken, bilgisayarın yardımcı bir rol oynamasına izin vermek. Yumuşak makalelerin üretilmesi, makalelerin çeşitli stillerde yeniden yazılması ve daha fazla kişinin görmesi için İnternette yayılması gibi bire çok makale yeniden yazma için. Yeniden yazma iyi değilse, çok benzer içeriğe sahip iki makale için, yeniden yazılan yazı engellenecektir.Orijinal semantiği değiştirmeden çok fazla yeniden yazmamız gerekiyor.Bu süreç çok zor. Ayrıca, yapay zekanın ev sahibi olması ve tartışmalar yürütmesi çok zor ve zordur.Geçici olarak mevcut olmasa da, önce araştırılıp incelenebilir.
Derin öğrenme popüler hale gelmeden önce, NLG'nin birçok yöntemi vardı, kural tabanlı veya şablon doldurma bunlardan biriydi. Önce kuralları manuel olarak yazın ve ardından verileri ve bilgileri doldurun, ayrıca metin de oluşturabilirsiniz. Aslında bu yöntem basit olmasına rağmen birçok ticari uygulamada oldukça kullanışlıdır. Yazma şablonlarını otomatik olarak özetlemek ve elde etmek için otomatik makine öğrenimi yöntemlerini de kullanabilirsiniz.
Son yıllarda derin öğrenme yöntemleri yaygın olarak kullanılmaktadır.Kodlayıcı ve kod çözücü çerçevesine dayanan diziden diziye dönüşüm modeli en yaygın metin üretme modelidir.Güçlendirmeli öğrenme ve yüzleşme oluşturma ağları da esas olarak dizi dönüştürme modelini geliştirmek içindir. Araştırmamızın özü, kod çözücünün mimarisidir.Bazı çalışmalar kodlayıcıyı iyileştirirken bazı çalışmalar ise etkiyi iyileştirmek için kod çözücüyü geliştirmektedir.
Aşağıda tipik NLG görevleri için kaynaklar ve modeller açıklanmaktadır. Farklı metin oluşturma görevlerinin paralel verileri farklı olacaktır ve derin öğrenme yöntemleri özellikle bu tür paralel verilere dayanır. Soyut oluşturma görevleri için nispeten çok sayıda paralel veri olduğunu, ancak yalnızca yüz binlerce çift olduğunu görüyoruz.Bu veri boyutu, makine çevirisi eğitim verilerine kıyasla nispeten küçüktür, bu nedenle mevcut oluşturulan etki ideal değildir. Birçok metin üretme görevi şu anda büyük ölçekli eğitim külliyatından yoksundur ve bu eğitim külliyatının kısa bir süre içinde manuel olarak not alınması zordur. Gerçek şu ki, tüm metin oluşturma modelleri mükemmel değil.Büyük sorun verilerde yatıyor, ancak modelin kendisinin buna göre ayarlanması gerekiyor.
Sinir ağı modeline dayalı NLG'nin başarılı olmadığını vurgulamak istiyorum.Çok akademik araştırma yapmamıza ve birçok görevle ilgili birçok akademik makale yayınlamamıza rağmen, performans% 1 -% 2 oranında iyileştirildiği sürece makaleler yayınlanabilir, ancak Pratik bir bakış açısıyla, bu teknolojilerin istenen memnuniyet düzeyini elde etmesi zordur, bu nedenle verileri ve modelleri daha da iyileştirmemiz gerekir.
Ekibimiz ayrıca metin oluşturma üzerine birçok araştırma çalışması yapmıştır.Araştırma hedefi, X'in metin, veri, görüntüler, kodlar vb. Gibi çeşitli girdileri temsil ettiği X-to-Text nesli olarak konumlandırılmıştır. Çıktı metin türleri cümleleri, kısa özetleri, makaleleri, şiirleri, yorumları vb. İçerir. Örneğin, imgelere dayalı eski şiirler yazmak. Genel olarak, şiir üretimi, belirli bir temaya göre birbiriyle ilişkili dört anahtar kelimeye genişletilen anahtar kelimelere dayanır.Her bir anahtar kelimeye göre, bir şiir satırı çıkarılır ve dört satır şiir tam bir şiir oluşturmak için bir araya getirilir. Eski şiirlerin özelliklerini dikkate alarak, kafiye ve kafiye gibi bazı işlemlerin yapılması gerekir.Bunun bilgisayar için çözülmesi nispeten kolaydır ve metnin kodunu çözerken biraz kontrolle elde edilebilir. Yapmamız gereken tek bir görüntüden şiir üretmek değil, seyahat sırasında çekilmiş bir grup fotoğraf gibi bir resim koleksiyonundan bir şiir oluşturmak, sahneyi betimlemek ve ifadeyi hem resimler hem de kelimelerle gerçekleştirmek için nasıl şiir üretilir? Görüntüden metne dönüştürme görevi. Kodlayıcı ve kod çözücü çerçevesine dayanarak, resim koleksiyonundaki gürültü ve fazlalık resim problemlerini ve eski şiirlerdeki bazı kelimelerin resim içeriğiyle tutarsızlığını ele almak için bir seçim mekanizması ve öz-dikkat mekanizması kullanıyoruz.
Aşağıdaki şekil nihai sonuçtur ve yukarıdaki giriş resim koleksiyonudur.Sol alt köşede tekerleme ve sağ alt köşede dörtlük oluşturabiliriz. Oluşturulan şiirin genel etkisi daha iyidir. Ayrıca ilgili demoları da başlatacağız.
Doğal dil üretimi alanında hala bazı zorluklar var.
ilk, Şu anda, BLEU, ROUGE vb. Gibi değerlendirme göstergelerimiz yeterince doğru değil, ancak manuel değerlendirme kararlılıktan yoksundur ve çalıştırılması zordur.Doğru ve objektif bir otomatik değerlendirme indeksi nasıl bulunur, bu alana bu katkı herhangi bir modelin katkısını aşmaktadır.
ikinci, Birkaç paralel külliyat olduğunda veya hatta denetimsiz metin oluştururken nasıl metin üretilir, ancak külliyat yeterliyse, denetlenen metin oluşturmanın etkisinin kesinlikle daha iyi olacağına hiç şüphe yoktur.
üçüncü, Uzun metinlerin kodu nasıl çözülür, mevcut kod çözücüler düzinelerce kelimeden oluşan metinlerin kodunu çözebilir, ancak yüzlerce kelimeden veya binlerce kelimeden oluşan dizilerin kodunu doğrudan çözmek çok zordur.Bunun nasıl başarılacağı da dikkate değer bir sorudur.
Sonunda, Yüksek seviyeli modlar arası metin oluşturma, yani resimlere bakma ve konuşma. Aşağıdaki resim 2019 puludur. Bu damgayı gördüğünüzde ne diyorsunuz ya da bir makale yazıyorsunuz?
Bin okuyucunun bin Hamlet'i var ve herkes farklı bir bakış açısıyla düşünüyor. Microsoft'un resim görüntüleme aracı olan CaptionBot'un sonucu, "Bunun bir çizgi film karakteri olduğunu düşünüyorum." Bu sonucun tamamen yanlış olduğu söylenemez, ancak model ve veriler nedeniyle, makinenin görüntüye ilişkin anlamsal anlayışı hala çok sığdır ve mantık yürütme ve uzlaşma sağlayamaz. Lenovo. Bir insan yazar tarafından yazılmışsa, aklınıza üç çocuğun doğumunu teşvik etmek; öğrenme baskısı yüksektir, çocuk alnında kırışıklıklar çıkarır; anne bütün gün ev ödevi için yanar ve baba hala beyaz ve şişmandır. Bekle. Bu nedenle, insanların çok güçlü bir hayal gücüne sahip olduğunu ve zengin ve ilginç makaleler oluşturmak için çeşitli bilgi ve ipuçlarını birleştireceğini göreceğiz. Yapay zekanın artık çok güçlü olduğu bilinmesine rağmen, aslında en azından metin üretme görevi için hala insanlarla karşılaştırıldığında büyük bir boşluk var.Günümüzde yapay zeka sadece iş dünyasında tekrarlayan ve basit yazma ihtiyaçlarını çözmek için kullanılabiliyor ve derinlemesine yazı oluşturmak imkansız. makale. Böyle bir boşluğun varlığı, akademik camia için bir araştırma fırsatıdır Sonuçta, boşluklar ve eksiklikler vardır ve araştırma gereklidir.
hepinize teşekkür ederim.
Editör: Wen Jing - Bitiş -Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
