g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Google'ın yeni açık kaynaklı metin oluşturma yöntemi LaserTagger, doğrudan seq2seq'in üç ana kusuruna isabet ediyor: düşük verimlilik, yavaş akıl yürütme ve zayıf kontrol

Leifeng.com AI Geliştirici Basın : Şu anda, sıradan sıraya (seq2seq) doğal dil üretme görevinde, ana akım ön eğitim modeli, üretilen çıktı ile girdi metni arasındaki uzunluk eşleştirme sorunu, yüksek performans elde etmek için büyük miktarda eğitim verisine duyulan ihtiyaç, çıkarım gibi bazı önemli kusurlarla karşı karşıyadır. Yavaş ve benzeri.

Bu nedenle Google, seq2seq modelinin işleyişinde yukarıda belirtilen eksiklikleri gidermeyi amaçlayan ve kaynak metni hedef metne dönüştüren bir dizi oluşturma işlemini tahmin edebilen yeni bir metin oluşturma modeli LaserTagger önerdi. Google, bu açık kaynak metin oluşturma modelini tanıtan ilgili bir makale yayınladı.Leifeng.com AI geliştiricilerinin içeriği aşağıdaki gibi derlenmiş ve derlenmiştir.

Geliştirme arka planı

Sıradan diziye (seq2seq, https://en.wikipedia.org/wiki/Seq2seq) modeli, orijinal olarak yazılım mühendisleri Eric Malmi ve Sebastian Krause tarafından geliştirilmiştir. Bu model piyasaya sürüldüğünde, makine çevirisi alanında büyük bir etki yaratmıştır. Teknolojik yenilik, çeşitli metin oluşturma görevleri (soyut oluşturma, cümle birleştirme ve dilbilgisi hatası düzeltme gibi) için ana model haline geldi.

Aynı zamanda, model mimarisinin iyileştirilmesiyle (örneğin, Transformer, https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html) ve denetimsiz ön eğitim yoluyla çok sayıda etiketlenmemiş yöntemin kullanılmasıyla birlikte Metnin yeteneği, son yıllarda sinir ağı yöntemini niteliksel olarak geliştirmiştir.

Metin oluşturma sinir ağı mimarisinin gelişimi; bunların arasında BERT derin iki yönlüdür, OpenAI GPT tek yönlüdür ve ELMo sığ iki yönlüdür

Bununla birlikte, fiili kullanıma göre, seq2seq modelinin metin oluşturma için kullanımının bazı önemli kusurları da vardır, örneğin: metin tarafından desteklenmeyen girdi üretmek (halüsinasyon olarak adlandırılır) ve büyük miktarda eğitim verisi gerektirir. İyi sonuçlar elde edin; ek olarak, seq2seq modelinin çıktıyı kelime kelime üretmesi gerekir, bu nedenle çıkarım süresi daha uzundur.

Kısa süre önce, Google'ın "Kodlama, Etiketleme, Gerçekleştirme: Yüksek Hassasiyetli Metin Düzenleme" (https://ai.google/research/pubs/pub48542/), yeni ve açık kaynaklı bir metin oluşturma modelini tanıttı. Özel bölümde yukarıdaki üç eksikliği çözün. Modelin hızı ve doğruluğu nedeniyle, model LaserTagger olarak adlandırılır.

Modelin ana fikri şudur: çıktı metnini sıfırdan oluşturmak yerine, tahmini düzenleme işlemlerini kullanarak kelimeleri etiketleyerek çıktıyı oluşturur ve ardından bu kelimeleri ayrı bir uygulama adımında giriş kelimelerine uygular. Bu, metin oluşturmanın daha az hataya açık bir yoludur ve metni, eğitilmesi daha kolay ve yürütülmesi daha hızlı olan bir model mimarisi aracılığıyla işleyebilir.

"Kodlama, Etiketleme, Gerçekleştirme: Yüksek Hassasiyetli Metin Düzenleme" kağıdı

LaserTagger tasarımı ve işlevi

Birçok metin oluşturma görevinin ayırt edici özelliği, genellikle girdi ve çıktı arasında yüksek derecede örtüşme olmasıdır. Örneğin, gramer hatalarını tespit edip düzeltirken veya cümleleri birleştirirken, giriş metninin çoğu değişmeden kalabilir ve yalnızca birkaç kelimenin değiştirilmesi gerekir.

Bu nedenle, LaserTagger gerçek sözcükler değil bir dizi düzenleme işlemi üretecektir. Kullandığımız dört tür düzenleme işlemi şunlardır: İşaretli kelimeden önce Keep (kelimeyi çıktıya kopyala), Delete (bir kelimeyi sil) ve Keep-AddX / Delete-AddX (X cümlesi ekle) ve işaretli kelimeyi silmeyi seçebilirsiniz. kelime).

Aşağıdaki şekil, LaserTagger'ın cümle birleştirme içinde uygulanmasını gösteren bu süreci göstermektedir:

LaserTagger cümle birleştirme için uygundur. Öngörülen düzenleme işlemi, ".Turing" i silme ve ardından "ve he" ile değiştirmeye karşılık gelir. Giriş ve çıkış metni arasındaki yüksek derecede örtüşmeye dikkat edin

Eklenen tüm ifadeler sınırlı bir kelime dağarcığından gelir. Kelime hazinesi, iki hedefi olan bir optimizasyon sürecinin sonucudur:

(1) Optimize edilmiş kelime dağarcığının boyutu;

(2) Optimize edilmiş eğitim örneklerinin sayısı;

Bunlar arasında, hedef metne eklenen tek gerekli sözcükler yalnızca sözcük listesinden gelir ve sınırlı sözcük dağarcığı çıktı karar alanını azaltacak ve modelin herhangi bir sözcük eklemesini engelleyerek "illüzyon" problemini azaltacaktır.

Girdi ve çıktı metinlerinin yüksek örtüşen doğası, gerekli değişikliklerin genellikle yerel ve birbirinden bağımsız olduğu sonucuna da yol açabilir. Bu, düzenleme işlemlerinin yüksek doğrulukla paralel tahminler yapabileceği anlamına gelir; bu, tahminleri sıralı olarak gerçekleştiren ve uçtan uca hızı önemli ölçüde artırabilen kendi kendine regresyon seq2seq modeliyle karşılaştırılabilir.

Deneysel sonuçlar ve sonuçlar

Araştırmacılar deneyde LaserTagger tarafından uygulanan dört metin oluşturma görevini değerlendirdi: Dört görev: cümle birleştirme, ayırma ve açıklama, soyut özet ve dilbilgisi düzeltmesidir.

Tüm görevlerde, LaserTagger'ın performansı, çok sayıda eğitim örneği kullanan BERT tabanlı güçlü seq2seq temeliyle karşılaştırılabilir; ve eğitim örneklerinin sayısı sınırlı olduğunda, sonuçları bu temelden önemli ölçüde daha iyidir.

Aşağıdaki şekil, WikiSplit veri kümesindeki sonuçları göstermektedir. Özel görevi, bir cümleyi iki tutarlı kısa cümle halinde yeniden yazmaktır:

Modeli 1 milyon örnekten oluşan eksiksiz bir veri seti üzerinde eğitirken, hem LaserTagger hem de BERT tabanlı seq2seq temel modeli karşılaştırılabilir performansa sahiptir, ancak 10.000 veya daha az örnekten oluşan alt örnekler üzerinde eğitildiğinde LaserTagger, Temel model (SARI puanı ne kadar yüksekse, o kadar iyidir)

LaserTagger'ın ana avantajları

Deneysel sonuçlara dayanarak, araştırmacılar LaserTagger'ı geleneksel seq2seq yöntemiyle karşılaştırdılar ve yeni modelin aşağıdaki avantajlara sahip olduğu sonucuna vardılar:

Güçlü kontrol edilebilirlik Kelime dağarcığının çıktısını kontrol ederek (manuel olarak da düzenlenebilir veya sıralanabilir), LaserTagger seq2seq temel modelinin halüsinasyonlar üretmesi kolay değildir.
Hızlı akıl yürütme LaserTagger, tahminleri seq2seq temel modelden 100 kat daha hızlı hesaplayarak gerçek zamanlı uygulamalar için uygun hale getirir.
Yüksek veri verimliliği Eğitim için yalnızca yüzlerce veya binlerce eğitim örneği kullansanız bile, LaserTagger makul çıktılar üretebilir. Deneyde, seq2seq temel modeli, karşılaştırılabilir performansa ulaşmak için binlerce örnek gerektirir.

LaserTagger'ın avantajlarının geniş ölçekte uygulandığında daha belirgin hale geldiği görülmektedir. Araştırmacılar şunları söyledi: Yanıtın uzunluğunu azaltarak ve tekrarlamayı azaltarak, bazı hizmetlerde sesli yanıt formatını iyileştirmek için kullanılabilir.

Daha yüksek çıkarım hızı, modelin mevcut teknoloji yığınına kullanıcı tarafında herhangi bir önemli gecikme eklemeden eklenmesine izin verir; ayrıca, geliştirilmiş veri verimliliği, eğitim verilerini birden çok dilde toplayabilir, Farklı dil geçmişine sahip kullanıcılardan yararlanın.