Trafo Modeline Göre Çince Metnin Otomatik Düzeltilmesi Araştırması
Bilgi miktarının her geçen gün arttığı büyük veri çağında, her gün büyük miktarda metin bilgisi üretilir ve sonraki metin prova görevleri giderek daha zahmetli hale gelir.Geleneksel manuel düzeltme sadece uzun bir düzeltme döngüsüne, yüksek emek yoğunluğuna ve düşük verime sahip değildir. Hızlı ve verimli bir otomatik düzeltme yöntemi çok gereklidir.
Olasılık istatistiklerine dayalı yöntem, bir karışıklık kümesi oluşturur, hedef sözcük ve bağlam sözcüklerinin birlikte oluşma özelliklerini ve eşdizim özelliklerini analiz eder, hangi hataların kontrol edilmesi gerektiğini belirler ve hedef sözcüğün yerini alacak kafa karışıklığı kümesindeki en yüksek olasılık değerine sahip sözcüğü seçer, böylece metin provası yapar. Bununla birlikte, uzun mesafeli metin hataları ve anlamsal hatalar için, bu tür yöntemler genellikle iyi çalışmaz. Son yıllarda, teknolojinin hızla gelişmesiyle birlikte, derin öğrenme teknolojisinin Çince metnin otomatik olarak yeniden okunması görevine uygulanması yeni bir gelişme yönü haline geldi.
Derin öğrenme teknolojisindeki Transformer modeli, Google tarafından Haziran 2017'de arXiv'de yayınlanan "Tek ihtiyacınız olan dikkat" başlıklı bir makalede önerilmiştir. Tamamen Öz Dikkat, "öz-dikkat mekanizması" ve atmalara dayalı bir ağ yapısı kullanır. Geleneksel Kodlayıcı-Kod Çözücü veya "kodlayıcı-kod çözücü" modeli, RNN veya CNN'nin doğal modunu kullanmalıdır. Bu makale, bunu ilk kez Çince metin otomatik düzeltme okuması görevine uygulamaktadır Deneysel sonuçlar, bu modelin, otomatik Çince metin düzeltme okumasındaki uzun mesafe bilgi kaybı problemini daha iyi çözebileceğini ve düzeltme performansını daha da geliştirebileceğini göstermektedir.
1. Arkaplan
1.1 Yurtiçi ve yurtdışında Çince metin otomatik düzeltme okumasının mevcut araştırma durumu
Yabancı ülkeler ilk olarak 1960'larda İngilizce metinlerin otomatik olarak düzeltilmesi üzerine araştırmalar yapmaya başlamış, gelişmesinden bu yana atılımlar yapılmış, gerçek ürünlere de yüksek doğruluk ve yüksek geri çağırma oranlarına sahip redaksiyon yöntemleri uygulanmıştır. Çince metinlerin otomatik olarak düzeltilmesi üzerine yurtiçi araştırmalar nispeten geç başladı. 1990'larda, yurtdışındaki İngilizce metinlerin otomatik olarak düzeltilmesi üzerine yapılan araştırmalara dayanarak, Çince metinlerin otomatik olarak düzeltilmesi üzerine araştırmalar başladı.
Şu anda, Çince metin otomatik düzeltme teknolojisi için yerel araştırma yöntemleri temel olarak aşağıdaki üç türü içermektedir: (1) kurallara veya dil bilgisine dayalı yöntemler; (2) N-gram modeli gibi istatistik ve olasılığa dayalı yöntemler; (3) Özellikler ve Winnow öğrenme modeli, kafa karışıklığı setleri oluşturularak harmanlanır. Yukarıdaki üç yöntem, geleneksel Çince metin düzeltme yöntemleridir.Bu makale, Çince metnin otomatik olarak düzeltilmesi için derin öğrenme teknolojisini kullanırken, geleneksel derin öğrenme teknolojileri genellikle Çince metni otomatik olarak düzeltmek için RNN veya CNN kullanır.
1.2 Çince metnin otomatik yeniden okunmasında RNN ve CNN'nin sınırlamaları
Çince metin otomatik düzeltme görevleri için RNN kullanıldığında, genellikle iki yönlü bir RNN yapısı benimsenir. Yani, bir RNN, soldan sağa sıkıştırılmış bir gösterimi gerçekleştirmek için kullanılır ve başka bir RNN, iki sıkıştırılmış gösterimi nihai dizinin dağıtılmış bir temsili olarak birleştirerek, sağdan sola sıkıştırılmış bir gösterimi gerçekleştirmek için kullanılır. Sekanstaki öğeler sırayla işlendiğinden, iki kelime arasındaki etkileşim mesafesi göreceli mesafedir. Bu nedenle, RNN uzun mesafeli dizilerde bilgi kaybı problemi yaşamaktadır.Gating mekanizmalı LSTM ve GRU bile bu sorunu çözemez.
Çince metin otomatik düzeltme görevleri için CNN kullanıldığında, yerel temsilden küresel temsile sırayı gerçekleştirmek için genellikle çok katmanlı bir yapı kullanılır. Bir kelime önce alt CNN biriminde kendisine daha yakın olan sözcüklerle etkileşime girecek ve daha sonra daha yüksek düzeydeki CNN biriminde daha uzak sözcüklerle etkileşime girecektir. Kelimeler arasındaki etkileşim mesafesi, göreceli uzaklıkları ile orantılıdır, bu nedenle, otomatik Çince metin düzeltme görevleri için CNN kullanımı, uzun mesafeli bilgi kaybına da neden olacaktır.
2 Trafo modeli
Transformer modeli, sekans bilgisini modellemek için yeni bir yöntemdir. Model hala klasik Kodlayıcı-Kod Çözücü yapısını kullanır.Farkı, Transformer modelinin artık RNN veya CNN kullanmaması, ancak Kendi Kendine Dikkat mekanizmasını kullanmasıdır. Bu mekanizmanın avantajı, kelimeler arasındaki göreceli mesafeden etkilenmeden metin anlamsal bilgileri elde edebilmesi, böylece uzun mesafe bilgi kaybı problemini çözmesi ve düzeltme performansını artırmasıdır.
2.1 Öz Dikkat
Transformer modelinin temel özelliği olan Kendinden Dikkat mekanizması, mevcut konum sözcüğü ile bağlamla ilgili sözcükler arasında bağlantı kurabilir. Uygulama aşağıdaki gibidir: İlk olarak, girdi vektörü rastgele başlatılan üç ağırlık matrisi WQ, WK ve WV ile çarpılır ve sorgu vektörü q, anahtar vektör k ve değer vektörü v olan üç yeni vektör hesaplanır. Q vektörü, mevcut kelimeyi kodlamak için metindeki diğer kelimelere dikkat edilmesi gerektiğini belirtir; k vektörü, geri getirme için kullanılabilecek mevcut kelimenin bilgisidir; v vektörü, mevcut kelimenin gerçek içeriğini gösterir. Ardından, girdi cümlesindeki bir kelimeyi kodlarken cümlenin diğer bölümlerine dikkatin derecesini belirleyen Öz Dikkat puan değerini hesaplayın.
Şekil 1'de gösterildiği gibi, "doğum" kelimesi için, kelime için diğer kelimelerin puan değeri, sorgu vektörü ve anahtar vektörü çarpılarak hesaplanır. Öncelikle q1 × k1 olan kendisine ve daha sonra q1 × k2 olan ikinci kelimeye yöneliktir; çok büyük ürün değerinin sonraki normalleşme üzerindeki etkisini azaltmak için nokta çarpımı ile elde edilen sonuçları vektör boyutunun kareköküne bölün; Bundan sonra, normalleştirme işlemi gerçekleştirilir ve sonuç, mevcut konumdaki her kelime ile kelime arasındaki korelasyondur; son olarak, değer vektörü v normalize sonuçla çarpılır ve ardından eklenir ve sonuç Öz-Dikkattir. Geçerli düğümün değeri. Hesaplama yöntemi Şekil 1'de gösterilmektedir.
Hesaplama hızını artırmak için, bu makale hesaplamak için matris yöntemini kullanır, hesaplama yöntemi formül (1) 'de gösterilmiştir.
Bunlar arasında sırasıyla Q, K ve V, karşılık gelen üç vektör matrisini, yani sorgu matrisini, anahtar matrisini ve değer matrisini temsil eder; dkey vektör boyutunu temsil eder ve bu makale 64 boyut alır.
2.2 Çok Başlı Dikkat
Modelin performansını iyileştirmek için birden fazla ağırlık matrisi seti başlatılarak hesaplanan Çok Başlı Dikkat mekanizması, yani "çok başlı dikkat" mekanizması eklenmiştir.Bu makale 8 set seçmektedir. Hesaplama ile elde edilen 8 matris bir matrise eklenir ve rastgele başlatılan bir matris, son matrisi elde etmek için eklenmiş matris ile çarpılır. Bu mekanizmanın yapısı Şekil 2'de gösterilmektedir.
"Çok başlı dikkat" mekanizması birden fazla "dikkat kafasına" sahiptir, bu nedenle model eğitim hızını artırmak için paralel olarak hesaplanabilir. Ve her bir "dikkat kafası", farklı doğrusal dönüşümler elde etmek için karşılık gelen bir ağırlık matrisine sahiptir, böylece modelin dizideki farklı konumlardaki bilgilere odaklanma yeteneğini genişletir ve metnin anlamsal bilgisini daha eksiksiz bir şekilde anlayabilir, böylece daha da gelişebilir. Düzeltme performansı.
3 Transformatör modelinin uygulanması
3.1 Veri ön işleme
Transformer modeli inşa edilmeden önce, veri yükleme, veri temizleme, kelime bölümleme, topluluk dönüştürme, analiz ve istatistikler dahil olmak üzere girdi verilerinin önceden işlenmesi gerekir. Bunlar arasında, veri yükleme, veri kümesindeki verileri modele aktarmaktır; veri temizleme, korpustaki özel karakterleri kaldırmaktır; kelime bölütleme, külliyatı bölümlere ayırmak için Çince kelime segmentasyon aracı "jieba kelime segmentasyonu" kullanır; külliyat dönüştürme, Çince kelimeleri karşılık gelen dijital kodlara dönüştürmektir. , Ve karşılık gelen dijital kodlar Çince kelimelere dönüştürülür; analiz ve istatistik, külliyatın özelliklerini anlamak için külliyatın analiz edilmesidir.
3.2 Transformatör model yapısı
Bu makaledeki Transformer modeli, 6 kodlayıcı katmanı ve 6 kod çözücü katmanından oluşur. Düzeltme yapılacak metin kodlayıcı tarafında girilir, doğru metin kod çözücü tarafında girilir ve model denetimli öğrenme yoluyla eğitilir. Yani eğitim aşamasında, eğitim setindeki giriş külliyat kodlayıcı girişi olarak kullanılır ve buna karşılık gelen doğru külliyat kod çözücünün girişi olarak kullanılır; test aşamasında, test setindeki düzeltilmiş külliyat kodlayıcının girişi olarak kullanılır. Kod çözücünün girişi yoktur ve sadece öncekine bağlıdır Kod çözücü, bilgileri yeniden okuma için bir anda çıkarır. Genel yapısı Şekil 3'te gösterilmektedir.
Kodlayıcı katmanı iki alt katman, yani bir Kendinden Dikkat katmanı ve tam olarak bağlanmış bir ileri beslemeli sinir ağı katmanı içerir. Self-Attention katmanındaki sorgu vektörü, anahtar vektörü ve değer vektörünün tümü önceki kodlayıcı katmanından gelir, bu nedenle kodlayıcı katmanındaki her konum, önceki katmandan gelen tüm bilgi çıktılarına dikkat ederek mevcut düğümün yalnızca geçerli bilgilere dikkat etmesini sağlamaz Ayrıca bağlamın anlamsal bilgilerini de alın. İleri beslemeli sinir ağı katmanı, Kendi Kendine Dikkat katmanının çıktısına uygulanır ve iki doğrusal dönüşüm ve bir ReLU aktivasyon işlevinden oluşur. Hesaplama yöntemi formül (2) 'de gösterilmiştir.
Bunlar arasında W1 ve W2 modeldeki nöronların ağırlıkları, b1 ve b2 önyargı değerleridir ve x giriş vektörüdür.
Kodlayıcı katmanının ve kod çözücü katmanının yapısı Şekil 4'te gösterilmektedir.
Kod çözücü katmanı, kodlayıcı katmanında yalnızca iki alt katman içermekle kalmaz, aynı zamanda kodlayıcının çıktısında çok başlı dikkat gerçekleştirmek için bir dikkat alt katmanı ekler.Sorgu vektörü önceki kod çözücü katmanından gelir ve anahtar vektörü ve değer vektörü kodlamadan gelir Kod çözücünün çıkışı, böylece kod çözücünün her konumu, kodlayıcı giriş dizisinin tüm bilgilerine dikkat ederek mevcut kod çözücü düğümünün dikkat gerektiren anahtar içeriği elde etmesine yardımcı olur. Ek olarak, kod çözücünün Kendi Kendine Dikkat alt katmanı, modelin sonraki konum bilgilerine dikkat etmesini önlemek için belirli değerleri maskeleyebilen bir maskelenmiş kısım ekler. Bu koruma, mevcut tahminin yalnızca önceden bilinen çıktıya dayanmasını sağlar.
3.3 Trafo modeli uygulama süreci
Transformatör modelinin iç yapısı Şekil 5'te gösterilmektedir.
3.3.1 Gömme
İlk olarak, model girdi verilerini gömüyor, yani kelime gömüyor ve giriş kelimelerini vektörlere dönüştürüyor. Vektör, kodlayıcı ve kod çözücünün ilk katmanına girdidir, çok başlıklı dikkat mekanizması tarafından işlenir ve daha sonra ileri beslemeli sinir ağına aktarılır ve elde edilen çıktı bilgisi, sonraki katmanın kodlayıcısının ve kod çözücünün girdisi olarak kullanılır.
3.3.2 Konumsal Kodlama
Transformer modeli, giriş dizisindeki kelime sırasının temsilinden yoksun olduğundan, kodlayıcı katmanının ve kod çözücü katmanının girişine, yani konumsal kodlama vektörüne bir Konumsal Kodlama vektörü eklemek gerekir. Boyut, giriş vektörünün boyutuyla aynıdır. Bu makale 512 boyut alır. Bu vektör, geçerli kelimenin dizideki konumunu belirler. Hesaplama yöntemi denklem (3) ve (4) 'de gösterildiği gibidir:
Bunlar arasında pos, cümledeki geçerli kelimenin konumunu ifade eder; i, 0 ila 255 değer aralığında pos'a karşılık gelen vektör değerini temsil eder; dmodel, vektör boyutunu temsil eder. Çift konumlarda sinüs kodlamayı kullanın; tek konumlarda kosinüs kodlamayı kullanın. Son olarak, konum kodlama vektörü giriş vektörüne eklenir ve modele girdi olarak aktarılır.
3.3.3 Artık bağlantı ve normalizasyon
Kodlayıcı katmanı ve kod çözücü katmanındaki her alt katman, ek artık bağlantı ve normalizasyona sahiptir. Alt katman, hata geri yayıldığında gradyanın kaybolmasını önlemek için ilk olarak artık bağlantıyı gerçekleştirir ve ardından gradyanın kaybolmasını veya gradyanın patlamasını önlemek için çıktıyı normalleştirir. Kalan bağlantı ve normalleştirilmiş çıktı ifadesi formül (5) 'de gösterilir:
Bunlar arasında, x, önceki ileri beslemeli sinir ağının veya çok başlı dikkat katmanının çıktı vektörü, SubLayer, dikkat mekanizması işlevidir ve LayerNorm, normalleştirme işlevidir.
3.3.4 Çıktı katmanı
Kod çözücü katmanlarının tümü yürütüldükten sonra, elde edilen vektörleri bu makalede ihtiyaç duyulan sözcüklerle eşleştirmek için, son kod çözücü katmanından sonra tamamen bağlı bir katman ve bir Softmax katmanının eklenmesi gerekir. Tamamen bağlı katman, Softmax katmanının girdisi olarak logit vektörünü çıkarır. Sözlüğün n kelime içerdiğini varsayarsak, Softmax katmanı sondaki n kelimeye karşılık gelen olasılık değerlerini verir ve en büyük olasılık değerine sahip karşılık gelen kelime nihai çıktı sonucudur.
4 Sonuçlar ve analiz
Yukarıdaki modeli hedefleyen bu makale aşağıdaki deneyi tasarlamaktadır. Bu deneyin çalışma ortamı Windows 10, CPU Intel CoreTM i5-8265, GPU GTX 1070Ti ve çalışan bellek 8 GB'dir. Dikkat mekanizmasına dayalı olarak geleneksel Seq2Seq, BiLSTM'li Seq2Seq, BiLSTM Seq2Seq ve Transformer dahil olmak üzere toplam 4 set deney gerçekleştirildi. Deneyde kullanılan veri seti, 2018 NLPCC tarafından paylaşılan, 700.000'i eğitim seti olarak kullanılan ve 17.206'sı test seti olarak kullanılan 717206 Çince metin cümle çifti sağlayan Görev 2 eğitim veri setinden geliyor. Bölme işlemi rastgele. Src, düzeltilecek külliyatı temsil eder ve Trg, orijinal cümleye karşılık gelen doğru külliyatı temsil eder. Veri setine ait istatistiksel veriler, eğitim seti ve test seti olarak ayrılan Tablo 1'de gösterilmektedir.Doğru külliyat ve yanlış külliyatın yanı sıra kelime segmentasyonundan sonraki toplam kelime sayısı sayılır.
Farklı modellerin redaksiyon etkilerini değerlendirmek için bu deneyde deneysel sonuçları değerlendirmek için doğruluk, hatırlama ve F1 değeri göstergeler olarak kullanılmıştır.Deneysel sonuçlar Tablo 2'de gösterilmiştir.
Deneysel sonuçlar, hem BiLSTM'nin hem de dikkat mekanizmasının, geleneksel Seq2Seq modeline dayalı olarak Çince metin düzeltme etkisini geliştirebileceğini, ancak Transformer modelinin daha iyi performans gösterdiğini göstermektedir. Ayrıca, derin öğrenme modelinin prova okuma etkisi, eğitim sürelerinin sayısı ve eğitim veri setinin büyüklüğünden etkilenmektedir.Transformer modelinin eğitim sayısını arttırır ve eğitim veri setini arttırırsanız, modelin daha iyi bir redaksiyon etkisi olacaktır.
5. Sonuç
Bu yazıda, Transformer modeli Çince metin otomatik prova okuma alanına uygulanmış ve modelin redaksiyon performansı halka açık veri setleri ile doğrulanmıştır.Bu modelin redaksiyon etkisinin diğer modellere göre doğruluk ve hatırlama açısından büyük ölçüde geliştirildiği sonucuna varılmıştır. .
Veri setinin sınırlamaları nedeniyle, bu deney Transformer modelinin tüm yeteneklerini göstermedi, ancak model otomatik Çince metin düzeltme okumasında hala iyi performans gösteriyor ve bu da Transformer modelinin diğer doğal dil işleme görevlerine uygulanmasına olanak sağlıyor. .
Referanslar
Zhang Yangsen, Yu Shiwen. Otomatik metin düzeltme teknolojisi üzerine araştırma özeti Bilgisayar Uygulama Araştırması, 2006 (6): 8-12.
VASWANI A, SHAZEER N, PARMAR N, ve diğerleri. Tek ihtiyacınız olan dikkat. Comouting Research Respository, 2017, arXiv: 1706: 87-90.
ZHANG C, WANG X, YU S ve diğerleri.Çince corpus.IEEE/ACIS 17th International Conference on Computer and Information Science (ICIS) .IEEE, 2018: 339-343'te Word2vec modelinin anahtar kelime çıkarımı üzerine araştırma.
Zhang Tao. Otomatik Çince Metin Düzeltme Sisteminin Tasarımı ve Uygulaması Chengdu: Southwest Jiaotong Üniversitesi, 2017.
Liu Liangliang, Wang Shi, Wang Dongsheng ve diğerleri.Alan sorusu yanıtlama sistemlerindeki metin hatalarının otomatik keşfi. Chinese Journal of Information, 2013, 27 (3): 77-83.
Liu Liangliang, Cao Cungen.Çince "çok karakterli olmayan hatalar" için otomatik düzeltme yöntemleri araştırması Computer Science, 2016, 43 (10): 200-205.
Zhang Yangsen, Cao Dayuan, Yu Shiwen.Çince metin otomatik hata kontrol modeli ve kural ve istatistik kombinasyonuna dayalı algoritma.Çin Bilgi İşlem Dergisi, 2005, 20 (4): 1-8.
Zhang Yangsen, Tang Anjie, Zhang Zewei Siyasi Haberler için Çince Metin Düzeltme Yöntemleri Araştırması, Çin Bilgi İşleme Dergisi, 2014, 28 (6): 79-84.
Zhang Yangsen, Zheng Jia.Çince Metinde Anlamsal Hata Algılama Yöntemi Araştırması. Chinese Journal of Computers, 2017, 40 (4): 911-924.
Wu Yonghui, SCHUSTER M, Chen Zhifeng ve diğerleri. Googleın insan ve makine çevirisi arasındaki boşluğu dolduran nöral makine çeviri sistemi. Computing Research Repository, 2016, arXiv: 1609: 56-59.
Chung Junyoung, GULCEHRE C, CHO K, ve diğerleri.Sekans modellemede kapılı tekrarlayan sinir ağlarının ampirik değerlendirmesi. CoRR, 2014, abs / 1412: 78-81.
Cheng Jianpeng, LAPATA M. Makine okuması için uzun kısa süreli bellek ağları arXiv Preprint 2016, arXiv: 1601: 127-130.
GEHRING J, AULI M, GRANGIER D, ve diğerleri. Sıralı öğrenmeye evrişimli dizi. ArXiv Preprint 2017, arXiv: 1705: 68-71.
LUONG M T, LE Q V, SUTSKEVER I, ve diğerleri. Öğrenmeyi sıralamak için çoklu görev dizisi. ArXiv Preprint 2015, arXiv: 1511: 114-117.
Wang Jie, Qiao Yixuan, Peng Yan ve diğerleri. Amerikan medyasında Kuşak ve Yol üzerine kamuoyunun derin öğrenmeye dayalı duygu analizi. Elektronik Teknoloji Uygulaması, 2018, 44 (11): 102-106.
Sun Tieli, Liu Yanji.Çince kelime bölütleme teknolojisinin araştırma durumu ve zorlukları. 2012 (1): 187-192.
Lin Zhouhan, Feng Minwei, NOGUEIRA C, ve diğerleri.Yapısal bir öz-özenli cümle yerleştirme. ArXiv Preprint 2017, arXiv: 1703: 116-119.
BASIN O, WOLF L. Dil modellerini iyileştirmek için çıktı yerleştirmeyi kullanma arXiv Preprint 2016, arXiv: 1608: 67-70.
BA J L, KIROS J R, HINTON G E. Katman normalizasyonu arXiv Preprint 2016, arXiv: 1607: 45-49.
Zi Yunfei, Li Yeli, Sun Huayan. Derin sinir ağına dayalı kişiselleştirilmiş öneri sistemi üzerine araştırma.Elektronik Teknoloji Uygulaması, 2019, 45 (1): 14-18.
yazar bilgileri:
Gong Yonggang, Pei Chenchen, Lian Xiaoqin, Wang Jiaxin
(Pekin Gıda Güvenliği Büyük Veri Teknolojisi Anahtar Laboratuvarı, Bilgisayar ve Bilgi Mühendisliği Okulu, Pekin Teknoloji ve İşletme Üniversitesi, Pekin 100048)
