Doğal dil işlemede (NLP) derin öğrenmenin tarihi ve çözülmemiş sorunları
Wang Xiaoxin sigmoidal'den derlendi
Qubit Üretildi | Genel Hesap QbitAI
Doğal dil işleme (NLP), makinelerin insanların yazma ve konuşma şeklini anlama ve yorumlama yeteneğini ifade eder. Son yıllarda, derin öğrenme teknolojisinin doğal dil işlemede araştırılması ve uygulanması da dikkate değer sonuçlar elde etti.
Teknoloji blogu Sigmoidal geçtiğimiz günlerde makine öğrenimi mühendisi Rafal tarafından yazılan bir makale yayınladı.
Bu makale, doğal dil işleme yöntemlerinin tarihini ve derin öğrenmenin etkisini tartışmaktadır. Kübit şu şekilde derlenir:
Derin öğrenme çağından önce
Hinton, 2006'da Derin İnanç Ağları'nı (DBN) önermeden önce, sinir ağları son derece karmaşıktı ve işlevsel ağları eğitmek zordu, bu nedenle bunlar yalnızca matematiksel bir teori olarak incelenebilirdi.
Sinir ağları güçlü bir makine öğrenimi aracı haline gelmeden önce, klasik veri madenciliği algoritmalarının doğal dil işlemede oldukça başarılı birçok uygulaması vardı. İstenmeyen posta filtreleme, konuşma parçası etiketleme, vb. Gibi yaygın sorunları çözmek için bazı basit ve anlaşılması kolay modeller kullanabiliriz.
Ancak bu klasik modellerle tüm sorunlar çözülemez. Basit modeller, ironi, deyimler veya bağlam gibi dil nüanslarını doğru bir şekilde yakalayamaz.
Genel özetlere (kelime torbası modelleri gibi) dayalı algoritmalar, metin verilerinin sıralı yapısını çıkarmada etkili değildir, N-gram modelleri ise genelleştirilmiş durumları simüle ederken "boyutluluk laneti" sorunundan ciddi şekilde etkilenir Gizli Markov (HMM) modeli, Markov özelliği ile sınırlıdır ve yukarıdaki sorunların üstesinden gelmek zordur.
Bu yöntemler aynı zamanda daha karmaşık NLP problemlerine de uygulanmıştır, ancak iyi sonuçlar elde edememiştir.
İlk teknolojik atılım: Word2Vec
Sinir ağları, anlamsal olarak zengin kelime temsilleri sağlayabilir ve NLP alanında temel bir atılım getirebilir.
Bundan önce, en yaygın olarak kullanılan temsil yöntemi, tek sıcak kodlamaydı, yani her kelime, yalnızca bir sıfır olmayan öğe ile benzersiz bir ikili vektöre dönüştürülecektir. Bu yöntem, seyreklikten ciddi şekilde etkilenir ve belirli anlamları olan herhangi bir kelimeyi temsil etmek için kullanılamaz.
Word2Vec yönteminde iki boyutlu alana yansıtılan kelime temsili
Bununla birlikte, sinir ağına bir ara kelime girerek çevreleyen birkaç kelimeye odaklanmaya, ortadaki kelimeleri kaldırmaya ve çevreleyen kelimeleri tahmin etmeye çalışabiliriz.Bu, gram atlama modelidir; veya çevreleyen kelimelere göre orta kelimeyi tahmin edebiliriz, yani Sürekli Kelime Çantası Modeli (CBOW). Elbette bu model işe yaramaz, ancak kelimelerin anlamsal yapısını korurken güçlü ve etkili bir vektör gösterimi oluşturmak için kullanılabileceği ortaya çıktı.
Daha fazla gelişim
Word2Vec modelinin etkisi birçok klasik algoritmayı geride bıraksa da, metnin uzun ve kısa vadeli sıralı bağımlılığını yakalayabilen bir çözüme hala ihtiyaç vardır. Bu problem için ilk çözüm klasiktir. Tekrarlayan sinir ağı (Tekrarlayan Sinir Ağları), her kelimeyi eğitim ağına düzenli olarak iletmek için gizli durumda depolanan önceki kelime bilgisini kullanmak için verilerin zamansal doğasını kullanır.
Tekrarlayan sinir ağının şematik diyagramı
Gerçekler, bu tür bir ağın yerel bağımlılıkları iyi idare edebileceğini kanıtlamıştır, ancak "gradyan kaybolması" sorunu nedeniyle ideal etkiyi eğitmek zordur.
Bu sorunu çözmek için, Schmidhuber ve diğerleri yeni bir ağ topolojisi türü önerdiler: Uzun kısa süreli bellek modeli (Uzun Kısa Süreli Bellek). Ağa bellek birimi adı verilen özel bir yapı ekleyerek bu sorunu çözer. Bu karmaşık mekanizma, parametrelerin miktarını önemli ölçüde artırmadan, birimler arasında uzun vadeli bağımlılıkları etkili bir şekilde elde edebilir.
Mevcut birçok ortak yapı, mLSTM modeli veya GRU modeli gibi LSTM modelinin varyantlarıdır. Bunun nedeni, gerekli parametrelerin miktarını önemli ölçüde azaltan, uyarlanabilir basitleştirmeye dayalı önerilen bellek hücresi güncelleme mekanizmasıdır.
Bilgisayar görüşü alanında, Evrişimli Sinir Ağı Şimdiden iyi uygulamalar elde etti ve er ya da geç doğal dil işleme araştırmalarına genişleyecektir. Şu anda, yaygın olarak kullanılan bir ağ birimi olarak, tek boyutlu evrişim, semantik bölümleme, hızlı makine çevirisi ve belirli dizi dönüştürme ağları dahil olmak üzere çeşitli dizi modeli problemlerinin işlenmesine başarıyla uygulanmıştır. Paralel hesaplamaları yapmak, tekrarlayan sinir ağlarına kıyasla daha kolay olduğundan, tek boyutlu evrişim, eğitim hızını bir derece artırdı.
Yaygın NLP sorunlarını anlayın
Bilgisayarlar ve insan dilleri arasındaki etkileşimi içeren birçok görev vardır.Bu insanlar için basit ve önemsiz bir mesele olabilir, ancak bilgisayarlara büyük sıkıntılar getirir. Bu, esas olarak ironi, deyimler vb. Gibi ince dil farklılıklarından kaynaklanır.
Karmaşıklık açısından, aşağıda hala keşif aşamasında olan birçok NLP alanının bir listesi bulunmaktadır:
En yaygın alanlar Duygu Analizi Bu konu en basit olanı olabilir. Genellikle konuşmacının / yazarın belirli bir konuya karşı tutumunu veya duygusal tepkisini belirlemeye gelir. Bu tür duygular olumlu, tarafsız ve olumsuz olabilir. Makalenin sonundaki Bağlantı 1, Twitter duygularını öğrenmek için derin evrişimli sinir ağlarını kullanma hakkında klasik bir makale veriyor. Bağlantı 2'deki ilginç bir deney, yanlışlıkla derin tekrarlayan ağların duyguları tanımlamak için de kullanılabileceğini keşfetti.
Diyalog ağında çok sayıda aktif nöron oluşturun. Gözetimsiz eğitimle bile ağın farklı duygu kategorilerini ayırt edebileceği açıktır.
Bu yöntemi uygulayabiliriz Belge Sınıflandırması İçinde, bu yaygın bir sınıflandırma problemidir, her makale için birkaç etiket değildir. Link 3'ün makalesi, algoritmalar arasındaki farklılıkları dikkatlice karşılaştırır ve derin öğrenmenin bir metin sınıflandırma yöntemi olarak da kullanılabileceği sonucuna varır.
Sonra, gerçekten zorlu bir alan sunacağız. Makine Çevirisi (Makine Çevirisi) . Bu, önceki iki görevden tamamen farklı bir araştırma alanıdır. Bir etiket değil, bir dizi kelime çıkarmak için bir tahmin modeline ihtiyacımız var. Sıralı veri araştırmalarında, derin öğrenme teorisinin eklenmesi bu alanda büyük bir atılım getirmiştir. 4. bağlantıdaki blog gönderisiyle makine çevirisinde tekrarlayan sinir ağlarının uygulanması hakkında daha fazla bilgi edinebilirsiniz.
Ayrıca bir Otomatik metin özetleme (Metin Özetleme) Model, tüm anlamı korurken metnin en önemli kısmını çıkarması gerekir. Bu, tam metni anlamak ve aynı zamanda makaledeki anlamın çoğunu temsil eden belirli içeriği kilitlemek için bir algoritma gerektirir. Uçtan uca yöntemde, bu sorunu iyi çözmek için dikkat mekanizması (Dikkat Mekanizmaları) modülü tanıtılabilir.
Dikkat mekanizması hakkında ayrıntılar için lütfen daha önce Qubit tarafından derlenmiş olan "Doğal dil işlemede dikkat mekanizması nedir?"
Son alan Otomatik soru cevaplama Bu, yapay zeka ile son derece ilgili bir araştırma yönü. İlgili modellerin sadece sorulan soruları anlamaları değil, aynı zamanda metindeki endişeleri tam olarak anlamaları ve cevapları tam olarak nerede bulacaklarını bilmeleri gerekir. Otomatik soru ve cevapta derin öğrenmenin ayrıntılı açıklaması için lütfen 5. bağlantıdaki ilgili blog gönderisine bakın.
GNMT İngilizce çevirisinin dikkat mekanizmasının şematik diyagramı.
Derin öğrenme, çeşitli veriler (metin ve görüntüler gibi) için karşılık gelen vektör temsilleri sağladığından, farklı modeller oluşturmak için farklı veri özellikleri kullanabilirsiniz.
İşte burda Görsel Soru Cevaplama çalışma. Bu yöntem nispeten basittir, yalnızca verilen görüntüye göre ilgili soruları yanıtlamanız gerekir. Bu çalışma o kadar basit ki, yedi yaşındaki bir çocuğun onu tamamlayabileceği anlaşılıyor, ancak derin model, gözetim olmadan makul sonuçlar veremiyor. 6. bağlantıdaki makale, ilgili modelin sonuçlarını ve açıklamasını vermektedir.
sonuç olarak
Derin öğrenmenin doğal dil işlemede de iyi sonuçlar elde ettiğini görebiliriz. Ancak, hesaplama ve uygulama sorunları nedeniyle, derin sinir ağlarını daha iyi anlamamız gerekiyor. Derin öğrenmeyi kontrol edebildiğimizde, bu oyunun kurallarını sonsuza kadar değiştirecek.
İlgili Bağlantılar
1. Twitter duyarlılık sınıflandırması:
2. Tekrarlayan derin ağa dayalı metin duygu tanıma:
https://blog.openai.com/unsupervised-sentiment-neuron/
3. RNN ağına göre metin sınıflandırması:
https://arxiv.org/pdf/1703.01898.pdf
4. Tekrarlayan Sinir Ağının Makine Çevirisinde Uygulanması:
https://medium.com/@ageitgey/machine-learning-is-fun-part-5-language-translation-with-deep-learning-and-the-magic-of-sequences-2ace0acca0aa
5. Otomatik soru cevaplamada derin öğrenme uygulaması:
https://einstein.ai/research/state-of-the-art-deep-learning-model-for-question-answering
6. Resimli soru ve cevapta metinsel temsil:
https://arxiv.org/pdf/1705.06824.pdf
Bitiş
Etkinlik Kaydı
2 Ağustos (Çarşamba), Qubit, sigorta hizmeti alanındaki AI şirketi Lingzhi Younuo'nun CTO'sunu, sigorta robot danışmanları ve ilgili teknik konulardaki NLP uygulamasını paylaşmaya davet etti. Kayıt olmak hoş geldiniz ~
