NLP ve NLU: Dil anlayışından dil işlemeye
Bu makale, orijinal başlığı olan AI Araştırma Enstitüsü tarafından derlenen teknik bir blogdur:
NLP ve NLU: Bir Dili Anlamaktan İşlenmesine Kadar
Yazar | Sciforce
Tercüme | Şalgam Sebzeleri Ağaç Dikiyor Düzenle | Wang Liyu
Orijinal bağlantı:
https://medium.com/sciforce/nlp-vs-nlu-from-understanding-a-language-to-its-processing-1bf1f62453c1
Yapay zeka ilerledikçe ve ilgili teknolojiler gittikçe daha karmaşık hale geldikçe, mevcut kavramların bu değişikliği karşılayabileceğini veya kendimizi değiştirebileceğini umuyoruz. Benzer şekilde, doğal dil işleme alanında, doğal dil işleme (NLP) kavramı doğal dil anlayışına (NLU) yol açar mı? Yoksa iki kavram arasındaki ilişki daha incelikli ve karmaşık hale mi geliyor yoksa sadece teknolojinin gelişimi mi?
Bu yazıda, NLP ve NLU kavramlarını ve bunların yapay zeka ile ilgili teknolojilerdeki avantajlarını dikkatlice inceleyeceğiz.
NLP ve NLU bazen birbirinin yerine kullanılabilse de, aslında bazılarının örtüşen iki farklı kavram olduğunu belirtmek gerekir. Birincisi, hepsi doğal dil ve yapay zeka arasındaki ilişkiyi ele almak için kullanılıyor. Hepsi istatistik ve davranış gibi yapılandırılmış veriler yerine dil gibi yapılandırılmamış verileri anlamaya çalışır. Bununla birlikte, NLP ve NLU, diğer birçok veri madenciliği tekniğinin tam tersidir.
Kaynak: https://nlp.stanford.edu/~wcmac/papers/20140716-UNLU.pdf
Doğal dil işleme
NLP, onlarca yıllık geçmişe sahip olgun bir alandır. Bilgisayar bilimi, yapay zeka, veri madenciliği ve diğer alanlarda kesişim. NLP'nin nihai amacı, insan dilini okumak, yorumlamak, anlamak ve algılamak için makineleri kullanmak ve çevrimiçi sohbet botları, metin özeti oluşturucular, otomatik olarak oluşturulan anahtar kelime sekmeleri ve analiz dahil olmak üzere insanlar yerine belirli görevleri işlemek için makineleri kullanmaktır. Metin duyguları için araçlar.
NLP'nin rolü
NLP, geniş anlamda konuşma tanıma, doğal dil tanıma ve doğal dil oluşturma gibi çok çeşitli araçlara atıfta bulunabilir. Bununla birlikte, tarihsel olarak, NLP şu amaçlarla kullanılmıştır:
-
Simgesel
-
Ayrıştırma
-
Bilgi çıkarma
-
Benzerlik
-
Konuşma tanıma
-
Doğal dil ve konuşma üretimi vb.
Gerçek hayatta NLP, metin özetleme, duygu analizi, konu çıkarma, adlandırılmış varlık tanıma, konuşma parçası etiketleme, ilişki çıkarma, kök bulma, metin madenciliği, makine çevirisi, otomatik soru yanıtlama, ontoloji, dil modelleme ve düşünebileceğimiz şeyler için kullanılır. Dil ile ilgili tüm görevler.
NLP teknolojisi
NLP'nin iki ayağı sözdizimsel analiz ve anlambilimsel analizdir.
Özet: NLP, metin anlambilimini ve grameri analiz ederek insan dilinden anlam elde etmek için makine öğrenmesine dayanır.
Natural Language Understanding (NLU)
NLP, bilgisayar programcılarının basit dil girdisini denemeye başladıkları 1950'lere kadar izlenebilir. NLU, bilgisayarların daha karmaşık dil girdisini anlamasına izin vermeyi umarak 1960'larda gelişmeye başladı. NLU, NLP'nin bir alt yönü olarak kabul edilir ve esas olarak makine okumayı anlamaya odaklanır: bilgisayarın metnin gerçek anlamını anlamasına izin verin.
NLU aslında ne yaptı
NLP'ye benzer şekilde, NLU, insan konuşmasını yapılandırılmış ontolojiye dönüştürmek için algoritmalar kullanır. Ardından, amacı, zamanı, konumu, duyguları vb. Tespit etmek için AI algoritmalarını kullanın. Bununla birlikte, NLU görevine baktığımızda, bunun kaç tane NLP kavramı oluşturduğunu bulduğumuzda şaşıracağız:
NLU görevi
Doğal dil anlayışı, metni sınıflandırma, haber toplama, tek tek metinleri arşivleme ve içeriği daha büyük ölçekte analiz etme gibi birçok süreçte ilk adımdır. NLU'nun pratik örnekleri, metni anlamaya dayalı kısa komutlar vermekten, e-postaları temel dilbilgisine ve uygun boyutta bir sözlüğe dayalı olarak doğru kişilere yeniden göndermek gibi küçük görevlere kadar uzanır. Daha karmaşık bir davranış, haber makalelerinin veya şiir veya romanlardaki örtük anlamların tam olarak anlaşılması olabilir.
Sonuç olarak: NLP'yi uygulamada ilk adım olarak NLU'yu düşünmek en iyisidir: Bir makine bir dili işlemeden önce, anlaşılması gerekir.
NLP ve NLU arasındaki korelasyon
NLU'nun, belirli bir metin tarafından sunulan anlamın insan tarafından anlaşılmasından sorumlu olan NLP'nin ayrılmaz bir parçası olduğu, görevinden anlaşılabilir. NLP'den en büyük farklarından biri, NLU'nun kelimeleri anlamanın ötesine geçmesidir, çünkü yanlış telaffuz veya harf veya kelime çevirme gibi yaygın insan hatalarını açıklamaya ve bunlarla başa çıkmaya çalışır.
NLP'yi destekleyen teori, Noam Chomsky'nin 1957'de "Sözdizimsel Yapı" da ortaya koyduğu hipotezdir: "L dilinin dil analizinin temel amacı, Lnin cümlelerinin gramer dizisini dilbilgisel diziden ayırmaktır. Bu araştırma değildir. L dilinde cümleler, ancak dilbilgisi dizilerinin yapısını incelemek için. "
Sözdizimsel analiz, bir dizi kelimeye dilbilgisi kuralları uygulayarak ve dilin dilbilgisi kurallarına nasıl uyduğunu değerlendirmek için çeşitli teknikler aracılığıyla onlardan anlam çıkararak, aslında birden çok görev için kullanılır:
-
Sözcüksel düzeltme: bir kelimenin deforme olmuş biçimini, kolay analiz için tek bir biçime basitleştirin.
-
Stem: Deforme olmuş kelimeleri kök biçimlerine kesin.
-
Morfolojik bölümleme: kelimeleri morfemlere bölün.
-
Kelime bölümleme: sürekli metni farklı birimlere bölün.
-
Analiz: cümlelerin gramer analizi.
-
Konuşma etiketlemenin bir parçası: Her bir kelimenin konuşma bölümünü belirleyin.
-
Cümle yıkımı: Sürekli metne cümle sınırlarını yerleştirin.
Sözdizimsel Analiz Teknolojisine Giriş
Bununla birlikte, dilbilgisel doğruluk veya yanlışlık her zaman kelime öbeğinin geçerliliğiyle ilgili değildir. Anlamsız ve gramatik bir cümle olan "renksiz yeşil fikirler öfkeyle uyur" şeklindeki klasik bir örneği ele alalım. Daha da önemlisi, gerçek hayatta anlamlı cümleler genellikle küçük hatalar içerir ve dilbilgisi dışı olarak sınıflandırılabilir. İnsan etkileşimi, üretilen metin ve konuşmadaki hataların mükemmel örüntü tanıma ve bağlamdan ek bilgiler eklenmesiyle telafi edilmesini sağlar. Bu, gramer merkezli analizin dengesizliğini ve çok seviyeli anlambilimlere daha fazla dikkat etme ihtiyacını gösterir.
Anlamsal analiz, kelimelerin anlamını ve yorumunu anlamak için bilgisayar algoritmalarının uygulanmasını içeren NLU'nun özüdür ve henüz tam olarak çözülmemiştir.
Birkaçını saymak gerekirse, anlamsal analizdeki bazı teknikler şunlardır:
-
Adlandırılmış Varlık Tanıma (NER): Metnin tanınabilen ve önceden ayarlanmış gruplar halinde sınıflandırılabilen kısımlarını belirleyin.
-
Kelime anlamında belirsizlik giderme: kelimelere bağlama göre anlam atayın.
-
Doğal dil üretimi: Anlamsal amaç türetmek ve bunu insan diline dönüştürmek için bir veritabanı kullanın.
Bununla birlikte, doğal dili tam olarak anlamak için, makinelerin yalnızca anlambilim tarafından sağlanan gerçek anlamı dikkate alması değil, aynı zamanda beklenen bilgiyi dikkate alması veya metnin ne ifade etmeye çalıştığını anlaması gerekir. Bu seviyeye pragmatik analiz denir ve NLU / NLP teknolojisini yeni tanıtmaya başlamıştır. Şu anda, duyarlılık analizini bir dereceye kadar görebiliyoruz: metnin içerdiği olumsuz / olumlu / nötr duyguları değerlendirin.
NLP'nin geleceği
İnsanlarla insani bir şekilde etkileşime girebilen ve sonunda Turing testini geçebilen bir chatbot yaratma hedefini takip eden şirketler ve akademi, daha fazla NLP ve NLU teknolojisi geliştiriyor. Ürünün ulaştığı hedefin kolay, denetimsiz öğrenme olması ve insanlarla uygun bir şekilde doğrudan etkileşime girebilmesi gerektiğini düşünüyorlar.
Bu hedefe ulaşmak için araştırma üç düzeyde yürütülür:
-
Metnin dilbilgisini dilbilgisi ile anlayın
-
Anlambilim - metnin gerçek anlamını anlayın
-
Edimbilim - metnin ne ifade etmeye çalıştığını anlama
Ne yazık ki, doğal dili anlamak ve işlemek, yeterince büyük bir kelime haznesi ve eğitim makineleri sağlamak kadar basit değildir. Başarılı olmak için, NLP çeşitli alanlardan teknolojileri entegre etmelidir: dil, dilbilim, bilişsel bilim, veri bilimi, bilgisayar bilimi vb. Ancak tüm olası bakış açılarını birleştirerek insan dilinin gizemini açığa çıkarabiliriz. Lei Feng Ağı Lei Feng Ağı Lei Feng Ağı
Bu makalenin ilgili bağlantılarını ve referanslarını görüntülemeye devam etmek ister misiniz?
Tıklamak NLP ve NLU: Dil anlayışından dil işlemeye Ziyaret edebilirsin:
Bugünün kaynak önerisi: "AIS 2019", en iyi üç uluslararası konferansın kapsamlı bir entegrasyonudur. Bunlar arasında, "A", doğal dil işleme alanındaki en üst düzey konferans olan ACL'yi, "I", Uluslararası Yapay Zeka Konferansı IJCAI'yi ve "S", bilgi erişim için uluslararası bir forum olan SIGIR'i temsil eder. Bu üç konferans, küresel bilgisayar, yapay zeka ve bilgi erişimi alanlarındaki en son başarıları temsil ediyor.
