NLP çözümleri derin öğrenme ile nasıl yeniden yazılır?
Lei Feng.com AI Teknolojisi Yorumu: Intelin Yapay Zeka Ürünleri Bölümü Veri Bilimi Direktörü Yinyin Liu, kısa süre önce derin öğrenmenin doğal dil işlemeye getirdiği çeşitli değişiklikleri tanıtan bir makale yazdı. İlginç genel eğilim, ilk olarak CV alanında üretilen teknolojilerin sürekli olarak NLP'de kullanılması ve derin öğrenme çözümlerinin inşa edilme biçiminin de zaman içinde gelişmesidir. Lei Feng.com AI Technology Review bu makaleyi aşağıdaki gibi derledi.
Doğal dil işleme (NLP), en yaygın yapay zeka uygulamalarından biridir.Tüketici dijital asistanları, sohbet robotları ve finansal ve yasal kayıtların metin analizi gibi ticari uygulamalar aracılığıyla her yerde yaygın hale gelmiştir. Donanım ve yazılım yeteneklerinin iyileştirilmesi ve modüler NLP bileşenlerinin geliştirilmesi ile Intel'in teknolojisi ayrıca çeşitli NLP uygulamalarını da mümkün kılar.
Derin öğrenme performansının yükselen trendi
Son yıllarda, NLP alanındaki birçok ilerleme, derin öğrenme alanındaki genel gelişmeler tarafından yönlendirilmiştir. Derin öğrenme daha güçlü bilgi işlem kaynaklarına sahiptir, daha büyük veri kümelerini kullanabilir ve sinir ağı topolojisi ve eğitim paradigmalarında geliştirilmiştir. Derin öğrenmedeki bu ilerlemeler, bilgisayarla görme uygulamalarının gelişimini teşvik etmeye başladı, ancak aynı zamanda doğal dil işleme alanına da büyük ölçüde fayda sağladı.
Derin öğrenmenin ağ katmanı açısından, derin sinir ağının her katmanına sinyal ve gradyanı daha kolay iletmek için, Artık katman, otoyol katmanı (tamamen bağlı otoyol ağı) ve yoğun bağlantı yapısı Varlığa geldi. Bu ağ katmanları ile, derin öğrenme ağlarının temsil yetenekleri kullanılarak mevcut en gelişmiş bilgisayarla görme teknolojisi gerçekleştirilir. Aynı zamanda, modelin birçok doğal dil işleme görevindeki performansını da geliştirdiler. Örneğin, Yoğun Bağlı Tekrarlayan Sinir Ağlarını kullanma (Yoğun Bağlı Tekrarlayan Sinir Ağlarını Kullanarak Dil Modellemesini Geliştirme, https://arxiv.org/abs/1707.06130).
Ampirik araştırmada karşılaştırıldığında Evrişimli katman, döngüsel katman Veya bir Bu iki fikri birleştiren zaman serisi evrişimli katman Zaman serisi evrişimli katmanının performansı, bir dizi dil veri setinde en iyi sonuçları elde etti (Sıralı Öğrenmeye Evrişimli Sıra, https://arxiv.org/abs/1705.03122; Genel Evrişimli ve Tekrarlayan Ağların Ampirik Değerlendirmesi Dizi Modellemesi için, https://arxiv.org/abs/1803.01271). Bu farklı katman türleri esnek kullanım için mevcuttur ve geliştiricilerin belirli doğal dil işleme sorunları ile uğraşırken çeşitli seçenekleri denemelerine olanak tanır.
Derin öğrenmenin topolojisi açısından, bir otomatik kodlayıcı modeli bir Dizi dizisi (seq2seq) modeli Sıralı dil verilerini işlemek için kullanılır. Dikkat mekanizması Kod çözme ağının zaman içinde giriş koduna nasıl yanıt vermesi gerektiğini çözün. İşaretçi ağı , Özellikle giriş dizisindeki kelimelerin konumunu bulmak için kullanılan dikkat modelinin bir çeşidi olarak, makine okumasını anlama ve metin özetleme için yeni bir işleme mekanizması sağlar (Match-LSTM ve Answer Pointer Kullanarak Makine Anlama, https://arxiv.org/abs/1608.07905; Get To The Point: Pointer-Generator Networks ile Özetleme, https://arxiv.org/abs/1704.04368). Artırarak Hızlı ağırlıklar , (Yakın Geçmişe Katılmak İçin Hızlı Ağırlıklar, https://arxiv.org/abs/1610.06258) Kısa süreli çağrışımlı bellek kavramı, uzun süreli sıralı öğrenme ile birleştirilebilir.
Eğitim paradigması açısından, Denetimsiz öğrenme Veri sunumunu oluşturmak için eğitim verilerinin kendisini kullanın ve öğrenme teknolojisini aktarın, Transfer öğrenimi Temsili bir görev için kullanmayı öğrendiklerinizi uygulayabilirsiniz, bunların tümü doğal dil işleme teknolojisinin ilerlemesini teşvik eden bilgisayar görüşü alanından esinlenmiştir.
Bu derin öğrenme modelleri birçok temel bileşeni paylaştığından, derin öğrenme tabanlı doğal dil işleme çözümleri, yazılım ve donanımı bilgisayarla görme ve diğer yapay zeka çözümleriyle paylaşabilir. Derin öğrenme için genel yazılım yığınının optimizasyonu, derin öğrenme doğal dil işleme çözümlerinin performansını da artırabilir. Intelin yapay zeka donanım ve yazılım birleşik çözümleri, Intel tabanlı sistemlerde çalışan derin öğrenmenin ilerlemesine iyi bir örnek sağlar. Son zamanlarda, donanımımızın optimizasyonu ve yaygın olarak kullanılan derin öğrenme çerçevesi üzerinde yapılan çalışmalar, Intel Xeon Ölçeklenebilir işlemcilerde yaygın olarak kullanılan modelleri ve bilgi işlem görevlerini çalıştırmak için optimize edilmiş performans sağladı. Intel ayrıca, her geliştiricinin bu deneyimleri doğrudan alabilmesi için, çabalarını açık bir çerçeveye aktif olarak katkıda bulunur.
Doğal dil işleme kullanım durumları için esnek, modüler bir yığın oluşturun
Derin öğrenmeye dayalı doğal dil işleme modelleri genellikle ortak yapı taşlarına sahip olduğundan (örneğin, derin öğrenme ağ katmanları ve derin öğrenme topolojisi), bu bize doğal dil işleme kullanım durumlarının temelini oluştururken yeni bir bakış açısı sağlar. Aynı anda birçok uygulamada bazı düşük seviyeli fonksiyonlara ihtiyaç vardır. Temel bileşenleri açık ve esnek bir yığın halinde elde etmek, çeşitli doğal dil işleme problemlerini çözmek için çok uygundur.
Aksine, geleneksel makine öğrenimi veya derin öğrenme yaklaşımı her seferinde yalnızca belirli bir sorunu dikkate alır. Şimdi, derin öğrenme topluluğu birçok yararlı temel işlevsel modül sağladığından, kuruluştaki kullanıcılar ve veri bilimcileri başka yönleri de göz önünde bulundurabilir. Temeli öğrendikten ve oluşturduktan sonra, bunları çeşitli alanlarda nasıl uygulayacaklarına odaklanabilirler. Sorun.
Bu dönüşümün temel faydaları aşağıdaki gibidir. Her şeyden önce, bu yeniden kullanılabilir bileşenler kademeli olarak "yapılandırılmış varlıklar" oluşturmamıza yardımcı olabilir. Daha önce yapılmış olanı tekrar tekrar uygulayarak, daha hızlı yapabilir ve daha hızlı değerlendirebiliriz. İkinci olarak, Intel'in birleşik yazılım ve donanım platformu üzerine inşa edilen bu işlevler ve çözümler, Intel'in gelecekteki geliştirme ve iyileştirmelerinden yararlanmaya devam edebilir. Buna ek olarak, mevcut altyapıyı denemek şaşırtıcı yeni çözümleri veya yeni uygulamaları genişletebilir ve bu, yalnızca sorunun kendisine odaklanan daha önceki düşüncelerle sağlanamaz.
Esnek ve modüler bir yığın, kullanıcıların geleneksel doğal dil işleme yöntemlerini derin öğrenmeye dayalı yöntemlerle birleştirmesine ve farklı kullanıcı grupları için farklı düzeylerde soyutlama sağlamasına da izin verebilir. Birçok farklı kurumsal kullanım durumu, doğal dil işleme ve temel bileşenlerinin potansiyelini gösterir. Aşağıda size birkaç örnek veriyoruz, ancak tabii ki başka birçok olasılık da var.
Tematik analiz
Finans sektörü, her gün işlenmesi ve anlaşılması gereken (çok fazla) belgenin neden olduğu büyük bilgi yönetimi zorluklarıyla karşı karşıyadır. "Belirli bir ürünün rekabet gücü" gibi temel bilgileri sayfa sayfa metinden çıkarmak çok zordur.
Doğal dil işleme konu analizi teknolojisi artık çok sayıda belgeyi hızlı bir şekilde analiz etmek ve belgenin farklı bölümleriyle ilgili konuları belirlemek için kullanılabilir. Farklı kullanıcılar, bir şirketin değeri, rekabet gücü, liderlik veya makroekonomi gibi farklı konulara odaklanacaktır. Doğal dil işleme konu analizi, kullanıcıların belirli ilgi alanlarını filtrelemesine ve daha konsantre bilgiler elde etmesine olanak tanır.
Büyük miktarda etiketlenmemiş veriyi kullanmak için, model benzer içeriğe sahip metinle önceden eğitilebilir ve ardından bu veri gösterimleri konu analizine veya diğer ek görevlere aktarılabilir. Daha önceki bir blog, bu çözüme dahil olan bazı yöntemlere genel bir bakış sunmuştu. Bu şemaya ulaşmak için, doğal dil işleme yapı taşları perspektifinden, sıralı diziye (seq2seq) topoloji, uzun kısa vadeli bellek ağı (LSTM), kelime gömme geçiş öğrenmeden gelir ve ardından ince ayar (ince ayar) -tune), adlandırılmış varlık tanıma gibi bileşenlerle de birleştirilebilir.
moda analizi
Sağlık, endüstriyel üretim ve finans gibi endüstrilerin tümü, büyük miktarda metin verilerinden zamana dayalı eğilimleri belirleme zorluğuyla karşı karşıyadır. Metin düzenlenmesi, isim cümle bloğu ve çıkarımı, dil modeli, korpus kelime frekansı-ters metin sıklığı indeksi (TF-IDF) algoritması ve kelime vektörü gruplama tekniklerinin kullanılmasıyla hızlı bir şekilde bir çözüm üretebiliriz, Anahtar sözcükler ve önem tahminleri bir dizi belgeden çıkarılabilir. Daha sonra, zamanla, bu çıkarılan anahtar kelimeleri karşılaştırarak yararlı eğilimler bulabiliriz, örneğin: hava durumu değişiklikleri envanter sıkıntısına nasıl neden olabilir veya akademik araştırmanın hangi alanlarının zamanla daha fazla çekeceği Katkı ve dikkat.
duygu analizi
Duyarlılık analizi işlevi genellikle rekabet gücü analizi, iletişim stratejisi optimizasyonu ve ürün veya pazar analizi için kullanılır. Ayrıntılı duyarlılık analizi sağlayan bir çözüm, iş kullanıcılarına eyleme dönüştürülebilir içgörüler sağlayabilir. Örneğin: Bu tür daha hedefli duyarlılık analizi, belirli bir ürünle ilgili yorumların genellikle enerji tüketimi hakkında olumlu görüşler ve güvenilirliği hakkında olumsuz görüşler olduğunu bulabilir. Bu ayrıntılı duyarlılık analizi için, POS etiketleme, metin düzenleme, bağımlılık analizi ve kelime dağarcığı genişletme gibi bileşenler kullanıyoruz. Farklı alanlar için, aynı zaman farklı duyguları aktarabilir, bu nedenle alan adaptasyonuna izin veren mekanizma da çok önemlidir.
Çok işlevli mimaride esnek yapı taşları
Devasa doğal dil işleme pazarında çeşitli planlar gördüğümüzde, bu fırsatlardan yararlanmak ve bunları mümkün kılmak için nasıl çözüm, yazılım ve donanım oluşturmalıyız? Intel olarak, yenilik yapmaya ve geliştirmeye devam edebilecek ve bize algoritmaların araştırılması, uygulanması ve uygulanması için açık ve esnek bir platform sağlayabilecek bir teknoloji oluşturmayı umuyoruz. Bu teknoloji aynı zamanda çeşitli uygulamalara verimli bir şekilde genişletilebilir. Sonunda geniş kapsamlı iş içgörüleri oluşturun.
Intel Yapay Zeka Laboratuvarında, doğal dil işleme araştırmacılarımız ve geliştiricilerimiz, ortaklarımız ve müşterilerimiz için birden çok doğal dil işleme kullanım senaryosu uygulamak için açık ve esnek bir doğal dil işleme bileşenleri kitaplığı oluşturuyor. Bu doğal dil işleme uygulamaları, diğer yapay zeka ve gelişmiş analiz iş akışları için donanım, çerçeve araçları ve yazılım katmanları sağlamak için esnek, güvenilir ve yüksek performanslı Intel mimarimizi verimli bir şekilde kullanmamızı sağlar. Derin öğrenme yeteneklerini geliştirmek için bu bileşenleri optimize etmek için çok çalışmaya devam edeceğiz.
Intel AI Blogu, Lei Feng.com AI Technology Review Compilation aracılığıyla
