SPT-Shanghai Jiaotong Üniversite Laboratuvarından seçilen 14 ICASSP 2018 makalesinin yorumu
Leifeng.com AI Teknolojisi İncelemesi Not: 5 günlük ICASSP 2018, yerel saatle 20 Nisan'da Kanada'nın Calgary kentinde resmen sona erdi. ICASSP, Uluslararası Akustik, Konuşma ve Sinyal İşleme Konferansı (Uluslararası Akustik, Konuşma ve Sinyal İşleme Konferansı) anlamına gelir.IEEE tarafından barındırılan sinyal işleme ve uygulamaları konusunda dünyanın en büyük ve en kapsamlı akademik konferansıdır. Bu yılki ICASSP konferansının teması "Sinyal İşleme ve Yapay Zeka: Zorluklar ve Fırsatlar" oldu. Toplam 2830 bildiri gönderimi alındı ve 1.406 bildiri nihayet kabul edildi. Bunların arasında, SPIT-Shanghai Jiaotong Üniversitesi Akıllı İnsan-Bilgisayar Etkileşimi Ortak Laboratuvarı, nihayet Çin'de en yüksek olan 14 makale yayınladı.
14 bildirinin içeriği şu şekilde özetlenmiştir:
1. Aurora4 kıyaslamasında makineler ve insanlar arasında gürültü önleyici sağlam konuşma tanıma karşılaştırması
Aurora4 üzerinde İnsanlar ve Makineler tarafından Gürültü Dayanıklı Konuşma Tanıma.
Yanmin Qian, Tian Tan, Hu Hu ve Qi Liu tarafından.
Bu makale 2018 yılında IEEE / ACM TASLP'de yayınlandı, ilgilenen arkadaşlar aşağıdaki bilgilere dikkat edebilir:
Adaptiv: Gürültüye dayanıklı konuşma tanıma için her derin evrişimli artık ağ. Ses, Konuşma ve Dil İşleme IIEEE/ACM İşlemleri.
Tian Tan, Yanmin Qian, Hu Hu, Ying Zhou, Wen Ding, Kai Yu tarafından.
DOI: 10.1109 / TASLP.2018.2825432, 2018.
Gürültülü ortamlarda konuşma tanıma her zaman büyük bir zorluk olmuştur. Laboratuvarımızda geliştirilen son derece derin evrişimli sinir ağı VDCNN'ye dayanan VDCRN modeli, modelin sağlamlığını daha da iyileştirmek için artık öğrenmenin tanıtılmasıyla elde edilir.Aynı zamanda, modelin gürültüsünü azaltmak için VDCRN modeli üzerinde bir kümeleme uyarlamalı eğitim yöntemi geliştirilmiştir. Ortamda eğitim ve test arasında uyumsuzluk. Ek olarak, gelecekteki bilgi tahmin vektörlerine dayalı yeni bir LSTM-RNNLM de sistem performansını iyileştirmek için kullanılır. Son olarak geliştirilen gürültü önleyici konuşma tanıma sistemi, gürültü standart veri seti Aurora4'te% 3,09'luk bir kelime hata oranı elde etti ve bu da bu görevde bildirilen en iyi sonuçtu. Analiz ve karşılaştırmadan sonra, bu hata oranı gerçek insanların bu görevdeki performansına çok yakındır ve gürültü önleyici sağlam konuşma tanıma araştırmalarında bir kilometre taşıdır.
Şekil 2: Çok derin evrişimli artık sinir ağı yapısı diyagramı VDCRN
Şekil 3: Temel olarak özellik haritası ve temel olarak evrişim çekirdeği dahil CAT-VDCRN üzerinde uyarlamalı kümeleme eğitimi
Şekil 4: Farklı sistemler altında WER (hata oranı) karşılaştırması
Yukarıdaki şekilde gösterildiği gibi, 5 gram + LSTM + FV-LSTM'mizin hata oranı, insanların gerçek durumuna çok yakındır.
2. Focal-KLD boşluk evrişimli sinir ağı modeline dayalı tek kanallı çok hoparlörlü tanıma
Ortak Kanal Konuşmacı Tanımlama için FocalKL-Divergence tabanlı Genişletilmiş Evrişimli Sinir Ağları.
Shuai Wang, Yanmin Qian ve Kai Yu tarafından.
Bu makale IEEE N. Ramaswamy Memorial Öğrenci Seyahat Bursunu kazandı ve bu yıl ödülü sadece 2 makale kazandı. Eylül 2017'de Spitz, biri ses izi tanıma teknolojisini gösteren büyük ölçekli yapay zeka popüler bilim programı "Wisdom" da iki kez göründü ve bu makale teknolojinin ayrıntılı bir analizidir. .
Tek kanallı çok konuşmacı tanımanın amacı, aynı zamanda ünlü "kokteyl probleminin" bir alt problemi olan, üst üste gelen konuşmaya sahip tüm konuşmacıları belirlemektir. Sinir ağı tabanlı tek kanallı çok hoparlörlü tanıma çerçevesinde birçok iyileştirme yaptık:
1) Daha sağlam ve ayırt edilebilir derinlik unsurlarını öğrenmek için delik evrişimi kullanın.
2) Focal-KLD'nin sert numunelere eğitim sırasında daha fazla ağırlık vermesi önerilmektedir.
3) Çerçeve düzeyinde tahminleri cümle düzeyinde tahminlerde toplamak için bir işlem sonrası yöntem önerilmiştir. Deneysel sonuçlar, önerilen sistemimizin temel sisteme kıyasla önemli bir performans artışı sağladığını, iki hoparlör durumunda% 92.47 doğruluk oranına ve üç hoparlör durumunda% 55.83 doğruluk oranına ulaştığını göstermektedir.
Şekil 5: RSR veritabanına dayalı yapay olarak karıştırılmış tek kanallı çok hoparlörlü veriler
3. Uyarlanabilir hüzmeleme için sinir ağı ve kümeleme yöntemini birleştiren sağlam gizli değer tahmini
Uyarlanabilir Akustik Hüzmeleme için Sinir Ağı Tabanlı ve Kümeleme Tabanlı Yaklaşımları Bütünleştirerek RobustMask Tahmini.
Ying Zhou, Yanmin Qian tarafından.
Spitz, Çin'de çok önde gelen bir ön uç akustik işleme yeteneğine sahiptir ve çoklu mikrofon dizisi ve ön uç sinyal işlemede iyi bir performansa sahiptir. Hoparlör uyarlaması ön uçta yapılır ve arka uç, farklı ortamlarda farklı hoparlörlerin tanınma sonuçlarını iyileştiren akustik modelin uyarlamasıyla desteklenir. Şu anda, SPICE dizi çözümleri, Lenovo TV, Panda TV, Ali Tmall Elf ve Tencent Tingting gibi akıllı terminal cihazları için ortak bir seçim haline gelen doğrusal dört mikrofon ve çift mikrofon çözümlerini içerir.
Maske tabanlı hüzmeleme yöntemleri artık çok kanallı gürültülü sağlam otomatik konuşma tanıma araştırmalarında büyük ilgi gördü. Mevcut maske tahmin modelleri arasında, sinir ağı maskesi tahmin yöntemi daha iyi performansa sahiptir, ancak bu yöntem eğitim için simüle edilmiş verileri gerektirir, bu nedenle gerçek uygulama senaryolarında eğitim ve test arasında bir uyumsuzluk sorunu vardır. Bu soruna yanıt olarak, bu makale, gerçek etiketlenmemiş verilerin yumuşak etiketlerini tahmin etmek için karmaşık bir Gauss karışım modeli (CGMM, Karmaşık Gauss karışımı modeli) kullanan yeni bir denetimsiz çerçeve önermektedir, böylece gerçek veriler, maske sinir ağı eğitimi için kullanılabilir; Ek olarak, karmaşık Gauss karışım modelini kullanan bu makale, arka uç akustik model modellemesinden, maske tahminine dayalı hüzmeleme teknolojisine hoparlör uyarlamalı teknolojisini tanıtmakta ve hoparlörle ilgili bir hüzmeleme teknolojisini gerçekleştirmektedir. Önerdiğimiz yöntem CHIME-4 veri setinde doğrulandı.Deneysel sonuçlar, konuşma tanıma performansının gerçek gürültülü test koşulları altında önemli ölçüde geliştirildiğini gösteriyor.Bu denetimsiz sinir ağı maskesi hüzmeleme teknolojisi, Eğitim ve testler arasındaki uyumsuzluk sorununu önemli ölçüde azaltın.
Şekil 6: Uyarlanabilir hata oranı sonuçlarının farklı yöntemleri
Yukarıdaki şekilde gösterildiği gibi, konuşmacı ile ilgili parametreleri tanıtan uyarlamalı yöntem, hemen hemen tüm setlerin tanıma hata oranını daha da azaltır. Bu iki yöntemin optimizasyonundan sonra, BLSTM-IBM sisteminden yaklaşık% 15 daha yüksek olan en iyi sonuç elde edilir.
Şekil 7: Ön uç maskesi sinir ağı ve arka uç akustik modelinin uyarlanabilir kombinasyonu altındaki kelime hata oranı
Yukarıdaki şekilde gösterildiği gibi, ön uç hoparlör uyarlamasını yapmış olsa bile, arka uç akustik modelinin uyarlaması hala etkilidir. Karmaşık Gauss karışım modeli ile birleştirilmiş önerilen sinir ağı maskesi tahmin çerçevemiz, gerçek eğitim verilerinin tanıtılması nedeniyle simülasyon ile gerçek ortam arasındaki uyumsuzluğu etkili bir şekilde azaltabilir ve konuşmacı uyarlamalı teknolojinin eklenmesi nedeniyle, belirli hedeflere hedeflenebilir. Hoparlör, daha iyi çoklu mikrofon gürültü azaltma ve tanıma etkisi elde eder.
4. Çok görevli öğrenmeye karşı sözlü semantik anlayış için yarı denetimli bir eğitim yöntemi
Konuşulan Dili Anlamak İçin Tartışmalı Çok Görevli Öğrenmeyi Kullanan Yarı Denetimli Eğitim.
Yazan Ouyu Lan, Su Zhu, Kai Yu.
Sözlü Dil Anlama (SLU) genellikle toplanan veri setinde yapay anlamsal açıklama gerektirir. SLU görevleri için etiketlenmemiş verileri daha iyi kullanmak amacıyla, SLU yarı denetimli eğitim için iki yönlü bir dil modelini ve anlamsal ek açıklama modelini birleştirerek etiketli verilere olan ihtiyacı azaltan rakip bir görev öğrenme yöntemi öneriyoruz. Bağımlılık. İkinci amaç olarak, çift yönlü dil modeli, büyük miktarda etiketlenmemiş veriden kapsamlı denetimsiz bilgileri öğrenmek için kullanılır, böylece anlamsal açıklama modelinin test verileri üzerindeki performansını iyileştirir. İki görev için ortak bir alan oluşturduk ve her görev için bağımsız bir özel alan oluşturduk. Ek olarak, rakip görev ayırıcı, görevden bağımsız daha fazla paylaşılan bilgi elde etmek için de kullanılır. Deneylerde, önerilen yöntemimiz ATIS veri kümesinde en iyi performansı elde eder ve LARGE veri kümesinde yarı denetimli öğrenme performansını önemli ölçüde iyileştirir. Modelimiz, anlamsal açıklama modelini daha genel hale getirir ve yarı denetimli öğrenme yöntemi, etiketli veriler etiketlenmemiş verilerden önemli ölçüde daha fazla olduğunda daha etkilidir.
Şekil 8: Farklı veri kümeleri altındaki farklı görev modellerinin deneysel sonuçları
Yukarıdaki şekilde gösterildiği gibi, önerdiğimiz BSPM ve BSPM + D her zaman diğer yöntemlerden daha iyi performans sonuçları elde eder. Geleneksel STM ile karşılaştırıldığında, yöntemimiz tüm veri setlerinde% 99,9 oranında önemli ölçüde iyileşme sağlar. Basit çoklu görev modeli MTLe ile karşılaştırıldığında, yöntemimiz 5k veri setinde% 99,9 ve 10k veri setinde% 99,5 oranında iyileşir. PSEUDO yöntemi ile karşılaştırıldığında, gelişme 5k ve 10k veri setlerinde% 99,8 ve 15k veri setinde% 95'tir. Deneyler, yarı denetimli öğrenme modelimizin etiketli veriler sınırlı olduğunda ancak etiketlenmemiş veriler yeterli olduğunda daha etkili olduğunu göstermektedir. Dil modeli denetimsiz bilgiyi öğrendiğinde, paylaşılan-özel çerçeve ve rakip eğitim, anlamsal ek açıklama modelinin genelleştirilmesini ve görünmeyen veriler üzerinde daha iyi performans göstermesini sağlar.
5. Derin pekiştirmeli öğrenmeye dayalı diyalog yönetiminde strateji uyarlaması
Derin Güçlendirmeli Öğrenmeye Dayalı Diyalog Yönetimi İçin Politika Uyarlaması.
LuChen, Cheng Chang, Zhi Chen, Bowen Tan, Milica Gasic, Kai Yu tarafından.
Diyalog stratejisi optimizasyonu, istatistiksel diyalog yönetiminin özüdür. Derin takviye öğrenimi, önceden tanımlanmış sabit bir alana başarıyla uygulanır, ancak alan dinamik olarak değiştiğinde, örneğin mevcut alanın ontolojisine yeni bir anlamsal boşluk eklendiğinde veya strateji diğer alanlara aktarıldığında, diyalog durum alanı ve Diyalog eylemleri dizisi değişecek, böylece diyalog stratejisini temsil eden sinir ağı yapısı da değişecek. Bu, diyalog stratejisini uyarlamayı çok zorlaştıracaktır. Bu makale, çok ajanlı bir diyalog stratejisi MADP (Çoklu Temsilci Diyalog Politikası) önermektedir Derin pekiştirmeli öğrenmeye dayalı sıradan diyalog stratejileriyle karşılaştırıldığında, MADP yalnızca daha hızlı öğrenmez, aynı zamanda alan genişletme ve geçiş için daha uygundur. MADP, semantik yuvadan bağımsız bir aracı (G-Agent) ve bazı anlamsal alanla ilgili aracıları (S-Agent) içerir. Özel parametrelere ek olarak, her S-Agent'ın birbiriyle paylaşılan parametreleri de vardır. Strateji taşındığında, S-Agent ve G-Agent'taki paylaşılan parametreler doğrudan yeni etki alanına taşınabilir. Simülasyon deneyleri, MADP'nin diyalog stratejilerinin öğrenme hızını önemli ölçüde artırabildiğini ve strateji uyarlamasına elverişli olduğunu göstermektedir.
Şekil 9: DQN'ye (MADQN) dayalı çok temsilcili diyalog stratejisi
6. Tek kanallı çok hoparlörlü konuşma tanımada permütasyon değişmez eğitime dayalı bilgi aktarımı
Tek Kanallı Çok Konuşan Konuşma Tanıma için Permütasyon İstenmeyen Eğitimde Bilgi Transferi.
Tian Tan, Yanmin Qian ve Dong Yu tarafından
Bu makale, öğretmen-öğrenci eğitimi (TS) ve permütasyon değişmez eğitimi (PIT) birleştiren tek kanallı bir çok konuşmacı konuşma tanıma çerçevesi önermektedir. Adım adım eğitim yönteminin kullanılmasıyla, birden çok öğretmenin bilgisi, sistemi daha da iyileştirmek için entegre edilir ve etiketlenmemiş veriler, çok konuşmacılı konuşma tanıma için alan uyarlaması için kullanılır. Deneyler, TS'nin kelime hata oranını (WER) temel PIT modeline göre% 20 azaltabildiğini göstermektedir. Ayrıca yapay olarak karıştırılmış WSJ0 korpusu üzerinde de değerlendirdik ve AMI ile eğitilmiş PIT modeline kıyasla WER'de göreceli% 30 azalma elde ettik.
7. Tek kanallı çok hoparlörlü konuşma tanımada yardımcı bilgilere dayalı uyarlanabilir permütasyon değişmez eğitimi
Tek Sesli Çok Konuşan Konuşma Tanıma için Yardımcı Bilgilerle Uyarlanabilir Permütasyon Değişmez Eğitimi.
Xuankai Chang, Yanmin Qian ve Dong Yu tarafından.
Bu makale, tek kanallı çok hoparlörlü konuşma tanıma performansını iyileştirmek için önceki PIT konuşma tanıma modelinde konuşmacı adaptasyonu için yardımcı bilgilerin kullanılmasını önermektedir. Karma konuşmanın perdesini ve i-vektörünü yardımcı girdi olarak kullanmak, yardımcı görev olarak konuşmacının birleşik cinsiyet bilgisini kullanmak, permütasyon değişmez eğitim modelini eğitmek için yardımcı özellikleri ve çok görevli öğrenme yöntemlerini kullanmak, konuşma ayırma ve tanıma modelinin bağımsız olmasına izin vermek Farklı hoparlör kombinasyonlarına uyum sağlayın. Ek olarak, CNN-BLSTM modelini kullandık ve sonuçlar, Permütasyon Değişmezlik Eğitiminin (PIT) performansı iyileştirme amacına ulaşmak için ileri teknoloji ile kolayca birleştirilebileceğini ve nihai sistemin nispeten% 10 oranında iyileştirildiğini kanıtladı.
8. Derin örtüşme oluşturma ağına dayalı hızlı uyarlamalı akustik model yöntemi
Derin Karışım Üreten Ağ tabanlı Akustik Modellemede Hızlı Adaptasyon.
WenDing, Tian Tan ve Yanmin Qian tarafından
Derin sinir ağlarının düzenlenmesi ve uyarlanması zordur. Üretken ağı derinlemesine melezliyoruz ve daha verimli bir uyarlanabilir yöntem öneriyoruz: ilk önce uyarlanabilir bir ortalama önermek için denetlenmemiş bir mod benimsiyoruz; uyarlanabilir veri eksikliği olduğunda, daha sağlam bir ortalama tahmin edilebilir, ayırt edici bir doğrusal regresyon öneriyoruz. Deneyler, önerdiğimiz yöntemlerin konuşmacıdan bağımsız taban çizgilerine göre daha iyi olduğunu gösteriyor; Ek olarak, derin hibrit üretim ağının uyarlanabilir sonuçlarının görselleştirilmesi, ayrımcı doğrusal regresyonun ortalamanın küresel bir noktadan konuşmacının kendi merkez noktasına dönüşmesine yardımcı olduğunu gösteriyor. .
9. Gürültü önleyici ağ verilerinin oluşturulmasına dayalı gürültüye karşı sağlam konuşma tanıma
Gürültü Sağlam Konuşma Tanıma için Üretken Karşılıklı Ağlara dayalı Veri Artırma.
HuHu, Tian Tan ve Yanmin Qian tarafından.
Üretken bir yüzleşme ağı kullanarak yeni eğitim verileri oluşturarak sağlam bir konuşma tanıma sisteminin tanıma performansını iyileştirmek için bir yöntem öneriyoruz. Mevcut gürültü verilerini kullanarak, etiketsiz yeni eğitim verileri, bir yüzleşme ağı oluşturularak üretilir ve bu verileri akustik modelin eğitimine yardımcı olmak için kullanmak için denetimsiz bir eğitim yöntemi önerilir. Bu makale standart gürültü veri seti Aurara4 üzerinde önemli bir iyileştirme etkisi elde etti.
10. Joint i-Vector'un uçtan uca kısa vadeli metni ilgisiz konuşmacı onayı
Kısa Süreli Metinden Bağımsız Hoparlör Doğrulaması için Uçtan Uca Sistemli Jointi-Vector.
Zili Huang, Shuai Wang ve Yanmin Qian tarafından.
Üçlü kayıp işlevine dayalı uçtan-uca ses izi tanıma sistemine i-vektör yerleştirmeyi tanıtmaya çalışıyoruz. Kısa süreli metinden bağımsız görevlerde% 31,0 iyileştirme elde edildi. Ek olarak, üçlü kayıp fonksiyonuna dayalı uçtan-uca ses izi tanıma sisteminin performansını iyileştirmek için zor örnekleri örneklemek için bir yöntem öneriyoruz.
11. Sinir ağı dil modellerinde yapılandırılmış kelime vektörleri kullanarak hızlı bir şekilde toplanmayan kelime birleştirme
Sinir Ağı Dil Modeli İçin Yapılandırılmış Kelime Gömme Kullanarak Hızlı OOV Kelime Birleştirme.
Ruinian Chen, Kai Yu tarafından.
Sözdizimsel ve morfolojik parametre paylaşımı, sinir ağı dil modellerinde koleksiyon dışı sözcük sorununu çözmek için kullanılır. Her bir kelimenin gömülmesi iki kısma ayrılır: sözdizimsel gömme ve morfolojik gömme ve yabancı kelimelerin sözdizimsel ve morfolojik bilgileri bilgi yoluyla elde edilebilir, böylece sinir ağındaki eğitilmiş parametreler modeli yeniden eğitmeden kullanılabilir. Deneyler, modelimizin hem PPL hem de CER göstergelerinde temel modelden daha iyi performans gösterdiğini göstermektedir.
12. Denetimsiz konuşma tanıma hatası uyarlamasına dayalı sağlam doğal dil anlayışı
Denetimsiz ASR-Hata Uyarlamasıyla Sağlam Konuşma Dili Anlayışı.
Yazan Su Zhu, Quyu Lan, Kai Yu.
Sözlü diyalog sistemindeki anlamsal anlama modülüne dayanarak, arka uç anlamsal anlamanın ön uç konuşma tanıma hatalarına karşı yetersiz sağlamlığı sorununu çözmeye odaklanır. Anlamsal anlamanın sağlamlığını iyileştirmek için konuşma tanıma için denetlenmemiş hata uyarlamalı bir eğitim yöntemi önermek için kısmi parametre paylaşımıyla BLSTM mimarisini kullanıyoruz. Bu makalede önerilen yöntem, konuşma tanıma sonuçlarının anlamsal olarak etiketlenmesi olmadan eşleşen bir performans düzeyine ulaşabilir ve bu da manuel etiketlemenin iş yükünü büyük ölçüde azaltabilir.
13. Sesli kelimeye uçtan uca konuşma tanımada modüler eğitim çerçevesi
LVCSR için Nöral Akustikten Kelimeye Modelinin Modüler Eğitimi Üzerine.
Zhehuai Chen, Qi Liu, Hao Li, Kai Yu tarafından.
Geleneksel uçtan uca sistemler eğitim için metin verilerini kullanamaz, bu da eğitim için büyük miktarda etiketli akustik veriyle sonuçlanır. Modüler bir uçtan uca model eğitim çerçevesi öneren ilk kişiyiz. Bir sesten foneme akustik model ve bir fonemden kelimeye dil modeli, sırasıyla akustik ve dil verilerine dayalı olarak eğitilir ve daha sonra akustik ve dil modelleri, eşzamanlı fonem kod çözme temelinde ortaklaşa eğitilir. Deneyler, bu çerçeve altında eğitilen uçtan-uca modelin, spekülasyonun karmaşıklığını büyük ölçüde azalttığını ve geleneksel sistemin benzer doğruluğunu elde ettiğini gösteriyor.
14. Kokteyl partileri için sekans modelleme
Denetimsiz Tek Kanallı Örtüşen Konuşma Tanıma'da Sıra Modelleme.
Zhehuai Chen, Jasha Droppo tarafından.
Kokteyl partisi probleminin çözümü, akustik modelin güçlü sekans modelleme yeteneklerine sahip olmasını gerektirir. Eğitim aşamasında PIT modeline açık dizi bağımlılığı ekledik ve dil modeli bilgilerini PIT modelinin birleşik karar verme sürecine dahil ettik. Deneysel sonuçlar, bu iki teknolojinin eklenmesinin, mevcut sistemin doğruluğunu önemli ölçüde artırabildiğini, sıra ayırt edici eğitim ve geçiş öğrenimi ile birlikte nihai sistemin doğruluğunu% 30'dan fazla artırabileceğini göstermektedir.
