90'lar sonrası güzellik öğrencisi: Tsinghua Yao sınıfında doğdu, bir usta olan Stanford Yapay Zeka Laboratuvarı'nın başına geçti!
Üretildi | AI Teknolojisi Ana Kampı (ID: rgznai100)
Bugün sizi bir Stanford doktora mezununun efsanevi hayatıyla tanıştıracağım. "Sinirsel Okuma Anlama ve Ötesi" başlıklı doktora tezi popüler oldu. Gönderildikten sadece dört hafta sonra, 2.700'den fazla görüntülendi. !
90'lar sonrası güzellik öğrencisi Chen Danqi:
https://cs.stanford.edu/~danqi/
Hunan'ın Changsha kentinde doğan genç bayan, ilkokul üçüncü sınıftan beri Matematik Olimpiyatı okuyor, gençliğinden beri matematik konusunda özel bir yeteneği var. Chen Danqi'nin bilişim tarafından büyülendiği bir "asırlık eski okul" olan Yalı Orta Okulu'nda okudu. Lisede Uluslararası Bilişim Olimpiyatları Altın Madalyası'nı kazandı ve o yılın haberlerinde de yer aldı.Hunan Eyaletinde ulusal bilişim takımına seçilen ilk kadın oyuncu oldu. Medya tarafından "Zhou Bichang gibi gülümsemesiyle" kız olarak adlandırıldı.
Bu süre zarfında, CDQ böl ve yönet algoritmasını ve DP'yi (kontur dinamik programlama) takmayı da önerdi.
Daha sonra Tsinghua Akademi Bilgisayar Bilimleri Laboratuvarı'na (Yao Sınıfı) girdi ve mezun olduktan sonra Tsinghua Üniversitesi'nin 2012 Mükemmel Lisans Tezi'ni ve Akademisyen Yao Qizhi tarafından şahsen verilen ödül sertifikasını kazandı.
Ve bu sadece algoritma / veri yapısı ve teorik bilgisayar biliminde. Daha sonra, Stanford Üniversitesi'ndeki altı yıllık eğitiminde, yeni araştırma alanları ona açılıyor ...
Dönem boyunca şu görevlerde de bulundu:
- Microsoft Research Asia (ML & WSM group) şirketinde Intern
- Microsoft Research Raymond Research Intern (NLP grubu)
- Araştırma Stajyeri, Facebook AI Araştırması, New York City
Chen Danqi şu anda Facebook AI Araştırması'nı ve Seattle, ABD'deki Washington Üniversitesi'ni ziyaret ediyor. Asıl araştırma yönü, doğal dil işlemede derin öğrenmenin uygulanması, özellikle de metin anlama ve bilgi temsili / akıl yürütme kesişimidir.
Chen Danqi'nin 2019 sonbaharında Princeton Üniversitesi Bilgisayar Bilimleri Bölümüne yardımcı doçent olarak katılacağı bildirildi.Akademik deneyimi ve büyüme süreci, onun "öğrenci egemenliği" mizacını gösteriyor.
Ancak, büyümesi sırasında her zaman minnettar olmuştur.
Ailesine, sevgilisine, arkadaşına, öğretmenine
Babası ayrıca Ulusal Savunma Teknolojisi Üniversitesi'nde matematik doçentiydi.
Ailesi için minnettar ve gururlu
Sevgilisi Yu Huacheng, onunla birlikte Yao sınıfından mezun oldu ve bilgisayar alanında doktora yapmak için Stanford'a girdi. Sadece 4 yıl içinde birkaç önemli makale yayınladı ve erken mezun oldu. Şu anda Harvard Üniversitesi'nde doktora sonrası araştırmacı. Sevgilisi için, çocukluğundan beri on yıldan fazla bir süredir şirketi için minnettar ve onun "alçakgönüllülüğüne, odaklanmasına, zekasına ve sıkı çalışmasına" hayran kalıyor.
Tabii ki, Stanford Üniversitesi'nde doktora tezi danışmanı ve dilbilim ve bilgisayar bilimi profesörü olan Christopher Manning'e teşekkür etmek istiyor Bilgisayar alanında bir doktora ile mezun olmanın zorluğunu tahmin edebilirsiniz.
Stanford Yapay Zeka Laboratuvarı (SAIL) ekibinin bir üyesi olarak Chris Manning, doğal dil alanında birçok başarıya imza attı. Stanford CS224n kursu (Danqi Chen aynı zamanda bu dönemde öğretim asistanı olarak da görev yaptı) ve Li Feifeinin CS231n hem doğal dil işleme hem de bilgisayar görüşüdür Alandaki "zorunlu dersler".
Geçen yıl Kasım ayında, Chris aynı zamanda Stanford Laboratuvarı'nın yeni başkanı oldu ve Stanford'a dönen Li Feifei ile yeni bir işbirliği başlattı.
Öyleyse, Chris ve çırağı Chen Danqi, doğal dil işleme alanında bir sonraki "Li Feifei ve Li Jia'nın CP'si" olacak mı? Aşağıda, Chen Danqi'nin "Sinirsel Okuma Anlama ve Ötesi" adlı doktora tezini doğal dil işleme alanındaki mevcut başarılarını anlamak için anlamaya çalışıyoruz.
Christopher Manning, "Chen Danqi, doğal dili anlamak için sinir ağlarının kullanımında bir öncü. Onun modeli basit, temiz ve birçok insanın dikkatini çeken yüksek bir başarı oranına sahip."
Makalede esas olarak "yapay zekadaki en zorlu ve uzun süredir devam eden zorluklardan biri" tartışıldı: makinelere insan dilini nasıl anlayacaklarını öğretmek. Doğal dil işleme teknolojisi yöntemini geliştirmek için modelin doğrulanması ve tanıtımı ve soru-cevap sisteminin potansiyel uygulaması yoluyla performansı artırarak.
Kağıt bağlantısı:
https://stacks.stanford.edu/file/druid:gd576xb1833/thesis-augmented.pdf
Aşağıda makalenin özeti ve makalenin çerçevesi verilmiştir (orijinal metni değiştirmeden çevrilir):
Özet
Makinelere insan dili metnini anlamayı öğretmek, yapay zekanın karşılaştığı en zor ve uzun süredir devam eden zorluklardan biridir. Ve bu makale okuduğunu anlama sorununu tartışıyor: metni gerçekten anlayabilen ve soruları cevaplayabilen bir bilgisayar sisteminin nasıl kurulacağı. Bir yandan okuduğunu anlamanın bilgisayar sistemlerinin insan dilini anlama yeteneğini değerlendirmek için önemli bir gösterge olduğuna inanıyoruz. Öte yandan, verimli bir okuduğunu anlama sistemi kurulabilirse, bu otomatik soru cevaplama ve diyalog sistemlerinin uygulanması için anahtar bir teknoloji haline gelecektir.
Bu makale, derin sinir ağlarına dayanan bir tür okuduğunu anlama modeli olan sinirsel okuduğunu anlama üzerine odaklanmaktadır. Seyrek, manuel, özellik tabanlı geleneksel modellerle karşılaştırıldığında, bu uçtan uca sinirsel modelin zengin dil fenomenlerini öğrenmede daha etkili olduğu kanıtlanmış ve modern okuduğunu anlamanın çeşitli göstergelerini büyük ölçüde geliştirmiştir.
Tez esas olarak iki bölümden oluşmaktadır. İlk bölüm esas olarak sinirsel okuduğunu anlamanın özünü analiz eder, etkili bir sinirsel okuduğunu anlama modeli oluşturma çabalarımızı sunar ve daha da önemlisi, sinirsel okuduğunu anlama modelinin gerçekte ne öğrendiğini ve mevcut görev modeli anlama derinliğini çözme ihtiyacını anlar. Ne ölçüde. Ayrıca bu alandaki en son gelişmeleri özetledik, gelecekteki gelişme yönlerini ve çözülmemiş sorunları tartıştık.
İkinci bölümde, nöral okuduğunu anlama modelinin en son araştırma sonuçlarının pratikte nasıl uygulanacağını tartışıyoruz. Bu amaçla iki yeni konu keşfettik:
(1) Büyük ölçekli açık alan sorularını ve cevaplarını çözmek için bilgi edinme teknolojisi sinirsel okuduğunu anlama ile nasıl birleştirilir;
(2) Mevcut tek yönlü soru cevap yönteminden okuduğunu anlama modeline dayalı diyaloglu soru cevap sistemine nasıl dönüştürülür. Bu yöntemleri DRQA ve COQA projelerine uyguladık ve etkinliğini kanıtladık. Bu yöntemlerin gelecekte dil teknolojisi alanında büyük gelişme beklentilerine sahip olacağına inanıyoruz.
Ayrıntılı bölüm tanıtımı
(ilk kısım)
İkinci bölüm esas olarak okuduğunu anlama görevinin tarihini ve son yıllardaki gelişim durumunu açıklamaktadır. Daha sonra soru formülünü ve ana kategorileri tanımlayarak okuduğunu anlama ile genel soru cevaplama arasındaki farkı kısaca tartışır.Son olarak, son yıllarda hem büyük ölçekli veri setlerinin hem de sinir modellerinin getirdiği sinirsel okuduğunu anlamanın başarısını tartışır.
Üçüncü bölüm, esas olarak kendi araştırma çalışmalarına dayanmaktadır. İlk önce tüm sinirsel okuduğunu anlama modellerini tanıttı. Sinir dışı ağ yöntemlerinden ve özellik sınıflandırmasına dayalı yöntemlerden başlayarak, uçtan uca sinir yöntemleriyle farklılıklarını tartışın. Daha sonra sinir ağı yöntemine, kendi önerdikleri yöntem olan "STANFORD DİKKAT OKUYUCU" nu ve bu yöntemi iki temsili veri kümesine, CNN / DAILY MAIL ve SQUAD'e uygulamanın deneysel sonuçlarını tanıttılar. Daha da önemlisi, sinir ağı modelinin neden daha iyi anlama yeteneğine sahip olduğunu da derinlemesine analiz etti. Son olarak, son yıllarda sinirsel okuduğunu anlama modelinin farklı yönlerinde kaydedilen ilerlemeyi özetlemektedir.
Dördüncü bölüm, esas olarak bu alanda açık araştırma konularında gelecekteki araştırma çalışmalarını tartışmaktadır.
(ikinci kısım)
Bölüm 5'te, açık alan soru cevaplamayı okuduğunu anlama uygulamalarından biri olarak ele alıyoruz. Yeni nesil açık alanlı soru cevaplama sistemi oluşturmak için yüksek performanslı sinirsel okuduğunu anlama sistemi ile etkili bilgi alma teknolojisi nasıl birleştirilir. Aynı zamanda, araştırma çalışmamıza dayanarak, temel bölümleri ve bunun için eğitim verilerinin nasıl oluşturulacağı dahil olmak üzere DRQA sistemini tanıttık ve birden çok görev karşılaştırmasında değerlendirdik. DRQA sisteminin sınırlamalarını ve işin gelecekteki yönünü tartışmak için.
Altıncı bölüm diyalog soru cevap sistemini inceler, yani makine bir metin paragrafını anlamalı ve diyalogdaki bir dizi soruyu cevaplamalıdır. Diyalog sistemiyle ilgili makaleleri kısaca inceledikten sonra, bilgi arama diyaloğunun ana gövdesini inşa etmenin anahtarının diyalog sorusu ve cevabı olduğu görülmüştür. Daha sonra, diyalog soru cevap sistemi için oluşturulmuş yeni bir veri seti olan CoQA'yı tanıttım. 8k diyalogdan metin paragraflarında toplanan 127.000 soru ve cevap ve cevap derinlemesine analiz edildi ve çeşitli modeller oluşturuldu. 2019 yılında bu aşamadaki çalışmalarımızın bir kısmına dayanarak, bu alanın gelecekteki yönünü de tartıştık.
Son olarak, 7. Bölümdeki makaleyi bitiriyoruz.
Belki de bunu okuduğunuzda, Chen Danqinin harika geçmiş yaşamını zaten kıskandırıyor ve şu anki akademik başarılarına hayran kalmış olabilirsiniz, ama belki de bilmediğiniz şey şudur: yurtdışında okuyan kariyeri Kaç sorun ve hayal kırıklığı var?
Örneğin, aynı zamanda Chris Manning'in öğrencisi olan Qi Peng ve Chen Danqi, Tsinghua'dan ve aynı zamanda oldukça güçlü figürler.
2012 yılında, Qi Peng, Tsinghua Üniversitesi'nden% 89,9 (İlk 5) not ortalamasıyla mezun oldu. Aynı yıl, Doha'da düzenlenen 2012 Uluslararası Sinirsel Bilgi İşleme Konferansı'nda, Çin Bilimler Akademisi akademisyeni ve bilgisayar bilimi profesörü Zhang Boolin ve danışmanı Hu Xiaolin, makalenin ortak yazarıdır. Görsel Alanın Modellenmesi için Hiyerarşik K-Means Algoritması V2 Nöronları Görsel Alanın Modellenmesi için V2 Nöronlar En İyi Makale Ödülü'nü kazandı.
2013 yılında Qi Peng, Wu Enda'nın öğrencisi oldu ve çalışmalarına Stanford'da devam etti.
2015 yılında, Qi Peng, Chris Manning'in rehberliğinde doktora için çalışırken Chen Danqi ile Paper yayınına ek olarak, başka işler de yaptı: Örneğin, ikisi tarafından yayınlanan en son makale, Stanford Üniversitesi NLP grubu tarafından yayınlanan en son makaleyi tanıttı. Makine okuma veri seti-CoQA ve HotpotQ.
Hem Chen Danqi hem de Qi Peng gökten gurur duysa da, özellikle yabancı bir dilin konuşulduğu başka bir ülkede, doktora okumak her zaman zor olmuştur.
Chen Danqi'nin doktora tezi kabulünde yazdığı gibi:
"Gerektiği gibi, Stanford'da 5 İngilizce kursu almam gerekiyor. Bu ülke hakkında pek bir şey bilmiyorum ve" doğal dil işleme "kavramını hiç duymadım.
Kekemelik İngilizce'den 156 sayfalık İngilizce makalelere kadar, zorluklar hayal edilebilir. Dr. Çalışma deneyimi, Qi Peng'in doktora yapmaya karar vermeden önce birçok psikolojik hazırlık yapmış olması gerektiğini gösteriyor.
"Çevirmenin Önsözü" nde Qi Peng şunları yazdı:
"Orijinal yazarın bu cümlesiyle, onlara saygımızı bir kez daha ifade ediyoruz: yaratmayı seven herkese adadık." Ayrıca Chen Danqi ve Qi Peng gibi öğrencileri bilgisayar alanında yaratmayı seven herkese saygı göstermek için kullanmak istiyoruz.
