Chen Tianqi: On yıllık makine öğrenimi araştırması
Chen Tianqi'den iletme yetkisi konuyu biliyor
Orijinal adres: https://zhuanlan.zhihu.com/p/74249758
Editörün notu: Chen Tianqi, makine öğrenimi alanında tanınmış genç bir bilim insanıdır. Shanghai Jiaotong Üniversitesi'nin ACM sınıfında okudu ve Washington Üniversitesi'nden Bilgisayar Bilimleri alanında doktora derecesi aldı. XGBoost, MXNet, TVM ve diğer tanınmış makine öğrenimi araçlarını geliştirdi. Kısa bir süre önce, kişisel Twitter'ında 2020 sonbaharında yardımcı doçent olarak CMU'ya katılacağını duyurdu. Bu makale Chen Tianqi'nin Zhihu sütunundan yeniden basma yetkisine sahiptir.
On yıl önce, MSRA yazında, makine öğrenimi araştırmasıyla ilk denemeye başladığımda, bilimsel araştırmalardaki büyük belirsizlikle karşılaştığımda kafam karıştı ve kafam karıştı. On yıl sonra, bir sonraki adım atılmak üzereyken, gelecek hala çok belirsiz, ancak beklentiler biraz daha fazla. Buradaki değişiklikler de son on yılın gölgesini taşıyor.
Başlangıç: Araştırma nedir
Birinci sınıftan beri Jiaotong Üniversitesi'nin APEX Laboratuvarına girdim. Kıdemli Dai Wenyuan ile makine öğrenimi yapmak için çalıştığım için şanslıydım. O zamanlar, "makine öğrenimi" adının çok yüksek olduğunu hissettim ve bu yönü seçtim, ancak bir yıl boyunca yaptıktan sonra hala anlayamadım. Bağımsız olarak bilimsel araştırma yapma ve makale yazma hayatını gerçekten çok özlüyorum, ama her zaman nasıl başlayacağımı bilmiyorum.
Wen Yuan, laboratuvara girdikten bir yıl sonra Baidu'ya gitti. O zamanlar, son sınıf öğrencimin gerçek yaşam öyküsünü almamıştım ve bilimsel araştırmamın ilk aşamasına başladım. Lise son sınıfımdan yüksek lisans derecemin ikinci yılına kadar, kendime el yordamıyla "bilimsel araştırma nedir" diye sormaya devam ettim.
Ders çalışmasının aksine, akademik araştırmanın belirli soruları, belirli yöntemleri veya belirli yanıtları yoktur. Wen Yuan'ın ayrılması ne yapacağımı merak etmeme neden oldu. O zamanki fikrim çok basitti, belirli bir yön bulmak için acele et ve bir ödevi tamamla. ACM sınıfının imkânından dolayı yazın MSRA'da kısa bir staj yaptım, çok şey öğrenmeme rağmen cevap vermedi. MSRA geri döndükten sonra, laboratuvardan öğretmen Xue'nin önerisi üzerine doğru görünen ama şimdi yanlış görünen bir yön seçtim. Derin öğrenme .
Bu, AlexNet'in ortaya çıkmasından iki yıl önceydi: Derin öğrenmenin ana odak noktası, denetimsiz öğrenme ve sınırlı Boltzmann makineleriydi. Eğitmenin ve araçların rehberliği olmadan, laboratuvardaki iki grafik kartına ve yazdığım CUDA koduna güvenerek iki buçuk yıllık bir derin öğrenmeye başladım. Laboratuvar sorumlusu bana sordu, ne yapacaksın, dedim: "ImageNet'in sınıflandırma verimliliğini iyileştirmek için evrişimli RBM kullanmak istiyorum." Bu cevap, kütüphanede ve laboratuvarda sayısız gün ve gece açtı. Laboratuvardaki eski makineye yüksek güçlü bir grafik kartı getirmek için, bir makinenin kasasını açtık ve harici bir güç kaynağını dışarıya taktık.
Hayatım ayar döngüsü içinde devam ediyor: görsel ağırlıkların görüntüsü biraz insan yüzüne benziyor, ancak doğruluk her zaman iyileştirilmiyor, tekrar yapalım. Başlangıçta ekran kartı kodunu hacklemenin heyecanından, bir yıl sonraki kaygısına, zaman zaman ağacın altına dönme-değişmez bir modelin nasıl ekleneceğini düşünmeye çalışılmasına kadar, bu doğrultuda dördüncü sınıftan yüksek lisansa kadar bir yıl geçirdim. Tüm zamanın yarısı, sonuna kadar hiçbir şey yoktu.
Görünüşe göre o zamanlar çok bariz bir hata yapmışım - yaygın bilimsel araştırma ya Problem odaklı "ImageNet sınıflandırma problemi nasıl çözülür" gibi veya Yönteme dayalı , "RBM ne için kullanılabilir" gibi. O zaman çözülecek problemi ve problemi çözmek için kullanılan çözümü aynı anda kilitledim, yani başarı ihtimali doğal olarak yüksek değildi. O zaman tüm alandaki çeşitli fikirlere bakarsam, örneğin, Lecun çoktan baştan sona çok erken yapmıştı, belki de son farklı olacaktır.
Tabii ki hayır yok. İki buçuk yıl boyunca bahis oynadıktan sonra, geriye kalan tek şey gazeteyi ne zaman yayınlayabileceğimle ilgili gerginlik. Endişeli, yön değiştirmeyi planlamaya başladım, çünkü RBM o sırada öneri sistemine daha klasik bir makale uyguladı ve öneri sistemi ile iletişime geçmeye başladım ve kddcup .
Neyse ki bu sefer tek yöntem olarak RBM kullanmadım, bunun yerine öneri sistemindeki matris çarpanlara ayırma algoritmalarına daha kapsamlı bir şekilde baktım ve laboratuvarda daha genel bir matris çarpanlara ayırma sistemi kurdum. . Öneri sistemi yönündeki sıkı çalışma giderek arttı, iki yıllık KDDCup11'de iyi sonuçlar elde ettik. KDD12 Pekin'deydi ve Çin Yeni Yılından vazgeçti.Özellik tabanlı dağıtılmış matris çarpanlara ayırma konusundaki ilk makaleyi tamamladım ve KDD'ye oy vermekten çok heyecanlandım.
Nisan ayının sonunda, KDD'den erken bir ret bildirimi aldık - makale, incelemenin ilk turunu bile geçmedi. Reddetme bildirimini aldığımda, son derece sinirliydim, çünkü bu, çoğunlukla bağımsız olarak yayınladığım ilk makaleydi.
Chen Tianqi'nin Kaggle sayfası
Mayıs ayında dönüm noktası, KDDCup12'nin kapatıldığı ve ilk pist şampiyonluğunu kazandığımız zaman oldu. KDDCup12 şampiyonluğunu kazandığım anı hala hatırlıyorum. Eyaletin ortasında exalibur oynadım, sanki usta dönemindeki tüm puslu gibi. Uzaklaştı. O zamanlar, bilimsel araştırmanın ne olduğunu hâlâ tam olarak bilmiyordum, ancak denemeye devam edebileceğimi hafifçe hissettim.
Yıl sıfır: ne yapılabilir
Bilimsel araştırma konusundaki görüşlerimdeki ilk dönüm noktası, yüksek lisans derecemin mezuniyete yaklaştığı zamandı.
Öğretmen Li Hang laboratuvarımıza geldi ve makine öğrenimi ve bilgi alma hakkında bir rapor verdi ve bizimle bir tartışma yaptı. Raporlama sürecinde çok heyecanlandım ve hatta zaman zaman zıplamak istedim, çünkü bu kadar çok ilginç problemi nasıl çözeceğimi bildiğimi fark ettim, ancak bu sorunları daha önce yapabileceğimi hiç düşünmemiştim.
Öğretmen Li Hang ile iletişime geçtikten sonra, aynı yılın yazında, Li Hang ve Yang Qiang ile pratik yapmak için Hong Kong'a gittiğim için şanslıydım. Laboratuvardaki birçok yaşlı, Öğretmen Yang Qiang ile çalışmak için Hong Kong'a giderdi ve geri döndükten sonra, hepsi aydınlanmış gibi bilimsel araştırmalarda hızlı ilerleme kaydetti. Hong Kong'a gittikten sonra sebep-araştırma perspektifini anlamaya başladım. Birkaç yıllık eğitimden sonra, o sırada mevcut bir sorunu nasıl çözeceğimi zaten biliyor olabilirim, ancak diğer gerekli becerilere sahip değildim - yeni bir araştırma problemi nasıl seçilir, sonuçlar tatmin edici olmadığında nasıl yön değiştirilir Yeni atılımları, tüm alandaki sorunlar arasındaki ilişkiyi nasıl bileceğinizi vb. Araştırın.
"Hong Kong'dan döndüğünüzden beri yükseltme yaptınız mı." - Bir kahramanın yorumu. Bu, Hong Kong'daki üç aylık stajımın en iyi özeti olabilir. Hong Kong stajının sonunda ilk resmi konferans belgesini aldım (o yıl ICML'de). KDDCup sayesinde şimdiki doktora danışmanım Carlos'un postdocu Danny'yi tanıdım Danny beni Carlos (UW) ve Alex'e (CMU) tavsiye etti. Başvurduğumda UW ve CMU'dan teklif alacak kadar şanslıydım.
CMU'yu ziyaret ettiğimde, Yüce Tanrı'nın efsanevi başı Li Mu ile tanıştım. O ve ben iç geçirdik, şimdi büyük veri patlamasının zamanı geldi, ancak mezun olduğumuzda zamanın ne olacağını bilmiyoruz, ancak öte yandan her zaman daha önemli şeyler yapabiliriz. Şimdi bu konuşmayı düşünürken, hala iç çekiyorum. Sonunda altı yıllık doktora hayatıma başlamak için UW'yi seçtim.
Doktorun APEX laboratuvarı ve Hong Kong'daki önceki deneyimi sayesinde Doktor başladığında, artık ne yapabileceğim konusunda endişelenmiyor gibiydim.
İlk yıl: Kazayla ne kazanabilirsiniz?
UW'deki ilk yılımda bana bir tema verirseniz, bu bir "kaza" olabilir. İlgim nedeniyle Jiaotong Üniversitesi'ndeyken, rastgele süreçleri ve Markov zincirlerini tartışmak için sistem biyolojisi araştırmacısı Ao Ping'in grubuna gidiyordum. UW'nin ilk yarıyılında, örnekleme için Lagevin sürecini nasıl kullanacağımı tartışan bir makale görmeyi düşünmedim. Sanırım önceki grup toplantısında tartıştığım şey bu. Bu yöntemlerin makine öğreniminde de kullanılabileceği ortaya çıktı. HMC'nin verimli örneklemesi hakkındaki ilk makaleyi tamamlamak için doğrudan orijinal Chiao Tung Üniversitesi'nin bilgilerini ödünç aldım. Ben bu yönde çalışmaya devam etmedim ama yine grup toplantısında bulunan bir başka öğrenci doktora tezini bu doğrultuda tamamlamaya devam etti.
Aynı yıl öğretmenim ve ben başladık "Derin öğrenmeyle ilgili soru" - Diğer makine öğrenimi modelleri yeterli model kapasitesine ve veriye sahipse, derin öğrenmeyle aynı etkiyi elde edebilirler mi? O sıralarda Carlos çekirdek yöntemleri konusunda iyimserdi ve ben de geçmiş deneyimlerimden dolayı Tree Boosting'i denemeye karar verdim. Görüş alanında hala evrişimli ağ tarafından yenilgiye uğratılmış ve meydan okuma girişimi başarısızlıkla sonuçlanmıştır, ancak bu hipoteze meydan okumak için verimli Ağaç büyütmeyi başaran sistem, küçük ortakların önerileriyle açık kaynak haline gelmiştir. XGBoost .
İlk yılın yaz tatilinin sonunda tesadüfi nedenlerle kuantil eskiz algoritmasına ilgi duymaya başladım. Buradaki temel sorun, niceliği bulmak için birleştirilebilecek yaklaşık bir veri yapısının nasıl tasarlanacağıdır. Bu yönde klasik bir GK eskiz kağıdı var, ancak yalnızca veri noktalarının ağırlığının olmadığı durumu çözebilir. Bir veya iki günlük türetmeden sonra, nihayet sonucu bir dağa tırmanma yolunda ağır bir güç durumuna genişlettim. İlginç olan, yeni ispatın orijinal ispattan çok daha basit görünmesidir. Bu sonuç ayrı olarak yayınlanmadı, ancak daha sonra beklenmedik bir şekilde dağıtılmış XGBoost algoritmasında kullanıldı ve kanıt XGboost makalesinin ekine de dahil edildi.
Chen Tianqi, XGBoost Workshop'ta bir konuşma yaptı
Araştırma yapmak istediğiniz şeyi yapmaktan ve onu iyi yapmaktan ibaret değildir Başlangıçta ilgi ilgi tarafından belirlenir, ancak birkaç yıl sonra beklenmedik sonuçlar elde edilir, çok iyi hissettirir.
İkinci ve üçüncü yıl: ne seçilir
Birinci sınıf toplantısında, Carlos bana çoktan makaleler yayınladığınızı ve sonra sakinleşip büyük şeyler yapmanız gerektiğini, "yalnızca en iyi kağıt düzeyinde araştırma yapın" dedi. Pek çok iyi hocadan farklı olarak, Carlos'un öğrenciler için çok katı gereksinimleri vardır ve konuşması çok açık ve hatta "keskin". Hangi fikirleri ileri sürersek öne sürelim, birçok öğretmen her zaman önce bunu onaylayacak, ancak Carlos bunu doğrudan sorgulayacak. Başlangıçta kendimi çok rahatsız hissediyorum ve özgüvenimin sarsıldığını hissediyorum ama yavaş yavaş bu stile alışıyorum. Şimdiye kadar, dürüst geri bildirim gerçekten en çok yararlandığım şey. Doktora programına girdikten bir yıl sonra, düşündüğüm asıl soru ne tür bir problem yapabileceğimdi, bu benim derinlemesine çabalarıma ve sağlam ve etkili çalışmalarıma değer.
Doktora programının üçüncü yılında, Carlos XGBoost'u tez olarak yazmamı öneriyordu: "Okurların bir şeyler öğrenebileceği bir makale yaz" sözleriyle. Geleneksel yazma yönteminden farklı olarak, bölümde belirtilen noktaları doğrulamak için makalenin her bölümüne deneysel sonuçlar ekledik. Ve onun çizimi idare etmesi şu anki alışkanlığım haline geldi, doğrudan çizime ok işaretleri ekleyerek okuyucuların okuma yükünü azalttı. Birkaç cilalı kağıttan sonra nihayet istediğimiz şey oldu.
Doktora öncesi derin öğrenmeye duyduğum pişmanlık, dikkatimi yavaş yavaş derin öğrenmeye çevirmeme neden oldu. Şu sıralar tek başıma savaşmamayı seçtim, doktora eğitimimin ikinci ve üçüncü yıllarında, ilgilenen arkadaşlarımla çalışıp birlikte başladım. MXNet s projesi. Proje sıfırdan başladı ve sadece bir yılda komple bir yapı oluşturuldu. İlk defa herkesin güçlü yanlarını birleştirerek ne tür şeyler yaratılabileceğini gördüm. Araştırmanın neşesi sadece gazete yayınlamakla ilgili değil, aynı zamanda başkalarına ne getirebileceğiyle ve hatta daha cesurca dünyayı nasıl değiştirebileceğimizle ilgilidir.
GitHub'da MXNet projesi
Doktora programımın ikinci yazında arkadaşlarımın tanıtımına girdim. Google Brain takip et Ian Goodfellow uygulama. O sırada, GAN'ın makalesi yeni yayınlanmıştı ve Ian'ın ilk stajyeri olacak kadar şanslıydım.
Staj başlangıcında ne yapılması gerektiğini tartıştık Ian ve ben olası projeleri risk ve getiri eğrisi üzerine çizdik ve ben seçeyim. Sonunda önerdiğim bir konuyu seçtim, bu eğride risk en yüksek ve getiri en yüksek.
Hayat boyu öğrenen bir makine öğrenimi sistemi kurmayı ve ortaya çıkabilecek sorunları çözmeyi umarak her zaman bir idealim oldu. Bu ideal çok belirsiz, ancak muhtemelen küçük hedeflerden birini-bilgi aktarımını bulmanın yollarını düşünüyoruz. Bir makine öğrenimi sistemi bir ömür boyu öğrenmek istiyorsa, veri topladıktan sonra daha geniş veya daha derin öğrenmek için kaçınılmaz olarak modelin ölçeğini genişletmesi gerekecektir. Mevcut uygulamaya göre, orijinal modeli ancak model değiştirildikten sonra bırakabilir ve yeniden eğitebiliriz. Bu açıkça yeterli değil Verimli.
Eğitimli ağdan bilgi aktarmanın bir yolu olup olmadığı önemli bir soru haline geldi. Daha bariz bilgi damıtma yöntemini ilk olarak bir buçuk ay denedim ama olumlu bir sonuç alamadı. Geçen ay fikrimi değiştirdim. Stajın bitiminden bir hafta önce, Tensorborard üzerindeki son deneylerin sonuçlarını açtım: Deneyler, yeni fikirlerin olumlu etkilerini gösterdi. Bu son birkaç adımın şansı da bana bu macera için nispeten tatmin edici bir sonuç verdi. Bu makale nihayet ICLR'de yayınlandı ve aynı zamanda en sevdiğim sonuçlardan biri.
Doktora programının üçüncü yılında, arkadaşlarım ve ben doğrusal karmaşıklıktan daha az karmaşıklık ile daha derin modeller eğitebilen bir bellek optimizasyon algoritması geliştirdik. O sırada bu sonucu yazmak ve sonra metni öğretmene göstermek beni çok heyecanlandırdı. Bana şöyle dedi: Hmm, eğer bu sonuç NeurIPS için oylanırsa, bir poster olabilir, ama bu özellikle ilginç değil. Sessiz kaldıktan sonra ekledi: Ne kadar çok kağıt o kadar iyidir, tam tersine, kağıdınızda en düşük kaliteye sahip olanı optimize etmeye çalışabilirsiniz. Sonunda bu kağıdı Arxiv'e kapattık. Carlosun açıklaması aşırı olabilir (bu makale hala sonraki birçok çalışmayı etkiliyor), ama gerçekten de doğrudur. Li Mu'nun daha önce söylediği bir cümleyle özetleyerek, her bir kağıdın kalitesinin tekdüze bir gelişmeye yakın olmasını sağlamak için yapmak zor ama en çok şey yapmaya değer.
İyi sonuçlar elde etme yeteneği kadar vizyonu seçmek de önemlidir.Vizyon, işin üst sınırını belirler ve yetenek, bu üst sınıra ulaşılıp ulaşılmayacağını belirler. Jiaotong Üniversitesi'ndeyken, Öğretmen Ao Ping bir keresinde bana basit bir şeyi yapmanın tek başına zor bir şey kadar zaman aldığını söylemişti. Çünkü basit soruların bile pek çok önemsizliği vardır. Bir şey elde etmek istiyorsanız, bu kaçınılmaz olarak başka şeylerden vazgeçmek anlamına gelir, bu durumda neden her zaman rahat bölgenizden çıkıp sizi en çok heyecanlandıran bir soru seçmeyesiniz?
Dördüncü yıldan sonra: ne üzerinde ısrar etmeli
Doktora derecemin üçüncü yılında arkadaşlarımla birlikte GTC'ye katıldık, eski sarı partinin bitiminden sonra şaşkınlık içindeydim. Derin öğrenme çerçevesinin gelişimi başlatıldı, ancak daha sonra ne yapmalıyım, birden kafam karıştı. Üçüncü yılın yaz tatilinde staj yapmadım, bunun yerine zihnimde beliren soyut kavramı - derin öğrenmenin ara temsili - geliştirmeye karar verdim. Yaz tatilinden sonra, derin öğrenme sistemindeki hesaplamalı grafik belleğinin optimizasyonunu esnek bir şekilde destekleyebilecek ilk sürümü tamamladım. Ama her zaman bir şeyin hala eksik olduğunu hissediyorum - sistemin darboğazı, temeldeki operatörün uygulanmasına daha yakın. Yaz tatilinden sonra Kaliforniya'ya giden uçakta, matris çarpımını optimize etmek için olası döngüsel dönüşümleri kağıda çizmeye çalıştım. Döndükten sonra, daha cesur bir projeyi teşvik etmeye karar verdik - otomatik derleme ile makine öğreniminin temel kodunu optimize etmeye çalışın. .
Uzun zaman önce bu proje için bazı fikirlerim vardı, ama bu yengeci yemeye asla cesaret edemedim. Nedeni, iki özelliğidir: sıfırdan başlamak ve birden çok alana yayılmak. Düşük seviyeli kod üretme ihtiyacından ve yeni donanımı desteklemek istediğinden, daha önce mevcut işletim sistemi ve sürücüler tarafından gizlenmiş olan birçok sorunu yeniden anlamamız gerekiyor.Bu, ıssız bir adada hiçbir şey olmadan yeniden inşa etmek gibidir. Bir kale gibi. Bu aynı zamanda sistemler, programlama dilleri, mimari ve makine öğrenimi alanlarını da içerir.
Bu bana, derleyiciyi ve MIPS işlemcisini yeniden oluşturma ve bunları ACM sınıfına bağlama konusundaki önceki deneyimimi hatırlatıyor. Sorunları çözmek için birden fazla alandan yengeç yemenin heyecan verici bir şey olduğunu hissettiren de bu deneyim oldu. Bu deneyimin bıraktığı ikinci işaret, işbirliğinin ve mirasın önemini anlamamdır. Bu dersin tasarımında bir gelenek vardır.Her dersin öğretmeni bir önceki son sınıf öğrencisi tarafından yapılır. Her sınıftaki öğrenciler öncekilere göre gelişecek. Ayrıca bu kursa bazı küçük katkılarda bulundum. Şimdiye kadar geliştirilen bu kurs, basit bir savunmadan çevrimiçi değerlendirmeyle bir OJ'ye geçti. Herkesin işbirliği bu kursu şekillendirdi. Yeni makine öğrenimi sistemini tanıtmak ve bu kursu şekillendirmek, tüm ekiplerden öğrencilerin işbirliği, yeterli zaman ve hasta ilgisi ile sürekli iyileştirmeyi gerektirir.
İş arkadaşlarım da bu projeye "dahil oldu". Mimari işbirlikçilerim her zaman yeni AI donanımı tasarlamak istediler. Prototip tamamlandıktan sonra, yeni donanımın nasıl birlikte tasarlanacağını tartışmak için çok zaman harcadım. Çip üstü belleğin nasıl yönetileceğini, komut setlerinin nispeten daha kolay nasıl üretileceğini ve hatta bellek okuma / yazma ve paralel hesaplama problemlerinin nasıl programlanacağını tartışmaya başladık. Bir gün bir iş ortağıma, bellek okuma ve yazma ek yükünü gizlemek için sanal iş parçacığı kavramını tanıtmamız gerektiğini söyledim ve sonra bana bunun mimarideki klasik hiper iş parçacığı teknolojisi olduğunu ve mucidin bölüm başkanımız Hank olduğunu söyledi. . Klasik problem çözümlerinin uygulanmasını yeni senaryolarda sürekli olarak yeniden keşfediyoruz, bu da bana en iyi mimarlık kursunu aldığımı hissettiriyor.
Son iki yıldaki birçok önemli teknolojik atılım, ilginç zamanlarda gerçekleşti. Seattle Sanat Müzesi'ndeki sonsuzluk aynası sergisini ziyaret etmek için sıraya girerken, bir Starbucks peçeteye hızlandırıcı bellek kopyalama desteğinin ilk planını yazdım. Daha sonra programlama dili yönünde öğrenciler de katılmaya devam etti. En çok tartıştığımız şey, herkesin anlayabileceği ara ifadeler yapmak için işlevsel dilleri ve klasik hesaplama grafiklerini nasıl dengeleyeceğimizdir Bu tartışma devam ediyor. Herkesin çabasından sonra, TVM İlk makalesi, proje başladıktan iki yıl sonra nihayet yayınlandı. Geçtiğimiz iki yılda projeye katılan öğrenci sayısı iki kişiden bir ekibe, yeni bir laboratuvara ve bir topluluğa değişti ve bu iki yıl da doktora dönemimin en tatmin edici iki yılı oldu.
Çok sayıda "sınır ötesi" çalışma yaptığım için, bana sık sık hangi alana ait olduğun soruluyor. Son altı aydır çeşitli yerlerde haber yapıyorum. Rapor şununla başlıyor: Algoritma devrimleri, veri patlamaları ve bilgi işlem donanımındaki iyileştirmeler makine öğrenimindeki devrimi destekler ve makine öğrenimi sistemi bu üçünü entegre eder. Bu yüzden bir makine öğrenimi sistemi oluşturmak istiyorum. Bir profesör bana böyle bir soru sorduğunda, yarın yeni bir kimyasal reaksiyon süreci makine öğreniminde bir devrim yaratacaksa ne yapardınız? Cevap verdim: "Bu kimyasal süreci inceleyip inceleyeceğim." Uzak gelecekte neye ihtiyaç duyulacağını bilmesem de, sorundan başlayarak, makine öğrenimi problemini en iyi şekilde çözmek için mümkün olan tüm yöntemleri kullanarak, sistemler, algoritmalar veya kimya olsun, bağlı kalmak istediğim araştırma stili buysa .
Chen Tianqi, CMU'ya 2020'de yardımcı doçent olarak katılacağını açıkladı
sonuç olarak
Bu özeti yazarken kalbimde pek çok iç çekiş var. Derin öğrenme konusunda endişelendiğimde daha fazla içgörü kazanırsam ne olacağını ve stajın sonunda deneyi tamamlamazsam ne olacağını sık sık düşünüyorum. Ama şimdi pek çok zorluk ve çaresizlik rastgele dalgalanmaların bir parçası gibi görünüyor.Yeterince zaman ve sabırla, rastgele süreç her zaman çabayla nispeten istikrarlı bir duruma yaklaşacaktır.
Herkesin araştırma yolu farklıdır ve benim deneyimim binlerce yoldan biri olmalıdır. Doktora deneyimi, kendime yatırım yapmak, kendimi kırmak ve düşünmediğim şeyleri yapmak için bir pazarlık kozu olarak beş yıldan fazla zaman harcamak gibi. İnişler ve çıkışlar ne olursa olsun yeri doldurulamaz bir bölümdür.
Araştırma, özellikle benim için hiçbir zaman bir kişinin işi olmadı. Jiaotong Üniversitesi'ndeyken, öneri sisteminin algoritmasını bir grup genç sınıf arkadaşıyla araştırdım ve doktoram sırasında inşa ettiğim her sistemde birçok işbirlikçinin çabaları vardı. Mevcut sonuçları getiren, herkesin zor işiydi. Bu on yıl boyunca pek çok öğretmenimden, sınıf arkadaşımdan ve aile üyelerinden şahsen cesaret ve yardım aldım, bu çok değerli on yılı bana verdikleri için onlara teşekkür ediyorum.
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
