Makine öğreniminin ve derin öğrenmenin temeli atıldı, algoritma problemlerinin en hızlı şekilde nasıl çözüleceği
Kaynak: Xi Xiaoyao'nun Şirin Evi Satıyor
Bu makale Çoklu içerik , Okumanız tavsiye edilir 12 dakika
Bu makale Mengxin için bir "Bilimsel Simya" el kitabıdır.
Önsöz
Son zamanlarda, abonelik hesabının arka ucunda ve makale yorum alanında herkesin sorularını inceledim ve birçok küçük ortağın artık makine öğrenimi ve derin öğrenmenin teorik temelini oluşturduğunu, ancak gerçek bir algoritma problemini çözmek için gerçekten gerekli olduğunda genellikle iki elini de kullandıklarını gördüm. , Amaçsız deneyin ve hatta modelin performansının yeterince iyi olmadığını çünkü parametrelerin dikkatlice ayarlanmadığını düşünün.
Acemiler için en büyük sorun, problemi çözme mantığının yeterince açık olmamasıdır. "Kaba kuvvet yöntemini" kullanmayı severler, bu nedenle bir
"Açık kaynak kodu bulun"
"Bir süre çalıştırın, parametreleri ayarlayın"
"Etkisi iyi değil, bir sonraki"
"Etkisi iyi, entegrasyon için al"
Sonsuz bir döngüde. Tıpkı aşağıdaki resimdeki gibi
Bir kod parçasına rastladıysa, doğruluğu iki puan artmıştı, bu yüzden "Bu model çok harika, XXXX'i bekle" diye övünmeye başladı. Bir süre çalıştıktan sonra gelişmeyen algoritmaya gelince, "Kağıt tahrif edilmeli ve işe yaramaz" diyordu.
Sonra uzun süre bu şiddetli arayışta sorunu çözdükten sonra başkalarına övünmeye başladı.
"Tehlike, bizim derin öğrenme işimiz sadece parametreleri ayarlamak için kod çalıştırıyor, rekabetçi değil."
Kendini küçümseyen söylem, derin öğrenme alanındaki en büyük trajedi olabileceği için norm olarak kabul edilir.
Bugün sizlerle bilmem gerektiğini düşündüğüm bazı ortak simya bilgilerini paylaşmak istiyorum.Umarım bu makaleyi okuduktan sonra, arkadaşlarım yeni başlayanların simya yeteneklerini ve verimliliklerini geliştirmelerine ve akılsız ayarların kısır döngüsünden çıkmalarına yardımcı olabilirler.
Özellikle, aşağıdaki hedeflere ulaşmanıza yardımcı olmayı umuyorum:
- hızlı : Bir algoritma problemini olabildiğince çabuk çözün
- yarı : En az sayıda deneme yanılma ile en uygun stratejiyi bulun
- kararlı : Deneyleri hataya en az açık şekilde yönetin
yarı
"Hızlı" dan bahsetmeden önce, önce "yarı" kelimesinden bahsedelim, çünkü yarı hız en önemli konu ve öncüldür.
Araştırma yapın ve başlangıç noktasını bulun
Bir algoritma problemini üstlendikten sonra, bol zamanınız varsa, önce algoritma probleminin karşılık geldiği akademik konferansı veya günlüğü bulabilirsiniz:
Örneğin, sorgu-belge uygunluk eşleştirme sorununu çözmek istiyorsanız, NLP toplantıları yerine SIGIR, CIKM ve diğer IR ile ilgili toplantılara öncelik vermelisiniz;
NLI, Q&A ve diyalog gibi anlamsal eşleştirme problemlerini çözmek istiyorsanız, IR toplantıları yerine ACL, EMNLP, NAACL ve COLING gibi NLP toplantılarına öncelik vermelisiniz;
Eşleştirme modelini tamamladıysanız ve onu daha küçük ve daha hızlı hale getirmek için sıkıştırmak istiyorsanız, ICLR, NIPS ve diğer daha genel derin öğrenme ve sinir ağı konferanslarına öncelik vermelisiniz.
Algoritma problemleri için muadil toplantıyı bulamıyor musunuz? En azından AAAI ve IJCAI'yi ziyaret edebilirsiniz (karışık balık sorunu daha ciddi olsa da).
Ardından makalenin başlığına göre, son iki yıldaki algoritma probleminize en yakın olan birkaç makale bulun ve yavaşça araştırın. Bu kağıtlar aracılığıyla ilgili iş bölümü ile Deneysel bölüm , Aşağıdaki resme benzer şekilde daha önceki çalışmaları izlemek kolaydır ( @ Bir makale), bu nedenle genellikle daha önceki makaleleri manuel olarak araştırmaya gerek yoktur.
Bu nedenle, bu algoritma problemi için daha modern çözümler ve daha klasik (basitleştirilmiş) klasik (tek) yöntemler bulmanız çok mantıklı ve sonra iyi bir temele sahip olacaksınız.Stratejinin birkaç yinelemesinden sonra, yeni bir makale bulabilirsin. kağıt.
Bununla birlikte, yeterli zaman yoksa ve çözülmesi gereken problem görece basitse (örneğin, tipik bir metin sınıflandırma problemi, sıra etiketleme problemi vb.), Zhihu'da arama yaptığınızda çoğu zaman sürprizlerle karşılaşabilirsiniz. Mümkün değilse, Xiaoxi'ye sorabilirsiniz. Pekala () Elbette, sorun çok karmaşıksa, sağ üst köşedeki Zhihu özel mesajıyla iletişim kurmanız önerilir (// //) \
Kısacası, kaba kuvvet ayarlaması için doğrudan github üzerindeki bir depoya gitmeniz kesinlikle önerilmez.Genel arama motorları aracılığıyla çok sayıda hazine yöntemini bulmak zordur (bu davranış oyun listesinin her yerinde görülebilmesine rağmen).
Kapalı bir strateji yinelemesi döngüsü oluşturun ve çabanın yönünü bulun
Kaba kuvvet deneme yanılmasından kaçınmanın ikinci adımı Tam bir strateji yinelemeli kapalı döngü oluşturun . Farklı problemlerin farklı kısıtlamaları olduğundan, tüm algoritma problemlerine uyabilecek mutlak bir süreç yoktur. En sık kullandığım yinelemeli kapalı döngülerimden biri
Veri seti analizi-ön işleme stratejisi-algoritma stratejisi-model değerlendirme-vaka çalışması
Xiaobai için, genellikle üçüncü ve dördüncü adımlarda sonsuz bir döngüye giriyor ve ilk iki ve son halkayı göremiyor.
Dabai için genellikle ek ön işleme stratejileri düşünebilirsiniz.
1. Veri seti analizi
Veri setini aldıktan sonra, birçok acemi, parametreleri hevesle ayarlamaya başladı. Aslında, Başlamadan önce veri kümesinin basit bir analizini yapmak, fiziksel emeğinizi büyük ölçüde azaltmanıza yardımcı olabilir (önceden güvenilmez stratejileri ve hassas olmayan hiperparametreleri ortadan kaldırın) ve yeni görevlerle ilk karşılaştığınızda ölümcül hataları büyük ölçüde azaltın Olasılık.
Örneğin, örnek uzunluğu dağılımını basitçe sayarsanız, maksimum sıra uzunluğu parametresinin genel değer aralığını bilebilirsiniz. Bunu çok önemli bir hiperparametre olarak görmenize ve küçükten büyüğe ayarlamanıza gerek yoktur; basitçe kategori dağılımını sayabilirsiniz. Pozitif-negatif örnekleme oranı 9: 1 olduğunda% 90 doğruluk oranıyla kayıtsız kalmazsınız ve karar vermeyi yanlış yönlendirirsiniz; veri kümesini birkaç kez daha tararsanız, metin stiliyle ilgili görevlerle ilk karşılaştığınızda İngilizce kelimeleri tek bir şekilde küçük harflerle yazmazsınız .
2. Ön işleme stratejisi ve algoritma stratejisi
Bu bağlantıda çok fazla detaya girmeye gerek yoktur En doğrudan yol, bir önceki bölümün anket sonuçlarını taşımak ve doğrulama için daha etkili stratejilerden bazılarını belgede taşımaktır. Ancak, birine özellikle dikkat edin anlamlı Soru şu ki, bu stratejiyi hareket ettirmenin veya hatta yeni bir strateji tasarlamanın amacı nedir? Hangi problemi çözmek istiyorsun? Sonuçta, makaledeki birçok stratejinin uygulama senaryoları çok sınırlıdır ve amaçsız kullanım, gereksiz işleri büyük ölçüde artırabilir.
3. Model değerlendirmesi
Model değerlendirme problemi genellikle oyun oynarken karşılaşılmaz ve genellikle daha olgun algoritma görevlerinde çözülür. Örneğin, metin sınıflandırması söz konusu olduğunda aklınıza acc ve f1 gibi göstergeler gelebilir; makine çevirisi söz konusu olduğunda bleu vb. Bununla birlikte, birçok algoritmik sorun var ve bir tane bulmak zor Tarafsız ve otomatik Değerlendirme göstergelerinin.
Tipik bir örnek, açık alan diyalogu oluşturma sorunudur.
Makine çevirisi ile aynı olmasına rağmen, bu da bir nesil problemidir, ancak BLEU'yu bir değerlendirme göstergesi olarak kullanmaya devam ederseniz, BLEU diyalog üretimi için önyargılı bir değerlendirme göstergesidir.Ne kadar yüksek fırçalarsanız fırçalayın, diyalog oluşturma modelinin kalitesini gerçekten yansıtmak zordur. (Diyalog oluşturma probleminde makine çevirisinde güçlü bir hizalama yoktur). Daha da kötüsü, tarafsız otomatik göstergeler bulunamadığından, stratejinin her yinelemesi, bir grup insanın güçlü bir şekilde etiketlemesini ve puanlamasını ve anormal bir etiketleyici olup olmadığını kontrol etmesini gerektirir (belki bir bebek rahatsız edici olabilir) Rastgele bir çağrı yapın), bu şüphesiz çok verimsizdir.Kodunuz ne kadar hızlı yazılırsa yazılsın, değerlendirme problemleri tarafından aşağıya çekilecektir.
İşletmede "Xiao Xi, daha iyi bir cümle temsiline gelin" gibi bazı belirsiz algoritma görevleri olabilir, daha sonra bir temsilin kalitesini tarafsız bir şekilde nasıl değerlendireceğiniz, onu büyük ölçekte başlatmadan önce dikkatlice tasarlamanızı gerektirir. Açık. Nesnel, tarafsız ve otomatik bir değerlendirme endeksi olmadan, strateji yinelemesi şüphesiz çok yavaş olacak ve hatta daha sonra tersine dönecektir.
4. vaka çalışması
Doğruluk, f1 ve bleu gibi skaler değerlendirme göstergeleri mevcut stratejinin genel kalitesini yönlendirebilir, ancak daha ayrıntılı problemler bulmanıza yardımcı olamazlar. Sektöre girerken, pek çok acemi, model değerlendirme indeksi ile bir algoritmanın "yararlı" ve saf olup olmadığına karar vermenin kolay olduğunu düşünerek her türlü süslü algoritmayı ve her türlü önemsiz fikri denemeyi sever. Fiziksel gücün simyası.
fakat! Evet! Fazladan yaptığında Vaka Analizi Daha sonra, önceki girişimlerinizin çoğunun tamamen gereksiz olduğunu aniden fark edebilirsiniz:
Veri dengesizliği sorununun çok ciddi olduğunu düşünüyorsunuz, ancak vaka çalışması modelin aslında çok kolay olduğunu keşfetti; Muhakeme probleminin sizden uzak olduğunu düşünüyorsunuz ve vaka çalışması, yanlış vakaların çoğunun muhakeme probleminden kaynaklandığını keşfetti; Alan probleminin önemli olmadığını düşünüyorsunuz ve vaka çalışması modelin daha önce görmediği çok sayıda alan terimi keşfetti; Veri kümesinin çok temiz olduğunu düşünüyorsunuz, ancak vaka çalışması yazım hatalarından kaynaklanan birçok yanlış karar buldu;
Kısacası, yetersiz deneyim durumunda, bir vaka çalışması, çok sayıda gereksiz girişimi ortadan kaldırmanıza ve mevcut stratejinin darboğazını, hedef stratejileri ve yenilikleri bulmanıza yardımcı olabilir.
Hatalara dikkat edin ve devrilmenin nedenini bulun
Xiaobai, bir tur yinelemeli kapalı döngü çalıştırdıktan sonra sık sık sinirleniyor: "Etkisi çok kötü." Burada genellikle bir yanlış anlama vardır: "Yetersiz doğruluk, kötü algoritmalardan / parametrelerden kaynaklanmalıdır".
Örneğin Xiaobai, BERT'de% 95 doğruluk elde edebileceğini hissediyor. Bir temel çalıştırdıktan sonra, acc'nin sadece% 70 olduğunu buluyor ve ardından bir puanlık yinelemeli stratejiye başlıyor. Yanlış yönde çalışırsanız, sonuç doğal olarak çok iyi olmayacaktır.
Aslında, bu strateji yineleme sürecinde öncelik, Bir hata var . Örneğin, BERT-kılıfsız eğitim öncesi modelini kullandım, ancak giriş metninde küçük harfli işlem yapmayı unuttum; karakter düzeyinde bir model kullandım, ancak metin için kelimeleri kestim; her şey hazır olduktan sonra, bash betiği ön eğitimi yüklemeyi unuttu Eğitim modelleri vb.
Bazen algoritma stratejilerini ayarlamak ve kullanmak, hataların etkisini hafifletebilir ve Xiaobai'nin yanlışlıkla parametreleri ayarlamaya devam ederek ve çılgınca deneme yanılma yoluyla boşluğun kapatılacağını düşünmesine neden olabilir. Aslında, hatalar genellikle algoritmalardan ve hiper parametrelerden çok daha ölümcüldür. Elbette, bazı özel algoritmik problemler için (iyi bilinen RL problemi gibi), hiperparametreler gerçekten son derece hassastır ve belirli problemlerin spesifik analizini gerektirir.
hızlı
"Temizlik" ten kurtulun ve kod yazma hızını artırın
Algoritma keşfinin güçlü bir belirsizliği var Uzun süre yazdığınız kodun işsizlik nedeniyle tamamen terk edilmiş olması muhtemeldir.Bu nedenle kod stili açısından, Bir sistem olarak kod yazmaktan kaçının Nesneye yönelik çeşitli paketleme teknikleriyle uğraşmak çok gereksizdir. Bazı "gereksiz kodların" var olmasına izin vermek, deneysel yinelemelerin verimliliğini büyük ölçüde artırabilir.
Soru şu ki, bir grup "gereksiz kod parçacığı" üretirseniz, bunları verimli bir şekilde nasıl kullanacaksınız? Sadece atın ya da kodu yeniden düzenlemek için kopyalayıp yapıştırın?
En kolay yol, yapıştırıcıyı doğrudan kullanmaktır " Bash Komut Dosyası Yani, parçalanmış kod parçaları bash boru hattı komutları ile bağlanır, böylece büyük ölçekli veri setlerinin (çok işlemli) paralel işlenmesi "" + bekleme komutlarının kombinasyonu ile gerçekleştirilebilir.
Kabuğa aşina olmayan arkadaşlar da kullanabilir. jupyter defter Bağlamak için. fakat, Her NLP algoritma mühendisinin bash ve vim kullanımında yetkin olması şiddetle tavsiye edilir. Çok fazla veri işleme ve analiz için python kullanmaya gerek yoktur.Bu bash komutlarına ve vim becerilerine alıştıktan sonra simyanın etkinliği büyük ölçüde artacaktır.
Daha parçalı küçük kodlar için (küçük bir sözlük oluşturmak için mantığı analiz etmek ve değiştirmek gibi), kullanmayı düşünebilirsiniz. ipython , Görevi tamamladıktan sonra sihirli bir komut %kayıt etmek Bu parçalanmış kodların yeniden kullanılabilir olmasına izin verin.
Sadece üretim kodunu büyük ölçüde hızlandırmakla kalmaz, aynı zamanda hata ayıklama ve parametre ayarlama konusunda bilgilidir.
Ölçeğe göre doğrulayın, denemeyi hızla tamamlayın
Bu soru yazıldığında aptalcaydı, ama benim gözlemime göre, çoğu aceminin bu sorunu var. Ona 1 milyon eğitim seti verirseniz, tüm eğitim setini hata ayıklama için kullanacaktır; eğer ona 10 milyon eğitim seti verirseniz, yine de tüm eğitim setini hata ayıklama için kullanacaktır ve "veri yüklemesinin çok maliyetli olduğundan" şikayet etmeyi bile unutmaz. Zaman doldu, hata ayıklamak zaman alıyor. "
Sevgili, hata ayıklama da aşamalı ...
İlk aşama : Kodu arayın. Şu anda, dilbilgisi hatalarını ve ciddi mantık hatalarını düzeltmek için yüzlerce örneği sembolik olarak asmak yeterlidir.
ikinci sahne : Yakınsamayı doğrulayın. Birçok hata, hataları bildirmez, ancak eğitimin tamamen çökmesine veya hiç eğitim almamasına neden olur. Eğitim kaybının birkaç dönem sonra 0'a yaklaşıp indirilemeyeceğini görmek için yüzlerce veya binlerce örneği eğitebilirsiniz.
Üçüncü aşama : Küçük ölçekli deney. On bin veya yüz binlik küçük bir örnek setinde model performansını doğrulayın ve hiperparametre duyarlılığını analiz edin. Bu aşama, veri ölçeği küçük olduğunda (yüzbinlerce veya bir veya iki milyon gibi) gerçekte vazgeçilebilir ve eğitim verileri çok büyük olduğunda (bir milyar hatta on milyarlarca) gereklidir. Yakınsamayı etkilemeyecek, ancak nihai modelin performansını önemli ölçüde etkileyecek bazı çok ince hatalar var. Ayrıca bazı aşırı hiperparametre ayarlarını bulmaya yardımcı olur.
Dördüncü aşama : Büyük ölçekli deney. Yani, sahip olduğunuz kadar eğitim verisi kullanabilir, hatta birkaç dönemi daha eğitebilirsiniz. Dördüncü aşamaya ulaşıldığında, kodun son derece güvenilir olduğu kesinlikle garanti edilmelidir ve temelde parametreleri ayarlamaya gerek yoktur, aksi takdirde deneme yanılma maliyeti genellikle katlanılmazdır.
Parametreleri rasyonel bir şekilde ayarlayın, hesaplama gücünü ve stratejiyi keşfetmeye zaman bırakın
Yeni başlayanlar her şeyi hiperparametreler olarak ayarlamayı severler.
"Metin kesme uzunluğunun ne kadar ayarlanması gerektiğinden emin değil misiniz? 10 deney setini asın ve ayarlayın." "Resmi kodda bir ısınma var. Ne işe yaradığını bilmiyorum? 10 deney setini asın ve ayarlayın." "Toplu iş boyutunun performans üzerinde bir etkisi olduğunu duydum. Ayarlamak için 10 deney seti asın." Her şey ayarda ( )
Bu yaklaşım şüphesiz son derece zaman ve hesaplama kaynakları israfıdır.Bazı hiperparametreler makul bir aralıkta hesaplanabilir, bazıları diğer hiperparametrelere ve ortama bağlıdır ve bazıları ağ yapısı ve ön eğitim modeliyle güçlü bir şekilde birleştirilir. Bu nedenle, ayarlamanın ilk ve en önemli adımı gerçekleştirmek Hiperparametre duyarlılık analizi , Ve sonra mevcut görevin performansı üzerinde en büyük etkiye sahip olan hiperparametrelerde ince ayar yapın.
Her bir hiperparametrenin hassasiyetini belirlemek için bir yandan kendi deneyimlerinize göre belirleyebilir, diğer yandan her kağıttaki değerlere dayanabilirsiniz (büyük farklara sahip hiperparametreler hassas hiperparametreler olabilir ve aynı değer genellikle hassas değildir. ), gerçekten belirsizdir. Duyarlılığı belirlemek için iki veya üç set deney yapmak yeterlidir. "Izgara araması" yapmaya gerek yoktur.
Bu makalenin uzunluğu nedeniyle, bu makale yalnızca genel yöntemlerden bahsediyor İnternette birçok ayrıntılı sihirli ayar materyali var, bu yüzden burada genişletmeyeceğim.
kararlı
"Yarı" ve "hızlı" sorulardan bahsettikten sonra, işte yeni başlayanlar için baş ağrısına neden olma olasılığı en yüksek olan "kararlı" kelimesi geliyor.
Yeni başlayanların çoğu bu tür bir acele yaşadı:
"Ha? Açıkçası bu betiğin% 95 doğrulukta çalışabileceğini hatırlıyorum, başka bir çalıştırmadan sonra nasıl% 92 olabilir?" "Modelim nereye gitti ??" "Bu model nasıl ortaya çıktı ..." "Bu iki stratejinin farkları nelerdir?"
Problem şu Deney yönetimi ve kod sürümü yönetimi üzerinde.
Bir araç kararlıdır
Adından da anlaşılacağı gibi, deney yönetimi Her denemenin strateji adını ve ilgili deneme sonuçlarını kaydedin , Genellikle tablo şeklinde kaydedilir. Burada tabii ki kayıt yapmak için excel, markdown editörü vb. Kullanabilirsiniz. Kayıt için bulut senkronizasyonunu destekleyen araçların kullanılması daha çok önerilir. (Örneğin, Grafit dosyaları, Evernote veya intranetteki ilgili araçlar vb.) Bilgisayarın çalınması ve dosyaların yanlışlıkla silinmesi gibi kazayla meydana gelen trajedileri önlemek için.
Bununla birlikte, bazen deney endişelidir ve stratejinin açıklaması yeterince dikkatli değildir. Örneğin, belirli bir deney aynı anda belirli stratejiler, hiperparametreler ve eğitim öncesi modeller gibi birçok şeyi değiştirdi ve tek isimle özetlenemez, ne yapmalıyım?
En kolay yol şudur: Sürüm yönetimi aracı İşbirliği sayesinde artık gelecekteki ayarların kaybı konusunda endişelenmenize gerek kalmaz, model yeniden üretilemez ve model çevreye kadar izlenemez.
Sürüm yönetimini uygulamak da çok basittir, Git Doğal olarak en iyi seçimdir.
Yeni başlayanlar dikkat ediyor, bu GitHub değil! GitHub'ı kullanabilirsiniz, ancak Git'i kullanamazsınız!
Sürümleri ve deneysel yinelemeleri yönetmek için Git nasıl kullanılır?
Her şeyden önce, eğitim günlüğünün ve değerlendirme günlüğünün Dosya biçiminde Ekranda yazdırmak yerine kaydedin.Ayrıca, her çalışma zamanında ayarların (hiperparametreler, veri seti sürümü, ckpt depolama yolu vb.) Günlük dosyasına kaydedilebilmesini sağlamanız ve onu kapsüllemeye çalışmanız gerekir. Eğitim görevlerinin başlangıç ortamını korumak için bir run.sh.
Bundan sonra, herkesin kendi alışkanlıklarına kalmış. Benim kişisel alışkanlığım
- Ana hat stratejisi başarıyla ilerletildiğinde, git etiketi Etiketle. Buradaki etiket, deneme yönetimi tablosundaki strateji adıyla hizalanan strateji adıdır.
- Belli bir strateji temelinde çok güvenilmez bir keşif denemek istiyorsanız mevcut stratejiden bir dal çıkarabilir ve bu dalda ilgili işlemleri tamamladıktan sonra ana dala geri dönebilirsiniz. Elbette strateji bu dalda çalışıyorsa, onu ana dal haline getirip etiketlemeyi düşünebilirsiniz.
Bu şekilde, gelecekte bir stratejiyi gözden geçirmek istediğinizde, tüm ortamı tamamen yeniden üretmek için yalnızca ilgili etikete veya dala geçmeniz gerekir ve stratejiyi ve stratejiyi çalıştırırken tüm ilgili ayarları doğrudan takip edebilirsiniz. Çeşitli ayar sonuçları.
Son olarak, "yarı" konusunda, son uç durum dikkate alınmalıdır, yani tüm deneysel ortam kaldırılmıştır ( "") Sabit disk hasarı gibi ciddi arızalar. Bu nedenle, iyi bir yedekleme işi yapmayı, yani ortamdaki anahtar kodları github gibi uzak depolara periyodik olarak itmeyi unutmamalısınız. Elbette ckpt ve veri setleri gibi büyük dosyalar için yazabilirsiniz. .gitignore Deponun patlamasını önlemek için, bu büyük dosyalar için en iyi hedef elbette hadoop kümesidir.
Araştırma görevleri açık kaynaklı veri kümeleri aracılığıyla değerlendirilebilir, ancak iş algoritmalarının değerlendirilmesi yine de iş verilerine dayanmalıdır.
Editör: Yu Tengkai
Redaksiyon: Tan Jiayao
-Bitiş-
Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " AI Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
