Double 12 hiçbir şey ifade etmiyor, Ali, Double 11 üzerinde çalışan 100 milyar özellikli dağıtılmış makine öğrenimi platformu XPS'yi ilk kez ortaya çıkardı.
Alibaba'nın e-ticaret platformu yüz milyonlarca kullanıcı ve ürüne sahip ve her gün on milyarlarca kullanıcı geri bildirim verisi üretiyor. Örneğin, Taobao ana sayfasındaki sahnenin her gün 10 milyar kullanıcı davranış verisine sahip olmasını beğendiğinizi tahmin edin. Bu tür süper büyük ölçekli eğitim verileri, dağıtılmış makine öğrenimi için büyük zorluklar getirdi ve ayrıca ilginç araştırma soruları ortaya çıkardı. 2017'de Alibaba, algoritma ekibi önerdi ve bilgi işlem platformu PAI ekibi, eXtreme'nin "en üst noktayı takip etmek" anlamına geldiği eXtreme Parameter Sever (XPS) makine öğrenimi platformunu oluşturmak için birlikte çalıştı ve nihai performans ve efektlerle bir makine öğrenimi platformu tasarlama umudumuzu yansıtıyor. . XPS platformu, mobil Taobaonun beğendiğinizi tahmin ettiği Life Research Institute, Fliggy Travel ve Tmall Önerileri ve diğer büyük veri senaryolarında yaygın olarak kullanılmaktadır. 2017 Double 11 Alışveriş Karnavalı gününde, saatlik XNN modeli, Double 11'deki kullanıcıların gerçek zamanlı davranış bilgilerini istikrarlı ve hızlı bir şekilde kullanarak Guess You Like ve Tmall öneri sahnesinde piyasaya sürüldü ve bu da Double 11'deki geliri ve kullanıcı değerini önemli ölçüde artırdı. Performans açısından, XPS platformundaki rutin algoritmalar artık her gün 10 milyar ölçeğe sahip 100 milyar örneğin özelliklerini kolayca işleyebilmektedir.Algoritma hızlı çalışır, güçlü hata toleransı ve yüksek kaynak kullanımına sahiptir. Bu makale, XPS platformunun genel yapısını tanıtacak ve bu paylaşımlar aracılığıyla dağıtılmış algoritma tasarımı ve çerçeve optimizasyonu konusundaki deneyimlerimizi paylaşmayı umuyoruz.
Son yıllarda, Alibaba'nın kişiselleştirilmiş tavsiyesi ve kişiselleştirilmiş arama, kullanıcılara iyi bir deneyim getirdi ve kullanıcı davranışlarının sayısı da önemli ölçüde arttı. Özellikle, mobil terminallerin işi hızla gelişti Kullanıcıların ve emtiaların her iki boyutu da patlayıcı bir büyüme gösterdi ve kullanıcıların ve ürünlerin durumu zaman içinde dinamik olarak değişmeye devam etti. Bu dinamik ve ultra büyük ölçekli veri hacmi altında, kullanıcının tıklama oranını ve ürünün dönüşüm oranını doğru bir şekilde tahmin eden verimli bir dağıtılmış makine öğrenimi platformu oluşturmak çok değerli ve zordur.
Dağıtılmış makine öğrenimi platformlarının tasarımında büyük ölçekli ve yüksek frekansı değişen özelliklerin ve örneklerin zorlukları üç açıdan özetlenebilir: örnekler, özellikler ve dağıtılmış ölçek:
-
Örnekler açısından, Her gün karşılaştığımız şey on milyarlarca eğitim verisidir ve altı aylık kümülatif geçmiş eğitim verileri trilyonlarca ölçeği aşmaktadır. Açıkçası, geleneksel tam ölçekli çok turlu yineleme makine öğrenimi algoritması artık bu boyuttaki örneklerin eğitilmesi için uygun değildir, çünkü bu tür bir algoritma çok fazla bilgi işlem kaynağı gerektirir ve veri zamanlamasını iyi bir şekilde tanıtamaz.
-
Özellikler açısından, Büyük ölçekli bir örnekteki toplam özellik sayısı, yüz milyarlık sırayı kolayca aşabilir. Geleneksel özellik numaralandırma yöntemi, özellik numaralandırmasını tamamlamak için çok sayıda makine kaynağı ve uzun bir hesaplama süresi gerektirir ve yeni özellikleri zaman içinde numaralandırmak zordur. Kaynak tüketimi ve zaman tüketimi açısından, özellik serileştirme numaralandırma yöntemi zaten dayanılmaz bir adımdır. Ek olarak, string_to_hash_bucket aracılığıyla özellikleri sabit bir aralıkla eşlemek için TensorFlow'a benzer bir yöntem kullanmak, tensörün şeklinin sabitlenmesi garanti edilmesine ve toplam parametre sayısı azaltılmasına rağmen, toplam özellik sayısı çok büyük olduğunda çok sayıda hash çakışması ortaya çıkar. Algoritma etkisini etkiledi.
-
Dağıtılmış ölçek açısından, Büyük ölçekli özellik, Sunucunun depolama ve dağıtılmış bilgi işlem performansı üzerinde büyük bir baskı oluşturur. Örneğin, 1 trilyon 32-bit kayan nokta sayısı 3,63 TB depolama alanı ve ayrıca korunması gereken geçmiş gradyanlar gerektirir ve her işlemin bellek kullanımını makul bir aralıkta kontrol etmek için genellikle 300 ila 600 sunucu gerekir. . Sunucu sayısı iki katına çıktı ve paralel isteklerin sayısında doğrusal bir artışa neden oldu ve bu da iletişim üzerinde daha fazla baskı yaratıyor. Aynı zamanda, depolama kapasitesindeki ve tek görevli işlemlerin sayısındaki artış, küme zamanlaması, hata toleransı, ağ ve GÇ üzerinde daha fazla baskı oluşturdu.
Bu zorluklarla karşılaşan XPS platformu, bununla başa çıkmak için birçok yenilikçi teknoloji önerdi ve "aşırı parametre sunucusu" hedefine doğru bir adım attı:
-
Örnek işleme için benimsiyoruz Akış öğrenme algoritması Temelde büyük ölçekli örnek problemleri çözmek için algoritma seçimine dayanır. Akışla öğrenme altında, her yeni veri grubu için, doğrudan mevcut model üzerinde artımlı eğitim gerçekleştirilir ve bir sonraki model, birden çok tam öğrenme turu için tam veri miktarı yüklenmeden üretilir. Akışla öğrenme algoritmalarının seçimi, veri ölçeği ve kaynak tüketimi sorunlarını dengeler ve büyük ölçekli örneklerin sorununa daha hafif yanıt verir;
-
Özellik işleme probleminde benimsenen Özellik karmasını hash değerine eşleme yöntemi, özellik numaralandırma mekanizmasının yerini alır . Belleği kaydederken ve performansı artırırken, özelliklerin dinamik seyrek düzenlileştirme mekanizmasını ve aşırı büyük toplam özellik sorununu çözen vektörün boyutunu temsil eden dinamik genişletme mekanizmasını destekler;
-
Dağıtılmış ölçek açısından, Eşzamansız Kontrol Noktası, Tam Bir Defa Yük Devretme ve yüksek performanslı ArrayHashMap ve diğer mekanizmalar, ayrıca dinamik seyrek düzenleme mekanizması ve diğer özellik işleme teknolojileri aracılığıyla, Dağıtılmış eğitimin performansını sağlar ve Sunucunun depolama verimliliğini artırır.
Bu büyük ölçekli makine öğrenimi problemleriyle karşı karşıya kalan eXtreme Parametre Sunucusu, özellikle büyük ölçekli örneklemlerin ve büyük ölçekli özelliklerin zorluklarını çözen ve yaygın olarak kullanılan Alibaba bünyesinde ortaya çıktı.
XPS, Alibaba'nın Guess You Like, Tmall, Shopping Link, Fliggy, Life Research Institute, Alimama, vb. Gibi dahili iş senaryolarında yaygın olarak kullanılmaktadır ve kullanıcı tıklama oranları, çevrimiçi gelir geliştirme ve çevrimiçi kullanıcı değeri geliştirme üzerinde önemli etkilere sahiptir.
Aşağıda, XPS platformunun sistem yapısını ve veri akışını, dağıtılmış optimizasyonunu, çekirdek algoritmasını ve operatör sistemini tanıtıyoruz.
1. Sistem yapısı ve veri akışı
1.1 Sistem yapısı
XPS platformunun genel yapısı aşağıdaki şekilde gösterilmektedir. Veri kaynakları açısından, alt katman OSS Dosyası, MaxCompute çevrimdışı depolama, Streaming DataHub ve Kafka gibi veri kaynaklarını destekler. Kullanıcılar, çevrimdışı veri işlemeyi ve XPS algoritması çağrısını aynı anda MaxCompute üzerinden tamamlar. Küme planlaması, kaynakların önlenmesini etkili bir şekilde önleyebilen ve bilgi işlem kaynaklarını verimli bir şekilde kullanabilen Ali Groupun Feitian küme planlamasını kullanır; algoritma düzeyinde XPS, XNN / XFTRL / XSVD / XGBOOST / FM gibi algoritmalar sağlar; iş düzeyinde, önerileri destekliyoruz, Reklamcılık ve arama gibi iş senaryoları.
İş tarafı, XPS platformunun algoritmalarını çağırmak, gerekli algoritmaları ve optimizasyon operatörlerini yapılandırmak ve seçmek için MaxCompute'taki SQL'i kullanır ve eğitim görevlerinin yapımını hızla tamamlayabilir. Tahmin hizmeti, XPS tarafından üretilen modeli yakalayacak ve çevrimiçi tahmin hizmeti için sağlayacaktır. XPS mükemmel bir hataya dayanıklı mekanizma sağlar ve kullanıcının görev hatası eğitim için otomatik olarak yeniden başlatılır.
1.2 Veri akışı
Şu anda, XPS platformu Alibaba içinde eksiksiz bir veri akışı çözümü oluşturmuştur. Alibaba Group'taki çeşitli ekiplerle eğitim veri üretimi, özellik mühendisliği, model eğitimi, model değerlendirme, model dağıtımı ve model puanlamadan bir veri akışı oluşturmak için işbirliği yaptık. XPS'nin genel veri işleme akışı aşağıdaki şekilde gösterilmektedir.
Veri üretimi, özellik mühendisliği, model eğitimi ve model değerlendirme aşamaları için Alinin MaxCompute çevrimdışı depolama sistemini benimsedik. Platformdaki tek bir görev, her gün on milyarlarca eğitim verisini ve yüz milyarlarca özellik öğrenimini kolayca işleyebilir. Büyük ölçekli özellikleri destekleyerek, verilerin içerdiği veri yasaları tamamen çıkarılabilir. Model eğitimi akış planlamayı benimser. Akış planlama öğrenimi altında, her öğrendiğinizde, yalnızca önceden depolanan modeli yüklemeniz, yeni bir model üretmek için eğitim için yeni örnekler girmeniz ve tahmin için çevrimiçi olarak dağıtmanız gerekir. Genel olarak, tam bilgi işlemle karşılaştırıldığında akışla öğrenme, çok sayıda bilgi işlem kaynağından tasarruf sağlar.
Tahmin sunucusunda, Alinin dahili rtp-xps hizmetini kullanıyoruz, modeli tf formatına dönüştürüyoruz ve tahmin hizmeti için tf-hizmetini kullanıyoruz. Model değerlendirme açısından, rtp-xps ve MaxCompute tabanlı kendi uygunluk testi çözümlerimizi ve araçlarımızı geliştirdik.Tf-hizmetini birleştirmek, hızlı özellik ve model uygunluk testi sağlayabilir. Özellik mühendisliğinde, XPS'nin geliştirilmesi sırasında, bir dizi yüksek performanslı SessionServer hizmeti geliştirdik. SessionServer, belirli bir süre için kullanıcının önceki davranış verilerini çıkarır. Bu veriler, kullanıcıyı daha iyi anlamamıza ve ayrıca kullanıcının gerçek zamanını yakalamamıza yardımcı olabilir Davranışsal özellikler.
İki, dağıtılmış optimizasyon
Yüz milyarlarca özelliği ve trilyonlarca örneği destekleyebilmek için, dağıtılmış makine öğrenimi senaryolarında eşzamansız iletişimi özel olarak optimize ettik. XPS çerçevesi bağımsız olarak yüksek performanslı bir iletişim çerçevesi geliştirmiştir Dağıtılmış makine öğrenimi senaryosu altındaki asenkron iletişim senaryosunda, geleneksel MPI iletişiminin performansı 1 ila 2 kat artırılmıştır. Bu optimizasyon yöntemleri sayesinde, XPS Sunucularının sayısı yatay olarak 800'e çıkarılabilir ve böylece yüz milyarlarca özellik ve trilyonlarca parametre ölçeğiyle makine öğrenimi görevleri tamamlanabilir. Dağıtılmış optimizasyon teknolojisi özellikle aşağıdaki yönleri içerir:
2.1 Özellik hashlemesi
XPS çerçevesi, karma özellik kimliğinin doğrudan girilmesini veya giriş dizisi özelliği için karma değerin otomatik olarak hesaplanmasını destekler. Bu şekilde, tüm hesaplama sürecinde ve çıktı modelinde yalnızca hash değeri saklanır. Çevrimiçi çıkarım hizmetiyle bağlantı kurarız. Giriş örnekleri, çıktı modelleri, eğitim yinelemeleri ve iletişim, özellik kimliklerini doğrudan hash ve hash edebilir. Gerçek çevrimiçi model eğitiminde, belleğin yarısı kaydedilir ve performans iki katına çıkarılır.
2.2 Dinamik özellik ölçeklendirme
Akışla öğrenme sahnesinde, dikkate değer bir özellik, hızla değişen dinamik özelliklerdir. Her an yeni özellikler eklenir ve eski özellikler silinir.Gerçek zamanlı otomatik konuşma özelliklerinin sunulmasından sonra, nispeten kısa bir süre içinde yüz milyarlarca özellik eklenecek ve silinecektir. Bu durumda, temel çerçevenin yüksek frekanslı, dinamik özellik eklemelerini ve silmelerini ve iletişimi desteklemesi gerekir. XPS çerçevesi, yüksek frekanslı eklemeler ve silmeler için özel optimizasyonlar yaptı. XPS-ArrayHashMap yeniden tasarlandı ve uygulandı. Yeniden tahsis / mremap yöntemi, belleği manuel olarak yönetmek için kullanılır. KV ekleme ve silme performansı, std :: unordered_map, google :: DenseMap, vb. Karma tablo uygulaması; daha da önemlisi, XPS-ArrayHashMap, serileştirme ve seriyi kaldırma adımlarını ortadan kaldırarak doğrudan sıfır kopya iletişimini destekler.
2.3 Küresel Kontrol Noktası ve Tam Bir Defa Yük Devretme
Trilyon parametrenin toplam depolama alanı 10 TB düzeyine ulaşabilir. Bu büyüklükteki depolama alanı gereksinimleriyle, 400-800 sunucu kullanmak yaygın bir gereksinimdir. Ve çok sayıda sunucu süreci ve çalışan işlemi, dağıtılmış parametre sunucusuna yüksek kararlılık ve ölçeklenebilirlik baskısı getirir. Bu senaryoya yanıt olarak, XPS çerçevesi çok çalışanlı paralel yükleme ve çıktı modellerini, eşzamansız Kontrol Noktası ve eşzamansız Yük Devretme mekanizmalarını destekler ve sıfır düğüm hatası algısıyla otomatik olarak kurtarabilir.
Bağımsız HPC kümelerinden farklı olarak, Ali Group'un Feitian kümesindeki paralel düğümlerin sayısı büyük olduğunda, tek tek düğüm hatalarıyla karşılaşma olasılığı nispeten yüksektir. XPS çerçevesi, eksiksiz Yük Devretme işlevini destekler.Tüm akış veri kaynakları ve çevrimdışı veri kaynaklarında Tam Bir Kez Yük Devretmeyi destekler, bu da veri akışını ve modeli düğüm arızasından önceki ana geri yükleyebilir, böylece düğüm yeniden başlatılmaz. Veri kaybı ve iki kez sayılmaz.
2.4 Yüksek eşzamanlı iletişim
XPS çerçevesi bağımsız olarak yüksek performanslı bir iletişim çerçevesi geliştirmiştir Dağıtılmış makine öğrenimi senaryosu altındaki asenkron iletişim senaryosunda, geleneksel MPI iletişiminin performansı 1 ila 2 kat artırılmıştır. Büyük ölçekli özellik senaryoları için, XPS iletişim katmanı, seyrek matrisin sıfır kopya iletimini ve alımını destekleyebilir ve seyrek katman ve yoğun katman aracılığıyla iletişimi birleştirerek iletişim paketlerinin sayısını ve iletişim gecikmesini azaltabilir. Bu optimizasyon yöntemleri sayesinde, XPS sunucularının sayısı yatay olarak 800'e çıkarılabilir ve bu da eğitim sürecinde yüz milyarlarca özelliğin ve trilyonlarca parametrenin depolanmasını destekleyebilir.
2.5 Öğrenme optimizasyonunu temsil eder
Seyrek özniteliklerin temsil vektörünü öğrenmek, seyrek özniteliklerin hesaplanması ve iletişim optimizasyonu için en önemlisidir Temsil vektör öğrenmesinin performansını optimize etmek için seyrek karma öznitelikler altında gömme matrisinin hesaplanmasını derinlemesine optimize ettik. Spesifik olarak, Çekme iletişim işlemi aracılığıyla elde edilen temsil vektör grubu seyrek bir matrisi temsil etmesine rağmen, tüm temsil vektörleri sürekli bir arabellekte bulunur ve ArrayHashMap, bellek kopyası olmadan bu iletişim tampon verilerinden doğrudan oluşturulabilir. Böyle bir karma tablo ile uygulanan seyrek öznitelik indeksi ara yüzü sayesinde, iletişimde geçirilen her seyrek özelliğin temsil vektörüne hesaplama sırasında O (1) zaman karmaşıklığı ile erişilebilir.Bu şekilde seyrek gösterim vektör grubu yoğun bir formata dönüştürülmeden yoğun bir formata dönüştürülebilir. Verimli bir şekilde kullanılır, ara yoğun bir matris oluşturmanın ek yükünü ortadan kaldırır ve mini partinin gömme matris hesaplamasını büyük ölçüde hızlandırır.
Üç, temel algoritma
Büyük ölçekli eğitim örnekleri, tam çok aşamalı yinelemeli algoritmalar, ne kadar verimli olursa olsun optimize edilmiş olsalar bile, her gün tam veriyi yeniden eğitme sorununu önleyemezler, bu da büyük verilerin geliştirilmesi için uygun olmadığı açıktır. Akışla öğrenme algoritmalarının seçimi, veri ölçeği ve kaynak tüketimi sorununu dengeleyebilir ve büyük ölçekli örneklerin öğrenme problemiyle kolayca başa çıkabilir. Çekirdek olarak akış öğrenme algoritmasına sahip dağıtılmış makine öğrenimi platformu, algoritma ayarı, algoritma değerlendirmesi ve algoritma izleme açısından birçok ilginç optimizasyon içeriğine sahiptir.
XPS, süper büyük ölçekli veri senaryolarında verimli bir akış öğrenme algoritması platformu tasarlamayı amaçlamaktadır.Şu anda ağırlıklı olarak doğrusal algoritma XFTRL, çift doğrusal algoritma XSVD ve derin öğrenme algoritması XNN tasarlıyoruz.
3.1 XFTRL algoritması
XFTRL algoritması, klasik doğrusal algoritma FTRL'nin bir uzantısıdır ve büyük ölçekli veriler altında FTRL'nin bazı eksikliklerini çözmek için önerilmiştir. FTRL algoritmasını kullandığımızda birçok sayısal problem ve kararlılık problemiyle karşılaştık.Bu problemleri çözmek için birkaç optimizasyon noktası tasarladık:
İlk olarak, tekil ağırlıkları önlemek için düzenlilik sağlayın. Uygulamada, FTRL algoritmasının çalışma sırasında ani ağırlık artışına eğilimli olduğunu bulduk FTRL'de z değişkeninin iki düzenliliği getirilerek, ani aşırı ağırlık etkili bir şekilde bastırılabilir;
İkinci olarak, ağırlıklı sürüm kontrolü ve gradyan ortalamasının getirilmesi, güncellemeyi daha sorunsuz hale getirir. Gradyanı güncellerken, gradyan dağıtılmış bir şekilde güncellendiğinde çalışan ve sunucu ağırlıkları arasındaki tutarsızlık sorununu hafifletmek için çekme ağırlığı ile İtme gradyanının ağırlık versiyonu arasındaki fark için bir indirim mekanizması getirdik. Model ağırlık güncelleme sürecini daha sorunsuz hale getirmek için minibatch altında sunucu tarafında gradyan toplamının ortalamasını daha da aldık;
Üçüncüsü, akışlı öğrenme altında parametre bozunma mekanizmasını tanıtın. FTRL algoritmasındaki w, z ve n değişkenlerini her güncellemeden sonra bir zayıflatma katsayısı ile çarpıyoruz, böylece tüm modelin ağırlığı en son verilere göre önyargılı olacak ve verilerin zamanlaması daha iyi yakalanacaktır.
3.2 XSVD algoritması
XSVD algoritması, e-ticaret sistemindeki "kullanıcı", "ürün" ve "geçmiş davranış ürünü" üç temel öğesi için SVD ++ geliştirilerek önerilen bir algoritmadır. SVD ++, öneri alanında klasik bir algoritmadır, ancak büyük ölçekli veri senaryoları için çözümleri nadiren görürüz. Temel motivasyonumuz, SVD ++ algoritmasının öğrenilebilirlik problemini trilyonlarca örnek altında çözmektir. Akışla öğrenmenin algoritma tasarımının ana notu altında, SVD algoritmasını akış senaryolarında öğrenilebilecek bir modele dönüştürmemiz gerekiyor. SVD ++ 'daki geri bildirim ürünlerinin örtük vektör biriktirme öğesi için, mevcut davranışın yalnızca ilk K davranışlarının geri bildirim öğeleri olarak alındığını ve ardından akışlı öğrenmenin gerçekleştirilebileceğini düşünmek kolaydır. İkinci olarak, XSVD algoritmasının LR algoritmasının ifade gücüne de sahip olması için, kullanıcı, ürün ve oturum özelliklerini de ortak özellikler olarak kullanıyor ve gizli vektörlerle ortak öğrenme yapıyoruz. Ek olarak, XSVD'nin ifade gücünü zenginleştirmek için, SLIM algoritmasında öğrenilmesi gereken ürün çifti ilişkisini ürün çiftini öğrenme özelliğiyle eşleştirerek, Alinin dahili SLRM algoritmasının "model karakterizasyonu" dönüştürme fikrini XSVD'de sunduk. Ağırlıklandırma yöntemi, XSVD'de SLIM fikrini ortaya koymaktadır.
3.3 XNN algoritması
XNN algoritması, derin öğrenme algoritmamızdır ve yapısı aşağıdaki şekilde gösterilmiştir. XNN temel olarak girdi katmanı (InputLayer), dönüştürme katmanı (TransformLayer), ürün aktivasyon katmanı (MultiActiveLayer) ve çıktı katmanı (OutputLayer) içerir.
XNN ağının Giriş Katmanı, girişin ayrık, birleştirilmiş ve sürekli özelliklerini işler.Her bir sıcak kodlu özellik kısa ve uzun kodlanır ve ardından özellik grubuna göre biriktirilir (azaltma_ toplamı). TransformLayer, InputLayer giriş katmanı üzerinde çeşitli normalleştirme değişiklikleri gerçekleştirir ve ardından bunu MultiActiveLayer'a iter.MultiActiveLayer, katman katman matris çarpma ve etkinleştirmeyi gerçekleştirir ve son olarak, Sigmoid aktivasyon operatörü harekete geçtikten sonra üst katman çıkarılır. XNN'nin girdi verileri, azaltma_toplamı yapılırken önbellek ıskalama maliyetini azaltmak için özellik gruplarına göre düzenlenir. Matris işlemi, veri arayüzünün basitliğini ve hesaplamanın verimliliğini dengelemek için Eigen matris kitaplığı ve CBlas matris kitaplığının bir karışımını kullanır.
Klasik derin öğrenme algoritmaları ile karşılaştırıldığında aşağıdaki avantajlara sahiptir:
Dinamik özellik seyrek düzenlileştirme. Her özelliğin dinamik fayda değeri Utlity (f) 'ye göre özelliklerin dinamik olarak eklenmesini ve dinamik silinmesini gerçekleştiriyoruz. F. Fayda (f) belirli bir eşikten büyük olduğunda, özellikler yaratır ve özellik ağırlıklarını öğreniriz.Belirli bir eşiğin altında olduğunda, özellikleri siler ve özellik ağırlıklarını sileriz. . Dinamik özelliklerin tasarım fikri, öğrenilebilir özelliklerin toplam miktarını etkili bir şekilde kontrol eder;
Dinamik ifade boyut genişletmesi. Her bir özelliğin dinamik bilgi hacmine (f) göre, farklı özelliklere farklı gizli vektör boyutları atar, önemli özellikleri yüksek boyutlu sıkıştırmayla sıkıştırır ve önemsiz özellikleri düşük boyutlu sıkıştırmayla sıkıştırarak özellik değerini ve bellek kullanım verimliliğini geliştiririz. .
Otomatik oturum özellik modellemesi. Modeldeki uzun vadeli, orta vadeli ve kısa vadeli konuşma özelliklerini otomatik olarak sayıyoruz ve özellik istatistiksel değerleri ve örtük ifadelerin ortak öğrenimi için sinir ağına konuşma özellikleri ekliyoruz Otomatikleştirilmiş konuşma özellikleri fikri, operatör tasarımında ayrıntılı olarak tanıtılacaktır.
Düzenli frekans bölümü. Lokal aşırı uyumu önlemek ve test doğruluğunu en üst düzeye çıkarmak için farklı frekansların özellikleri için farklı düzenli katsayılar kullanıyoruz. Performans açısından, 100 milyar ölçekli özellikler ve trilyon ölçekli örnekler dahil olmak üzere sahnede biriken verilerin tamamını sevdiğini tahmin ediyorum. Tek bir örnekte ortalama 100 özellik var. 5600 çekirdek ve 16 TB bellek (MR görevleriyle karışık) kaynak ek yükü altında Ortak CPU kümesi), XNN algoritması, 7 saatte günlük artışlarla on milyarlarca akış örneğinin öğrenimini tamamlayabilir.
