Weixin AI algoritma uzmanı Que Wenhui: Algoritma her derde deva değil! 0'dan 1'e kadar öneri sistemi mimarisi oluşturun
Xinzhiyuan Kılavuzu Dün gece, Xinzhiyuan AI Teknolojisi Açık Sınıfının ikinci aşaması güçlü bir şekilde etkilendi. WeChat AI algoritma uzmanı Que Wenhui, herkese öneri görevinin ve optimizasyon stratejisinin temel hedefinden, 0'dan 1'e kadar öneri algoritması sistem mimarisini hızla oluşturmayı öğretti , Öneri sisteminin üç temel taşı ve diğer yönler arasında canlı paylaşım ve çevrimiçi etkileşim yer alıyor. Kamu sınıfı güçlü bir tepki aldı ve kuru ürünler artık mevcut! Daha fazlasını öğrenmek için sağdaki bağlantıya tıklayın!
Öneri sistemi, büyük verilerde en çok aranan içeriği verimli bir şekilde bulmamıza yardımcı olabilir. Uzun vadeli geliştirme sayesinde, öneri sistemi geleneksel arkadaş ve içerikle ilgili öneriden mevcut popüler AI teknolojisi önerisine geçti ve etki büyük ölçüde iyileştirildi.
Özellikle büyük ölçekli kullanıcı davranış verilerine dayanan işbirliğine dayalı algoritma, binlerce kişinin öneri etkisini sağlayabilir. Bilgi işlem gücünün iyileştirilmesiyle, büyük ölçekli öneri sisteminde gerçek zamanlı çevrimiçi öğrenmenin kullanılmasının ardından, kişisel öneri etkisi daha hızlı ve daha ayrıntılı bir adaptasyon etkisi elde etti.
Dün gece, Xin Zhiyuan davet edildi Que Wenhui, Kıdemli Yapay Zeka Araştırmacısı, Tencent WeChat Xinzhiyuan Mini Programında yeni bir oturum başlatın Xinzhiyuan We Station Open Class Herkesin tanıtması için 0'dan 1'e kadar önerilen sistem mimarisi . Halk sınıfı coşkulu tepkiler aldı ve netizenler hevesliydi.
Ardından, bu açık sınıfın teknik kuru malzemelerini sıraladık ve netizenler ve öğretmen Que Wenhui'nin yanıtlarından sizinle paylaşmak üzere birkaç soru seçtik.
Harika öneri ürünleri Yiqi Juechen'in öneri algoritmasından mı geliyor? Bir öneri sisteminin üç temel taşını bilmeniz gerekir
Pek çok kişi, başarılı bir öneri algoritmasının benzersiz bir algoritma kullanımından kaynaklandığını düşünür. Aslında algoritma, öneri sisteminin temellerinden yalnızca biridir. Bir ürün için soruna sistem açısından daha fazla bakmanız gerekir.Bu aynı zamanda bilimsel araştırma yazıları, demolar ve güncel ürünler arasındaki en büyük boşluktur.
Sistem açısından bakıldığında, öneri görevi sürekli olarak gelişmektedir. Sistemdeki veri miktarı, tek bir kullanıcının yeni bir kullanıcıdan veri açısından zengin bir kullanıcıya geçişi, bireysel içerik davranış verilerinin artması ve sistemdeki faaliyetlerin yinelemeli çalışması dahil. Sonunda, sistemin çeşitli bölümleri ve aşamaları eksiksiz bir öneri sistemi oluşturur.
Endüstriyel öneri sistemleri için üç konuya odaklanmamız gerekir: veriler, algoritmalar ve hizmetler.
Veriler açısından, üç özellik içerir: kullanıcı tarafı, içerik tarafı ve çevre tarafı. Öneri uydurmanın nihai amacı, belirli bir ortamda çeşitli garip özelliklere sahip bir kullanıcıya en uygun içeriği önermektir. Örneğin, hızlı tren yaptığımızda, ağın şehirdeki kadar istikrarlı olmadığını ve tren hareket ederken ağ hızının yavaşlayacağını hatta bağlantısının kesileceğini hissediyoruz. Şu anda metin gibi düşük trafikli ve hızlı yükleme hızına sahip içerik önerilerini o anki sahneye göre artırmalı, resim ve video gibi yavaş yüklenen içerik önerilerini azaltmalıyız.
Önerilen sistem mimarisinin tasarımı, görevin anlaşılmasından kaynaklanmaktadır. Örneğin, az sayıda aday içerik olması durumunda, geri çağırmanın çok az önemi vardır. Genel olarak, mevcut endüstriyel öneri sisteminin tipik mimarisi, çevrimiçi hizmetleri, çevrimdışı hesaplama görevlerini, işletim sistemlerini ve rpc çerçevesi, bilgi işlem motoru, veri platformu, depolama motoru vb. Gibi tüm görevleri destekleyen bir dizi altyapıyı içerir.
Hatırlama ve sıralama: kullanıcıları daha derinlemesine algılayabileceksiniz
YouTube gibi bir öneri sistemi için, on milyonlarca videodan yüzlerce birim yüksek kaliteli içeriğin hızlı bir şekilde nasıl hatırlanacağı, öneri sistemi için önemli bir zorluktur. Bu nedenle, gerçek sistemdeki geri çağırma görevinin karmaşıklığı, sonraki hassas zamanlama görevinden daha yüksektir.
Yaygın olarak iki tür geri çağırma kullanılır:
- Kullanıcı öznitelik hatırlama. Bu, Messi gibi belirli bir etiketle etiketlendiğinizde, Messi'nin içeriğinin gelecekte size geri çağrılacağı anlamına gelir.
- Sosyal hatırlama. Temel fikir arkadaşlarınızı desteklemektir ve arkadaşlarınız bunu size tavsiye eder.
Alaka düzeyi önerisi, benzer içeriğin metin, resim ve videolar gibi birden çok şekilde sunulmasıdır. Geri çağırmayı keşfetmek, algoritma yakınsamasının sınırlamasını çözebilir ve yeni içeriğin davranışsal verilerini hızla toplayabilir. En önemli model önerisi, kullanıcı davranış verilerinin rafine edilmiş modellemesidir.
Hatırlamada, çok önemli bir teknoloji indeksleme teknolojisidir.Uzantıdan sonra, dağıtılmış depolamanın ve büyük ölçekli parametrelerin veya kaynak dosyalarının yönetiminin sorunlu noktalarını çözmek için bir dizi kv depolama teknolojisi.
Geri çağırma aşamasında yüz birim seviyesinin aday içeriği verildikten sonra, sıralama aşamasının bu yüzlerce aday setini daha detaylı bir şekilde sıralaması gerekmektedir. Sıralama aşamasında daha az aday küme vardır, sıralama süresi daha kontrol edilebilirdir ve sıralama için daha fazla içerik tarafı, kullanıcı tarafı ve ortam tarafı özellikleri kullanılabilir. Daha zengin veri özellikleri ve veri hacmi olması durumunda, model olabildiğince karmaşık olabilir ve özellikler arasındaki daha karmaşık ve zengin doğrusal olmayan ilişkileri ortaya çıkarmak için parametrelerin miktarı daha büyük olacaktır.
Sıralama modelinde çevrimiçi öğrenme şu anda yaygın olarak kullanılmaktadır ve çok etkili bir bağlantıdır. Ürün tarafında, kullanıcı davranış verilerini hızlı bir şekilde döndürerek, kullanıcının o andaki tercihleri, kullanıcının bir sonraki aşama talebine yansıtılabilir.
Kullanıcının uzun vadeli ilgisini modellemekten kısa vadeli ilgiye, anlık ilgiye kadar sıralama sistemi, kullanıcı değişikliklerini yakalama konusunda daha güçlü ve daha güçlü bir yeteneğe ve kullanıcıların daha zamanında algılanmasına sahiptir. Sıralama aşamasından sonra, bu bir karıştırma veya yeniden düzenleme modülüdür ve geçmiş tekilleştirme, içerik çeşitliliği ve çok modlu içerik oranı gibi bir dizi kural stratejisinin tamamlanması gerekir.
İlginç bir düşünce noktası şudur: Grafiklerin, metinlerin ve videonun karışım oranı ve basketbol içeriğinin bir basketbol meraklısına maruz kalma oranı Bu oranın değerinin dinamik olarak belirlenmesi gerekir.Bu oran parametresi de öğrenilerek modellenebilir ve pekiştirilebilir. Bu bir çözüm.
Algoritmalar sonsuzdur, iş öneri sisteminin yinelemesine rehberlik etmesi için veri düşüncesine ihtiyacınız vardır
Büyük veri çağında, sonsuz bir akışta çeşitli algoritmalar ortaya çıkıyor ve çeşitli kurallar ve stratejiler tartışılıyor ve tartışılıyor Belirli iş öneri sistemlerinin yinelemeli iyileştirilmesi nasıl yönlendirilir?
Veri düşüncesine sahip olmak çok önemlidir! Veri düşünme, problemler hakkında veri perspektifinden düşünmeyi ifade eder. Bir strateji veya algoritma iyi olsun, son şey iş göstergelerini netleştirdikten sonra bir kontrol grubu deneyi yapmaktır.
Daha sonra, Google tarafından önerilen bir trafik deney sistemi sunuyoruz. Temel katkısı, sınırlı trafik ile birçok deney arasındaki çelişkiyi çözmektir. Trafiğin çoğullaması, ortogonal trafikle sağlanır ve bunun gerçekleştirilmesi çok önemlidir. Teknik nokta, ana sürecin zaman alıcılığını etkilememesi ve konfigürasyonun aracı aracılığıyla elde edilmesidir.
Öneri sisteminin diğer bileşenleri: belirli işletmelere dayalı talep üzerine inşa edin
İlk bölüm, iki görevi tamamlamaya odaklanan içerik yönetim sistemidir: biri etiket ekleme, kategori bölümü vb. Gibi içerik sisteminin oluşturulması; ikincisi, pornografik ve patlayıcı içerik denetimi gibi güvenlik uygunluk denetimidir. Büyük miktarda içerik olması durumunda, yapay zeka incelemesi ve manuel incelemenin birlikte çalışması gerekir.
İkincisi, bazı kurallar koymak ve bazı içerikleri en üste koymak gibi işletim sistemidir.
Üçüncüsü, ürün efektleri için iyi bir yardımcı olan beyaz tahta deneyim sistemidir. Efekt beyaz tahtada, çeşitli ortamlarda çeşitli içerikler üzerinde çeşitli kullanıcıların öneri etkisini yaşayabilir ve her bir bağlantının öneri sürecindeki rolünü detaylı olarak gözlemleyebiliriz.
Dördüncüsü, ELK günlük sistemidir, temel rol, günlük izleme takibi ve hızlı veri analizini tamamlamaktır. Beşincisi, sistemin en temel garantisidir, yani bir dizi izleme ve alarm mekanizması ve destekleyici önlemdir. Tabii ki öneri sistemi diğer bazı küçük bileşenleri de içeriyor, kendi iş ihtiyaçlarınıza göre aşamalı olarak inşa etmeniz gerekiyor.
Dersten sonra özet: Dünyayı fethetmek için neden bir algoritma kullanamıyoruz?
Endüstriyel düzeyde öneri sistemi mimarisi için, belirli iş önerisi görevlerine ilişkin anlayışımızı sistem perspektifinden derinleştirmeye çalışmamız gerekir.
Soru 1: Dünyayı fethetmek için neden bir algoritma kullanamıyoruz?
Tek öneri algoritmamız yeterince iyiyse, algoritma tarafından bize önerilen içerik yavaş yavaş sınırlı bir ilgi alanına yaklaşacak ve ilgi alanlarımızın dışında yüksek kaliteli içeriğe erişme fırsatımız olmayacaktır.
Sistemdeki çok kanallı geri çağırma yöntemi ve teşhir yöntemi sayesinde, kullanıcılar için daha yüksek kaliteli içerik keşfedebilir, kullanıcıların yeni ilgi çekici noktaları keşfetmesine olanak tanıyabilir, kullanıcının son deneyimini iyileştirebilir ve kullanıcılara bunun sürekli olarak yeni şeyler keşfetmenin bir yolu olduğunu hissettirebiliriz Bu, önerileri çözmek için sistem düşüncesine iyi bir örnektir.
Soru 2: Neden popüler içeriği öneriyoruz ve rastgele içeriği açığa çıkarıyoruz?
Sistem sürekli gelişen ve yinelemeli bir sistem olduğundan, tek bir algoritma ne kadar iyi olursa olsun, ilk sistemin veya yeni kullanıcıların soğuk başlatma problemini çözemez.
Soru 3: Neden gerçek zamanlı indeksleme, veri yeniden düzenleme ve çevrimiçi öğrenmeye girmemiz gerekiyor?
Örneğin, ABD-İran olayı gibi bazı güncel konular, gerçek zamanlı indeksleme yoluyla, ilgili içeriği hızlı bir şekilde öneri akışına aktarabiliriz. Çevrimiçi öğrenmeye geri dönen veri akışı, daha önce bahsettiğimiz ilginç bir sorunu çözebilir. Örneğin, içeriği istasyonda okuyabilir ve videoyu sorunsuz bir şekilde izleyebilirsiniz, ancak trene bindikten sonra sinyal iyi değildir.Şu anda, hızlı öğrenme geri bildirimi yoluyla, daha yüksek bir metin içeriği yüzdesi önerebilirsiniz.
Etkileşimli Soru-Cevap: WeChat'teki öneri algoritmasının en büyük 3 uygulama senaryosu nedir?
S1: WeChat'teki öneri algoritmalarının en büyük 3 uygulama senaryosunun ne olduğunu bilmek istiyorum.
Teacher Que: AI'nın önemli bir uygulama alanı olarak önerilmektedir ve WeChat'te de yaygın olarak kullanılmaktadır. Öneri teknolojisi sayesinde, kullanıcılara içerik keşfi, bilgi erişimi ve zengin ifade konularında yardımcı olun. Örneğin, yüksek kaliteli ve ilginç içerik keşfetmedeki verimliliğimizi artıran öneri teknolojisine bir göz atın. Moments reklamlarında, kendimize uyan ve sosyal eğlence dolu push bilgileri elde ettik. Video dinamiklerinde müzik önererek zenginleştik Kullanıcılar duyguları nasıl ve ne kadar verimli ifade eder.
S2: Merhaba öğretmenim, lütfen sorun:
Teacher Que: Çok profesyonel iki soru. Bir analiz noktası, SVD'nin LR'den daha az yorumlanabilir olması ve temsilinin ve diğer özelliklerinin DNN'ye kıyasla sınırlı olmasıdır.
S3: WeChat robot yanıtı nasıl çalışır?
Teacher Que: Robot yanıtı, bir diyalog sistemi uygulamasıdır. Diyalog sisteminde niyet tanıma, slot analizi ve içerik eşleştirme teknolojileri olacaktır.
S4: Yakın zamanda dil üretme görevim sona erdi. Büyük üreticilerin mevcut genel öneri sistemi fikirlerini öğrenmeyi ve kısa bir giriş yapmayı umuyorum, böylece herkes mevcut öneri sisteminin genel uygulama ve geliştirme eğilimini önceden anlayabilsin ,Teşekkür ederim!
Teacher Que: Sektördeki mevcut öneri sistemi hızlı bir şekilde yineleniyor ve çekirdeği hala özellik ifadesi ve özellik kesişimi etrafında.
S5: Öneri sistemi bilgi grafikleri içeriyor mu?
Öğretmen Sırası: Bilgi grafiği, öneri sisteminin erken aşaması veya geri çağırma aşaması için çok önemli bir bilgi tamamlayıcısıdır. Örneğin, "Tik Tok" anahtar kelimesi aracılığıyla, TikTok'un sıcak şarkısı "Mangzhong" ve "Chen Kaige" etiketiyle onu "Overlord" ile ilişkilendirebiliriz. Veda".
S6: WeChat'in öneri algoritmasının özel işi nedir?
Teacher Que: Tipik bir mimariyle başlayın ve sistem perspektifinden önerilen görevler hakkında daha fazla anlayış paylaşın.
Bu canlı dersin tam HD sürümünü edinmek için yeni bir Zhiyuan asistanı VX: Xzy_Xiaoxin ekleyin!
