Makine öğrenmiyor: e-ticaret platformu öneri sistemi mimarisinin evrimi
Makine öğrenimi derin öğrenme kuru depo jqbxx.com
Bu paylaşım esas olarak C2C pazarının geçmişine dayanmaktadır.İş tecrübeme dayanarak, daha yüksek soyut boyutları olan iki önemli noktayı açıklayacağım, yani feed akışı öneri hizmet çerçevesinin evrimi ve kullanıcı profili sistem mimarisinin evrimi.
C2C pazarının durumunu kısaca tanıtın: C2C pazarı gerçek bir kişisel-kişiye pazarlamadır. Tanıdık Taobao artık bir B2C veya küçük bir B2C pazarı olarak sayılmaktadır. Şu anda gerçek C2C pazarı Xianyu ve Zhuanzhuan'dır. Kişiden kişiye atıl işlem platformu. İkinci el C2C platformunun önemi, esas olarak ürün işlemleri ve beceri alışverişi yapmaktır.
Geçen yıl, şirket "Tanrıça ile Süper Güzel Oyun" etkinliği gerçekleştirdi. Kullanıcılar, Tanrıça'nın sizinle oyun oynamak için zamanını satın almak için para ödeyebilirler. Bu aslında bir takas. Herkes her zaman Taobao'nun çok yönlü olduğunu söyler, hatta bazı köşeler de Taobao tarafından gözden kaçırılır.Örneğin, orta çağ Avrupa'sından günümüze lehim havyası satan insanlarla karşılaştım.
C2C pazarı, bazı benzersiz özellikleri ve sorunları olan kişisel bir değişim piyasasıdır. Birincisi, bireyler tarafından verilen bilgilerin çok rastgele olmasıdır.Örneğin, bir cep telefonu sattığınızda sadece kısa bir giriş yazabilirsiniz ya da hiç yazmayabilirsiniz; ikincisi, emtia envanterinin rastlantısallığıdır.Örneğin, siz ve ben aynı şeyi satarsak envanter olacaktır. Sayılması zorlaşıyor; üçüncüsü, alıcıların bilgileri alıp satmanın zamanında olması konusunda daha duyarlı olmalarıdır.Bir satıcının eşyası onlarca gündür satılmadıysa, insanlar genellikle ürünün kalitesinin kendisinde sorun olup olmadığını veya satıcının samimi olup olmadığını merak ederler.
Şimdi besleme akışı mimarisinin evrimini açıklamak için, onları evrim sürecini göstermek için birkaç döneme ayıracağım, ilki ilkel taş devri. Taş Devri'nin sistemleri nispeten basittir, esas olarak iki bölümden oluşur: biri çevrimdışı işlem, diğeri çevrimiçi hizmettir. Çevrimdışı çalışma, önerilen malzemeleri oluşturmak için kullanılır; çevrimiçi hizmetler aslında tabloya bakmak, kullanıcıya önerilmesi gereken içeriği bulmak ve ardından bunu ön büroya önermektir. Çevrimdışı kısım, temelde kullanıcının davranış matrisini kıvılcım matrisiyle ayrıştırır. Burada bir şey daha var, kıvılcım üzerindeki boru hattı dışında, algoritmasının kullanımı özellikle kolay değil ve doğruluğunun iyileştirilmesi gerekiyor.
Bu çağın pratiğinde hala düşük derecede kişiselleştirme, tek geri çağırma boyutu, düşük yeniden kullanım oranı, düşük önbellek verimliliği gibi birçok sorun var.
Önceki Taş Devri çerçevesinde bir aydan fazla çalıştıktan sonra, yeni nesil Bronz Çağı'na evrildi. Bu kez sistem, kullanıcı kategoriden kullanıcıya tek ürüne geçerek ayrıntı düzeyini geliştirdi.Aynı zamanda, daha fazla boyut ve kullanıcı portreleri ve ürün portreleri sunar ve ilgili temel verileri geliştirir.
Bu düğümde aşağıdaki iyileştirmeleri yaptık: birincisi, kategori düzeyinde incelikten öğe düzeyinde inceliğe kadar ince ayarlı kişiselleştirme iyileştirmesi; ikinci olarak, hatırlama boyutunu artırmak için CF + portre kullanıyoruz. CF'nin kullanımı çok kolaydır, birçok şekilde kullanılabilir.Örneğin, davranış verileri ve satın alma verileri aracılığıyla hesaplanabilir ve yine de ayarlama için yer vardır; Son olarak, verilerin mühendislikte yeniden kullanılabilirliğini geliştirdik. Burada önemli bir nokta ve ayrıca çok önemli bir fikir var, yani kullanıcı meta sürecini kullanıcı X, X emtia olarak ikiye ayırıyoruz. Bu tür düşünmenin en ünlü örneği, bir makaleyi bir kelimeye, bir makaleye, bir konuya ve sonra bir konudan bir kelimeye dönüştüren LDA'nın matris ayrıştırmasıdır. Örneğin, bir kişinin birden fazla WeChat grubuna sahip olması durumunda, bir kişinin birden fazla ilgi alanına sahip olduğu ve her bir ilgi alanının birkaç grup içerdiği anlaşılabilir. Bu geniş fikir kategorisi, genellikle orijinal verilerin yüksek bir boyuta sahip olduğu durumlar için geçerlidir.
Bir sonraki adım, asıl odak noktasının gerçek zamanlı öneri sistemi olduğu Sanayi Devrimi'nin I dönemidir. Burada esas olarak gerçek zamanlı iki bölüm yaptık, yani gerçek zamanlı çevrimdışı madencilik ve ürün portreleri, CF ilişkileri vb. Gibi kullanıcının ilgisinin gerçek zamanlı olması gerçek zamanlıydı ve ilgi de gerçek zamanlı olarak hesaplandı. Gerçek zamanlılaştırma aşamasından sonra sistemimizin dönüşüm oranı% 8-9 artmıştır.Gerçek zamanlı hale getirmenin geçici bir iş olmadığı, sürekli iyileştirilebileceği unutulmamalıdır.
Nihayet makine öğrenimi çağına girerken, makine öğreniminin itici bir güç olduğunu bilmeliyiz. İşte makine öğreniminin öneri sistemi mimarisi hakkında kısa bir konuşma.
Her şeyden önce, alt katmanın bir dizi makine öğrenimi ardışık düzeni oluşturması gerekiyor, bu çok önemli. Ardışık düzen oluşturulduktan sonra, bir makine öğrenimi veri ambarı oluşturacak. Burada kullandığım ardışık düzen, esas olarak özellik oluşturmaya atıfta bulunuyor. Aslında sadece öneri sistemleri değil, bilişim reklam sistemleri de destekleyecek böyle bir platforma ihtiyaç duyar. Gerçek zamanlı hizmet mimarisinin uygulama mantığı, istekleri göndermek, analiz etmek, geri çağırmak, sıralamak, işi işlemek ve önce verileri almaktır. Nesnel olarak konuşursak, çoğu şirket bu mühendislik şeylerini platformda inşa etmeye zaman ayırarak en fazla faydayı elde edebilir.
Makine öğrenimi yapmadan önce, öncelikle neden, sıralama için makine öğrenimini kullanıyorsunuz diye sormalısınız. Makine öğreniminin optimizasyon hedefi net ve ölçülebilir olduğundan, modelin çok net bir optimizasyon noktası vardır. Amazon, CF işbirliğine dayalı filtreleme sistemini öneren belgede bir optimizasyon standardı önermedi. Yüksek bir satın alma oranı, önerilen öğelerin satın alınacağı anlamına mı geliyor? Yüksek tıklama oranı, bu öğenin gerçekten önerilmesi gerektiği anlamına mı geliyor? Reddit'in ilk günlerde kullandığı türden bir formül yığını olduğunu, bir yığın formül yığıldığını, ancak herhangi bir iş hedefiyle uyumlu olmadığını ve makine öğreniminin iş hedefleriyle uyumlu olabileceğini hatırlıyorum. Makine öğreniminin ilk katmanındaki geri çağırma kalitesi çok önemlidir ve aday küme olarak CF kullanılarak ilk katmanda basitleştirilmiş bir şekilde işlenebilir.
Makine öğrenimi modelleri yalnızca sıralama yapmakla kalmaz, aynı zamanda modelleri ve kullanıcı ilgi modellerini de geri çağırabilir. Makine öğreniminin etkisi çok iyidir ve dönüşüm oranı iki katına çıkarılabilir. Ancak aynı zamanda, makine öğreniminin ve gerçek zamanın sürekli bir mesele olduğunu herkesin bilmesi gerekir. İkisi çelişkili değildir ve paralel çalışabilir. En ideal durum, bir makine öğrenimi sistemine sahip olmak ve gerçek zamanlı model güncellemesi, gerçek zamanlı özellik edinimi ve gerçek zamanlı sıralama hesaplamasını gerçekleştirmektir.
Önerilen sistem evriminin ana hatlarının özeti:
a. Alaka düzeyi ayrıntılandırması, örneğin, en eski kullanıcı portresi kullanıcının cinsiyetine bölünür ve ardından onu daha ayrıntılı şeylere daraltmaya devam edersiniz;
b. Geri çağırma / sıralama çok boyutludur, örneğin, en erken zamanda sadece davranış hatırlama vardır ve daha sonra kullanıcı portresini hatırlama gibi çok boyutlu geri çağırmalar vardır;
c. Gerçek zamanlı geri bildirim, yani, kullanıcınızın davranışı gizli veya görüntülü olsun, sisteminize ne kadar hızlı geri bildirimde bulunursanız, etki o kadar iyi olur;
d) Hesaplamalı modelleme Bunu yapmak istediğinizde, önce bu şeyin modellenip modellenemeyeceğini ve bilimsel olarak hesaplanıp hesaplanamayacağını düşünmelisiniz.Mümkünse, etkiyi yapmak için bir model kullanmak, doğrudan yapmaktan daha iyidir.
Bir öneri sistemi oluşturmak için bu fikri izlerseniz, genellikle yanlış gitmezsiniz.Bu dört yönün her birindeki optimizasyon, genel iyileştirme getirecektir.
Ardından, öneri sisteminin önemli bir parçası olan kullanıcı portrelerine odaklanacağım.
Neden kullanıcı portreleri yapıyor? Acemiler yanlış anlaşılmaya meyillidirler yani nedenini bilmeden yaparlar Sorun şu ki, işten ayrılıyorlar ve sadece portreyi öne sürüyorlar ama iş mevcut değil. Programcılar zor ama üretken olmayan şeylere zaman ve enerji harcamamalıdır.
Kullanıcı portrelerinin izlemesi gereken ilk prensip, faydalı kullanıcı portreleri yapmaktır.
Birincisi, etkili bir bağlantı kurmak. Bir ucu kullanıcı, diğer ucu öğe, aralarında bir bağlantı olmalı, sadece bir taraf işe yaramaz. İşte e-ticaret endüstrisindeki bazı küçük deneyimler. Cinsiyet portreleri biraz kullanışlıdır, ancak e-ticaret endüstrisinde yaş ve meslek daha az kullanılır. Taobao'yu örnek olarak alın. Yeni tıraş makinesi satın almış birine tıraş olmayı tavsiye ediyorsunuz. Bıçağın etkisi çok büyük olmayacak çünkü insanlar bu eşyayı yeni almışlar ve siz kuralları alıp tavsiye etmeye devam ettiğinizde o kadar da isabetli değilsiniz.
İkincisi, titizlikle tasvir etmektir. Örneğin, elektronik ürünler sadece belirli bir kullanıcının elektronik ürünleri sevdiğini bilir. Bu aralık çok büyük ve belirsizdir. Cep telefonları, bilgisayarlar, kameralar, Go Pros ve hatta Wankeyun elektronik ürünlerdir. Karakterizasyonun dikkatli olup olmadığını belirlemek için istatistiksel yöntemler kullanılmalıdır.
Üçüncüsü farklılıkları aramaktır Örneğin, kullanıcının bir SLR kameraya mı yoksa bir kart kameraya mı ihtiyacı olduğunu bilebilirsiniz, ancak ürünün sonunda ayırt edilemeyebilir.
Daha sonra, bir kullanıcı portresini ilk kez yaptığınızda, çok boyutlu bir kullanıcı portresinin peşine düşeceksiniz.Örneğin, e-ticarette cinsiyet, tercih ya da bir miktar gömme olacak. Şu anda ilk aşamada mimariden söz edilmeyecek, daha çok sizsiniz Bu şeye sahip olmak, kullanıcıyı geri çağırmak vb.
Çok boyutlu kullanıcı portrelerinde karşılaşılan problemlerden bahsedelim.Gerçek çalışmada farklı gruplar farklı işler yapıyor. İşte etkili zaman meselesi ... Günde sadece 24 saat var.Etkili zaman tavsiye sisteminin etkisini ne zaman etkileyecek, ekip işbirliğini de etkileyecek;
İkincisi, portrenin aşağı akış tarafından çağrılacak olan öneri sistemi tarafından kullanılmasıdır, ancak çağırmanın birçok yolu vardır, örneğin, bir grup redis kullanır ve diğer grup elasticsearch için kullanılır.Bunların koordineli olması gerekir;
Üçüncüsü, yönetim yükseltmesinin birleşik olmamasıdır.Kullanıcı portresindeki yukarı akış arama sistemini yükselttiğinizde, birçok kez aradığınızı ve onu ayrıca değiştirmeniz gerektiğini göreceksiniz ve fiyat çok yüksek olacak.
Dolayısıyla çözümü, çok boyutlu ürün portrelerinin birleşik üretimi için mantıksal bir çerçevedir. Odak noktası, orta boyutlarda kullanıcı portreleri üzerinedir. Bunun dışında süreç aynıdır. Örneğin, bir veri kaynağı almak, ETL işleme yapmak, oluşturmak aynı şey değildir, depolamak ve sonra gerçek zamanlı ve diğer sorunları çözmek, aynı değil Ortadaki yer kullanıcı portresidir.
Kullanıcı ilgi alanlarını nasıl daha iyi tahmin edebilirim? Eski yöntem şu kurallara dayanmaktadır: a.Farklı zamanlarda meydana gelen farklı davranışlara farklı ağırlıklar atanır; b. Ağırlıklar toplanır. Bunu yapmak, iki problemle karşılaşacaktır, biri patent başı kurallarının yanlış ölçülmesi, diğeri ise olumsuz geri bildirimi makul bir şekilde kullanamama.
Bu nedenle, yöntemlerden biri, tahmin etmek için makine öğrenimi odaklı bir kullanıcı ilgi modeli kullanmaktır. Geçmiş geri bildirimlerinize, olumlu geri bildirimlerinize ve olumsuz geri bildirimlerinize dayanarak özelliklerinizi çıkarın ve ardından alaka düzeyinizi ve enerjinizi tahmin etmek için makine öğrenimini kullanın. Modeli ölçmek için kullanın, kuralları yığmayın, çünkü sahneniz değiştiğinde, makine öğrenimi modeli kuralları değiştirmeye gerek kalmadan herhangi bir zamanda güncellenebilir.
Makine öğreniminin avantajı, olumsuz geri bildirimin daha iyi kullanılmasında, kuralların ölçülmesinde ve makine öğrenimi ile tahmin edilebilecek daha büyük keşifsel ölçeklenebilirlikte yatmaktadır. İnternette bilgi kozası odaları kavramını öğrenebilirsiniz ve makine öğrenimi yapmak için bu engeli aşmanız gerekir.
Portre sisteminin evriminin ana hatlarının bir özetidir:
a. Çeşitlendirilmiş boyutlar. Kör bir kişinin bir file dokunması gibi farklı düşünme ve tamamlayıcı boyutlar.
b. Boyutsal iyileştirme. Çok kalın etkili değil ama cep telefonu gibi dijital bir ürün, marka Apple, spesifik modeli ne, çok ince iyi olmayacak, kavranacak bir derece var.
c. Gerçek zamanlı hesaplama. Elbette, geri bildirim ne kadar hızlı olursa, birkaç gün önce verilerin daha iyi ve güncelliği büyük ölçüde azalacaktır.
d. Model tahmini. Bir makine öğrenimi sistemi kurmak için, etkiyi optimize etmek için mümkün olduğunca çok sayıda farklı model deneyin.
Makine öğrenimi derin öğrenme kuru depo jqbxx.com
