Akıllı öneri hakkında 6 küçük deneyim, sahip olmayı hak ediyorsun
Akıllı öneri sistemi gizemli değildir. İnternetten alışveriş yaptığımızda sıklıkla "sizin için tavsiye edilen veya ilgili kombinasyonlar" olan ürünler ortaya çıkar. Akıllı tavsiyenin etrafımızda olduğu ve görünümünün kişiselleştirilmiş hizmetleri daha iyi gerçekleştirebileceği söylenebilir. Amazon CEO'su Jeff Bezos bir keresinde hayalinin "1 milyon kullanıcım varsa onlar için 1 milyon Amazon web sitesi kuracağım" olduğunu söylemişti. Akıllı öneri sisteminin önemini görebiliriz.İyi bir öneri sistemi geliştirmek için makine öğrenimi, veri madenciliği, arama motoru ve diğer teknolojileri kullanır, ancak daha iyi sonuçlar elde etmek için bunlar nasıl yapılır?
1. Açık ve örtük geri bildirim verilerinden tam olarak yararlanın
Veriler, tüm öneri sistemlerinin temelidir. İyi bir öneri etkisi zengin ve doğru verilerden gelmelidir. Bu veriler, kullanıcılarla ve önerilecek öğelerle ilgili temel bilgileri içerir (Not: öğe, ürün, film, müzik, haber vb. Olabilen belirli öneri senaryolarıyla ilgilidir, arkadaş tavsiyesi içinse, öğe Kullanıcının kendisi de olabilir) Öte yandan, kullanıcı ile web sitesi veya uygulamadaki öğe arasındaki kullanıcı davranışı ve ilişki verileri de çok önemlidir. Çünkü bu kullanıcı davranışı ve ilişki verileri, her kullanıcının tercihlerini ve alışkanlıklarını gerçekten yansıtabilir. Bu temel verilerin toplanması, temizlenmesi ve ön işleme, tüm öneri sisteminin temel taşıdır.
Kullanıcı davranışı verileri iki bölüme ayrılabilir: açık geribildirim verileri (açık geri bildirimler) ve örtük geri bildirimler (örtük geri bildirimler) verileri. Açık geri bildirim, kullanıcının bir ürünü satın alması, toplaması, toplaması ve değerlendirmesi gibi kullanıcının beğenip beğenmediğini açıkça ifade edebilen davranışsal verileri ifade eder. Bunun aksine, örtük geribildirim verileri, web sitesinde kullanıcı tıklamaları, göz atmaları, kalmaları, atlamaları ve kapanmaları gibi kullanıcı tercihlerini doğrudan yansıtamayan davranışları ifade eder. Açık geri bildirim verilerini araştırarak, kullanıcıların tercihleri açıkça anlaşılabilir, ancak birçok uygulamada Açık geri bildirim verileri genellikle çok seyrek olup, kullanıcı tercihlerinin derinlemesine araştırılmasına neden olur . Bu sorun özellikle yeni başlatılan bazı uygulamalarda veya popüler olmayan öğeler veya kullanıcılarda belirgindir. Bu durumda, kullanıcının örtük geri bildirim verileri özellikle önemlidir. Çünkü kullanıcının web sitesindeki tıklamaları ve diğer davranışları çok karmaşık olsa da, pek çok bilgi içermektedir. 2006-2008 yıllarında düzenlenen ünlü uluslararası öneri yarışması NetflixPrize'de şampiyon takım üyesi YehudaKoren, kullanıcının kiralık filminin kaydının bir uzun metraj vektörüne dönüştürüldüğünü ve kullanıcının ilgi vektörünü etkilemek için tekil bir değer ayrıştırma algoritması (SVD) enjekte edildiğini keşfetti. Önerilen doğruluk oranı.
Temel verilerin ön işlemden geçirilmesi de öneri etkisini iyileştirmek için çok yardımcıdır. Örnek olarak 2012 ACMKDD-Kupası'nı (Uluslararası Veri Madenciliği Yarışması) ele alalım.Eğitim örneklerinde, negatif örnek sayısı toplam örnek sayısının% 92,82'sine ulaştı ancak bu negatif örneklerin dikkatli analizi sonucunda çok sayıda örneğin gürültü içerdiği tespit edildi. Bir dizi Oturum analizi ve tarama yöntemiyle, örneklerin% 11,2'si sonraki öneri madenciliği için tutuldu, bu sadece öneri doğruluğunu başarılı bir şekilde iyileştirmekle kalmadı, aynı zamanda hesaplama miktarını da büyük ölçüde düşürdü. Bu nedenle, her türlü açık ve örtük veriden tam olarak yararlanmak ve giriş verilerinin kalitesini sağlamak için verileri önceden işlemek ilk kilit noktadır.
2. Zaman faktörüne dikkat edin
Kullanıcı davranışı için güçlü bir zaman kuralı vardır. Örneğin, insanlar genellikle öğlen yemek yer, hafta sonları tatile gider ve Çin Yeni Yılı sırasında yeniden bir araya gelmek için eve gider. Kullanıcıların çeşitli uygulamalardaki davranışları da düzenlidir ve araştırılabilir.Zamanın iyi kullanılması özelliği, birçok öneri senaryosunda öneri etkisinin iyileştirilmesine büyük ölçüde yardımcı olacaktır.
Kullanıcı davranışı günlüğünde, davranışın zaman damgası genellikle kaydedilir. Bu zaman damgası hem kullanıcıdan hem de öğeden analiz edilebilir. Kullanıcının bakış açısından: kullanıcının ilgi alanları zaman içinde değişme eğilimindedir ve birkaç yıl önceki ilgi alanları mevcut ilgi alanlarından farklı olabilir; diğer yandan, iş günü davranışı gibi kullanıcı davranışında belirli kurallar vardır. Benzer ve kullanıcının davranışları hafta sonu boyunca değişecek ve hatta aynı gün, kullanıcının sabah ve akşam davranışları ve tercihleri farklı kalıplara sahip olacaktır.
Öğenin bakış açısından, popülerlik zamanla düzenli olarak dalgalanacaktır.Kullanıcı ve öğe arasındaki davranış kayıtlarını belirli bir süre boyunca sürekli olarak kazarak, bu model genellikle keşfedilebilir ve bize rehberlik etmek için kullanılabilir. Önerinin doğruluğunu artırmak için daha sonra kullanıcının davranışını tahmin edin.
Zaman faktörleri için bazı yaygın işleme şemaları şunları içerir: 1) İşbirliğine dayalı filtrelemede kullanıcı veya öğenin benzerliğini hesaplama formülünde, benzer zaman rolünü oynaması için bir zaman faktörü ekleyin; 2) Ayrı zamanı doğal ay, hafta, gün, saat vb. İle eşleyin. Zaman diliminde, istatistiksel hesaplamalar ayrı ayrı gerçekleştirilir ve daha sonra biriken veriler, sonuç tahminine rehberlik etmek için belirli bir regresyon modelinde (Regresyon modelleri) kullanılır; 3) Zaman, model parametrelerini eğitmek için doğrusal bir sürekli değişken olarak kullanılır.
3. Belirli önerilen senaryoların coğrafi özellikleri kullanması gerekir
Özellikle bazı LBS ve O2O uygulamaları için kullanıcının coğrafi konumuyla yakından ilgili bazı öneri senaryoları vardır.Coğrafi özellikten ayrıldıktan sonra, akıllı tavsiyenin etkisi hakkında konuşmak imkansızdır. Örneğin, bir restoranın önerilmesi gerektiğinde, kullanıcının mevcut konumu dikkate alınmıyorsa, bir restoran ile mevcut kullanıcının zevkleri çok uyumlu olsa bile, tavsiye değersizdir.
Şu anda, tavsiye sistemindeki coğrafi özelliklerin kullanımı hala nispeten ilkeldir.Genellikle, kullanıcıların öneri sonuçlarının bulunduğu alanı (il, şehir, ilçe, ilçe vb.) Manuel olarak filtrelemesi veya belirli bir yarıçap içindeki sonuçları belirtmesi gerekir. Bu yöntemin çalıştırılması zahmetli olmasının yanı sıra coğrafi bilgilerin ayrıntılı analizinden de yoksundur. Örneğin, A ve B konumları arasındaki düz çizgi mesafesi nispeten uzun olmasına rağmen, iki nokta arasında doğrudan bir metro yolculuğu vardır ve diğer konum C, haritadan düz çizgi mesafesi A'ya çok yakın olmasına rağmen, iki nokta arasında dolambaçlı yoldan sapmak için elverişsizdir. Ayrıca kullanıcının bakış açısından günlük aktiviteler alanında her zaman bir düzenlilik söz konusudur, örneğin hafta içi günlerde aktivite alanı genellikle iş yerine yakın, geceleri ise eve yakın.
Coğrafi konum bilgisine dayalı uygulamalarda, kullanıcıların bölgeler için tercihlerini madencilik konusunda daha akıllı olmaları gerekir (ve bu tercih genellikle zamanla yakından ilgilidir) Örneğin, kullanıcı tabanlı işbirliğine dayalı filtrelemede, benzer bölgelerdeki aktif kullanıcıların davranışları şu şekilde alınır: Önerinin temeli, benzer faaliyet alanlarına sahip kullanıcıların belirli aynı tercihlere sahip olabilmesidir. Veya öğeler arasındaki benzerliği hesaplarken bölgesel özellikleri tanıtmak için öğe tabanlı işbirliğine dayalı filtreleme fikrini kullanın. LatentFactorModel'de, kullanıcının özellik vektörü üzerinde hareket etmek için kullanıcının etkinlik alanını örtük geri bildirim olarak kullanmak uygun bir çözümdür.
Cep telefonları, coğrafi bilgilere dayalı öneriler için en iyi taşıyıcıdır.Mobil İnternet uygulamaları giderek daha popüler hale geldikçe, gelecekte coğrafi bilgilere dayalı daha fazla önerilen ürünlerin ortaya çıkmasını bekliyoruz.
4. SNS ilişkisinin kullanımı
Sosyal ağlar son yıllarda büyük bir hızla gelişti.Kullanıcılar artık yalnızca içerik alıcısı değil, kullanıcılar arasında aktif bir şekilde ilişkiler kurabiliyor. Bu ilişkiler, açık ilişkiler (açık ilişkiler) ve örtük ilişkiler (örtük ilişkiler) olarak ikiye ayrılabilir. Açık ilişkiler, Weibo'da birisinin takip edilmesi / takip edilmesi veya topluluğa arkadaş olarak eklenmesi gibi, kullanıcıların açıkça kurduğu ilgili ilişkileri ifade eder. Örtük ilişki, kullanıcılar arasındaki bazı etkileşimli davranışlara atıfta bulunur, ancak bu davranışlar, kullanıcılar arasındaki ilişkiyi açıkça gösteremez. Örneğin, bir kullanıcı çevrimiçi oyun dünyasında başka bir oyuncu veya PK konuşuyorsa, başka bir kullanıcının Weibo'daki gönderisini tıklar, yorumlar ve iletir. Örtük ilişki, açık ilişki kadar net olmasa da, açık ilişkiden çok daha zengindir. Bu nedenle, yüksek öneri doğruluğu gerektiren bazı uygulama senaryolarında açık ilişkilerin önemli bir rol oynaması gerekir; ve öneri hatırlama oranını ve öneri sonuçlarının çeşitliliğini iyileştirmesi gereken bazı senaryolarda, özellikle açık ilişkiler veri seyrekliği ile karşı karşıya kaldığında Bir sorun olduğunda (not: bu sorun önerilen uygulamalarda yaygındır), örtük ilişkilerden tam olarak yararlanmanın çok iyi bir etkisi olabilir. Örnek olarak bu yılki KDD-Cup yarışmasını ele alalım.Tencent Weibo'nun arkadaş öneri sisteminde, veri seyrekliği sorunuyla başa çıkmak için SVD ++ modeline örtük ilişkiler ekleyerek öneri doğruluk oranını% 5,5 artırabiliriz.
Ek olarak, mobil İnternetin popülaritesi SNS ilişkilerinin kullanımını daha kolay hale getirdi ve coğrafi bilgilerin eklenmesi WeChat gibi yeni mobil uygulamalar üretti.SNS ilişkileri ve coğrafi özelliklerin kombinasyonu kesinlikle öneri sistemini daha fazla yapacaktır. Hoşgeldin sonucu.
5. Büyük veri madenciliği ve performans optimizasyonu
Büyük veri madenciliği son yıllarda bir araştırma noktası haline geldi.Dağıtık hesaplama teknolojisinin yaygın kullanımı sayesinde, sistemin veri çıkış ölçeği gittikçe büyüdü ve çevrimdışı veri madenciliği yeteneği daha güçlü ve daha güçlü hale geldi. Daha kullanışlı. Bununla birlikte, tavsiye madenciliğinde, sistemin sağlayabileceği hesaplama gücü ile gerçek hesaplama gereksinimleri arasında her zaman bir çelişki vardır, bu nedenle bilgi işlem kaynaklarını etkili ve makul bir şekilde tahsis etmek çok önemlidir. Kazma derinliğinde makul bir tahsis yapmak gerekir. Önemli kullanıcılar veya öğeler için, daha derinlemesine keşif için daha fazla kaynak tahsis edilebilir. Aynısı temel veriler için de geçerlidir.Yüksek kaliteli veriler daha ayrıntılı analiz için kullanılabilirken, düşük değerli verilerin yalnızca işlemeyi basitleştirmesi gerekebilir.
Arka uç çevrimdışı sistemin genellikle modeli düzenli olarak güncellemesi gerekir ve modelin tam veya artımlı güncelleme yöntemi de bir endişe kaynağıdır. Örnek olarak kullanıcı modelini alın. Tüm kullanıcıların kişiselleştirilmiş modellerinin sık sık güncellenmesi gerekmez. Aktif, yüksek katkı sağlayan kullanıcıların daha sık güncellenmesi gerekir. Aynısı öğeler için de geçerlidir. Popüler öğeler ve popüler olmayan öğelerin farklı güncelleme döngüleri vardır.
Büyük veri öneri sistemlerinin performans optimizasyonu açısından, tersine çevrilmiş dizinlerin kullanımı ve önbellek mekanizmalarının tam kullanımı gibi yaygın olarak kullanılan bazı teknikler vardır.
6. Optimizasyon hedeflerini ve değerlendirme yöntemlerini netleştirin
Ön kullanılabilir bir öneri sistemi geliştirmek zor değildir Zor olan kısım, iyileştirmenin nasıl sürdürüleceği ve orijinal öneri etkisine dayanarak nasıl daha ileri gideceğidir. Optimizasyon hedeflerinin ve değerlendirme yöntemlerinin belirlenmesi, bu sorunu çözmenin anahtarıdır. Öncelikle sistemin optimizasyon hedefini belirlememiz gerekiyor. Örneğin, bazı öneri sistemleri öneri sonuçlarının tıklama oranını takip eder; bazıları da tıklamadan sonraki gerçek dönüşümü veya işlem etkisini dikkate alır; bazı öneri senaryoları öneri sonuçlarının yeniliğine daha fazla önem verir, yani bu siteye yeni eklenen öğeleri kullanıcılara göstermeyi umarlar. Diğerleri sonuçların çeşitliliğine daha fazla önem veriyor.
Öneri sisteminin hedefleri netleştikten sonra, aşağıdaki soru bu öneri hedeflerinin nicel olarak nasıl değerlendirileceğidir. Geleneksel puanlama tahmin problemleri genellikle ortalama kare hatası (RMSE) veya ortalama mutlak hata (MAE) gibi hesaplama yöntemlerini kullanır. Bununla birlikte, Top-N önerileri pratik uygulamalarda daha yaygındır Bu senaryoda, NDCG (NormalizedDiscountedCumulativeGain) veya MAP (MeanAveragePrecision) yaygın olarak kullanılan bir ölçüm yöntemidir.
Öneri sistemleri genellikle reklam veya arama sistemleri gibi ilgili alanlardaki bazı teknolojilerden yararlandığından, hesaplamalı reklamcılıktaki pCTR veya arama sistemlerinin Kesinlik-Geri Çağırma eğrisi genellikle tavsiyenin etkinliğini değerlendirmek için kullanılır. Hatta bazı sistemler öneri sistemini doğrudan bir makine öğrenimi problemine dönüştürür ve değerlendirme yöntemi de buna karşılık gelen bir problem yöntemine dönüştürülür.
Gerçek sistemlerde, birden çok gösterge (tıklama oranı, doğruluk, kapsam, çeşitlilik, yenilik vb.) Genellikle birlikte çalışır ve sonuçlar, ürünün gerçek ihtiyaçlarına göre ağırlıklı ödünler sonrasında değerlendirilir. Test yöntemi ayrıca A / B testi ve manuel değerlendirmeye bağlıdır. Hangi yöntem benimsenmiş olursa olsun, olgun bir öneri sistemi, açık optimizasyon hedefleri ve değerlendirme sistemleri üzerine inşa edilmelidir. Bunlar, her seferinde öneri sisteminin adımlarını ölçen bir cetvel gibidirler.
Geçmişte bin kişiye alışmıştık ama şimdi bin kişiyi ve bin yüzü seviyoruz. Akıllı sistemlerin ortaya çıkışı "bin kişi ve bin yüz" ortamına dayanıyor. Veriler, algoritmalar, mimari ve diğer teknik araçlar sayesinde kullanıcıların davranış özellikleri Kendi önerilen ürünlerimizin kombinasyonu, kullanıcılarımıza hizmet etmek için daha akıllı, daha insancıl ve daha pratiktir!
