g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Münhasır Sonraki öneri sisteminin bilgi sistemini anlamak için bir makale (değerlendirme, gerçek mücadele, öğrenme materyalleri)

(Daha büyük resmi görmek için tıklayın)

Ana makale Detaylandırmak için:

Öneri sistemi değerlendirmesi (Değerlendirme)
Önerilen sistemin soğuk başlatma sorunu (Soğuk Başlatma)
Önerilen sistem gerçek savaşı (Gerçek Savaş)
Önerilen sistem örneği (Örnek Olay)

İlk üç bölüme göz atın Lütfen içerik için bir önceki makaleye bakın.

4. Tavsiye sisteminin değerlendirilmesi (Değerlendirme)

Öneri sisteminin artıları ve eksileri nasıl değerlendirilir? Bu, öneri sistemi değerlendirmesinde çözülmesi gereken birincil sorundur. Tam bir öneri sistemi genellikle 3 katılımcıya sahiptir:

kullanıcı
Öğe sağlayıcı
Bir öneri sistemi sağlayan bir web sitesi

İyi bir öneri sistemi tasarımı, öneri sisteminin kendisinin yüksek kaliteli kullanıcı geri bildirimi toplamasına, önerilerin kalitesini sürekli iyileştirmesine, kullanıcılar ve web sitesi arasındaki etkileşimi artırmasına ve web sitesi gelirini artırmasına olanak tanır. Bu nedenle, bir öneri algoritmasını değerlendirirken, üç tarafın çıkarlarının aynı anda dikkate alınması gerekir.İyi bir öneri sistemi, üç partiyi kazan-kazan yapabilen bir sistemdir.

4.1 Önerilen sistem deneyi yöntemi

Genel olarak, yeni bir öneri algoritması nihayet başlatıldığında, yukarıda bahsedilen üç deneyin tamamlanması gerekir: çevrimdışı deney, kullanıcı anketi ve çevrimiçi deney.

4.1.1 Çevrimdışı deney

Çevrimdışı deneme yöntemi genellikle aşağıdaki adımlardan oluşur:

Günlük sistemi aracılığıyla kullanıcı davranış verilerini elde edin ve belirli bir formata göre standart bir veri kümesi oluşturun;
Veri setini belirli kurallara göre eğitim seti ve test setine ayırın;
Kullanıcı ilgi modelini eğitim setinde eğitin ve test seti üzerinde tahminlerde bulunun;
Algoritmanın test setindeki tahmin sonucu, önceden tanımlanmış çevrimdışı gösterge ile değerlendirilir.

Yukarıdaki adımlardan da görülebileceği gibi, öneri sisteminin çevrimdışı deneylerinin tümü veri seti üzerinde yapılır, bu da denemek için gerçek bir sisteme ihtiyaç duymadığı, yalnızca gerçek sistem günlüğünden çıkarılan bir veri kümesine ihtiyaç duyduğu anlamına gelir. Evet öyle Çevrimdışı deneyler hızlıdır ve çok sayıda algoritmayı test edebilir; bu, çevrimdışı deneylerin önemli bir avantajıdır. Ve ana Dezavantajı, pek çok ticari dikkat göstergesi elde etmenin mümkün olmamasıdır. Tıklama oranı, dönüşüm oranı vb. Gibi ticari göstergelerle çok alakalı çevrimdışı göstergeler bulmak da çok zordur.

4.1.2 Kullanıcı anketi

Çevrimdışı deney göstergeleri ile gerçek ticari göstergeler arasında bir boşluk vardır.Örneğin, tahmin doğruluğu ile kullanıcı memnuniyeti arasında büyük bir fark vardır.Yüksek tahmin doğruluğu, yüksek kullanıcı memnuniyeti anlamına gelmez. Bu nedenle, bir algoritmayı doğru bir şekilde değerlendirmek istiyorsanız, nispeten gerçekçi bir ortama ihtiyacınız vardır. En iyi yol, algoritmayı doğrudan çevrimiçi olarak test etmektir, ancak algoritmanın kullanıcı memnuniyetini azaltıp azaltmayacağından emin değilseniz, Çevrimiçi testin yüksek bir riski vardır, bu nedenle çevrimiçi testten önce genellikle kullanıcı anketi adı verilen bir test gereklidir.

Test kullanıcılarının seçimi, test kullanıcılarının dağılımının gerçek kullanıcılar ile aynı olmasını sağlamaya çalışmalıdır. Örneğin, yaş ve aktivite dağılımı, gerçek kullanıcı dağılımı ile aynıdır. Ek olarak, kullanıcı anketleri bunun çift kör bir deney olmasını sağlamaya çalışmalı ve kullanıcının cevabının ve deneycinin testinin öznel bileşenlerden etkilenmesini önlemek için deneycilerin ve kullanıcıların test hedeflerini önceden bilmelerine izin vermemelidir.

Kullanıcı anketlerinin avantajları ve dezavantajları da açıktır. onun Avantaj, kullanıcıların öznel duygularını yansıtan birçok göstergenin elde edilebilmesidir. , Nispeten düşük çevrimiçi deney riski, hataları telafi etmek kolaydır. Dezavantajı, test kullanıcılarını işe almanın pahalı olmasıdır , Büyük ölçekli test kullanıcılarını organize etmek zordur Yani test sonuçlarının istatistiksel anlamı yetersizdir. Ayrıca, birçok durumda çift kör deney tasarlamak çok zordur ve test ortamındaki kullanıcıların davranışları gerçek ortamdakinden farklı olabilir, bu nedenle test ortamında toplanan test göstergeleri gerçek ortamda tekrarlanamayabilir.

4.1.3 Çevrimiçi deney

Çevrimdışı deneyleri ve gerekli kullanıcı anketlerini tamamladıktan sonra, öneri sistemini AB testi için çevrimiçi hale getirebilir ve eski algoritma ile karşılaştırabilirsiniz. AB testi, çevrimiçi değerlendirme algoritmaları için çok yaygın bir deneysel yöntemdir. Belirli kurallar aracılığıyla kullanıcıları rastgele birkaç gruba ayırır ve farklı kullanıcı grupları için farklı algoritmalar kullanır ve ardından farklı kullanıcı gruplarının çeşitli değerlendirme göstergelerini sayarak farklı algoritmaları karşılaştırır; örneğin, farklı kullanıcı gruplarının tıklama oranını sayabilir. Tıklama oranına göre farklı algoritmaların performansını karşılaştırın. AB testiyle ilgilenen okuyucular, makul AB testini nasıl gerçekleştireceğimizi öğrenebileceğimiz gerçek AB testi yoluyla web sitesi kullanıcı memnuniyetinin nasıl artırılacağına dair birçok örnek veren web sitesine göz atabilir. Ölçek.

AB test edildi Avantajı, farklı algoritmaların performans göstergelerinin aslında çevrimiçi olduklarında adil bir şekilde elde edilebilmesidir. , Ticari kaygı göstergeleri dahil. AB test edildi Dezavantajı, döngünün nispeten uzun olması ve güvenilir sonuçlar elde etmek için uzun vadeli deneylerin yapılması gerektiğidir. . Bu nedenle, AB testi genellikle tüm algoritmaları test etmek için değil, yalnızca çevrimdışı deneylerde ve kullanıcı anketlerinde iyi performans gösteren algoritmaları test etmek için kullanılır. İkinci olarak, büyük bir web sitesi için AB test sisteminin tasarımı da karmaşık bir projedir. Büyük bir web sitesinin mimarisi, ön uç ve arka uç olarak ikiye ayrılır. Kullanıcıya ön uçta görüntülenen arabirimden, sondaki algoritmaya kadar, genellikle ortada birçok katman bulunur. Bu katmanlar genellikle farklı ekipler tarafından kontrol edilir ve AB testi mümkündür.

AB test sistemleri farklı katmanlar için tasarlanmışsa, farklı AB testleri genellikle birbiriyle etkileşime girecektir. Örneğin, bir arka plan öneri algoritmasına yönelik bir AB testi yaptığımızda ve web ekibi önerilen sayfa arayüzünde bir AB testi yaptığında, nihai sonuç, test sonucunun algoritmanızdaki bir değişiklikten mi yoksa önerilen arayüzdeki bir değişiklikten mi kaynaklandığını bilmemenizdir. Bu nedenle, trafiğin bölümlere ayrılması AB testinin anahtarıdır.Farklı katmanlar ve bu katmanları kontrol eden ekiplerin birleşik bir yerden kendi AB test trafiğini alması gerekir ve farklı katmanlar arasındaki trafik ortogonal olmalıdır.

4.2 Değerlendirme Endeksi

4.2.1 Kullanıcı memnuniyeti

Öneri sisteminde önemli bir katılımcı olarak kullanıcılar Memnuniyeti, öneri sistemini değerlendirmede en önemli göstergedir . Ancak, kullanıcı memnuniyeti çevrimdışı olarak hesaplanamaz, yalnızca kullanıcı anketleri veya çevrimiçi deneyler yoluyla elde edilebilir.

Çevrimiçi sistemlerde, kullanıcı memnuniyeti esas olarak kullanıcı davranışına ilişkin bazı istatistiklerle elde edilir. Örneğin bir e-ticaret sitesinde kullanıcılar tavsiye edilen ürünleri satın alıyorsa, bu onların bir ölçüde memnun oldukları anlamına gelir. Bu nedenle, kullanıcı memnuniyetini ölçmek için satın alma oranını kullanabiliriz.

Ayrıca bazı web siteleri, bazı kullanıcı geri bildirim arayüzleri tasarlayarak kullanıcı memnuniyetini topluyor. Örneğin, Douban İnternet Radyosu'nda önerilen sonuçlardan memnun olan veya olmayan geri bildirim düğmeleri vardır (kırmızı kalpler ve çöp kutuları geri bildirimleriyle kullanıcı memnuniyetini ölçün) Sistemin kullanıcı memnuniyeti, iki düğmenin tıklamaları sayılarak ölçülebilir. derece. Daha genel olarak, tıklama oranı, kullanıcı bekleme süresi ve dönüşüm oranı gibi ölçümlerle kullanıcı memnuniyetini ölçebiliriz.

4.2.2 Tahmin doğruluğu

Tahmin doğruluğu, bir öneri sisteminin veya öneri algoritmasının kullanıcı davranışını tahmin etme yeteneğini ölçer ve öneri sistemleri için en önemli çevrimdışı değerlendirme göstergesidir. Öneri sisteminin doğduğu günden beri, tavsiye ile ilgili makalelerin neredeyse% 99'u bu göstergeyi tartışmıştır. Bunun temel nedeni, endeksin, birçok akademik araştırmacının öneri algoritmalarını incelemesini kolaylaştıran çevrimdışı deneyler yoluyla hesaplanabilmesidir.

Bu göstergeyi hesaplarken, kullanıcıların geçmiş davranış kayıtlarını içeren çevrimdışı bir veri seti gereklidir. Daha sonra veri seti eğitim seti ve zaman içinde test setine bölünür. Son olarak, kullanıcının test setindeki davranışını tahmin etmek için eğitim setinde kullanıcının davranış ve ilgi modeli oluşturulur ve tahmin edilen davranış ile test setindeki gerçek davranış arasındaki çakışma derecesi tahmin doğruluğu olarak hesaplanır. Tahmin doğruluğunun göstergeleri aşağıdaki kategorileri içerir:

Puan tahmini

Öneri hizmetleri sağlayan birçok web sitesinde, kullanıcıların öğeleri derecelendirmesine olanak tanıyan bir özellik vardır. Kullanıcının bir öğenin geçmiş derecelendirmesini biliyorsanız, kullanıcının ilgi modelini öğrenebilir ve kullanıcının gelecekte derecelendirmediği bir öğeyi gördüğünde bir öğeye kaç puan vereceğini tahmin edebilirsiniz.

TopN önerisi

Bir web sitesi bir öneri hizmeti sağladığında, genellikle kullanıcılara kişiselleştirilmiş bir öneri listesi verir. Bu tür önerilere TopN önerisi denir. TopN tarafından önerilen tahmin doğruluğu genellikle doğruluk / hatırlama ile ölçülür. R (u) kullanıcının eğitim setindeki davranışına göre kullanıcıya yapılan öneri listesi ve T (u) kullanıcının test setindeki davranış listesi olsun. Ardından, önerilen sonuçların geri çağırma oranı şu şekilde tanımlanır:

Öneri sonuçlarının doğruluğu şu şekilde tanımlanır:

Kapsam

Kapsam, bir öneri sisteminin uzun ürün kuyruğunu keşfetme yeteneğini tanımlar. Kapsamı tanımlamanın farklı yolları vardır: En basit tanım, tavsiye sistemi tarafından tavsiye edilebilecek maddelerin toplam madde setine oranıdır. Sistemin kullanıcı setinin U olduğunu varsayarsak, öneri sistemi her kullanıcıya N uzunluğunda bir R (u) öğe listesi önerir. Daha sonra öneri sisteminin kapsama oranı aşağıdaki formülle hesaplanabilir:

Kapsam, içerik sağlayıcıların önemseyeceği bir göstergedir. Kitap önerisini örnek alırsak, yayıncılar kitaplarının kullanıcılara tavsiye edilip edilmediği konusunda çok endişeli olabilirler. % 100 kapsama sahip bir öneri sistemi, her öğeyi en az bir kullanıcıya önerebilir. Ek olarak, yukarıdaki tanımdan, popüler sıralamaların tavsiye kapsama oranının çok düşük olduğu ve yalnızca toplam öğelerin küçük bir bölümünü oluşturan popüler öğeleri önereceği görülebilir. İyi bir öneri sistemi sadece nispeten yüksek bir kullanıcı memnuniyeti değil, aynı zamanda nispeten yüksek bir kapsama oranı gerektirir.

Çeşitlilik

Kullanıcıların geniş ilgi alanlarını tatmin etmek için, öneri listesinin kullanıcıların farklı ilgi alanlarını kapsayabilmesi gerekir, yani öneri sonuçlarının çeşitli olması gerekir. Kullanıcının ilgisi uzun bir süre boyunca aynı olsa da, kullanıcı öneri sistemini ziyaret ettiğinde, ilgisi genellikle bekardır. O zaman, öneri listesi kullanıcının yalnızca bir ilgi alanını kapsayabiliyorsa ve bu önemli nokta Şu anda kullanıcının ilgi alanı değildir ve öneri listesi kullanıcıyı tatmin etmeyecektir. Tersine, tavsiye listesi daha çeşitli ise ve kullanıcının ilgi alanlarının çoğunu kapsıyorsa, kullanıcının ilgi çekici öğeleri bulma olasılığını artıracaktır. Bu nedenle, kullanıcı için öneri listesinin de kullanıcının geniş ilgi alanlarını tatmin etmesi gerekir, yani çeşitlilik vardır.

Çeşitlilik, önerilen listedeki iki öğe arasındaki farklılıkları tanımlar. Bu nedenle çeşitlilik ve benzerlik karşılık gelir. Hipotez

İ ve j öğeleri arasındaki benzerlik tanımlanır, ardından u kullanıcısının öneri listesi R (u) 'nun çeşitliliği aşağıdaki gibi tanımlanır:

Öneri sisteminin genel çeşitliliği, tüm kullanıcı öneri listelerinin çeşitliliğinin ortalaması olarak tanımlanabilir:

Yukarıdaki tanımdan da görülebileceği gibi, farklı madde benzerlik ölçüm fonksiyonları

Farklı çeşitlilik tanımlanabilir. İçerik benzerliği, öğeler arasındaki benzerliği tanımlamak için kullanılırsa, içerik çeşitliliği işlevini alabiliriz.Eğer öğeler arasındaki benzerliği açıklamak için işbirlikçi filtreleme benzerlik işlevi kullanılırsa, işbirliğine dayalı filtreleme çeşitliliği işlevini elde edebiliriz.

Yenilik

Yeni öneriler, kullanıcılara daha önce duymadıkları öğeleri önermekle ilgilidir. Bir web sitesinde yenilik elde etmenin en kolay yolu, kullanıcıların web sitesinde daha önce eylemde bulundukları önerilen öğeler listesini filtrelemektir. Örneğin, bir video web sitesinde yeni öneriler, kullanıcılara videoları izledikleri, derecelendirdikleri veya izledikleri konusunda tavsiye etmemelidir. Ancak, bazı videolar kullanıcılar tarafından başka web sitelerinde veya TV'de izlenmiş olabilir. Bu nedenle, bu web sitesinde kullanıcıların eylemde bulunduğu öğeleri filtrelemek yeniliği tam olarak anlayamaz.

Bununla birlikte, yeniliği ölçmek için tavsiye sonuçlarının ortalama popülerliğini kullanmak nispeten zordur, çünkü farklı kullanıcıların bilmediği şeyler farklıdır. Bu nedenle, yeniliği doğru bir şekilde saymak için kullanıcı anketleri gerekir.

Sürpriz

Serendipity, son yıllarda öneri sistemi alanında en çok konuşulan konu. Kullanıcıyı şaşırtan öneri sonucu, kullanıcının geçmişte beğendiği öğeye benzemeyen ancak kullanıcının kendini memnun hissettiği bir öneridir. Ardından, sürpriz derecesini tanımlamak için, önce önerilen sonuç ile geçmişteki kullanıcının favori öğeleri arasındaki benzerliği tanımlamanız ve ikinci olarak da kullanıcının önerilen sonuçla ilgili memnuniyetini tanımlamanız gerekir.

Kullanıcı memnuniyeti ancak anket anketleri veya çevrimiçi deneylerle elde edilebilir ve önerilen sonuçlar ile kullanıcıların geçmişte beğendiği öğeler arasındaki benzerlik genel olarak içerik benzerliği ile tanımlanabilir. Diğer bir deyişle, bir kullanıcının film izleme geçmişine ulaşılırsa, bu filmlerin oyuncu ve yönetmenlerinden oluşan A seti elde edilir ve ardından kullanıcıya A setine ait olmayan yönetmenler ve oyuncular tarafından oluşturulan bir film önerilir ve kullanıcı çok memnun olur. Oldukça şaşırtıcı bir öneri. Bu nedenle, öneri sürpriz derecesinin iyileştirilmesi, öneri sonucunun kullanıcı memnuniyetini artırırken, öneri sonucu ile kullanıcının geçmiş ilgisi arasındaki benzerliği azaltmalıdır.

Güven

Öneri sisteminin güvenilirliği yalnızca anketlerle ölçülebilir ve kullanıcılara öneri sisteminin öneri sonuçlarına güvenip güvenmediklerini sorabilir. Öneri sistemine olan güveni artırmanın iki ana yolu vardır:

ihtiyaç Öneri sisteminin şeffaflığını artırın (şeffaflık) Ve öneri sisteminin şeffaflığını artırmanın ana yolu, öneri açıklamaları sağlamaktır. Yalnızca kullanıcıların öneri sisteminin çalışma mekanizmasını anlamalarına izin vererek ve kullanıcıların öneri sisteminin çalışma mekanizması konusunda hemfikir olmalarına izin vererek kullanıcının öneri sistemine olan güveni artırılabilir.
Kullanıcının sosyal ağ bilgilerini düşünün, Kullanıcıya tavsiyelerde bulunmak için kullanıcının arkadaş bilgilerini kullanın Ve arkadaşları tavsiye etmek ve açıklamak için kullanın. Bunun nedeni, kullanıcıların genellikle arkadaşlarına güvenmeleridir, bu nedenle önerilen ürün bir arkadaşları tarafından satın alınırsa, öneri sonucunda nispeten daha güvenilir olurlar.

gerçek zaman

Pek çok web sitesinde, öğeler (haberler, Weibo, vb.) Zamana çok duyarlı olduğundan, bunları kullanıcılara hâlâ zamana duyarlı olduklarında tavsiye etmek gerekir. Örneğin, kullanıcılara dünün haberlerini önermek, kullanıcılara bugünün haberlerini tavsiye etmek kadar iyi değildir. Bu nedenle bu web sitelerinde öneri sisteminin gerçek zamanlı niteliği çok önemlidir.

Öneri sisteminin gerçek zamanlı performansı iki yönü içerir:

Öneri sistemi, kullanıcının yeni davranış değişikliklerini karşılamak için öneri listesini gerçek zamanlı olarak güncellemelidir. Örneğin bir kullanıcı bir iPhone satın aldığında, öneri sistemi ilgili aksesuarları kendisine hemen tavsiye edebiliyorsa, kullanıcıya ertesi gün ilgili aksesuarları önermekten kesinlikle daha değerlidir. Birçok öneri sistemi, çevrimdışı durumda kullanıcı öneri listesini günde bir kez hesaplar ve ardından çevrimiçi dönemde kullanıcılara öneri listesini görüntüler. Bu tasarım açıkça gerçek zamanlı performansı karşılayamaz. Kullanıcı davranışına karşılık gelen gerçek zamanlı performans, öneri listesinin değişim oranıyla değerlendirilebilir. Tavsiye listesinin çok fazla değişmemesi veya kullanıcının bir davranış göstermesinden sonra değişmemesi, öneri sisteminin gerçek zamanlı performansının yüksek olmadığı anlamına gelir.
Öneri sistemi, sisteme yeni eklenen öğeleri kullanıcılara önerebilmelidir. Bu, esas olarak, öneri sisteminin öğelerin soğuk başlatılmasıyla başa çıkma yeteneğini test eder. Yeni öğeler önerebilme yeteneği için, kullanıcı önerileri listesindeki öğelerin yüzde kaçının değerlendirme amacıyla o gün yeni eklendiğini kullanabiliriz.

Sağlamlık

Faydalar sağlayabilecek herhangi bir algoritmik sistem saldırıya uğrayacaktır.Bunun en tipik örneği arama motorlarıdır. Arama motorlarının aldatma ve aldatma karşıtı mücadeleleri son derece şiddetli çünkü ürününüzü popüler arama terimlerinin ilk arama sonucu haline getirebilirseniz, büyük ticari faydalar sağlayacaktır. Öneri sistemi şu anda aynı hile sorununu yaşıyor ve Sağlam (sağlam, sağlam) Gösterge, bir tavsiye sisteminin hile ile mücadele etme yeteneğini ölçer.

Algoritma sağlamlığının değerlendirilmesi esas olarak simüle edilmiş saldırıları kullanır. İlk olarak, bir veri seti ve bir algoritma verildiğinde, bu algoritma, bu veri setindeki kullanıcılar için bir öneri listesi oluşturmak için kullanılabilir. Daha sonra, gürültülü verileri veri kümesine enjekte etmek için yaygın saldırı yöntemleri kullanılır ve daha sonra algoritma, gürültü eklenmiş veri kümesinde kullanıcı için tekrar bir öneri listesi oluşturmak için kullanılır. Son olarak, önerilen listelerin saldırı öncesi ve sonrası benzerliği karşılaştırılarak algoritmanın sağlamlığı değerlendirilir. Saldırıdan sonra önerilen liste saldırı öncesine göre çok fazla değişmediyse, algoritma nispeten sağlamdır.

Gerçek sistemde, sağlam bir algoritma seçmenin yanı sıra, sistemin sağlamlığını artırmak için aşağıdaki yöntemler vardır:

Bir öneri sistemi tasarlarken, deneyin Maliyetli kullanıcı davranışı . Örneğin, kullanıcı satın alma davranışları ve kullanıcı göz atma davranışları varsa, satın alma işlemleri ödeme gerektirdiğinden, esas olarak kullanıcı satın alma davranışları kullanılmalıdır, bu nedenle satın alma davranışına saldırmanın maliyeti, göz atma davranışına saldırmaktan çok daha fazladır.
Verileri kullanmadan önce, Saldırı tespiti gerçekleştirin Verileri temizlemek için.

İş hedefleri

çoğu zaman, Web sitesi değerlendirme öneri sistemi, web sitesinin işletme hedeflerine ulaşılıp ulaşılmadığına daha fazla dikkat eder , Web sitesinin iş hedefleri ve kar modeli yakından ilişkilidir. Genel olarak konuşursak, en temel iş hedefi, bir kullanıcının şirkete getirdiği ortalama kardır. Bununla birlikte, bu tür bir endeksin hesaplanması zor değildir, ancak bir kez hesaplanması nispeten büyük bir maliyet gerektirir. Bu nedenle birçok şirket kendi kar modeline göre farklı iş hedefleri tasarlayacaktır.

Farklı web sitelerinin farklı iş hedefleri vardır. Örneğin, bir e-ticaret web sitesinin amacı satış olabilir, görüntülü reklamcılık karına dayalı bir web sitesi, görüntülenen toplam reklam sayısı kadar bir iş hedefine sahip olabilir ve reklam karı tıklamalarına dayalı bir web sitesi, toplam reklam tıklama sayısı kadar bir iş hedefine sahip olabilir. Bu nedenle bir öneri sistemi tasarlanırken nihai ticari hedef dikkate alınmalıdır.Kullanıcıların içerik keşfetme ihtiyaçlarını karşılamanın yanı sıra, bir web sitesinde öneri sistemini kullanmanın amacı, ticari hedeflerin gerçekleştirilmesini hızlandırmak için öneri sistemini kullanmaktır.

5. Önerilen sistemin soğuk başlatma sorunu (Soğuk Başlatma)

5.1 Soğuk Başlatma Probleminin Tanımı

Öneri sistemi, kullanıcının geçmişteki davranışına ve ilgisine dayalı olarak kullanıcının gelecekteki davranışını ve ilgisini tahmin etmelidir. BAT gibi büyük şirketler için, büyük miktarda kullanıcı verisi biriktirmişlerdir, bu yüzden endişelenmeyin. Ancak, saf öneri sistemleri yapan birçok web sitesi veya başlangıçta kişiselleştirilmiş öneri uygulamalarına sahip olmayı uman birçok web sitesi için, kullanıcılar hakkında hiçbir şey bilmeden (yani, kullanıcı davranış verileri olmadan) en etkili tavsiyenin nasıl yapılacağı ? Bu, soğuk başlatma sorununa yol açar.

5.2 Soğuk çalıştırmanın sınıflandırılması

Soğuk başlatma sorunları temel olarak üç kategoriye ayrılır:

Kullanıcı soğuk başlatma Yani yeni kullanıcılar için kişiselleştirilmiş öneriler nasıl yapılır?
Öğe soğuk başlatma Yani, onunla ilgilenebilecek kullanıcılara yeni bir öğe nasıl tavsiye edilir?
Sistem soğuk başlatma Yani, yeni geliştirilen bir web sitesinde kişiselleştirilmiş bir öneri sisteminin nasıl tasarlanacağı (kullanıcı yok, kullanıcı davranışı yok, yalnızca kısmi öğe bilgileri), böylece kullanıcılar web sitesi ilk yayınlandığında kişiselleştirilmiş öneriler deneyimleyebilsin

5.3 Soğuk başlatma sorununa çözüm

5.3.1 Kişiselleştirilmemiş öneriler sağlayın

En basit örnek, kullanıcılara popüler sıralamalar önerebilecek ve ardından kullanıcı verileri toplandığında kişiselleştirilmiş önerilere geçebilecek popüler sıralamalar sağlamaktır. Netflix'in araştırması, yeni kullanıcıların soğuk başlangıç aşamasında gerçekten popüler sıralamalara daha yatkın olduğunu ve eski kullanıcıların uzun vadeli önerilere daha fazla ihtiyaç duyacağını da gösteriyor.

5.3.2 Kullanıcı kayıt bilgilerini kullanma

Üç ana kullanıcı kayıt bilgisi türü vardır:

Yaş, cinsiyet, meslek, etnik köken, eğitim ve ikamet yeri gibi demografik bilgiler
Kullanıcının ilgi alanlarının açıklaması. Bazı web siteleri, kullanıcıların ilgi alanlarını kelimelerle açıklamalarına olanak tanır
Bir sosyal ağ sitesi hesabıyla oturum açan bir kullanıcı gibi diğer web sitelerinden içe aktarılan site dışı kullanıcı davranışı, kullanıcının davranış verilerinin bir kısmını ve sosyal ağ sitesindeki sosyal ağ verilerini kullanıcının izniyle içeri aktarabilir.

Bu tür bir kişiselleştirmenin ayrıntı düzeyi çok kabadır. Cinsiyetin öğütmek için bir ayrıntı düzeyi olarak kullanıldığını varsayarsak, yeni kaydolan tüm kadınlar aynı sonucu görürler, ancak erkeklerin ve kadınların ayırt edilememesine kıyasla, bu önerinin doğruluğu büyük ölçüde artmıştır.

5.3.3 Kullanıcının ilgisini harekete geçirmek için uygun öğeleri seçme

Kullanıcı, oturum açarken bazı öğeler hakkında geri bildirimde bulunur, kullanıcının bu öğelere olan ilgisi hakkında bilgi toplar ve ardından bu öğelere benzer öğeleri kullanıcıya önerir. Genel olarak, kullanıcı ilgi alanlarını etkinleştirmek için kullanılabilecek öğelerin aşağıdaki özelliklere sahip olması gerekir:

Daha popüler olan, eğer kullanıcıların öğeler hakkında geri bildirim vermesini istiyorsanız, öncül, kullanıcıların ne olduğunu bilmesidir;
Temsili ve ayırt edilebilirdir Kullanıcının ilgisini uyandıran öğeler popüler veya her yaş için uygun olamaz, çünkü bu tür öğeler kullanıcının çıkarına göre ayırt edilemez;
Başlangıç öğe koleksiyonunun çeşitli olması gerekir. Soğuk bir başlangıç sırasında, kullanıcının ilgisini bilmiyoruz ve kullanıcının ilgisini çekecek pek çok olasılık var. Çeşitli ilgi alanlarını karşılayabilmek için, geniş kapsamlı bir başlangıç öğe koleksiyonu sağlamamız gerekir. Bu öğeler Neredeyse tüm genel kullanıcı ilgi alanlarını kapsayabilir.

5.3.4 Kullanılmış makalelerin içerik bilgileri

Haber siteleri gibi zamana duyarlı web sitelerinde madde soğuk başlatma konusu çok önemlidir, çünkü bu sitelere sürekli yeni öğeler eklenmektedir ve her bir öğenin kullanıcılara mümkün olan en kısa sürede, aksi takdirde bir süre sonra gösterilebilmesi gerekir. Öğenin değeri büyük ölçüde azalır.

UserCF algoritması için , Önerilen listenin kullanıcılara içerik görüntüleyen tek liste olmadığı siteler için (çoğu site böyledir). Yeni bir öğe eklendiğinde, onu bazı yollarla gören kullanıcılar her zaman olacaktır. Daha sonra, bir kullanıcı ona geri bildirimde bulunduğunda, öğe, benzer geçmiş ilgi alanlarına sahip kullanıcıların öneri listesinde ve daha fazla kişi görünebilir. Öğeyle ilgili geri bildirim, öğenin daha fazla kişinin öneri listesinde görünmesine neden oldu.

Bu nedenle, öğe yayılmaya devam edebilir ve ilgilenen kullanıcıların önerilen listesinde kademeli olarak görüntülenebilir.Önerilen liste, kullanıcıların bilgileri (Douban İnternet Radyosu gibi) elde etmelerinin ana yoludur web sitesi UserCF algoritmasının ilk itmeyi çözmesi gerekir Güç sorunu, ilk kullanıcının yeni bir eşya bulduğu yerdir. En kolay yol, yeni öğeleri kullanıcıya rastgele dağıtmaktır, ancak bu kişisel değildir. Bu nedenle, yeni öğeyi ilk önce benzer içeriğe sahip diğer öğeleri beğenen kullanıcılara yayınlamak için öğenin içerik bilgilerini kullanmayı düşünebilirsiniz.

ItemCF algoritması için , Parçaların soğuk başlaması ciddi bir sorundur. Algoritmanın temeli, kullanıcının öğeler üzerindeki davranışları aracılığıyla öğeler arasındaki benzerliği hesaplamak olduğundan, yeni öğe kullanıcıya gösterilmediğinde kullanıcı davranış üretemez. Bu nedenle, maddenin alaka düzeyini hesaplamak için yalnızca maddenin içerik bilgisi kullanılabilir. Temel fikir, öğeleri anahtar kelime vektörlerine dönüştürmek ve vektörler arasındaki benzerliği hesaplayarak (örneğin, kosinüs benzerliğini hesaplayarak) öğelerin alaka düzeyini elde etmektir.

5.3.5 Uzman ek açıklamalarını kullanın

Birçok sistem kurulduğunda, öğe benzerliğini hesaplamak için ne kullanıcı davranış verisi ne de yeterli öğe içeriği bilgisi vardır. Bu durumda, birçok sistem etiketleme için uzman kullanır.

Temsilci sistemi: kişiselleştirilmiş İnternet radyo istasyonu Pandora, film tavsiye web sitesi Jinni.

Örnek olarak Pandora radyo istasyonunu ele alalım Pandora, on binlerce şarkıcının şarkılarını çeşitli boyutlarda etiketlemek için bir grup müzisyeni işe aldı ve sonunda 400'den fazla özellik seçti. Her şarkı 400 boyutlu bir vektör olarak tanımlanabilir ve ardından şarkının benzerliği ortak vektör benzerlik algoritması ile hesaplanır.

6. Önerilen sistem savaşı

6.1 Öneri sistemlerinin akademik araştırması için yaygın olarak kullanılan veri setleri

MovieLen (https://grouplens.org/datasets/movielens/)

MovieLens veri kümesinde, kullanıcılar izledikleri filmleri 1'den 5'e kadar derecelendirir. MovieLens, farklı boyutlardaki algoritmalar için uygun, farklı boyutlarda iki kitaplık içerir. Küçük ölçekli kitaplık, 943 bağımsız kullanıcı tarafından yapılan 1.682 filmin 10.000 derecelendirmesinin verisidir; büyük ölçekli kitaplık, 6.040 bağımsız kullanıcı tarafından yapılan 3.900 filmin yaklaşık 1 milyon derecelendirmesidir.

BookCrossin g (

Bu veri seti, açık ve örtük derecelendirmeler dahil olmak üzere İnternet'teki Book-Crossing kitap topluluğundaki 278.858 kullanıcının 271.379 kitabının derecelendirilmesidir. Bu kullanıcıların yaşı gibi demografik özellikler anonim bir biçimde kaydedilir ve analiz için kullanılabilir. Bu veri seti, Book-Crossing kitap topluluğundan 2004 yılında Cai-Nicolas Ziegler tarafından bir tarayıcı programı kullanılarak toplandı.

Şakacı Şakası (

Jester Joke, çevrimiçi olarak espriler öneren ve paylaşan bir web sitesidir. Bu veri kümesi, 73.496 kullanıcı tarafından yapılan 100 şaka için 4,1 milyon derecelendirmeye sahiptir. Puanlama aralığı -10 ile 10 arasında sürekli bir gerçek sayıdır. Bu veriler California Üniversitesi, Berkeley'den Ken Goldberg tarafından yayınlandı.

Netflix (

Bu veri seti, film kiralama web sitesi Netflix'in veritabanından gelir. Netflix, bu veri setini 2005 yılı sonunda duyurdu ve bir milyon dolarlık ödül (netflix ödülü) belirleyerek, öneri sisteminin performansını% 10 artırabilecek öneri algoritmaları ve mimariler talep etti. Bu veri seti, 480189 anonim kullanıcı tarafından yapılmış yaklaşık 17.770 filmin yaklaşık 1 milyar derecelendirmesini içerir.

Usenet Haber Grupları (

Bu veri seti, 20 haber grubu için kullanıcı tarama verilerini içerir. En son başvuru, KDD 2007 üzerine bir makale. Haber grubunda tartışılan içerik ve konular arasında bilgisayar teknolojisi, motosikletler, basketbol, politika vb. Yer almaktadır. Kullanıcılar bu konular hakkında yorum yapar ve geri bildirimde bulunur.

UCI kütüphanesi (https://archive.ics.uci.edu/ml/datasets.html)

UCI kitaplığı, Blake ve diğerleri tarafından 1998'de açılan makine öğrenimi ve değerlendirmesi için kullanılan bir veritabanıdır. Öneri sisteminin performans testi verileri için kullanılabilen, model eğitimi için çok sayıda etiketli örnek depolar.

6.2 Sistemin mevcut kitaplıklarını önerin

LibRec (Http://www.librec.net)

LibRec, 70'ten fazla çeşitli öneri algoritmasını kapsayan, puan tahmini ve öğe önerisi gibi iki temel öneri problemini etkili bir şekilde çözen bir öneri sistemi açık kaynak algoritma kitaplığıdır. Proje açık bir yapıya, iyi bir kod stiline, yeterli teste, eksiksiz notlara ve kılavuzlara ve GPL3.0 tabanlı açık kaynak koduna sahiptir. GitHub bağlantısı: https://github.com/guoguibing/librec

Yengeç (Http://muricoca.github.io/crab/tutorial.html)

Crab, öğe ve kullanıcının işbirliğine dayalı filtrelemesini uygulayan, Python tabanlı olarak geliştirilmiş açık kaynaklı bir öneri yazılımıdır. Daha fazla algoritmanın hala geliştirilme aşamasında olduğu ve Crab'ın python kodunun okunmaya uygun çok net göründüğü söyleniyor.

Sistemin öğreticisi buradan görüntülenebilir:

SVD Özelliği (

Şangay Jiaotong Üniversitesi Apex Laboratuvarı tarafından yüksek kod kalitesiyle geliştirilmiş, özellik tabanlı işbirliğine dayalı bir filtreleme ve sıralama aracı. KDD Cup 2012'de birincilik ve KDD Cup 2011'de üçüncülük kazandı. İlgili makaleler JMLR 2012'de yayınlandı. SVDFeature, SVD, SVD ++ ve diğer yöntemleri kolayca uygulayabilen ve en doğru tek model öneri algoritması olan çok esnek bir Matris Ayrıştırma öneri çerçevesi içerir. SVDFeature kod geliştirme, nispeten az bellekle daha büyük ölçekli bağımsız matris çarpanlara ayırma işlemlerini gerçekleştirebilir. Ek olarak, Logistic regresyon içeren bir model topluluk için kolayca kullanılabilir.

LibMF (

Yazar Chih-Jen Lin, saygın Tayvan Ulusal Üniversitesi'nden geliyor.Makine öğrenimi alanında iyi biliniyorlar.Son yıllarda, arka arkaya KDD-Cup yarışmalarında mükemmel sonuçlar elde ettiler ve uzun yıllar şampiyonluklar kazandılar. Tayvan Üniversitesi'nin tarzı çok pragmatiktir.Sektörde yaygın olarak kullanılan LibSVM ve Liblinear, onlar tarafından geliştirilmiştir. Açık kaynak kodunun verimliliği ve kalitesi çok yüksektir.

LibMF, matris çarpanlarına ayırmanın paralelleştirilmesine iyi bir katkı sağlamıştır.Paralel hesaplamada SGD (rastgele gradyan iniş) optimizasyon yönteminin kilitleme problemi ve bellek süreksizlik problemini hedefleyen, verimli bir matris çarpanlara ayırma algoritması FPSGD (Hızlı Paralel SGD), puan matris bloğunu hesaplama düğümlerinin sayısına göre bölün ve hesaplama düğümleri atayın.

LibFM (

Yazar, Almanya Konstanz Üniversitesi'nden Steffen Rendle, KDD Cup 2012 Track1 ve Track2'nin iki alt yarışmasını aynı anda oynamak için LibFM'yi kullandı ve LibFM'nin çok kullanışlı bir araç olduğunu gösteren iyi sonuçlar elde etti.

LibFM, matris ayrıştırması için özel olarak kullanılan bir silahtır, özellikle de MCMC (Markov Zinciri Monte Carlo) optimizasyon algoritması uygulanmaktadır, bu genel SGD optimizasyon yönteminden daha doğrudur, ancak hesaplama hızı daha yavaştır. Tabii ki, SGD, SGDA (Adaptive SGD) ve ALS (Alternating En Küçük Kareler) gibi algoritmalar da LibFM'de uygulanmaktadır.

Lenskit (

Java tarafından geliştirilen bu açık kaynak öneri sistemi, Amerika Birleşik Devletleri'ndeki Minnesota Üniversitesi'ndeki GroupLens ekibinden gelmektedir ve aynı zamanda öneri alanında tanınmış test veri kümesi Movielens'in yazarıdır.

Kaynak kodu GitHub'da (https://github.com/grouplens/lenskit) barındırılmaktadır. Temelde lenskit-api, lenskit-core, lenskit-knn, lenskit-svd, lenskit-slopone, lenskit-parent, lenskit-data-structur, lenskit-eval, lenskit-test ve diğer modülleri içerir, esas olarak k-NN, SVD gerçekleştirir , Slope-One ve diğer tipik öneri sistemi algoritmaları.

EasyRec (

EasyRec, entegrasyonu kolay, genişletmesi kolay, güçlü ve görsel yönetime sahip bir öneri sistemidir.Daha çok veri giriş modülü, yönetim modülü, öneri madenciliği, çevrimdışı analiz vb. Dahil olmak üzere eksiksiz bir öneri ürünü gibidir. Aynı anda birden fazla farklı web sitesine öneri hizmetleri sunabilir ve farklı web sitelerini kiracı üzerinden ayırt edebilir. Web sitesi için bir kiracıya başvurmak için bir EasyRec sunucusu kurun ve kiracı aracılığıyla web sitesine kolayca entegre edilebilir.

7. Önerilen sistem örneği (Örnek Olay)

7.1 Facebook bir milyar insana bazı şeyleri nasıl tavsiye ediyor?

Facebook, dünyanın bir numaralı sosyal ağ sitesi olarak, kullanıcıların ilgilerini çekebilecek sayfaları, grupları, etkinlikleri veya oyunları bulmalarına yardımcı olmak için dağıtılmış bir öneri sistemi kullanır. Facebook, tavsiye sisteminin ilkesini, performansını ve kullanımını resmi web sitesinde duyurdu. (https://code.facebook.com/posts/861999383875667/recommending-items-to-more-than-a-billion-people/)

Facebook öneri sisteminin karşılaştığı veri kümesi yaklaşık 100 milyar derecelendirme, 1 milyardan fazla kullanıcı ve milyonlarca öğe içeriyor. Ünlü Netflix Ödülü ile karşılaştırıldığında, Facebook'un veri ölçeği iki veri seviyesini aştı. Büyük veri ölçeğiyle bile iyi performansın nasıl korunacağı dünya çapında bir sorun haline geldi. Bu sorunu çözmek için, Facebook ekibi dağıtılmış bir yineleme ve görüntü işleme platformu kullanıyor Apache Giraph Öneri sisteminin temel platformu olarak.

Çalışma prensibi açısından, Facebook öneri sistemi popüler işbirliğine dayalı filtreleme teknolojisini kullanır. Matematiksel bir bakış açısından, sorun, kullanıcı-öğe derecelendirme matrisindeki bilinen değerlere dayalı olarak bilinmeyen değerleri tahmin etmektir. Çözüm süreci genellikle kullanır Matris Ayrıştırması (MF) yöntemi . MF yöntemi, kullanıcı derecelendirme matrisini kullanıcı matrisinin ve maddenin çarpımı olarak ifade eder ve bu matrislerin (R ') çarpılmasının sonucunu orijinal derecelendirme matrisine (R) uyması için kullanır, böylece ikisi mümkün olduğunca yakın olur. Optimizasyon hedefi olarak ve arasındaki mesafe alınırsa, matris çarpanlarına ayırma minimum sorun haline gelir.

Büyük ölçekli veriler için çözüm süreci çok zaman alıcı olacaktır. Zaman ve mekan karmaşıklığını azaltmak için rastgele öznitelik vektörlerinden başlayan bazı yinelemeli algoritmalar önerilmiştir. Bu yinelemeli algoritmalar yavaş yavaş birleşir ve makul bir sürede en uygun çözümü bulabilir. Stokastik Gradyan İniş (SGD) algoritması Pek çok sorunu çözmek için başarıyla kullanılan bunlardan biridir. SGD'nin temel fikri, eğitim setindeki verileri rastgele bir şekilde dolaşmak ve bilinen her puan için tahmin edilen puan değerini vermektir. Kullanıcı ve öğe özelliği vektörlerinin ayarlanması, hata tasarım gerekliliğine ulaşıncaya kadar azalan puan hatası yönünde yinelemeli olarak gerçekleştirilir. Bu nedenle, SGD yöntemi, tüm numuneleri taramadan özellik vektörünü çözebilir. Alternatif En Küçük Kare (ALS) başka bir yinelemeli algoritmadır. Temel fikir, kullanıcı özellik vektörünün ve öğe özellik vektörünün değerlerini dönüşümlü olarak sabitlemek ve çözüm koşulu karşılanana kadar sürekli olarak yerel en uygun çözümü bulmaktır.

Facebook öneri sisteminin problemini çözmek için yukarıdaki algoritmayı kullanmak için Giraph'taki orijinal standart yöntemin değiştirilmesi gerekiyor. Daha önce Giraph'ın standart yaklaşımı, hem kullanıcıları hem de öğeleri grafikte köşeler olarak ve bilinen puanları kenarlar olarak ele almaktı. Ardından, SGD veya ALS'nin yinelemeli süreci, grafikteki tüm kenarları geçmek, kullanıcıların ve öğelerin özellik vektörlerini göndermek ve kısmi güncellemeler yapmaktır. Bu yöntemle ilgili birkaç büyük sorun vardır.

İlk olarak, yinelemeli süreç büyük bir ağ iletişim yükü getirecektir. Yineleme işleminin tüm kenarları geçmesi gerektiğinden, bir yinelemede gönderilen veri miktarı, kenarların ve öznitelik vektörlerinin sayısının çarpımıdır. Puan sayısının 100 milyar ve özellik vektörünün 100 çift olduğunu varsayarsak, her yinelemenin iletişim veri hacmi 80TB'dir. İkinci olarak, öğelerin popülerliğindeki fark, grafikteki düğüm derecelerinin eşit olmayan dağılımına yol açacaktır. Bu sorun, yetersiz belleğe veya işlemde darboğazlara neden olabilir. Bir öğenin 100 milyar puana sahip olduğu ve özellik vektörünün de 100 çift olduğu varsayıldığında, öğeye karşılık gelen bir noktanın bir yinelemede 80 GB veri alması gerekir. Son olarak Giraph, SGD algoritmasını tam olarak formülde gerektiği gibi uygulamaz. Gerçek uygulamada, her nokta çalışmak için yinelemenin başlangıcında alınan özellik vektörünü kullanır, en son küresel özellik vektörü yerine.

Yukarıdan görülebileceği gibi Giraph'taki en büyük sorun, güncelleme bilgilerinin her yinelemede her bir tepe noktasına gönderilmesi gerektiğidir. Bu sorunu çözmek için Facebook, kullanmanın bir yolunu buldu işten işe Etkin ve kullanışlı bilgi aktarım yöntemi. Bu yöntem, orijinal grafiği birkaç çalışmadan oluşan bir daireye böler. Her çalışan, bir öğe koleksiyonu ve birkaç kullanıcı içerir. Her adımda, komşu işçiler, öğe güncellemelerini içeren bilgileri saat yönünde alt işçilere gönderir. Bu şekilde, her adım yalnızca her çalışanın dahili puanlarını işler ve çalışanlarla aynı sayıda adımdan sonra tüm puanlar da işlenir. Bu yöntem, iletişim miktarının derecelendirme sayısı ile hiçbir ilgisi olmadığını ve grafikteki veri iletişim miktarını önemli ölçüde azaltabileceğini fark eder. Ayrıca, standart yöntemde düğüm derecelerinin eşit olmayan dağılımı artık mevcut değildir, çünkü öğeler artık köşelerle temsil edilmemektedir. FacebookSGDALS .