"Sanırım beğendin" ne düşündüğünü nasıl tahmin ettin?
Günümüzde, çevrimiçi alışveriş yapan kişiler sistemden kişiselleştirilmiş öneriler almaya alışmıştır. Tüm bu öneri sonuçları çeşitli öneri sistemlerinden gelmektedir. Çalışmak için bilgisayar algoritmalarına güvenirler ve müşterilerin tarama, arama, sipariş ve tercihlerine göre, tüketicilere hizmet etmek için beğenebilecekleri ve satın alabilecekleri ürünleri seçebilirler.
Öneri sistemi başlangıçta çevrimiçi perakendecilerin satışlarını artırmalarına yardımcı olmak için tasarlanmıştı ve şimdi çok büyük ve büyüyen bir iş. Aynı zamanda, tavsiye sisteminin gelişimi 1990'ların ortalarında sadece birkaç düzine kişiden bugün üniversitelerde, büyük çevrimiçi perakendecilerde ve bu tür araştırmalarda uzmanlaşmış düzinelerce şirkette çalışan yüzlerce araştırmacıya gitti. Sistemdeki diğer şirketler.
Çevrimiçi alışveriş yapan kişiler artık kişiselleştirilmiş öneriler almaya alışmış durumda. Resim kaynağı: Unsplash
Yıllar geçtikçe, tavsiye sistemi önemli ilerleme kaydetmiştir. Başlangıçta nispeten kaba davrandılar ve çoğu zaman yanlış davranış tahminlerinde bulundular; ancak web sitesi kullanıcı verileri gitgide daha farklı türlerde kullanılabilir hale geldikçe, öneri sistemleri bu verilere yenilikçi algoritmalar uygulayabildi ve hızla İyileştirildi. Bugün, öneri sistemleri, sizi genellikle sizden daha iyi tanıyor gibi görünen son derece karmaşık ve özel sistemlerdir. Aynı zamanda, öneri sistemleri perakende web sitelerinin ötesine geçiyor: üniversiteler, öğrencileri ders seçmeleri için yönlendirmek için kullanıyor, cep telefonu şirketleri hangi kullanıcıların başka bir tedarikçiye geçme olasılığının yüksek olduğunu tahmin etmek için onlara güveniyor ve konferans düzenleyicileri de bunları kullanarak kağıtları dağıtmak için test ettiler. Hakem uzmanları.
İkimiz ilk günlerinden beri öneri sistemleri geliştiriyor ve araştırıyoruz, başlangıçta GroupLens Projesine (GroupLens Projesi) akademik araştırmacı olarak katılıyoruz. GroupLens 1992'den beri, ABD ilgi alanı forumu web sitesi olan Usenet'in tartışma alanındaki mesajları sıraladı ve kullanıcıları ilgilerini çekebilecek ancak henüz keşfedilmemiş konulara yönlendirdi. Birkaç yıl sonra, İnternetin ilk patlaması sırasında (1997-2000) sektörde lider olan bir tavsiye algoritması şirketi olan Net Perceptions'ı kurduk. Bu nedenle, bu şirketler tavsiye sistemlerinin nasıl çalıştığı hakkında halka nadiren konuşsalar da deneyimlerimiz, Amazon'un ve diğer çevrimiçi perakendecilerin arkasında ne olduğuna dair içgörü elde etmemize olanak tanıyor. (Bu yazıda, analizimiz gözlem ve muhakemeye dayanmaktadır ve herhangi bir iç bilgi içermez).
Aşağıda gördüğümüz şey var.
01Önerme algoritması nasıl "beğendiğinizi tahmin ediyor"?
Amazon'un gözünde neye benzediğini hiç merak ettiniz mi? cevap: Büyük, büyük bir masada uzun bir sayı dizisisiniz. Bu sayı dizisi gördüğünüz her şeyi, tıkladığınız her bağlantıyı ve Amazon'da satın aldığınız her öğeyi açıklar.Tablonun geri kalanı Amazon'da alışveriş yapan milyonlarca insanı temsil eder. . Web sitesine her giriş yaptığınızda numaranız değişecektir; bu süre zarfında web sitesine her girişinizde bu numara buna göre değişecektir. Bu bilgiler, ziyaret ettiğiniz her sayfada ne göreceğinizin yanı sıra Amazon'dan hangi e-postaları ve teklifleri alacağınızı da etkileyecektir.
Ayrıca indirim bilgisi alacaksınız. Resim kaynağı: Pixabay
Uzun yıllar boyunca, öneri sisteminin geliştiricileri, tüm bu verileri toplamak ve ayrıştırmak için çeşitli yöntemler denediler. Son zamanlarda, çoğu insan adı verilen şeyi kullanmayı seçti Kişiselleştirilmiş işbirliğine dayalı öneri (Kişiselleştirilmiş İşbirliği Önericisi) algoritması. Bu aynı zamanda Amazon, Netflix ve Facebook'tan arkadaşların tavsiyesi ve popüler bir İngiliz müzik sitesi olan Last.fm'in temel algoritmasıdır. "Kişiselleştirilmiştir" çünkü bu algoritma, tavsiyelerde bulunmak için her kullanıcının davranışını (görüntülenen sayfalar, sipariş kayıtları ve ürün derecelendirmeleri gibi) izler; bunlar kör kedi ve ölü fare değildir - hepsi Şans. "Sinerji" olduğu söylenir çünkü bu algoritma, diğer birçok müşterinin de bu ürünleri satın almış veya üzerinde iyi bir izlenim bırakması gerçeğine dayanarak iki maddeyi birbiriyle ilişkili olarak ele almaktadır.Ürün özelliklerini veya anahtar kelimeleri analiz etmemektedir. Yargılanan.
En geç 1992'den beri farklı kişiselleştirilmiş işbirliği öneri sistemleri ortaya çıkmıştır. GroupLens projesine ek olarak, başka bir erken öneri sistemi, kullanıcının müzik çalma listesine göre beğenebilecekleri diğer müzikleri önerecek olan MIT Ringo'dur.
02 Kullanıcı İlişkilendirmesi: Kullanıcılar arasındaki benzerliği hesaplayın
Hem GroupLens hem de Ringo, "kullanıcı-kullanıcı" algoritması adı verilen basit bir işbirliğine dayalı algoritma kullanır. Bu tür bir algoritma, bir çift kullanıcı arasındaki "mesafeyi" aynı öğeye ne kadar benzer olduklarına bağlı olarak hesaplar.
Örneğin, Jim ve Jane "Tron" filmi için 5 puan aldıysa, aralarındaki mesafe sıfır olur. Jim devam filmi "Tron: Legacy" yi (Tron: Legacy) 5 puanla ve Jane sadece 3 puan alırsa, aralarındaki mesafe artacaktır. Bu hesaplamaya göre, görece "yakın" zevklere sahip kullanıcılar "mahalle" olarak adlandırılır.
Puanların benzerliğine göre kullanıcılar arasındaki "mesafeyi" hesaplayın. Resim kaynağı: Pixabay
Ancak, bu kullanıcı ilişkilendirme stratejisi çok etkili değildir. Her şeyden önce, anlamlı bir komşu kümesi oluşturmak zordur: birçok kullanıcının aralarında yalnızca birkaç ortak derecelendirme vardır ve bazılarının yoktur Puanlanan tek öğeler genellikle gişe rekorları kıranlardır. , Temelde herkesin sevdiği türden. Dahası, kullanıcılar arasındaki mesafe çok hızlı hale gelebileceğinden, algoritma hesaplamaların çoğunu yerinde yapmalıdır; ve bu, bir sonraki eylem yayınlanmadan önce web sitesinde oraya buraya dürten bir kişiden daha uzun sürebilir. .
03 Nesne-Nesne Derneği: Nesneler arasındaki ilişkiyi hesaplayın
Bu nedenle, çoğu öneri sistemi artık iki kitap, iki film veya diğer iki şey arasındaki mesafeyi hesaplayan bir "öğe-öğe" algoritmasına güveniyor. Onları derecelendiren kullanıcıların benzerliğine dayanmaktadır.
Tom Clancy'nin kitaplarını beğenenlerin Clive Cussler'in çalışmalarına yüksek not vermesi muhtemeldir, bu yüzden Clancy ve Cussler'in kitapları aynı mahallede. Bir çift öğe arasındaki mesafe, milyonlarca kullanıcının derecelendirmesine göre hesaplanabilir ve belirli bir süre boyunca nispeten sabit kalma eğilimindedir. Bu nedenle, öneri sistemi mesafeyi önceden hesaplayabilir ve daha hızlı öneri sonuçları oluşturabilir. Hem Amazon hem de Netflix, nesneden nesneye korelasyon algoritmasının bir varyantını kullandıklarını açıkladı, ancak ayrıntılardan asla bahsetmediler.
Çoğu öneri sistemi artık "şeyler-şeyler ilişkilendirme" algoritmalarına güveniyor. Resim kaynağı: Pixabay
Hem kullanıcı ilişkilendirme algoritmasının hem de nesne-nesne ilişkilendirme algoritmasının sahip olduğu bir sorun, kullanıcı derecelendirmelerinin tutarsızlığıdır. Onları tekrar değerlendirme fırsatı verildiğinde, kullanıcılar genellikle aynı maddeye farklı puanlar verirler. Tadı değişiyor, ruh hali değişiyor ve izlenim değişiyor. 1990'larda MIT tarafından yapılan bir araştırma, ilk puanlamadan bir yıl sonra, kullanıcıların puanlarının ortalama 1 puan (tam 7 puan) değişeceğini gösterdi. Araştırmacılar da bu değişkeni modele dahil etmek için farklı yöntemler deniyorlar; örneğin, bir kullanıcı bir ürüne bir puan veriyorsa, ancak bu puan, öneri algoritmasının kişi ve ürün hakkında ne bildiğiyle ilgilidir. Diğer bilgiler eşleşmezse, bazı öneri algoritmaları kullanıcıları bu ürünü tekrar değerlendirmeye davet eder.
04 Boyut azaltma algoritması: nesnelerin özelliklerini genelleştirin
Bununla birlikte, kullanıcı ilişkilendirme algoritmaları ve nesne-nesne ilişkilendirme algoritmalarının hala tutarlılıktan daha büyük bir sorunu var: çok ölüler. Başka bir deyişle, hepsi aynı şeyi seven, ancak çok benzer hobilere sahip potansiyel kullanıcı kombinasyonlarını görmezden gelen insanları bulabilirler. Örneğin, Monet'nin nilüferlerini seviyorsunuz. Öyleyse, Fransız Empresyonist ustalar tarafından boyanmış 250 nilüfer arasından hangisini en çok seviyorsunuz? Monet'i seven bir grup insan arasında, herkesin farklı nilüferleri sevmesi tamamen mümkündür ve temel algoritma, bu insanların ortak hobileri olduğunu fark etmeyebilir.
Nilüfer. Resim kaynağı: Pixabay
Yaklaşık on yıl önce, araştırmacılar Boyutları Azaltma adı verilen bir süreçle olayları daha genel bir şekilde göstermenin bir yolunu buldular. Bu yöntem, kullanıcı ilişkilendirme ve nesne-nesne ilişkilendirme algoritmalarından çok daha fazla hesaplama gerektirir, bu nedenle bu kadar çabuk benimsenmez. Ancak bilgisayarlar daha hızlı ve ucuz hale geldikçe, boyut azaltma algoritmaları yavaş yavaş bir miktar ilerleme kaydetti.
Boyut azaltma algoritmasının nasıl çalıştığını anlamak için, neler yemekten hoşlandığınıza ve milyonlarca insanın yemeyi sevdiği diğer şeylerle nasıl karşılaştıracağınıza bir göz atalım. Bu bilgiyi ifade etmek için dev bir matris kullanabilirsiniz.Her dikey çizgi aynı yemeği temsil eder.Her bir kişinin yemeyi sevdiği şey doğal olarak bir sıra oluşturur. Sıranızda, ızgara biftek için 5 yıldız, kızarmış kısa kaburga için 4 buçuk yıldız, ızgara tavuk kanatları için 2 yıldız, dondurulmuş tofu ruloları için 1 yıldız, peynirli ızgara mantarlar için 5 yıldız ve tuzlu edamame için 4 yıldız verdiğinizi gösterebilir. ,ve daha fazlası.
Bununla birlikte, bu matrisi kullanan öneri algoritması, hangi yiyeceğe kaç yıldız verdiğinizle ilgilenmez. Bilmek istediği şey, genel olarak tercihlerinizdir, böylece bu bilgiyi daha zengin yiyecek çeşitlerine uygulayabilir. Örneğin, yukarıda verdiğiniz bilgilere göre, algoritma sığır eti, tuzlu şeyler ve ızgara yemekleri sevdiğinizi, tavuk ve kızartılmış şeyleri sevmediğinizi, sebzeleri sevmediğinizi veya nefret etmediğinizi vb. Düşünebilir. Yemeyi sevdiğiniz yemeğin özelliklerinin veya boyutlarının sayısı, gereksinimlerinizi karşılayan yiyeceklerin sayısından çok daha azdır - belki de en fazla 50 veya 100. Bu boyutları kontrol ederek, öneri algoritması yeni bir yiyeceği beğenip beğenmeyeceğinizi (örneğin, tuzlu domuz kaburga) hızlı bir şekilde belirleyebilir, bunun yolu bu yiyeceğin çeşitli boyutlarını (tuzlu, sığır eti, tavuk değil, değil) almaktır. Tavada kızartılmış, sebze değil, kavrulmuş değil) Bilgilerinizle karşılaştırın. Bu daha genel sunum, öneri algoritmasının benzer ancak farklı tercihlere sahip kullanıcıları doğru bir şekilde bulmasını sağlar. Dahası, matrisin boyutunu büyük ölçüde azaltır ve algoritmayı daha verimli hale getirir.
"Boyut azaltma" algoritması harika bir çözümdür. Resim kaynağı: Pixabay
Bu harika bir çözüm. Bununla birlikte, en sevdiğiniz yemeğin boyutunu nerede ararsınız? Kesinlikle şefe sormamak. Öneri sistemi, boyutları hesaplamak için tekil değer ayrıştırması adı verilen matematiksel bir yöntem kullanır. Bu yöntem, orijinal dev matrisin iki "tat matrisine" ayrıştırılmasını içerir - bunlardan biri tüm kullanıcıları ve 100 tat boyutunu, diğeri ise tüm yiyecekleri ve 100 tat boyutunu içerir - ve sonra Üçüncü matrisi ekleyin ve önceki iki matristen herhangi biriyle çarpıldığında, orijinal matrisi elde edersiniz.
Yukarıdaki örnekten farklı olarak, hesaplama için kullanılan boyutlar ne tanımlayıcı ne de sezgiseldir; tamamen soyut değerlerdir. Bu değerler nihayetinde doğru öneriler ürettiği sürece bu hiçbir şey değildir. Bu yöntemin temel dezavantajı, müşteri ve ürün sayısı arttıkça matris oluşturmak için gereken sürenin hızla artmasıdır - 250 milyon müşteri ve 10 milyon ürün ile bir matris oluşturmak için toplam 250.000 ürün gerekir. Ünlü müşterilerin ve 10.000 ürünün matrisi 1 milyar katı zamandır. Ve bu sürecin sık sık tekrarlanması gerekiyor. Yeni bir derecelendirme alındığında matrisin süresi doluyor; Amazon gibi bir şirkette her saniye yeni incelemeler alınıyor. Neyse ki, biraz modası geçmiş olsa bile, matris hala oldukça iyi bir seviyede çalışıyor. Araştırmacılar ayrıca, tekil değer ayrıştırması için kullanılabilir yaklaşımlar sağlayan ve hesaplama süresini önemli ölçüde azaltan yeni algoritmalar tasarlıyor.
Yazar: Joseph A. Konstan ve John Riedl
Derleme: ccyou
Dizgi oluşturma: Yoğunlaştırma
Başlık görselinin kaynağı: Unsplash
Derleyen makale: "IEEE Teknolojisine Genel Bakış" Öneri Sistemlerini Yeniden Yapılandırma
