Hadoop platformuna dayalı kişiselleştirilmiş haber öneri sistemi tasarımı
Wei Ling, Li Weiqiang
(Elektrik ve Bilgisayar Mühendisliği Bölümü, Lushan College, Guangxi University of Science and Technology, Liuzhou, Guangxi 545616)
İnternet kullanıcılarının ihtiyaç duydukları bilgileri hızlı bir şekilde bulabilmeleri için kişiye özel öneri sisteminin avantajları yansıtılmış ve kullanılmıştır. Sistem tasarımının amacı, haberlere göz atarken netizenlerin çoğunluğu için kişiselleştirilmiş bir haber öneri sistemi sağlamak ve haber verilerinin işbirliğine dayalı filtreleme ve tavsiye işlemlerini gerçekleştirmektir. Sistem, büyük haber verilerini paralel ve hızlı bir şekilde kümelemek için Hadoop'un MapReduce modelini kullanır, bu da veri işlemenin hızını büyük ölçüde artırır Kümeleme, haberlerin benzerliğinin yansıtılmasını sağlar ve ardından kişiselleştirilmiş haber önerileri elde etmek için farklı işbirliğine dayalı filtreleme algoritmaları kullanır.
Hadoop; MapReduce; kümeleme; kişiselleştirme; Mahout
TP301.6 Belge Tanımlama Kodu: ADII: 10.19358 / j.issn.1674-7720.2016.23.006
Wei Ling, Li Weiqiang. Hadoop platformuna dayalı kişiselleştirilmiş haber öneri sistemi tasarımı J. Mikrobilgisayar ve Uygulama, 2016,35 (23): 21-23,27.
0 Önsöz
İnternetin gelişmesiyle birlikte, büyük miktarda haber hızla ortaya çıkıyor ve bilgi ciddi şekilde aşırı yükleniyor, bu da kullanıcılara başka seçenek bırakmıyor. Haber öneri sistemi, farklı insanların sıcak haberlerindeki tutarsızlık sorununu çözmek için, aşırı bilgi yüklemesi sorununu [1] çözmek için yaygın olarak kullanılmaktadır. Haber, insanların hayatlarının vazgeçilmez bir parçasıdır.İnsanların ilgilendikleri, bilmek istedikleri ve her gün sayısız haber arasından görmek istedikleri haberleri hızlıca öğrenmelerini sağlamak büyük haber portalları için büyük bir sorun haline gelmiştir. Hızlı ve doğru haber önerileri, kullanıcılara ilgilendikleri haberleri ararken çok zaman kazandırabilir, bu da kullanıcıların çok iyi bir kullanıcı deneyimi yaşamasına olanak tanır. Büyük verinin ortaya çıkışı, insanların yaşam kalitesinin iyileşmesine işaret eder.Bu, sosyal evrimin bir yan ürünüdür. Büyük verileri işlemek için birçok geleneksel makineyi kullanabilir. Büyük bir veri görevini gerekli olan küçük görevlere ayırın ve bunları paralel işleme için birçok geleneksel makineye gönderin ve ardından sonucu alın Bu işlem, bir süper makineye dönüşen birçok geleneksel makineye benzer. Tüm süreç bir makine işlemeye benzer. Bu, veri madenciliği maliyetini büyük ölçüde azaltır ve veri miktarı büyük olduğunda hesaplama süresini büyük ölçüde azaltır. Günümüz çağında ister haber portalları, ister alışveriş siteleri, ister medikal ister finansal olsun, büyük veri platformu altında veri madenciliği, mevcut ana akım geliştirme yönüdür. Başka bir bakış açısına göre, büyük verilerin ortaya çıkması, insanların yalnızca yararlı bilgileri filtrelemesine yardımcı olmakla kalmaz, aynı zamanda insanların gereksiz bilgileri filtrelemesine de yardımcı olur. Karma yöntem, içeriğe dayalı öneride çeşitlilik eksikliğini giderir, ancak soğuk bir başlangıç sorununa neden olur. Kullanıcıların potansiyel ilgisinin olduğu sıcak haberleri veya haberleri önerirken, yeterince tıklama almayan haberler yine de kullanıcıları hedeflemek için önerilemez [2 ]. Şu anda, yerli ve yabancı bilim adamları haber önerileri alanında bir dizi çalışma başlattılar. Referans [3-6], işbirliğine dayalı bir filtreleme haber önerisi yöntemi kullanır Bu makale, farklı kullanıcılar için kişiselleştirilmiş haber içeriği önerileri elde etmek için kullanıcılara ve öğelere dayalı bir işbirliğine dayalı filtreleme algoritması önerir.
1 İşbirliğine dayalı filtreleme algoritmasına giriş
Kişiselleştirilmiş öneri, temelde işbirliğine dayalı filtreleme önerisi, içeriğe dayalı öneri ve karma öneriye bölünmüştür. Kişiselleştirilmiş öneri, esasen kullanıcıları öğelerle buluşturmaktır, böylece kullanıcılar en sevdikleri öğeleri bulabilir, böylece öğeler en sevdikleri kullanıcılar tarafından anlaşılabilir [7]. Ortak çalışmaya dayalı filtrelemenin en tipik örneklerinden biri film izlemektir. Bazen hangi filmi sevdiğimizi veya daha yüksek bir reytinge sahip olduğumuzu bilemeyiz. Her zamanki yöntem, çevrenizdeki arkadaşlardan yakın zamanda iyi bir film olup olmadığını sormaktır. önermek. Sorguladıklarında, benzer hobileri olan arkadaşlarına sormaya alışırlar.Bu, işbirliğine dayalı filtrelemenin temel fikridir. Ortak filtreleme önerisi, geleneksel içerik tabanlı filtreleme önerisinden farklıdır. İşbirliğine dayalı filtreleme, kullanıcı ilgi alanlarını analiz eder, kullanıcı grubundaki belirli bir kullanıcının benzer (ilgilenen) kullanıcılarını bulur ve bu benzer kullanıcıların değerlendirmelerini belirli bir bilgi üzerinde birleştirerek bu belirtilen kullanıcının Bilgi tercih düzeyi tahmini. İşbirlikçi filtreleme, temel olarak kullanıcı tabanlı işbirliğine dayalı filtreleme ve öğe tabanlı işbirliğine dayalı filtrelemeye bölünmüştür.
1.1 Kullanıcı tabanlı işbirliğine dayalı filtreleme algoritması
Söylendiği gibi, "işler birbirine göre toplanır ve insanlar gruplara ayrılır." Filmi örnek olarak alın. "Batman", "Mission Impossible", "Interstellar" ve "Source Code" gibi filmleri seviyorsanız, başka biri de beğenir. Bu tür bir film ve o da "Demir Adam" ı seviyor, o zaman siz de "Demir Adam" ı seviyorsunuzdur. Bu nedenle, bir kullanıcı A kişiselleştirilmiş bir öneriye ihtiyaç duyduğunda, önce benzer ilgi alanlarına sahip bir kullanıcı grubu G bulabilir ve ardından G'nin sevdiği ve A'nın A'dan haber almadığı öğeleri önerebilir. Bu, kullanıcı tabanlı işbirliğine dayalı filtrelemeye dayanır. algoritması.
1.2 Öğe tabanlı işbirliğine dayalı filtreleme algoritması
Öğe tabanlı işbirliğine dayalı filtreleme algoritması (ItemCF) endüstride en çok kullanılan algoritmadır. Ana fikir, önceki öğeye benzer öğeler önermek için kullanıcının önceki davranışını kullanmaktır. Yine de filmi örnek alalım, "Batman" i beğenen kullanıcılar A, B, C ve D ise "Mission Impossible" seven kullanıcılar A, C, D ise. Öyleyse "Batman" ve "Mission Impossible" benzer kullanıcı gruplarına sahip olduğu düşünülebilir ve B kullanıcısının da "Mission Impossible" filmini beğenmesi çok muhtemeldir, bu nedenle B kullanıcılarına "Mission Impossible" önerilir. Bu, öğelere dayalı işbirliğine dayalı filtreleme algoritmasıdır.
2 İşbirliğine dayalı filtreleme algoritması kullanıcılarının model yapısı
İşbirlikçi filtreleme algoritmasının gerektirdiği veri yapısı kullanıcı kimliği + haber kimliği + skordur.Veritabanındaki verilerden böyle bir veri yapısı oluşturmak için haber tablosundaki kullanıcı tablosu sorgulanan kullanıcının içinde olup olmadığı kontrol edilir ve ardından kullanıcı görüntülenmiştir. Tüm haber kimlikleri ve nihayet haberlerin ne kadar beğenildiğini tahmin edin. Tercihin tercih değerini formül (1) 'e göre hesaplayın; burada Tercih, tahmin edilen sonuçtur, ct haber kümeleme sonucu kümelerinin sayısıdır, cn mevcut haber kümesindeki haber sayısıdır ve mevcut kullanıcının göz attığı toplam haber sayısıdır, nct, haberlerin görüntülenme sayısıdır.
Kullanıcı tabanlı işbirliğine dayalı filtreleme önerisinin akış şeması Şekil 1'de gösterilmektedir. Kullanıcı bazlı işbirlikçi filtreleme algoritması motoru çalıştırıldığında, bir kullanıcı öneri için atanır ve sistem, kullanıcının veri tabanında göz attığı tüm haberleri sorgulayacak, haberlerde yer alan kullanıcı tablosuna göre taranan haberin ilgili kullanıcılarını sorgulayacak ve ardından işbirlikçi filtreleme oluşturacaktır. Algoritma kullanıcılarının modeli. Tüm süreç MyRecommender sınıfının UserRecommender yönteminde kapsüllenir ve veritabanının bir dizi sorgu yöntemi ve işbirliğine dayalı filtreleme algoritmasının çağrısı UserRecommender içinde kapsüllenir ve kullanıcı tabanlı işbirliğine dayalı filtreleme algoritması, bunun için önerilmesi gereken haberleri hesaplamak için kullanılır.
3 İşbirliğine dayalı filtreleme algoritması öğelerinin model yapısı
İlk olarak, her bir haber başlığı altında hangi kullanıcıların ziyaret ettiğini bulmak için sorgu cümlesinin gruplandırma koşulu olarak aynı başlıktaki haberler kullanılır ve arama sonuçlarına göre haberi ziyaret etmemiş önerilen kullanıcıların bir listesi oluşturulur. Ayrıca sistem, haberlere göz atan kullanıcıları sorgulayarak gezen kullanıcıların bir listesini oluşturacak ve analiz sonrası önerilen listede görsel olarak gösterecektir.Aynı zamanda kullanıcılar tarafından göz atılan haber kategorilerinin farklı oranlarına göre önerilen sonuçlar görüntülendiğinde ilgili oranlar yapılmaktadır. Tavsiye sıralaması yapmak için kullanıcıların en çok dikkat ettikleri haber türlerini sıralamak, sıralamak. Öğe tabanlı işbirliğine dayalı filtreleme, aşağıdakileri hesaplamak için formül (2) kullanır:
Algoritma akış şeması Şekil 2'deki gibi gösterilmiştir.
Öğe bazlı işbirliğine dayalı filtreleme önerisi Öğe bazlı işbirlikçi filtreleme algoritması motoru çalıştırıldığında, öneri için bir kullanıcı atanır.Sistem, kullanıcının veritabanında görüntülediği tüm haberleri sorgulayacak ve haberde yer alan kullanıcı tablosuna göre görüntülenen ilgili haberleri sorgulayacaktır. Kullanıcılar, daha sonra işbirliğine dayalı filtreleme algoritması kullanıcıları için bir model oluşturur. Tüm süreç, MyRecommender sınıfının ItemRecommender yönteminde özetlenmiştir ve veritabanının bazı sorgu yöntemleri ve işbirlikçi filtreleme algoritmasının çağrısı ItemRecommender içinde kapsüllenmiştir ve öğeye dayalı işbirlikçi filtreleme algoritması tavsiye edilmesi gereken haberleri hesaplamak için kullanılır.
4 Kişiselleştirilmiş haber öneri sisteminin uygulanması
Hadoop platformu kümeleme algoritmasına dayalı kişiselleştirilmiş haber öneri sistemi, netizenlerin çoğu haberlere göz atarken kişiselleştirilmiş bir haber öneri sistemi sağlamayı amaçlamaktadır. Büyük miktarda bilgi, kullanıcıların ihtiyaç duydukları bilgileri bulmalarını zorlaştırır. İnternet kullanıcılarının gerekli bilgileri hızlı bir şekilde bulmasını sağlamak için, kişiselleştirilmiş öneri sisteminin avantajları yansıtılmıştır.Bu makale, büyük haber verilerinin paralel ve hızlı bir şekilde kümelenmesini sağlamak için Hadoop'un MapReduce modelini kullanır ve bu da veri işleme hızını büyük ölçüde artırır. İkisi arasındaki benzerlik yansıtılır ve ardından kişiselleştirilmiş haber önerileri elde etmek için farklı işbirliğine dayalı filtreleme algoritmaları kullanılır. Sistem, programları yazmak için JSP, Servlet teknolojisi ve Mahout açık kaynak projesini kullanır.Önce, kararlaştırılan formatta haber verilerini işlemek ve Hadoop HDFS'ye aktarmak için Java kullanın.Hadoop'un kurulu olduğu Linux tarafında, haberleri kümelemek için düzenli olarak kabuk komut dosyaları çağrılır. Ardından, haber verilerinin işbirliğine dayalı filtrelemesini ve öneri işlemesini gerçekleştirmek üzere verileri depolamak için MySQL veritabanını kullanın. Haber öneri sisteminin temel işlevleri, ön plan ve arka planın tasarımını içerir.Şekil 3, sistemin genel işlevsel yapısını gösterir.Ön plan, esas olarak önerilen haber bilgilerinin sonuçlarının görüntülenmesinden ve kullanıcıların haberlere göz atmasından sorumludur; arka plan, haber verilerini işler ve işlenen verileri ekler. Veritabanı ön büro tarafından kullanılmaktadır.
Şekil 4, haber önerisinin bir akış şemasıdır. Kullanıcı tabanlı işbirliğine dayalı filtreleme önerisini seçin, sistem verileri hesaplamak ve verileri sayfaya göndermek için kullanıcı tabanlı işbirliğine dayalı filtreleme algoritması motorunu otomatik olarak başlatacaktır. Aynı şey, öğe tabanlı işbirliğine dayalı filtreleme algoritmaları için de geçerlidir. Bu süreçte, birden çok veritabanı sorgusu aracılığıyla tüm kişilerin tarama kayıtları aranır.
Haberlerde yaygın bir sorun, soğuk başlatma sorunudur. Bir kullanıcı bunu ilk kullandığında nasıl tavsiye edilir? Bir kullanıcı yeni katıldığında, geçmişe yönelik bir davranış veya ilgi yoktur, bu nedenle tavsiye edilemez. Bu makale, bu aşırı durumu çözmek için popüler önerileri kullanır. Sistem ilk açıldığında, soğuk çalıştırma problemini simüle etmek için ilk on haberi tavsiye için sorgulayacaktır.
(1) Bir kullanıcı, kullanıcı tabanlı işbirliğine dayalı filtreleme önerisi algoritması işlemi gerçekleştirdiğinde, Servlet temel sınıfı, baseOnUserSer tetiklenecektir.Servlet temel sınıfı, sistemdeki tüm kullanıcıları sorgulayacak ve tüm kullanıcılar için kullanıcı tabanlı işbirliğine dayalı filtreleme algoritmaları önerecektir. . Her şeyden önce, tüm kullanıcıların ilgili verilerini gönderin (format: kullanıcı kimliği, haber kimliği, derecelendirme), biçim, belirli bir kullanıcı kimliğinin belirli bir haber kimliğini görüntülediğini gösterir ve benzerlik, her kullanıcının haber derecelendirmesine göre bir derecelendirme olarak ifade edilir. Pearson korelasyon katsayısı formülü, tavsiye edilmesi gereken kullanıcı ile diğer kullanıcılar arasındaki Pearson benzerliğini hesaplar ve son olarak, tavsiye etmesi gereken kullanıcı ile kullanıcı arasındaki Pearson benzerliğini hesaplamak için denklem (2) 'yi kullanır. Bir kullanıcı tarafından görüntülenen bir haber parçasının puanının p olduğunu varsayarsak, bu haberin önerilen puanı, nokta = başına × p formülü ile hesaplanabilir, eğer haber birden fazla kullanıcı tarafından okunduysa, puan = per1 × çıktısı alınması gerekir. p1 + per2 × p2 ... + pern × pn. Tüm haberlerin tavsiye puanları alındıktan sonra tavsiye edilen kullanıcının görüntülemediği haberler arasında en yüksek puana sahip haberler öneri olarak seçilir.
Kullanıcı tabanlı işbirliğine dayalı filtreleme öneri sisteminin etkisi Şekil 5'te gösterilmektedir.
(2) Bir kullanıcı öğe tabanlı işbirliğine dayalı filtreleme önerisi işlemi gerçekleştirdiğinde, baseOnItemSert sınıfı tetiklenecek ve bu sistemdeki tüm kullanıcıları sorgulayacak, test kullanıcısı yöneticisini filtreleyecek ve tüm kullanıcılar üzerinde öğe tabanlı işbirliğine dayalı bir filtreleme algoritması gerçekleştirecektir. Öneri, tüm öneri sonuçları özel olarak tasarlanmış bir newsModeBean sınıfında saklanır ve diğer işlemler temelde kullanıcı tabanlı işbirliğine dayalı filtreleme önerisiyle aynıdır. Öğe tabanlı işbirliğine dayalı filtreleme algoritması, gönderilen verilerin formatı, kullanıcı tabanlı işbirliğine dayalı filtreleme algoritması ile aynıdır. Önce tüm haberleri çıkarın, haberin eşlenik matrisini hesaplayın ve oluşturun. Ardından, önerilen puanı almak için eşlenik matrisi çarpmak için kullanıcı vektörünü kullanın.
Öğe tabanlı işbirliğine dayalı filtreleme öneri sistemi Şekil 6'da gösterilmektedir.
5. Sonuç
İnternetin hızla gelişmesiyle birlikte, kullanıcılar bazen büyük miktarda İnternet bilgisiyle karşı karşıya kaldıklarında çok şaşkın hissederler, nerede okuyacaklarını bilemezler ve hatta bazen alakasız reklamlarla karşılaştıklarında sinirlenebilirler. Etkili okuma oranını iyileştirmek için, bu makale kişiselleştirilmiş haber önerisi elde etmek için kullanıcılara veya öğelere dayalı işbirliğine dayalı bir filtreleme algoritması kullanmayı önermektedir.Test sonuçlarından, temel olarak kullanıcı bilgilerinin işlevsel gereksinimlerini karşılar, kişiselleştirilmiş haber önerisi, algoritmanın Etkilidir. Test verileri küçük olduğundan, Hadoop platformunda çalıştırmak paralel hesaplamanın etkisini yansıtmaz, sonraki adımda sistemi doğrulamak için daha fazla kullanıcı verisi kullanılır. Aynı zamanda, algoritmanın mevcut uygulaması, tavsiyelerde bulunmak için esas olarak benzerliğe dayanmaktadır ve gelecekte haber içeriğini ve kişiselleştirilmiş önerilerin sınıflandırmasını iyileştirmek için başka algoritmalar tanıtılacak ve böylece önerilerin doğruluğunu artıracaktır.
Referanslar
[1] JIANG S, HONG W X. Dikey bir haber tavsiye sistemi: CCNS - Çin kampüs haber okuma sisteminden bir örnek C. ICCSE 2014: 20149. Uluslararası Bilgisayar Bilimi Konferansı Bildirileri Eğitim Piscataway, NJ: IEEE, 2014: 1105-1114.
2 Yang Wu, Tang Rui, Lu Ling. İçerik tabanlı öneri ve işbirliğine dayalı filtrelemeye dayalı haber önerisi yöntemi J. Bilgisayar Uygulamaları, 2016, 36 (2): 414-418.
[3] Liu Jinliang. Konu modeline dayalı kişiselleştirilmiş haber öneri sisteminin araştırılması ve uygulanması D Pekin: Pekin Posta ve Telekomünikasyon Üniversitesi, 2013.
[4] Peng Feifei, Qian Xu. Kullanıcı dikkatine dayalı kişiselleştirilmiş haber öneri sistemi [J]. Bilgisayar Uygulama Araştırması, 2012, 29 (3): 1005-1007.
[5] Wen Peng, Cai Rui, Wu Libing. Gizli kategori modeline dayalı bir haber tavsiye yöntemi J. Information Magazine, 2014, 33 (1): 161-166.
[6] Xiang Liang Tavsiye sistemi uygulaması M Pekin: Halk Mesajları ve Telekomünikasyon Basını, 2012.
[7] Cao Yiming İşbirliğine dayalı filtrelemeye dayalı kişiselleştirilmiş haber öneri sisteminin araştırılması ve uygulanması D Pekin: Pekin Posta ve Telekomünikasyon Üniversitesi, 2013.
