İnternet Stok Yorumuna Yönelik Dikey Arama Motorunun Tasarımı ve Uygulanması
Wang Shuai, Huang Yongfeng, Hu Ping
(Yeni Nesil Ağ ve Uygulama Teknolojisi Laboratuvarı, Elektronik Mühendisliği Bölümü, Tsinghua Üniversitesi, Pekin 100084)
Borsa, ülkenin makroekonomik ortamının bir barometresidir. Netizenlerin borsa hakkındaki görüşleri büyük ölçüde borsayı yansıtmakta ve borsayı da etkilemektedir. Bu nedenle, ağ metni duyarlılığı ve arama motoru teknolojisi analiz teknolojisi aracılığıyla çevrimiçi hisse senedi incelemelerinin fikirlerini araştırmak, bilgi ve finans disiplinlerinin çapraz araştırmasındaki mevcut sıcak noktalardan biridir. Çevrimiçi hisse senedi incelemeleri için tam metin arama ve fikir madenciliğini entegre eden dikey bir arama motoru sistemi yapısı tasarladı, çevrimiçi stok incelemesi konusu veri toplama için sabit nokta toplama algoritması ve tarayıcı yapısı önerdi ve çok taneli bulanık ağ stok incelemesi oluşturdu Hesaplanan denetimsiz duygusal kutup sınıflandırma yöntemi, hisse senedi yorum görüşlerinin çevrimiçi analizini gerçekleştirebilir. Uygulanan dikey arama motorunun testi, duygu polaritesi sınıflandırma doğruluğu, tarayıcı veri toplama verimliliği ve arama motoru yanıt süresi gibi performans göstergelerindeki gerçek uygulama gereksinimlerini karşılayabileceğini göstermektedir.
İnternet hisse senedi incelemesi; duyarlılık hesaplama; arama motoru; konu tarayıcısı
Çin Kütüphanesi Sınıflandırma Numarası: TP391.1
Belge tanımlama kodu: Bir
DOI: 10.16157 / j.issn.0258-7998.2017.06.030
Çince alıntı biçimi: Wang Shuai, Huang Yongfeng, Hu Ping. Çevrimiçi hisse senedi incelemelerinin görüşlerine yönelik dikey bir arama motorunun tasarımı ve uygulaması Elektronik Teknoloji Uygulaması, 2017, 43 (6): 118-121.
İngilizce alıntı biçimi: Wang Shuai, Huang Yongfeng, Hu Ping. Web stok incelemesi için dikey bir arama motorunun tasarımı ve uygulaması. Application of Electronic Technique, 2017, 43 (6): 118-121.
0 Önsöz
Çin'in 1990'larda Şangay Menkul Kıymetler Borsası'nı kurmasından bu yana, 20 yıldan fazla bir süredir devam eden gelişmenin ardından, Çin'in A pay piyasasının toplam piyasa değeri Japonya'nınkini aşarak dünyada ikinci sırada yer aldı. Hisse senedi piyasasının ülkenin makro ekonomisi ve yatırımcıları üzerindeki artan etkisiyle, araştırmacılar ayrıca hisse senedi piyasasının eğilimini tahmin etmeyi umarak hisse senedi piyasası koşullarının çeşitli analiz yöntemlerini araştırıyorlar. Netizenlerin borsa veya belirli bir hisse senedi hakkındaki çevrimiçi yorumları borsayı büyük ölçüde yansıtıyor ve borsayı da etkiliyor. Bu nedenle, netizenlerin borsa hakkındaki tutum ve görüşlerinin hızlı ve verimli bir şekilde nasıl ortaya çıkarılacağı borsa tahminleri için büyük yol gösterici önem taşımaktadır.
İnternet teknolojisinin son yıllarda hızla gelişmesiyle birlikte, giderek daha fazla akademisyen ve finans pratisyeni çeşitli hisse senedi tahmin yöntemleri üzerinde çalışıyor. Örneğin, literatür, ağ verilerine dayalı olarak hisse senetlerini analiz etmek ve tahmin etmek için akıllı sinir ağları (YSA'lar) önermektedir; HUANG B ve diğerleri, Google arama eğilimlerini analiz ederek, finansla ilgili arama terimlerini bulmanın borsa değişikliklerini önceden tahmin edebileceğini öne sürdü. Birçok çalışma, yatırımcıların hisse senedi işlem kararlarının büyük ölçüde çevrimiçi yatırımcıların fikirlerinden ve duygusal faktörlerinden etkilendiğini başarıyla kanıtlamıştır. Bu nedenle, İnternet hisse senetlerinin duygusal kutupluluğunun analizi yoluyla yakın zamandaki ilgili hisse senedi endeksi ve fiyat dalgalanmalarının tahminini gerçekleştiren birçok araştırma sonucu bulunmaktadır. Buna ek olarak, literatür çalışmaları hisse senedi fiyatlarının eğiliminin hissedarların ruh halindeki dalgalanmalarla giderek daha yakından ilişkili olduğunu ve akademik çevrelerin hisse senedi piyasası koşullarını tahmin etmek için belirli duygusal yönelim analiz yöntemlerini incelemeye başladığını göstermiştir. Wang Gang ve diğerleri, 2014 yılında SeekingAlpha ve StackTwits gibi platformlara dayanarak, ağ metnindeki yorum duyarlılığını elde etmek için duyarlılık sözlüğü ve makine öğrenimi sınıflandırması oluşturma yöntemini benimsedi. Daha fazla duyarlılık analizi ile, belirli yatırım stratejileri verildi ve sonunda elde edildi Daha tatmin edici gelir sonuçları. Ayrıca, borsa için dikey arama motoru da derinlemesine araştırma ve kapsamlı uygulama alıyor.
Özetle, borsa trend analizinin mevcut araştırma sonuçlarının belirli sınırlamaları vardır. Örneğin, netizenlerin öznel görüşleri ve bilgileri analiz sürecine entegre edilmemiştir. Ayrıca, hisse senedi incelemeleri için mevcut dikey arama motorları, hisse senedi incelemelerinin içeriğini alabilmelerine rağmen, netizenlere görüşleri hakkında doğrudan bilgi sağlayamazlar ve sahip olmaları gereken destekten yoksundurlar. Bu nedenle, fikir madenciliğini entegre eden hisse senedi inceleme tam metin arama motoru teknolojisi, acilen incelenmesi gereken yeni bir yöndür.
Bu makale, arama motorlarının yanıt hızına, konu verilerinin toplama verimliliğine ve duygusal kutupluluğa odaklanarak, çevrimiçi stok incelemelerine yönelik bir dizi dikey arama motoru oluşturmak için dikey motorların, konu tarayıcılarının ve duygusal kutupluluk analizinin sistem mimarisine odaklanmaktadır. Analizin doğruluğu gibi temel teknik sorunlar. Bu tasarımda tasarlanan dikey arama motoru, kullanıcı tarafından girilen hisse senedi inceleme sorgusu anahtar kelimelerine dayanarak ilgili çevrimiçi hisse senedi inceleme içeriğini alabilir ve aynı zamanda bu hisse senedi incelemelerinin görüşlerini yani hisse senedi incelemelerinin olumlu ve olumsuz duygularını verebilir.
1 Çevrimiçi hisse senedi inceleme görüşlerine yönelik dikey arama motoru
1.1 Dikey arama motorunun mimari tasarımı
Çevrimiçi hisse senedi inceleme görüşleri için dikey arama motorunun tasarım amacı, çevrimiçi borsa haberleri, borsa forumları ve diğer çevrimiçi hisse senedi inceleme metin bilgilerinin tam metin aramasını gerçekleştirmektir. Aynı zamanda, alınan metnin duygusal kutupluluğunu analiz ederek netizenlerin borsa veya hisse senedi hakkındaki duygularını daha da keşfedebilir. Görüşler ve tutumlar. Bu nedenle, çevrimiçi hisse senedi inceleme görüşleri için dikey bir arama motorunun ana işlevleri aşağıdaki yönleri içermelidir: (1) Veri toplama, temizleme analizi ve belirli finansal forum web sitelerinin yapılandırılmış bilgi çıkarma; (2) Duygusal olumlu ve olumsuz görüş kutupluluğu Görüşlerin sınıflandırılması ve sunulması; (3) Sınıflandırılmış veriler için ters sıralama dosyaları ve depolama yönetimi oluşturma; (4) Kullanıcıların hisse senedi incelemeleri ve ilgili öznitelik istatistiksel sorgularında tam metin aramasını destekleme.
Bu nedenle, yukarıdaki amaç ve işlevlerin tasarımına göre, bu makale, Şekil 1'de gösterildiği gibi, çevrimiçi hisse senedi incelemelerinin bakış açılarına yönelik Hadoop platformuna dayalı dikey bir arama motoru mimarisi önermektedir.
Bu makalede tasarlanan dikey arama motorunun mevcut tam metin arama motorlarına (Google ve Baidu gibi) kıyasla aşağıdaki özelliklere sahip olduğu Şekil 1'den görülebilmektedir:
(1) Belirlenen finansal web siteleri için konu verilerinin doğru şekilde toplanması ve analizi ve belirli özelliklerin istatistiksel analizine destek sağlamak için bazı yapılandırılmış bilgilerin çıkarılması.
(2) Netizenlerin fikir madenciliğini gerçekleştirmek için toplanan ağ metinlerinin (hisse senedi yorumları, Weibo vb.) Olumlu ve olumsuz duygu kutuplarını hesaplayıp analiz edebilir, olumlu ve olumsuz görüşler gibi özelliklerin istatistiksel analizini destekleyebilir.
(3) Arama tersine çevrilmiş sıralama dosyalarını kapsamlı bir şekilde oluşturmak için duygusal kutup sınıflandırması ve anahtar kelime indeksleme gibi işlevleri birleştirmek. Hadoop büyük veri platformunun HDFS ve HBase'sinde depolanır.
(4) Arama motoru, anahtar kelimelere, duygusal kutupluluğa, öznitelik istatistiklerine ve diğer arama koşullarına ve bunların birleşik ifadelerine dayalı sorgular sağlayabilir.
Ek olarak, bu makalede oluşturulan dikey arama motoru, açık kaynak Apache Lucene kodunun iyileştirilmesine dayanmaktadır. Lucene'nin açık kaynağına dayalı olarak eklenen çekirdek modüller arasında duygusal kutup sınıflandırması, belirli web siteleri için tema verileri toplama ve öznitelik istatistikleri ve tersine çevrilmiş sıralama oluşturma ve dosya alma, sorgulama ve sunum gibi modüllerin işlev genişletmesi ve performans optimizasyonu yer alıyor. Aşağıda, sabit noktalı hasat tarayıcısının tasarım yönteminin analizi ve stok incelemeleri temasına yönelik çok taneli bulanık hesaplama duyarlılık polarite analizi modülü üzerinde durulmaktadır.
1.2 Stok incelemeleri için konu verileri için sabit noktalı hasat tarayıcısının tasarımı
Şu anda, ağ açık kaynağının veri toplama işlemlerinin tümü genel tarayıcı teknolojisini kullanıyor, ancak bazı belirli alanlarda yalnızca özel konu verilerini toplamaya ihtiyaç duyuyor, şu anda genel tarayıcı teknolojisi artık uygun değil. Çünkü Web verilerinin hızla artmasıyla birlikte, genel tarayıcılar genellikle büyük miktarda ilgisiz bilgi toplar ve bu da donanım ve ağ kaynaklarını büyük ölçüde boşa harcar.
Bu nedenle, mevcut tema tarayıcı teknolojisine dayalı olarak, belirlenmiş web siteleri için sabit nokta toplama tarayıcı teknolojisi önerilmektedir. Bu teknoloji, dizin arama teknolojisi ile tema tarayıcı teknolojisinin bir kombinasyonunu kullanır. Belirli web sitelerinin veya web sitesindeki belirli kanalların katalog bilgilerini kullanıcılar aracılığıyla özelleştirin ve ardından web sitesi bilgileri güncelleme sıklığına göre zamanlayıcılar ayarlayın ve bu web sitelerindeki veya kanallardaki verileri periyodik olarak tarayın, analiz ve tema analizi yapın. Bir emekleme tabakası temeli oluşturur. Bu belgede stok inceleme web siteleri için tasarlanan zamanlı hasat tarayıcısının yapısı Şekil 2'de gösterilmektedir. Bu yapıda, kullanıcılar gerekli metin konusunu tanımlayabilir ve konu açıklaması ağırlıklı olarak anahtar kelimeleri ve LDA modelini kullanır. Kullanıcılar ayrıca taranması gereken web sitelerinin veya web sitesi kanallarının kataloğunu özelleştirebilirler. Zaman toplayıcı, tarama süresini bu web sitelerinin güncelleme sıklığına göre ayarlayabilir. Köprü metni sınıflandırıcı, dizin listesi ve konu açıklamasına göre metin sınıflandırması ve içerik filtrelemesi gerçekleştirmek ve kullanıcı tarafından ihtiyaç duyulan metin verilerini elde etmektir.
Sabit noktalı hasat tarayıcısının çalışma sürecinin algoritma tasarımı Şekil 3'te gösterilmektedir. Bunların arasında temel sorun, tarayıcıların web sayfalarını toplaması için URL listesinin nasıl seçileceğidir. URL'leri analiz ederken, hangi web sayfalarının konuyla ilgili olduğunu belirlemek için konu benzerlik karşılaştırma yöntemini birleştirmek ve URL öncelik listesinin oluşturulmasını desteklemek için benzerlik derecesini sıralamak gerekir.
1.3 Hisse senedi incelemelerinin görüş madenciliği için bir duyarlılık kutupsallığı sınıflandırıcısı
Çevrimiçi incelemelerin fikir madenciliği, esas olarak çevrimiçi metinlerin duygu kutupluluğunun sınıflandırma yöntemi kullanılarak gerçekleştirilmektedir.Şu anda, çevrimiçi yorumların duygu kutupluluğunun mevcut sınıflandırmasında temel olarak aşağıdaki sorunlar bulunmaktadır: (1) Yorumların duygu kutupluluğunu hesaplarken, yalnızca duygu sözcükleri tanıtılmaktadır. Ya da cümle yapısını ve cümleler arasındaki ilişki bilgisini göz ardı ederek cümlenin duygusal kutup bilgisi. Aslında, cümle yapısı ve cümle arası ilişki bilgisi, duygusal kutupluluk sınıflandırması üzerinde büyük bir etkiye sahiptir; (2) Mevcut duygusal kutupluluk sınıflandırma modeli, duygusal kelimelerin belirsizliğini göz ardı ederek esas olarak deterministik sayısal modeller kullanır.
Yukarıdaki iki sorunu hedefleyen bu makale, denetimsiz hisse senedi inceleme polarite sınıflandırması için çok taneli ve bulanık bir hesaplama yöntemi önermektedir. Bu yöntem, duygusal kelimelerin anlamının metnin bağlamına bağımlılığına dayalı olarak farklı duygusal özellik bilgileri düzeylerini analiz eder ve ardından hisse senedi incelemelerinin duygusal kutupluluğunu iyileştirmek için metin duygusal kutupluluğunun bir analiz ve hesaplama modeli oluşturmak için bulanık küme teorisini birleştirir. Sınıflandırma doğruluğu. Temel fikir şudur: Hisse senedi incelemelerinde duygu kutupluluğunun ön sınıflandırma aşamasında, duygu kelimelerinin, duygu ifadelerinin, cümle türlerinin ve cümle arası ilişkilerin duygu kelimelerinin duygu kutupluluğuna etkisi aynı zamanda "çok taneciklilik" olarak adlandırılır. Aynı zamanda, duygusal kutupluluğun mevcut deterministik sayısal hesaplaması, bulanık küme hesaplamasına geliştirildi. Bu nedenle, çok taneli ve bulanık hesaplamanın duygusal kutupluluk analizi modeli, sözcükler, ifadeler ve cümleler gibi farklı tanecikliklerin duygusal bilgilerini kapsamlı bir şekilde ele alarak hisse senedi incelemelerinin duygusal kutupluluğunu ve yoğunluğunu kapsamlı bir şekilde analiz eder. Hisse senedi incelemelerinin duygusal kutupluluğunu ve yoğunluğunu elde ettikten sonra, hisse senedi incelemelerinin duygusal kutupluluğunu önceden sınıflandırmak için bulanık küme teorisi kullanılır ve daha sonra kendi kendine öğrenme mekanizması ile birleştirilerek, hisse senedi incelemesi için bir dizi denetimsiz çevrimiçi sınıflandırıcı oluşturulur. Duygusal kutup.
Hisse senedi incelemeleri için çok taneli ve bulanık hesaplama duyarlılığı sınıflandırıcısının genel mimarisi Şekil 4'te gösterilmektedir. Çerçeve esas olarak üç bölümden oluşur: (1) duygusal sözlük (QWSL) ve duygusal morfem sözlüğü (KSMD) vb. Dahil olmak üzere denetlenmeyen duygusal kutup sınıflandırıcısının duygusal bilgi tabanı; (2) hisse senedi incelemelerinin duygusal yoğunluğunun çok taneli hesaplama bileşeni. Bileşen, stok incelemesini farklı ayrıntı düzeylerine sahip üç dil birimine ayırır: cümleler, ifadeler ve sözcükler ve sırasıyla üç ayrıntı düzeyinin duygusal yoğunluğunu hesaplar ve ardından tüm stok incelemesinin duygusal yoğunluğunu kapsamlı bir şekilde analiz eder. (3) Bulanık sınıflandırıcı. Bulanık sınıflandırma işlevi, maksimum üyelik derecesi ilkesine göre yapılandırılır ve sınıflandırıcının ilgili parametreleri kendi kendine öğrenme mekanizması ile tasarlanmıştır.
Yukarıdaki bileşenler arasında en önemlisi bulanık sınıflandırıcıdır. Temel fikir şu şekilde tanımlanır: R = {ri} stok inceleme setindeki yorumun ri'nin duygusal yoğunluğu si (ri) temelinde, R = {ri} hisse senedi gözden geçirme setinin pozitif duyarlılık kategorisi bulanık set P olarak tanımlanır.
Bulanık üyelik fonksiyonunun tanımına ve maksimum üyelik ilkesine göre, denklem (2) ve (4) 'ün pozitif ve negatif üyelik fonksiyonları, denklem (5)' de gösterildiği gibi bir bulanık küme sınıflandırma fonksiyonunda birleştirilebilir:
Bunlar arasında, p (ri), bulanık P kümesinin ileri üyelik fonksiyonunu temsil eder; ve parametreleri, temsil edilecek k parametresi olarak birleştirilebilen ayar parametreleridir, k = ( + ) / 2.
2 Deneysel test ve sonuç analizi
Deneyin amacı, önerilen çok taneli bulanık duygusal kutupluluk sınıflandırma yönteminin dikey arama motorundaki etkisini doğrulamaktır.
Bu makale, web sitesi hisse senedi incelemeleri, forum hisse senedi incelemeleri ve Weibo hisse senedi incelemeleri dahil olmak üzere üç tür deneysel test veri kümesi kullanır. Her veri kümesi olumlu incelemeler ve olumsuz incelemeler içerir. 3 veri setinin istatistikleri Tablo 1'de gösterilmektedir.
Çok taneli bulanık duygusal kutup sınıflandırma yöntemi için, doğruluk (P), geri çağırma (R), F1 ve doğruluk (AC), sınıflandırma yönteminin hatırlama ve kesinliğini test etmek için dört ana performans göstergesidir. Bu makalede, duyarlılık sözlüğüne (MBSL) dayalı iki tipik İnternet yorum polarite sınıflandırması yönteminin seçimine ve duygu sözlüğü ve bulanık kümeye (MBSLFS) dayalı İnternet yorum polaritesi sınıflandırmasına dayalı olarak, çok taneli bulanık hesaplama modeline dayalı bir ağ yorumu önerilmektedir. Polarite sınıflandırma yöntemi (MBMGC). Farklı bulanık sınıflandırıcı parametre belirleme stratejilerine göre, sırasıyla veri setini manuel olarak etiketleme yöntemi (MBMGC1) ve veri setini ilk sözde etiketleme yöntemi (MBMGC1) kullanılır.
Tablo 2'deki deneysel sonuçlar şunu göstermektedir: 3 veri setinde, MBMGC'nin 4 performans indeksi değeri MBSL ve MBSLFS'den daha yüksektir. MBSLFS, sınıflandırma doğruluğunu MBSL'ye göre yaklaşık% 8.62 artırarak bulanık kümeye dayalı hesaplama yönteminin duygu sözlüğüne dayalı olandan daha iyi olduğunu göstermektedir. Sayısal hesaplama yönteminin daha etkili olduğundan emin olun. MBSLFS ile karşılaştırıldığında, MBMGC1 ve MBMGC2 sınıflandırma doğruluğunu ortalama olarak sırasıyla% 4.486 ve% 3.677 artırdı, bu da çoklu tanecikliliğe dayalı bulanık küme yönteminin duygu polaritesi sınıflandırmasında tek bir duygu sözlüğüne dayalı bulanık küme yönteminden daha etkili olduğunu gösteriyor.
3 Sonuç
Borsa bilgi araştırmasının gerekliliklerine göre bu makale, ana akım tam metin aramasına dayalı olarak hisse senetlerinin görüşlerine yönelik dikey bir arama motoru tasarlar ve uygular. Motor, çevrimiçi borsa incelemelerinin tam metinlerini alabilir ve aynı zamanda duygusal kutup sınıflandırması alma işlemini tamamlayabilir. Bu makalenin katkı noktaları üç yönü göstermektedir: (1) Hisse senedi incelemesi bilgilerinin verimli tam metin erişimini ve fikir analizini destekleyebilecek hisse senedi inceleme görüşlerine yönelik dikey bir arama motoru çerçevesi önerilmiştir; (2) Çevrimiçi hisse senedi incelemesi bilgi toplama için bir tasarım tasarlanmıştır Sabit noktalı hasat tarayıcıları, hisse senedi inceleme konusu veri toplamanın doğruluğunu ve geri çağırma oranını sağlayabilir; (3) Hisse senedi incelemesi polaritesinin çevrimiçi sınıflandırma problemini çözmek için, hisse senedi incelemesi duygusal kutupluluk denetimsiz sınıflandırma yönteminin çok taneli ve bulanık bir hesaplaması oluşturulmuştur. Deneysel sonuçlar, bu makalede gerçekleştirilen stok inceleme görüşlerine yönelik dikey arama motorunun pratik uygulamaların gereksinimlerini karşılayabileceğini kanıtlamaktadır. Bir sonraki araştırma odağı, daha büyük bir veri hacmi altında sorgu arabirimi modunu ve performans optimizasyonunu iyileştirmek ve sorgu yanıt hızını daha da iyileştirmektir.
Referanslar
BROWN E D. Twitter sizi daha iyi bir yatırımcı yapacak mı? Duyarlılığa, kullanıcı itibarına ve borsa üzerindeki etkilerine bir bakış. 2012 SAIS Proc. içinde, 2012.
JOHAN B, Mao Huina, Zeng Xiaojun. Twitter havası borsayı tahmin ediyor. Journal of Computational Science, 2011, 2 (1): 1-8.
HUANG B, HEILMAN T D. Kısa metin parçacıklarının benzerliğini ölçmek için web tabanlı bir çekirdek işlevi. 16. Uluslararası World Wide Web Konferansı İşlemleri, AcM, 2007: 377-386.
WANG B, HUANG Y, WU X, vd.Çince duygu kelimelerinin kutupluluğunu belirlemek için bulanık bir hesaplama modeli. Hesaplamalı Zeka ve Nörobilim, 2015: 1-13.
MOAT HS, CURME C, AVAKIAN A, vd., Hisse senedi piyasası hareketlerinden önce Wikipedia kullanım modellerini ölçmek.Sosyal Bilimler Elektronik Yayıncılık, 2013, 3 (5): 926-930.
Wang Gang, Wang Tianyi, Wang Bolun, et al. Wall Street'teki Crowds: Clooaborative yatırım platformlarından değer elde etme. CSCW'de Devam Ediyor, 2015.
CHOUDHURY M M, SUNDARAM H, JOHN A. Blog iletişim dinamikleri borsa aktivitesi ile ilişkilendirilebilir mi? HyperText Proc., 2008: 55-60.
WANG B, MIN Y, HUANG Y, vd. Gözden geçirenlerin içeriğine ve güçlü sosyal ilişkilerine dayanan değerlendirme değerlendirmesi. 2013 Uluslararası Doğal Dil İşleme Kullanılarak Yapılandırılmamış Büyük Veri Madenciliği Çalıştayı Bildirileri. ACM, 2013: 23-30 .
