Münhasır Hafife alınmaması gereken, verilerin dili geleceği tahmin etmek zorundadır (fotoğraflarla)
[Kılavuz] Düşünce kuruluşu büyük verileri, bilgi büyük verileri, geleneksel kültürel büyük veriler, ideolojik büyük veriler, Çin semantik büyük verileri, çevrimiçi verilere dayanan sosyal yönetişim büyük verileri vb. Dünyayla ilişkimiz muazzam değişikliklere uğradı. Medya, bir iletişim aracı olarak geleneksel bir formdan yeni bir forma dönüştü ve bu küresel birbirine bağlı veri savaşına da aktif olarak tanık oldu ve katıldı. Bu periyot Veri Bilimi Enstitüsü Organize Tsinghua Büyük Veri "Uygulama · İnovasyon" Ders Serisi , Tsinghua Üniversitesi Gazetecilik Okulu'na davet edildi Shenyang profesör. Weibo ve WeChat kamuoyunun araştırma ve analizine adanmış yeni medya uygulamaları alanında uzmandır. Büyük verilerin ve yeni medya bağlantısının evriminin ve gelecekteki teknoloji yükseltmelerinin arkasındaki itici güç Bu şeyler.
Profesör Shen ayrıca Qingbo Kamuoyu Sistemi Bu sistem, geleneksel portal web siteleri, WeChat, Weibo, forumlar ve denizaşırı medya gibi kamuoyu bilgilerini entegre edebilir. Veri Bilimi Enstitüsü, okul içinde disiplinlerarası alışverişi ve işbirliğini desteklemek için ders sitesinde ağır faydalar da duyurdu: Okuldaki öğretmenleri ve öğrencileri bilimsel araştırmaya yardımcı olmak için sistemi kullanmaya teşvik etmek amacıyla, Veri Bilimi Enstitüsü, birleşik satın alma işleminden sonra sistemin kullanımını öğretmenlere ve öğrencilere ücretsiz olarak açacak.
"Büyük verinin nihai amacı, insanları ve dünyadaki her şeyi birbirine bağlamaktır."
"Düşünce bağlantısı ve biliş bağlantısı, zaman ve mekanı kapsayabilir."
Profesör Shenyang, dersin başında bize bir doz morfin verdi. Bahsetti: "Bağlantı evriminde miktarın birikmesiyle, bağlantının kalitesi gelişti. Platform ekolojisine ve ilgili ilgi çemberlerine bağlıdır. Tüm bağlantı evrim sürecinde, zayıf bağlantıdan güçlü bağlantıya ve hatta beyne gidecektir. Doğrudan süper bağlantı. "
İnternetin dört yeteneği olduğu anlaşılabilir: biri süper bağlanma yeteneği, diğeri yeni bir sanal toplumun inşası, üçüncüsü sermayenin süper itici gücü ve dördüncüsü aşırı portreleri tasvir etme becerisidir. Teknolojinin kademeli gelişimi, orijinal insan toplumunun çeşitli bağlantılarını yeniden yapılandıracak ve yeniden şekillendirecek Bu, veriler aracılığıyla bağlantı kurmanın derin bir düşüncesi.
İnternette bulut borusu terminali denen bir teori var Veri açısından bakıldığında aslında benzer bir benzerlik var: sosyal beyin, sosyal beden ve sosyal uzuvlar. Mevcut İnternet'in iki belirgin özelliği olduğunu görebiliriz.Bir özellik kendi kendine seçim ve ikinci özellik bulut barındırmadır. Tıpkı Didi gibi, Didi de bulutta araç ihtiyaçlarımızı barındırdı, paylaştı Aynı şey bisikletler için de geçerli.
Veri ve toplum arasındaki bağlantı, veri bağlantı yöntemini takip etmelidir, yani ön uç tüy kadar hafif ve arka uç Tai Dağı kadar ağırdır.Yani, arka uçta gerekli veri miktarı ne kadar büyükse o kadar iyidir.
Profesör Shen, büyük verinin uygulanmasına ilişkin olarak, verilerin dışarıdan içeriye yerleştirilmesi için çok canlı bir metafor yaptı.
"Büyük veriyi beş katmana böldüm.
İlk katman denir Tablo düzeyinde veriler Temelde arama motorlarının yakalayabileceği veriler.
Tablo 2 verileri Cep telefonlarında bulunan sektör dikey büyük veridir. Örneğin, film analizi yapıyorsunuz. En iyi verileriniz Maoyan filmlerinde olabilir. Maoyan filmlerindeki bu tür veriler genellikle Baidu tarafından yakalanır, bu yüzden Tablonun ikinci katman verileri olarak adlandırılır.
İç veri katmanı Her bir birimin dahili verileridir.
Katman 2 verileri Herkesin verileri.
Üç veri katmanı Bu, her bir kişinin genlerinin verileridir, bu yüzden onu mahremiyet ve veri mevcudiyetine göre ayırdık. "
"Çabanın yönü" de bu raporda en çok bahsedilen kelimedir. Örneğin: büyük verinin avantajlarından birinin çok seviyeli veri ilişkilendirmesinde yattığını söylediğinde, veri ticareti, kamuoyu, trafik analizi, hassas pazarlama, coğrafi konumlandırma gibi birçok sektöre özel uygulama platformunu tanıttı ve ayrıca ekibinden bahsetti. Kendimizi buna adamalıyız, ayrıca Weibo indeksi, güven indeksi, müşteri indeksi ve web sayfası indeksi gibi tekli indeksleri yıllarca yaptıktan sonra Bay Shen, bir entegrasyon indeksi katmanı oluşturmayı düşündü.Bu indeksler sayesinde daha doğru analizler yapabiliyoruz. Karar vermek için onu bir pusula yapın, ancak yine de bir GPS olmak için çaba gerektirir.
"Açıklanabilecek, ifşa edilebilecek ve ifşa edilebilecek tüm verileri kamuoyuna duyurun."
Profesör Shen, son birkaç gündeki fidye yazılımı salgınına yanıt olarak bir çıkarımda bulundu: "Zaman geçtikçe," PC İnternet "ten" Mobil İnternet "e" Akıllı İnternet "e geçiyoruz. Son olarak, görebildiğimiz eğilim beyin bağlantısı olmalıdır. İnternet, herkesin beyninin İnternete bağlanacağı anlamına gelir. O zaman, bir bilgisayar korsanına girmek çok zahmetli olacak, bu nedenle güvenlik ve gizlilik mekanizmalarının güçlendirilmesi gerekiyor. "
" Veriler aslında bir dildir, insanların dünyayı anlaması için daha rafine bir dildir , Ancak dilin kendisi ticarileştirilemez. Bu dili sadece ticarileştirmek için bir hikayeyi ifade etmek için kullanabilirsiniz. Bu nedenle, iyi bir hikayeyi ifade etmek için büyük veriyi kullanmanız ve her şey ile hukuk arasındaki bağlantıyı keşfetmek için büyük veriyi kullanmanız gerekir. Bazı kanunlar, bu kanunlar uygulamamıza rehberlik etmek için kullanılabilir. "
Profesör Shen ayrıca gelecekteki makale yazımı için de olumlu fikirler ortaya attı ve şunları söyledi: "Gelecekte, kağıt için bir araştırma incelemesi yazmanıza gerek yok. Sadece onu girmeniz yeterli. Çince ve İngilizce de mevcuttur. Zaman serisi perspektifine göre kümeleme, doğru anlamanıza yardımcı olacaktır. O zaman daha çok anlamak ve analiz etmek üzeresiniz. "
"Büyük verinin nihai kullanımı nedir? Büyük veri bir servettir. Gelecekte ne olacağını istediğiniz zaman, istediğiniz yerde hesaplayabilir ve istediğiniz zaman, istediğiniz yerde bazı gelecek tahminleri yapmanıza yardımcı olabilirsiniz."
Profesör Shen liderliğindeki Qingbo kamuoyu ekibi, kamuoyunun saldırgan ve savunmacı savaşlarını analiz etmek için veri madenciliği yoluyla, tuz yakalama olayı ve Zhao Wei'nin gönderilerin silinmesi vb. İçin kelime bölümleme modülleri, konu farklılaştırma ve birleştirme teknolojileri kullandı ve bu analiz süreçlerini otomatikleştirmesi bekleniyor. Kamuoyunun tahminleri bile. "Umarım gelecekte kamuoyu alanında, veri platformunda her gün sizinle birlikte kamuoyunu tahmin edecek bir hava durumu tahmincisi gibi bir kişi olacaktır." Profesör Shen, verilerin gerçekliğinin geri kazanılmasına büyük önem veriyor. Büyük verinin gerçekten rehberliğe ihtiyacı olduğuna ve gelecekteki değişiklikleri hesaplaması gerektiğine inanıyor. Profesör Shen ve ekibinin sıkı çalıştığı yön budur.
Rapor sitesinde, Profesör Shen, veri arama sürecini simüle etmek için Qingbo kamuoyunu kullandı.Fan Yusu'yu örnek alarak, 303 veri parçası hızlı bir şekilde yayınlandı ve olumlu ve olumsuz duygular, sıcak sözler de dahil olmak üzere duygusal eğilimler ve veriler gerçek zamanlı olarak analiz edildi. Gerçek zamanlı bir büyük veri platformu olarak görülebilecek hacim artmaya devam ediyor.
"Seleflerimizin gerçekleştirmediği araştırma fikirlerini gerçekleştirebiliriz. Bu çok değerli." Profesör Shen'in sözleri, rüyalara giden yolda veri bilimi kaşiflerine de ilham veriyor ve ilham veriyor!
Harika Soru-Cevap:
Soru: Qingbo Public Opinion Platform, borsaya kayıtlı şirketlerin kurumsal yıllık raporlarını okumak için kullanılabilir mi? Yıllık raporlardaki kelime frekanslarından bazılarının kaldırılması için ilgili gerekliliklere dayalıdır?
Profesör Shen: Mevcut verilerimiz, şu anda ayrıntı düzeyi sadece bölüm düzeyine kadar, az önce yıllık raporun bir makaledeki yapılandırılmış içerik olduğunu söylediniz, henüz bu adımı atmadık, bu yönde çalışmayı umduğumuz bir sonraki adım. Gelecekte çok önemli bir yön, büyük veri kesinlikle daha ince ayrıntı düzeyine girecek. Şahsen Ekim ayında böyle bir döneme gireceğimizi düşünüyorum. Bu yön çok zorlu. Bu zorluğu kabul etmeye hazırım. , Umarım denerim.
Soru: Baştan itibaren veya sadece yakın zamanda yapılan bir araştırmada kamuoyu izleme zamanının kapsadığı genel durum nedir?
Profesör Shen: Şimdi gelecek ay sonsuz geri izleme adı verilen bir işlevi yineleyebiliriz, ancak bu işlev çok fazla kaynak tüketir, çünkü ağın tamamında herhangi bir yerde bulunması gerekir, bu yüzden bir ödeme olasılığı olabilir. Ödemeye razı iseniz, böyle bir işleve ihtiyacınız var, en azından internette yaklaşık 20 yıldır var olanlar, internette var oldukları sürece, onları geri alacağız.
Ancak Çinlilerin Çin web sitesindeki bilgileri on yıldan fazla bir süre önce kaydetmemiş olması üzücü. Yani, Tsinghua Üniversitesi'nin ana sayfasının on yıl önce nasıl göründüğünü görmek istiyorsunuz. Belki Çin'de bulamıyorsunuz. Ancak Amerika Birleşik Devletleri'nde hala korunan bazı araştırma kurumları var. Dolayısıyla internetteki bilgiler tıpkı yarı ömür gibi büyük bir kayıp yaşar.Bu kuralla birçok sayfa bir süre sonra kaybolur. Dolayısıyla, düşük değer yoğunluğuna sahip gibi görünen şeylere hala dikkat etmemiz gerekiyor ve bunlar zamanla daha da değerli hale gelecek.
Soru: Daha önce de belirttiğiniz gibi, günümüzde büyük verilerin çoğu taramadan istatistiğe geçiyor. Bir sonraki adımımız tahminler yapmak. Bence bizim tahminlerimiz içeriklerin daha doğru bir şekilde sunulması. Veri tahmini başka ne yapabilir?
Profesör Shen: Ben şahsen birçok şeyin tahmin edilebileceğini düşünüyorum. Basit bir örnek vermek gerekirse, influencer'ların analizi için influencer'lar hakkında bazı büyük veriler yaptık ve bu influencer'ların kimliklerini kısaca analiz ettik.Büyük veri perspektifinden influencer'ların iki temel noktası var. Bu etkileyicinin satabileceği şey ve e-ticaret nitelikleri.Örneğin Luo Zhenyu bir zamanlar ay pastası sattı.Bazıları zarara uğradığını söyledi ama sanırım kitap satarak kâr etti.
İkincisi, potansiyelini analiz etmektir. Hangi İnternet ünlüsü hızla yükselebilir? Bu, veri analizi gerektirir. Başka bir örnek de IP büyük veridir. Analizi İnternet ünlüleri büyük verileriyle tamamen aynıdır. Herhangi bir IP elde edersiniz, bu IP'nin ticari dönüşümü nerede ve sosyal değer nerede. Bu, veriler aracılığıyla analiz ettiğimiz ilk şeydir. İkincisi bu IP'nin büyümesi nedir? Bir şey çok popüler olduğunda herkes onu satar. Şu anda kar marjı çok düşüktür. Satın almak istediğimiz şey onun emekleme döneminde olacağıdır. Aynı şey risk sermayesi için de geçerlidir. Bu yüzden insanların analizinde yapılabilecek pek çok şey olduğunu vurguladık.
Öte yandan, bireysel araştırmadan grup araştırmasına, bir bütün olarak insan araştırmasına kadar, beşeri bilimler ve sosyal bilimler açısından çok anlamlı ve değerli olduklarını düşünüyorum. Örneğin, grupların analizinde, kültürel araştırmalar ve etnik araştırmalar yapıyorsanız, şimdi bana dünyadaki farklı medeniyetler arasında genel konuşma gücünün yükseliş ve düşüşünün daha büyük veri gerektirdiğini söyleyebilir misiniz? Hayata yaklaşmanın başka bir örneğini ele alalım. Bir kez bir evi görmeye gittim ve ilk gördüğümde dikkat etmedim. Daha sonra, yanında çok büyük bir transformatör olduğunu fark ettim. Büyük veri varsa, bunlar size hızlı bir şekilde yardımcı olabilir. Analiz et ve bana gürültünün nerede olduğunu söyle ki bu çok değerli.
Tabii ki sadece insanlar ve çevre değil, aynı zamanda insanların kendilerinin dönüşümü de önemli.Bu da değerli.Gelecekte insanların kendileri ile yakından ilgili iki cihazımız olacak.Cep telefonlarının yanı sıra akıllı gözlükler ve bir Bence bu kıyafetlerin zekasıdır.Bu, dört gözle beklemeye değer çünkü giysiler günün 24 saati yanınızda ve vücudunuz hakkında birçok veri elde edebilirsiniz.Bu zamanda, kalp atışınızın normal olup olmadığı gibi kendinizi tahmin edebilirsiniz. Kalp atışınız normal değilse, önceden ilaç alabilirsiniz. Bu yüzden bu tahminin birçok yönü içerdiğini ve çok ilginç olduğunu düşünüyorum.Ekibimiz hala küresel büyük veriyi yapılandırmaya ve sanayileştirmeye odaklanıyor.Bu aynı zamanda kısa vadeli hedefimiz.
Soru: Şu anda tahminini dinledikten sonra, gelecekte işimi kaybedeceğimi hissediyorum. Gelecekte büyük veriler hakkında endişeleriniz var mı, örneğin şu anda sıcak noktaların tahmin edilmesi gibi, eğer büyük veriler şimdi tahmin edilebilirse, gelecekte bazı sektörler hakkında ne düşünüyorsunuz?
Profesör Shen: İnsan toplumunun evrimsel tarihine bakarsak, sıklıkla tekrarlayan emeğin kolayca yer değiştirdiğini görürüz.Yani benim kanaatim, robotlar büyük ölçekte popüler olduğunda, enerji fiyatları önemli ölçüde düştüğünde, nükleer füzyondur ve sonra tekrar yapılabilir. Şu anda çok sayıda robotun belirgin sosyal değişiklikleri olacak. Çalışmak istemiyorsanız, robotlar sizin için her gün basit bir burger yapacak. Bu, görebileceğimiz bir değişiklik.
Bu durumda, çeviri gibi verilerin etkisini artıran yapay zekanın etkisi altında insanların iyi olduğu birçok iş türünün bir dereceye kadar ortadan kaybolacağını göreceksiniz.Gelecekte kesinlikle gerçek zamanlı çeviri yapabilen sistemler olacaktır. Çeviri gereksizdir. Ama edebi bir yaratım olarak bu biraz daha zor.Şimdi otomatik olarak şiir veya şiir yazabilen bir şiir yazma sistemi var ... Tsinghua Üniversitesi de şiir yazmak için bir yazılım geliştirdi. Ama genel olarak, tıp endüstrisi de dahil olmak üzere, sıcak haberlerin tahmini olup olmadığı, gerçekten değiştirilmeden önce hâlâ gidilecek bir yol var. İlginç bir fenomen gözlemledim.Birçok sektördeki insanlar makinelerin kendilerine karşı yinelemesiyle karşı karşıya kaldıklarında, güçlü bir direniş tutumu var. Birincisi direniş, sonra kabul etmeye zorlama ve sonunda övgü.
Bir gün bana esrarengiz bir şekilde söyleyen eski bir bilginle tanıştım, biliyor musun? Son zamanlarda çok popüler olan bir yazılım var, hangi yazılımı söyleyeyim? WeChat dedi. Şu anda bir tür kabul açısıdır. Tıbbi büyük veri konferansına katılan bir öğretmen, tıbbi yapay zeka büyük veri yazılımı tarafından verilen teşhis raporunun doğru olmadığını söyleyerek bazı kişilerin kabul etmeyeceğini fark etti ve daha sonra eski uzman büyük veri çevirisine katılmaya gitti. Toplantıda çok kıdemli bir çevirmen, çevirinin sadık ve zarif olduğu için yazılımın iyi çevrilmediğini söyledi!
Dolayısıyla, bugünün bilgisayar becerilerinin veya büyük veri becerilerinin hala bir dereceye kadar insanlarla yetişemediğini göreceksiniz, ancak tıpkı ekibimizin işlevlerinin evriminden oldukça memnun olduğum gibi, bizden daha hızlı geliştiğini hatırlamalıyız. , Geçen hafta şu anda iyi görünen iletim yolunun analizine sahip değildik, bu hafta olacak. Bu özelliğe sahip olduğumda, bu özelliğin eğlenceli olmadığını hemen hissettim ve güncellenmiş bir özelliğe ihtiyacım vardı. Bu nedenle yazılımın yinelemeli hızı insandan daha hızlıdır ve bu açıdan insanların ölümü kaçınılmazdır.
Soru: Duygularını yargılamak için yüz ifadeleri kullanmak mümkün mü?
Profesör Shen: Bence büyük veri problemi büyük veri ile çözülmeli.Eğer duyguları doğru bir şekilde değerlendirmek istiyorsak, daha fazla külliyat ve daha fazla analize ihtiyacımız olabilir. Örneğin, şu anda bir söylentiyi nasıl yargılayacağınız aslında çok zor. Taradıktan sonra, bu makalenin bir söylenti olup olmadığını anlayamazsınız, ancak büyük veri sistemi bu makaleyi tarama sürecinde aşağıdaki sosyal ağları bu makaleyle karşılaştırabilir. Değerlendirme, bu yazının bir söylenti olduğunu ve hata yapma olasılığının çok düşük olduğunu hemen anlar. Daha sonra, bu kişi her konuştuğunda, aşağıdaki netizenler bunun bir söylenti olduğunu söylemesi, bu kişinin söylenti yaymaya daha meyilli olduğunu gösteren uzun süreli çalışma yoluyla keşfedilebilir. Bu kimlik numarasını hemen doğrulayabilir.
En akılda kalan söylenti, imparator Guangxunun Pekin Normal Üniversitesindeki konuşmasıydı. Bu makale, medyanın zihniyetiyle daha uyumlu olduğu için birçok medya tarafından yayınlandı. Daha sonra bazı netizenler bu makalenin bir ağ romanı tarafından yazıldığına dikkat çekti. Bir geçiş romanı, genç bir adamın gök gürültüsüne çarptığını ve İmparator Guangxu olmak için geri döndüğünü ve ardından bu konuşmayı Jingshi Üniversite Salonu'nda yaptığını söyledi. Medya iyi yazılmış olduğu için alıntı yapmayı sever. Otomatik olarak analiz etmek için yazılım kullanıyorsanız, bunun hayali içerik olduğunu bulamazsınız. Bu nedenle büyük veri sorununun büyük veri ve yapay zeka ile birlikte çözülmesi gerekiyor. İnsan toplumunun sergilediği zeka ve makineler için gerekli zeka çok ilginç konular ... Bunları birleştirebilirsek, bu gerçekten verinin güzelliği ile yapaylığın güzelliğinin bir bileşimi.
Soru: Veri yakalamada telif hakkının atlatılmasıyla nasıl başa çıkılır?
Profesör Shen: Weibo verileri gibi, kanallarımız da temelde birkaç yönden geliyor. Birincisi, Weibo ile daha fazla işbirliğim var ve Weibo'da sıklıkla birçok etkinliğe katılıyorum. Bize sağlamak için bizimle stratejik işbirliğine sahip olduğumuz bazı veriler var. Ayrıca, ticari arayüzünün bir kısmını da satın aldık ve bir kısmını da aldık çünkü arayüzünü satın aldım, bu yüzden onu yakalamam umurunda değil.
WeChat söz konusu olduğunda, Tencent'in zihniyeti 3Q savaşından sonra çok değişti. 3Q savaşından önce, diğerleri bir şey yaptığında hızlı ve şiddetli tepki verebilir. Başkaları iyi bir iş çıkarsa, taklidi de kopyalamaya başlar, ancak 3Q savaşından sonra Tencent Ekolojiye daha fazla dikkat edin. Şu anda, Tencent'in verilerindeki olası bir tutum Biraz kapma yeteneğiniz varsa, yeteneğiniz yoksa , Ancak tarama önleme sistemini sık sık yükseltecek ve bu da birçok insanı rahatsız hissettirecek. ve bu yüzden WeChat genel hesabının veri yakalanması teknik bir zorluktur. Yakalanabilecek çok fazla takım yok Çin'de 50'den fazla takım olmadığını tahmin ediyorum çünkü Çin çok büyük ve hayatın her kesiminde insanlar var. Web sayfası veri taraması artık olgunlaşmıştır. Telif haklarını aşma perspektifinden, tarama sonuçlarından çok bazı tarama hizmetleri sağlamanız gerekebilir. Bu aynı zamanda bazı ayarlamalar yapmamız gereken şeydir.
