g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Büyük veri öğrenme deneyimi

I. Genel Bakış

1 Büyük Veriye Giriş

1.1 Menşei

Son yılların en sıcak sözlerinden biri olan "Büyük veri". Büyük veri kelimesi resmi olarak yaklaşık 10 yılda üretilmesine rağmen, büyük verilerin analizi zaten mevcuttu. İnternetin ilk günlerinde, birçok şirket, çeşitli tarama motorları gibi büyük miktarda bilgiyi analiz etmek ve işlemek için bilgisayar teknolojisini kullanıyordu. Ancak, büyük verinin gerçek önerisi, 2008.09.03 "Doğa" özel sayısındaki bir makaleden kaynaklandı. Ardından, endüstri takip etmeye devam etti.McKinsey, sektördeki büyük verinin rolünü işaret eden McKinsey Global Institute raporunu Haziran 2011'de yayınladı. Büyük verinin gerçek yükselişi, Beyaz Saray büyük veri araştırma ve geliştirme tasarısını yayınlarken, hükümet de büyük veri yarışına katılmaya başladı.

1.2 Tanım

Büyük veri çok sıcak olduğu için büyük verinin ne olduğunu anlamamız gerekiyor. Büyük veriyi tanımlamak için genellikle 4 V kullanırız: kapasite, çeşitlilik, iş hacmi ve değer. Yani, büyük veri, nicelik olarak büyük (en azından T ve P seviyeleri), çoğu yapılandırılmamış birçok kaynağa sahip, analiz sistemine hızlı bir şekilde girip çıkan ve değer elde etme amaçlı veriler olmalıdır.

2 Mobil İnternetin büyük veri özellikleri

2.1web2.0 ve genelleştirilmiş mobil İnternet

Web2.0, Moments, Weibo, vb. Tarafından temsil edilen bilgi alışverişi ve paylaşımı İnternet anlamına gelirken, mobil İnternet geniş anlamda İnternet, Nesnelerin İnterneti ve sosyal ağların kablosuz yollarla bağlantısını gerçekleştirir.

2.2 Veri özellikleri

Mobil İnternet verileri, hareketlilik, karmaşıklık ve sosyallik özelliklerine sahiptir. Birincisi, düğüm hareketlidir ve yaygın algılama işlevine sahiptir. İkincisi, ağ karmaşıktır ve ağ aracılığıyla çoklu algılar gerçekleştirilebilir.Son olarak, birey sosyaldir, dolayısıyla sosyal algı rolüne de sahiptir.

2.3 Veri Türü

Mobil İnternet iki tür veri üretir: Biri, insanın kendini ifade etme ihtiyaçlarından kaynaklanan, insanlar (UGU) tarafından iletilen verilerdir. Bunlardan biri teknolojik, askeri ve ticari ihtiyaçlardan elde edilen makine tarafından üretilen verilerdir (MGC).

2.4 IntelliSense Hizmeti

Mevcut mobil İnternet'in kayıp bir zinciri var - Akıllı Algılama Hizmeti. İnternetin insanlar arasındaki bilgi alışverişi sorununu çözdüğünü ve Nesnelerin İnterneti'nin şeyler arasındaki bilgi alışverişi sorununu çözdüğünü biliyoruz. Akıllı hizmetler, insanların, doğanın ve toplumun çapraz algılanmasını gerektirir ve mobil İnternet ve büyük veri teknolojisi köprüleri oluşturur.

2.5 Akıllı Şehir

Bana göre akıllı şehir = dijital şehir + mobil İnternet + Nesnelerin İnterneti + bulut bilgi işlem ve bunu başarmak için mobil İnternet'in İnternet'i, insan ilişkileri ağını ve Nesnelerin İnternetini entegre etmesi gerekiyor.

3 Fırsatlar ve Zorluklar

3.1 Fırsatlar

Büyük veri bize fırsatlar ve zorluklar getirdi ve bundan yararlanıp yararlanamayacağımız bu fırsat ve zorluklarla nasıl başa çıktığımıza bağlı. Büyük veri fırsatları ortada ... Çeşitli büyük platformların veri toplanması ve ifşa edilmesi, MapReduce gibi veri analiz platformlarının açılması ve çeşitli alanlarda veri madenciliği hizmetlerinin sağlanması, veri elde etmemizi kolaylaştırdı. Ve bu zengin veriler birçok inovasyon fırsatını beraberinde getirdi ve herhangi bir alandaki verilerin bu alanda çok büyük bir etkisi olabilir.

3.2 Zorluk

Tabii ki, büyük veri bize pek çok zorluk da getiriyor. 1. Veri paylaşımı ve veri gizliliği arasındaki çelişki. Büyük verinin değeri azdır ve büyük miktarda veri genellikle büyük şirketler tarafından tekelleştirilir, bu nedenle sıradan insanlar için veri paylaşımı çok önemli hale gelir ve çözümlerden biri de paylaşılan bir veri merkezi kurmaktır. 2. Veri sel ve teknolojik gecikme arasındaki çelişki. Birincisi, veri depolama kapasitesi ile işleme arasındaki uyumsuzluktur.Bunu, veri akışlarının gerçek zamanlı olarak işlenmesi, en yakın prensipte ham verilerin depolanması ve işlenmesi, veri depolama ve analiz hizmetlerinin satın alınması gibi yöntemleri benimseyerek çözebiliriz. Ayrıca, analiz yöntemi performans gereksinimlerini karşılamıyor. Bunun ana nedeni, geleneksel veri ambarlarının artık büyük veri analizi için kullanılmamasıdır.Bunun için büyük ölçekli eşzamanlılık, Map-Reduce dağıtılmış hesaplama ve NoSQL yönetimi eşzamanlı erişim gibi yöntemleri kullanabiliriz. İşlemek için. Üçüncüsü, sosyal talep ile yetenek eksikliği arasındaki çelişkidir. Bu bağlamda, olağanüstü büyük veri yeteneklerini geliştirmek en önemli öncelik haline geldi. 4. Açık veri ve gizlilik koruması arasındaki çelişki.

Bu, kullanıcı gizliliğinin mağdur olması ve olası ulusal güvenliği tehlikeye atması gibi konuları içerir Çözümümüz, gizlilik koruma veri madenciliği yöntemleri geliştirmek ve mevzuatı iyileştirmektir.

4 Gelecekteki gelişme trendi

Bence büyük veri geleceğin petrolü olacak ve mobil İnternet İnternette gezinmenin ana yolu olacak ve mobil büyük veri de gelişecek. İşte bazı tahminler: 1 Mobil büyük veri analizi, yavaş yavaş bulut bilgi işlem ve Nesnelerin İnterneti'nin araştırma odağı haline gelecektir. 2 Mobil İnternet UGC ve MGC verilerinin derin entegrasyonu yeni endüstrilerin doğmasına neden olacaktır. 3 Belirli alanlara odaklanan veri analizi hizmetleri, son endüstriyel inovasyonun ana akımı haline gelecektir. 4Map-Reduce güçlü kalmaya devam edecek ve dağıtılmış akış veri analizi yöntemleri, makine öğrenimi teorisi ve uygulama araştırmasında önemli bir nokta haline gelecektir. 5 Veri paylaşımı genel eğilimdir, ancak ulusal bilgi güvenliğine özel dikkat gösterilmesi gerekir.Açık veriler yasal destek gerektirir ve bilgi güvenliği bağımsız teknik koruma gerektirir

Büyük veri geliştirme ve yüksek maaşlar için eksiksiz bir gerekli kaynak seti [ücretsiz erişim]

Oracle'ın kıdemli teknik direktörü, büyük verilerin geliştirilmesine tam olarak yardımcı olmak için uzun yıllar boyunca eksiksiz bir müfredat sistemi [büyük veri ve yapay zeka geliştirme için görülmesi gereken bir] oluşturdu Sıfır temel + giriş + iyileştirme + proje = yüksek maaş !