Bulanıklığı kontrol etmek için büyük veri yükseltme önlemleri: "tek boyut her şeye uyar" kazayla yaralanmayı reddetme
Pekin bir kez daha sis, saman yakma, motorlu taşıtlar, fabrikalar ve hatta mutfak dumanları ile örtülmüş durumda. Bulanıklık kontrolünün zorlu yönleri, sadece kirliliğin kaynağını belirlemedeki zorluğu değil, aynı zamanda hassas kirlilik denetimindeki zorluğu da içerir. Çeşitli pus tedavi yöntemlerinin neden olduğu "tek beden herkese uyar" kazayla yaralanma da büyük bir yuva haline geldi.
Örneğin, yanlış hava tahminleri, şirketlerin önceden üretimi kısıtlamasına, ekonomik kayıplara neden olmasına ve hükümetin güvenilirliğine zarar vermesine neden olurken; bölgesel ve büyük ölçekli üretim kısıtlamaları ve trafik kısıtlamaları, bölgedeki tüm insanların küçük bir kirlilik kaynağı olmasına izin veren, herkese uyan tek bir yaklaşımdır. Ortaya çıkan kirlilik sonuçları ciddi bir bedel ödüyor; kirlilik kaynaklarının işlenmesinde, kirlilik kaynaklarının genel olarak tanımlanması, yaşamın her kesiminin çıkarlarına zarar verecek ve yasal emisyon şirketlerinin üretim ve operasyon konusundaki heveslerini caydıracaktır ... Eksiklikler için, pusun hassas bir şekilde işlenmesi genel eğilimdir ve pusun büyük veri işlenmesi de kamuoyunun gözüne girmiştir.
Büyük veri sihrini gösterir
Sisin arkasında, ağır hava kirliliğinin erken uyarısı ve tahmini son derece önemlidir Doğru tahmin, sadece hükümetin ve ilgili departmanların dumanın neden olduğu zararı hafifletmek için acil önlemler almasına izin vermekle kalmaz, aynı zamanda halkın hayatlarını makul bir şekilde önceden düzenlemesine izin verir.
Pazarda hava kirliliğinin izlenmesi için büyük bir veri sisteminin geliştirilmesi devam etmektedir ve çevre koruma departmanı bunu satın almış ve kullanmıştır. Hava kirliliği izleme büyük veri sistemi, veri kaynağı olarak hava kalitesi verilerini, meteorolojik durum verilerini ve gelecekteki hava tahmini verilerini kullanır.Bunların arasında, hava kalitesi verileri, 300 kilometrelik bir yarıçap içindeki tüm alanları kapsayan, belirli bir hava kalitesi sahasına odaklanan nispeten zengin bir veri kümesidir. Hava kalitesi istasyon verileri, trafik akış verileri, meteorolojik veriler, fabrika ve maden verileri, nüfus akış verileri, yol ağı yapısı vb. Gibi hava kalitesiyle ilgili doğal ve insan etkinliği verileri ve ardından yukarıdaki farklı alanlardaki verileri birbiriyle birleştirmek için çoklu bir entegrasyon yöntemini benimseyin. Hava kalitesi durumunu tahmin etmek için birbirini güçlü bir şekilde üst üste getirin ve tamamlayın.
Büyük veri tahmininin geleneksel simülasyon yöntemleriyle belirli benzerlikleri vardır. Her ikisi de modele uymak için verileri kullanır, ancak veri miktarı farklıdır.
Geleneksel simülasyon yöntemleri yalnızca sınırlı örnek verilere dayanabilir.Araştırmacılar, bu veriler arasındaki kuralları bulmak için deneyim ve varsayımları kullanır ve hava kalitesini tahmin etmek için basit modelleri simüle eder. Verilerin artması ile artık sadece el emeğine güvenerek büyük ve karmaşık verilerden kurallar bulmak mümkün olmamakta, bu nedenle çok kaynaklı verilerdeki gizli kuralları keşfetmek için makine öğrenimi ve veri madenciliği araçlarını kullanmak gerekmektedir.
Hava kalitesini etkileyen faktörler arttıkça, veri türleri daha bol hale geliyor ve büyük verilerin hava kalitesi tahmininde avantajları var. Geleneksel yöntemler, tahmin etmek için doğru yer kirliliği kaynak verilerini gerektirirken, büyük veriler eksik veri sorununu çözebilir. Örneğin, trafik egzoz verilerini elde etmenin zor olduğu durumlarda, büyük veri teknolojisi, hava kalitesiyle olan ilişkisini dolaylı olarak analiz etmek için trafik akışını ve trafik egzozuyla ilgili emisyonları kullanabilir.
Ek olarak, geleneksel yoğun kirlenmiş hava tahmini, yaklaşık 6 saatlik simülasyon hesaplama süresi gerektirir ve Büyük veri, çok kirli hava kalitesi verilerini birkaç saniye içinde hızlı bir şekilde hesaplayabilir ve gerçekten hızlı ve gerçek zamanlı olarak yayınlanır Böylece acil durum önlemleri daha zamanında ve etkili olacak.
Büyük veri yönetişiminin öncüsü
Mevcut hava kirliliği izleme büyük veri sisteminde, Microsoft ve IBM endüstri liderleri haline geldi.
Microsoft Research Asia ekibi, ülke genelinde 3.000 izleme istasyonundan gelen verileri entegre etmekten sorumlu olan Urban Air sistemini başlattı. İnce taneli hava kalitesini izlemek ve tahmin etmek için büyük verilerin kullanımı, Çin'de 300'den fazla şehri kapsamaktadır ve Çin Çevre Koruma Bakanlığı tarafından benimsenmiştir. Aynı zamanda Microsoft, farklı şehirlere ve bölgelere gerekli hizmetleri sağlamak için diğer bazı Çin devlet kurumları ile sözleşmeler imzaladı.
Ekipten sorumlu kişi, kirli hava tahmini için büyük veri kullanımının çok rafine edilebileceğini söyledi. Erken uyarı bulanıklığını tahmin etmek için klasik simülasyon yöntemlerine güvenerek, yalnızca hava kalitesinin ortalama değeri hesaplanabilirken, büyük veriler hava kalitesini 1 ila 6 saat, 7 ila 12 saat, 12 ila 24 saat ve 24 ila 48 saat boyunca tahmin edebilir. Maksimum ve minimum değerlerin tahmini.
Tahmin doğruluğundaki avantajlarının yanı sıra, büyük verinin rafine edilmiş tahmini de coğrafi kapsama yansıtılır. Şu anda, geleneksel simülasyon yöntemleri bulanıklığı yalnızca ilçe düzeyinde tahmin edebilir. Örneğin, Pekin'de, Haidian Bölgesi ve Chaoyang Bölgesi'ndeki hava kalitesi tahmin edilebilirken, büyük veriler her hava kalitesine göre iyileştirilebilir. Örneğin istasyonlar, Haidian Bölgesi'ndeki Wanliu istasyonunun önümüzdeki 48 saat içindeki hava kalitesini tahmin edebilir. Şu anda ekip, 1km × 1km ince taneli hava kalitesini, egzoz emisyon verilerini ve gürültü kirliliği endeksini hesaplamak için büyük verileri başarıyla kullandı.
Büyük veri tahmininin doğruluğu, hava kalitesi siteleri, ilgili alanlardan gelen veriler ve gelişmiş büyük veri madenciliği teknolojileri ve modelleri tarafından garanti edilmektedir. Şimdi anlaşıldı Beijing-Tianjin-Hebei bulanıklığı için büyük verilerin tahmin doğruluğu% 75'e ulaşabilir ve Chengdu, Chongqing ve diğer yerler için tahmin doğruluğu daha yüksek olacaktır ve ortalama doğruluk oranı geleneksel simülasyon yöntemlerinden% 15 -% 20 daha yüksektir.
Pekin hükümetine pus sorununu çözmede yardımcı olacak bir başka proje, IBM Araştırma Merkezi tarafından başlatılan 10 yıllık "Yeşil Ufuk" programıdır.
PowerSystems ürün müdürü, IBM Greater China Hardware Systems Department, IBM, verileri sensörler aracılığıyla toplayan ve çevresel yönetişim için güçlü teknoloji sağlamak için yüksek hassasiyetli tahmine dayalı modeller, Nesnelerin İnterneti ve bilişsel bilgisayar teknolojisini kullanan yüksek hassasiyetli bir optimizasyon sistemi geliştirdi. destek."
IBM araçları, Pekin'deki 35 resmi çok kirletici hava kalitesi denetim istasyonundan gelen geleneksel veri kaynaklarının yanı sıra çevre izleme istasyonları, ulaşım sistemleri, hava durumu uyduları, topografik haritalar ve ekonomik veriler gibi diğer daha ucuz ancak daha kapsamlı kaynakları entegre edebilir Sosyal medya verileri bile. Buna ek olarak, IT ve Microsoft, fabrikaların kapanışını tahmin etmek için bir simülasyon aracı kullanmak da dahil olmak üzere daha kısa sürede daha iyi tahminler yapmaya çalışarak geleneksel atmosferik kimya ve fizik modellerini makine öğrenimi veri istatistik araçlarıyla birleştirdiler. Veya hava kalitesi sonuçları ve araba kısıtlamaları gibi müdahalelerin ekonomik sonuçları.
IBM, gerçek zamanlı izleme ve yüksek hassasiyetli tahmin temelinde, büyük veri analizi yeteneklerinin yardımıyla, hava kalitesini etkileyebilecek ilgili faktörleri de analiz edip tahmin edebilir ve farklı koşullar altında çeşitli etkileyen faktörler ile hava kalitesi arasındaki nicel ilişkiyi belirleyebilir. Geliştirilen "Çok Boyutlu Bilişsel Kirlilik Süreci Kütüphanesi", şehir yöneticilerinin çevre koruma kararları vermesine yardımcı olmak için ülke genelinde 367 belirli şehirde 20'den fazla boyutta, tarihsel kirlilik süreçlerinin ve hava durumlarının tam otomatik bilişsel analizini gerçekleştirebilir.
"Yeşil Ufuk" projesinden sorumlu kişi, IBM'in 3 gün içindeki hava kalitesi tahmininin doğruluğunun% 80'in üzerinde olduğunu ve 7 ila 10 günlük tahmin doğruluğunun yaklaşık% 75 olduğunu söyledi. Yükseltilmiş "Yeşil Ufuk", uluslararası iklim veri analizlerinin birikimini kullanarak önümüzdeki 15 gün için tarihteki en benzer hava durumu ve kirlilik eğilimlerini eşleştirmek ve nihayet hava uyarısı ve kirlilik önleme oluşturmak için yalnızca 2-3 saniye sürüyor. Çin Halk Cumhuriyeti'nin karar alma önerileri, bölgesel ortak önleme ve kontrolün etkili bir şekilde geliştirilmesine yardımcı olacaktır.
Yerel hükümet departmanlarıyla işbirliği yapan Microsoft ve IBM'e ek olarak, büyük verilere dayalı, aynı zamanda referans almaya değer başka çevre koruma projeleri de var. Örneğin, çevresel veri analizi için Nesnelerin İnternetini ve büyük veriyi kullanan ABD CitySense sistemi.
CitySense, Amerika Birleşik Devletleri Ulusal Doğa Bilimleri Vakfı tarafından finanse edilmektedir ve Harvard Üniversitesi ile BBN tarafından ortaklaşa geliştirilmiştir. Tüm şehir için gerçek izleme verilerini raporlayabilen bir kablosuz sensör ağı projesidir.
CitySense, Cambridge, Massachusetts'teki sokak ışıklarına sensörler kurarak, sensör çalışması için güç kaynağı olarak sokak lambalarının güç kaynağı sistemini kullanır; bu, kablosuz sensör ağlarının çalışmasında pil ömrü sınırlamasını çözer ve uzun vadeli çevresel izleme deneyleri için faydalıdır. Bu sensörler düğümler oluşturur.Proje ekibi her düğümde yerleşik bir bilgisayar ve kablosuz LAN arabirimi düzenler ve ardından izleme bilgilerini izleme merkezine geri göndermek için WiFi kablosuz ağ teknolojisini kullanır.İzleme bilgileri basınç ve sıcaklığı içerir. , Bağıl nem, rüzgar hızı, rüzgar yönü, yağış, yağış yoğunluğu, CO2, gürültü ve ardından kullanıcılara CitySense web sitesi bilgi sorgusu sağlar.
CitySense, CitySense web sitesinde sorgulanan verileri haritaya yerleştirmek için Microsoft tarafından sağlanan VirtualEarth ve SensorMap teknolojilerini kullanır. Ek olarak, CitySense, bir ağ oluşturmak için her bir düğümü komşu düğümlere bağlayarak, şehrin her yerine dağılmış uzak düğümleri Harvard Üniversitesi ve BNN'de bulunan merkezi sunucuya bağlar. Bu ağda 1 mil menzilli küçük bir radyo kullanarak, herhangi bir düğüm yazılımı indirebilir veya uzak bir sunucu merkezinden sensör verilerini yükleyebilir. Böylece, Halk, web sitesi aracılığıyla kirleticilerin yayılmasını kolayca takip edebilir, kirlilik kaynaklarını ve kirletici yayılma yollarını uzun süre izleyebilir ve uzmanlar ve akademisyenler için hava kirliliği sorunlarını çözmeleri için birçok yararlı veri sağlayabilir.
Büyük veri bulanıklığı önleme de bir gecede elde etmek zordur
Kirliliği kontrol etmek için büyük verinin mevcut kullanımı etkili olmuş olsa da, gelecekteki geliştirme yolu hala zorluklarla doludur.
Birinci zorluk, yetersiz kirlilik kaynağı verileri
Büyük veri tahminleri, büyük miktarda veriden öğrenmeye dayanmaktadır, ancak Çin'in veri açma süreci nispeten gecikmiştir ve birçok kirlilik kaynağı verisi mükemmel değildir. Veri örneklem boyutu yeterli değilse, bulanıklığın dönüm noktasını tahmin etmeyi zorlaştıracaktır Şu anda, geleneksel klasik modellerin ve büyük veri modellerinin bulanıklığın ne zaman dağılacağını söylemek zordur.
İkinci zorluk, bağlantılı veriler arasında engeller var
Yukarıda bahsedildiği gibi, sis tahmininde büyük verilerin kullanılması, çeşitli alanlardaki verilerin üst üste binmesini gerektirir ve meteoroloji, çevre koruma, kamu güvenliği, ulaşım, enerji ve diğer departmanların verileri etkin bir şekilde toplanmalıdır. Elektrik enerjisi şirketinin verileri gibi, meteoroloji departmanı da nadiren dış dünyaya açıktır. Çevre koruma baskısına dahil olan bazı veriler daha hassastır, bazı şirketler veri elde etmekte zorlanır ve çeşitli departmanlardan veriler paylaşılamaz.
Zorluk 3: Disiplinler arası profesyonellerin eksikliği
Veri bilimcileri son derece kıt yeteneklerdir. Yapay zeka tabanlı makine öğrenimi ve derin öğrenme teknolojisi modellerine aşina olan bilgisayarların yanı sıra hem meteorolojiyi hem de aerodinamiği anlamalı ve çevresel iş ihtiyaçlarına dayalı modeller oluşturmalıdırlar. Bu tür yetenekleri bulmak çok zor. Gerçekçi yol, hava analizi modelleri ve bilgisayar algoritmalarına dayalı tahmin için kendi analiz modellerini oluşturmak üzere geleneksel hava durumu analistleri ve büyük veri mühendislerinden oluşan bir ekip oluşturmaktır.
Kısacası, büyük verinin dumanı izlemek ve uyarmak için kullanılması, hükümetin rehberliğinde tüm toplumun katılımını gerektirir. Şimdiye kadar, verilere erişim hala çok sınırlıdır. Hükümet veri açıklığına, çeşitli birimler arasında departmanlar arası işbirliğine, hem büyük veriyi hem de çevreyi anlayan bileşik yeteneklere ve ilgili yasa ve yönetmeliklerin desteğine ihtiyacımız var.
