Eco Data Miner System oceny jakości wyników danych pomiarowych z sieci monitorującej stan atmosfery przy wykorzystaniu metod ilościowych Skrótowy opis systemu zapewnienia jakości Zadanie B
2
Wstęp … Serwer Statistica Arkusz IM Ankiety IM Dane IM Raporty IM Wyniki IM Baza IM Serwer analityczny Univariate DMDM DMDM Primitives DMDM DMDM Basic multivariate DMDM DMDM Adv. multivariate DMDM DMDM Sociology EM Survey EM Diagnostic DMDM DMDM Interpolation DMDM DMDM Stan zaawansowania Wykresy IM Serwer R Trace system DMDM DMDM Forecasting DMDM DMDM 3
4
Analizy jednowymiarowe – ocena jakości i obliczenia Wybór zmiennych Mechanizm filtrowania nazw zmiennych – W przyszłości również nazw i właściwości stacji Programistyczne Prace programistyczne 5
Analizy jednowymiarowe – ocena jakości i obliczenia Mechanizm edycji i tworzenia statusów, które są dostępne dla użytkownika w tle, jako klasa przypisana narzędziu filtrowania Programistyczne Prace programistyczne 6
Analizy jednowymiarowe – ocena jakości i obliczenia Analiza odpornych – analizę wartości nietypowych można przeprowadzać w szerokim zakresie: Poprzez rozkłady ucięte i winsoryzację dla całego zakresu zmienności Poprzez grupy kwantyli (pełny zakres zmienności, AB oraz CD) Programistyczne Prace programistyczne 7
Działanie mechanizmu raportującego Programistyczne Prace programistyczne 8
Merytoryczne Sprawy matematyki Mechanizm statusów Operator ma możliwość pełnego wykorzystania statusów. Może on oznaczyć pomiar na różne sposoby (filtry progowe, częstotliwościowe, stochastyczne oraz klasyczne oparte na metodologii 3sigma), tak by później podjąć na nich czynności – usunąć, zamienić lub też jedynie oznaczyć. W trybie automatycznym istnieją podobne możliwości, lecz z uwagi na brak możliwości pracy w serwerze czynności są definiowane raz dla całej analizy – nie można ich traktować jako narzędzia w pracy operacyjnej. 9
Ocena jakości danych pomiarowych Merytoryczne Sprawy matematyki Wskaźnik DFITS (prawy górny), odległość Cooka, odległość Mahalanobisa po usunięciu obserwacji w NO 2 ; oznaczone wysokie wartości DFITS; rzuty na płaszczyzny dwuwymiarowe 10
Ocena jakości danych pomiarowych Merytoryczne Sprawy matematyki Współczynniki oceny jakości danych dla wyników pomiarów SO2 na stacji AM8 w roku 2004 [opr. wł.] 11
Ocena jakości danych pomiarowych Etapy proponowanej metody analizy jakości danych pomiarowych dla szeregów jednowymiarowych [źródło: opracowanie własne] Merytoryczne Sprawy matematyki 12
Ocena jakości danych pomiarowych Etapy proponowanej metody analizy jakości danych pomiarowych w ujęciu wielowymiarowym [źródło: opracowanie własne] Merytoryczne Sprawy matematyki 13
Ocena jakości danych pomiarowych Merytoryczne Wyniki Ocena jakości w oparciu o model wielowymiarowy NO.AM5;przed i po usunięciu obserwacji 550; styczeń/luty 2010 [opracowanie własne] Data quality assessment based on multivariate model of NO.AM5;before and after delete 550 observation; January/February