Struktura bazy danych sieci Poland-AOD Krzysztof Markowicz, Instytut Geofizyki, Wydział Fizyki, Uniwersytet Warszawski.

Slides:



Advertisements
Podobne prezentacje
Polityki kontroli w Windows Server 2008
Advertisements

CLIMGEN (generator danych pogodowych w modelu CropSyst.
C++ wykład 2 ( ) Klasy i obiekty.
ZINTEGROWANY SYSTEM DOSTARCZANIA DANYCH GEOLOGICZNYCH, GEOFIZYCZNYCH I GIS Z POLSKICH OBSZARÓW MORSKICH Państwowy Instytut.
Wzorce.
Fizyka Klimatu Ziemi Wykład monograficzny 6 Aerozole i chmury
Zmiany klimatu Ziemi w skali lokalnej i globalnej.
Wprowadzenie do języka skryptowego PHP
Kamil Smitkiewicz Bezpieczeństwo w PHP.
Zabezpieczenia w programie MS Access
PROGRAMOWANIE STRUKTURALNE
Microsoft Professional Developer Days 2004
Opracowanie zasad tworzenia programów ochrony przed hałasem mieszkańców terenów przygranicznych związanych z funkcjonowaniem dużych przejść granicznych.
Inżynieria oprogramowania Lecture XXX JavaTM – część IV: IO
Dokumentowanie wymagań w języku XML
Podstawy informatyki Wirtotechnologia – Funkcje Grupa: 1A
Funkcje znakowe, liczbowe i obsługa dat Kolejny krok w poznaniu SQL-a.
PODSTAWY JĘZYKA PHP 1. czym jest 2. składnia 3. wersje 4. bazy danych
Język ANSI C Operacje we/wy
Mierzymy Efekt Cieplarniany
Metody Przetwarzania Danych Meteorologicznych Wykład 8
Instytut Geofizyki, Wydział Fizyki Uniwersytet Warszawski
Modele baz danych - spojrzenie na poziom fizyczny
Internet, przyjaciel czy wróg ?
Evident – Środki Trwałe
PRACA W DOMENIE Różnice użytkowe między pracą w domenie i grupie roboczej. 1. Ekran logowania. - wciśnięcie klawiszy [Ctrl+Alt+Delete], a następnie podanie.
Konfiguracja kont w programie Adobe Dreamweaver
Adrian Bukowski Dolnośląskie Centrum Rozwoju Lokalnego.
Prezentacja funkcjonalności dziennika e-klasa
Projektowanie architektur systemów filtracji i akwizycji danych z wykorzystaniem modelowania w domenie zdarzeń dyskretnych Krzysztof Korcyl.
Eco Data Miner System oceny jakości wyników danych pomiarowych z sieci monitorującej stan atmosfery przy wykorzystaniu metod ilościowych Skrótowy opis.
CDN OPT!MA integracja z Systemem Microsoft Office 2003.
Prezentacja funkcjonalności dziennika e-klasa
Pliki Pojęcie i rodzaje plików Definicja typu plikowego Operacje wykonywane na plikach elementowych.
Pliki tekstowe – A. Jędryczkowski © 2007 Turbo Pascal umożliwia wykorzystanie w programach plików tekstowych. Pliki takie zawierają informację niezakodowaną
System e-zamówienia.
Prezentacja i szkolenie
Agata Strzałkowska, Przemysław Makuch
Wybrane zagadnienia relacyjnych baz danych
Konfiguracja IP i sieci w Win XP
Archiwizacja bazy danych
Projektowanie Aplikacji Internetowych
Zbiór danych zapisanych zgodnie z określonymi regułami. W węższym znaczeniu obejmuje dane cyfrowe gromadzone zgodnie z zasadami przyjętymi dla danego.
PHP + MySQL Podstawy pracy z bazą danych Damian Urbańczyk.
System operacyjny „DOS”, „MS-DOS” oraz wybrane komendy.
PHP Zmienne Damian Urbańczyk. Czym są zmienne? Zmienne zajmują pewien obszar pamięci, aby przechować pewne dane. W przypadku PHP, zmienne stosuje się.
Fizyczne podstawy badań środowiska Wykład II
Obserwacje oraz modelowanie natężenia promieniowania słonecznego dochodzącego do powierzchni ziemi. dr Krzysztof Markowicz Instytut Geofizyki, Uniwersytet.
Projekt „  of the Sky” Katarzyna Małek Centrum Fizyki Teoretycznej PAN.
GLOBE dr Krzysztof Markowicz Koordynator badań atmosferycznych w Polsce.
Wykład 4 Dr Aneta Polewko-Klim Dr Aneta Polewko-Klim
Podstawy programowania
Wykład 2 Programowanie obiektowe. Programowanie obiektowe wymaga dobrego zrozumienia działania funkcji definiowanych przez użytkownika, w ten sposób będziemy.
IX Konferencja "Uniwersytet Wirtualny: model, narzędzia, praktyka" K. Anders, K. Madziar, M. Jusza, I. Burska, P. Witoński, R. Piramidowicz ĆWICZENIA LABORATORYJNE.
STEROWANIE MONITORING ARCHIWIZACJA ROZWIĄZANIA INFORMATYCZNE W GALWANIZERNI – APLIKACJA KOMPUTEROWA DO ZARZĄDZANIA PROCESEM PRODUKCYJNYM.
IX Konferencja "Uniwersytet Wirtualny: model, narzędzia, praktyka" „Laboratorium Wirtualne Fotoniki Mikrofalowej„ Krzysztof MADZIAR, Bogdan GALWAS.
Krzysztof Markowicz Fizyczne Podstawy Teledetekcji Wykład 14 Pomiary własności optycznych aerozoli Krzysztof Markowicz
Wykład 4 Dr Aneta Polewko-Klim Dr Aneta Polewko-Klim
Fizyczne Podstawy Teledetekcji Wykład 8 Krzysztof Markowicz Instytut Geofizyki Uniwersytet Warszawski
Czym jest PHP? ● Językiem programowania przeznaczonym do tworzenia i generowania dynamicznych stron WWW. Działa po stronie serwera: Klient Żądanie strony.
Jak można wykorzystać swoją wiedzę z Matlaba
Optymalizacja programów Open-Source
Fizyczne Podstawy Teledetekcji Wykład 8
Strumienie, Wczytywanie, Zapisywanie, Operacje na plikach
Metody teledetekcyjne w badaniach atmosfery
Podstawy tworzenia skryptów
Ethernet interface Agregaty wody lodowej 1.
Wskaż wybrany krok lub kliknij Enter aby dowiedzieć się więcej.
System operacyjny „DOS”, „MS-DOS” oraz wybrane komendy.
Modele baz danych - spojrzenie na poziom fizyczny
Zapis prezentacji:

Struktura bazy danych sieci Poland-AOD Krzysztof Markowicz, Instytut Geofizyki, Wydział Fizyki, Uniwersytet Warszawski

Baza Poland-AOD Pierwsza wersja powstała po eksperymentach polowych około 2010 r. Od tego czasu jest aktualizowana i rozbudowywana o nowe moduły Baza danych obejmuje zarówno same dane jak i skrypty do ich przetwarzania II konferencja sieci badawczej Poland-AOD

Dostęp do wyników obserwacji Przez stronę (wykresy on-line, dane wstępnie przetworzone poziom 1.5, wizualizacja co 1 h) Przez serwer wizard.igf.fuw.edu.pl (dane pomiarowe, przesyłane ze stacji pomiarowych co 1 h) II konferencja sieci badawczej Poland-AOD

Ogólna struktura bazy danych Dane obserwacyjne gromadzone w ramach sieci Poland-AOD dostępne są na trzech poziomach (1.0, 1.5 oraz 2.0). W przypadku większości przyrządów dane zbierane są za pomocą skryptów napisanych w perlu, których zadaniem jest konfiguracja przyrządów pomiarowych, zbieranie danych i uśrednianie oraz zapisywanie na danych dysku w postaci plików tekstowych. Poziom 1.0 zawiera informacje nieprzetworzone pochodzące z systemów zbierania danych w jednostkach nieskalibrowanych. Dla większości przyrządów dane te dostępne są w plikach ASCII. W niektórych przypadkach są to dane w formacie binarnym w szczególności w NetCDF- ie. Poziom 1.5 zawiera dane przetworzone z uwzględnieniem wstępnej kalibracji, a w przypadku fotometrów słonecznych po odrzuceniu pomiarów wykonanych w obecności chmur. Formatem danych jest mat file (MATLAB). Poziom 2.0 zawiera dane z uwzględnieniem ostatecznej kalibracji. Formatem danych jest mat file (MATLAB). II konferencja sieci badawczej Poland-AOD

Format danych Lev 1.0 – ASCII, NetCDF, binarne lub inne… Lev 1.5 – MAT file Lev 2.0 – MAT file Skrypt convert2netcdf.m umożliwia konwersje wszystkich do netCDF’a convert2netcdf(station,data_type,year,month,day,NetCDFpat h,instrumnet_NUMBER) II konferencja sieci badawczej Poland-AOD

Struktura katalogów II konferencja sieci badawczej Poland-AOD Poland-AOD Przyrządy CEILO LIDAR … IGF IOPAN SolarAOT rokmiesiąc Pliki dzienne

II konferencja sieci badawczej Poland-AOD Aethalometr Adam Micro-aethalometer for 880 nm Aethalometer AE-31 all radiometers, net radiometer, albedometer Sonic anemometer and hygrometer Nephelometer Aurora 4000 Aerodynamic Particle Sizer Aurora - Aurora 4000 nephelometer Ceilometers CHM15K and CL31 chemical data CIMEL sun photometer Disdrometer Sky camera Weather data Microtops II sun photometers Multifilter radiometer ShadowBand Multifilter radiometer ShadowBand- older version Mini PMS counter MSG Seviri data Photoacoustic extincionometer for 532 nm Photoacoustic extincionometer) for 870 nm Scanning Mobility Particle Sizer TSI 3563 Nepheloemter PMS spectrometer Radio sonde data ANEMO Aurora CEILO APS CHEM CIMEL Disdrometer kamera METEO MICROTOPS MFR-7 MFRSR miniPMS MSG PAX532 PAX870 SMPS TSI PMS RadioSonde AE-51

Stacja pomiarowe W bazie Poland-AOD znajdują się stacje sieci oraz inne stacje gdzie odbyły się kampanie pomiarowe. II konferencja sieci badawczej Poland-AOD Warszawa- Institute of Geophysics Warsaw Strzyżów - SolarAOT station in Strzyzow Sopot - Institute of Oceanology PAS in Sopot Torun - UMK Świder - Observatory PAS Spitsbergen Ny-Alesund Spitsbergen Longyearbyen Monterey USA Cape Canaveral, USA Andoya, Norway IGF SolarAOT IOPAN UMK IGFPAN NyAlesund Longyerabyen Monterey CAPE Alomar

Przetwarzanie danych Automatyczne przetwarzanie danych przy użyciu skryptów napisanych w matlab’ie Skrypty znajdują się w katalogu: PolandAOD/processing II konferencja sieci badawczej Poland-AOD

Czytanie danych z różnych poziomów - read raw data lev. 1.0: readraw(station,year,month,day,data_type) - read lev 1.5 readlev15(station,data_type,year,month,day,NUMBER); - read lev 2.0 readlev20(station,data_type,year,month,day,NUMBER); NUMBER – jest opcjonalnym parametrem numeru seryjnego przyrządu jeśli w danej stacji jest więcej niż jeden przyrząd z tej samej kategorii (np. MICROTOPS) UWAGA 1: -Jeśli w funkcji readlev15 i readlev20 nie podamy numeru dnia, program zwróci dane dla całego miesiąca a jeśli nie podamy również numeru miesiąca, funkcja zwraca dane dla całego roku. UWAGA 2: - Funkcja readraw czyta jedynie dane w formacie ASCII. Jeśli przyrząd zapisuje w innym formacie trzeba użyć odpowiedniej funkcji. II konferencja sieci badawczej Poland-AOD

Przetwarzanie danych Funkcje: runlev15 i runlev20 przetwarzają dane odpowiednio z poziomu 1.0 na 1.5 i 1.5 na 2.0 Wywołanie: runlev15(year,month,day) runlev20(year,month,day) gdzie year, month, day mogą być skalarami lub wektorami (początek i koniec okresu) Obie funkcje można wywołać bez parametrów wówczas przetwarzanie są dane dla „dzisiejszej” daty. Obie funkcje zawierają zestaw skryptów (po jednym dla danego przyrządu, uruchamianych po kolei) II konferencja sieci badawczej Poland-AOD

Przetwarzanie danych II Dla każdego przyrządu dostępna jest funkcja o nazwie zaczynającej się od processlev15 i processlev20 przetwarzająca dane na wyższy poziom ( np. processlev15ceilo.m, proecesslev15aeth.m) Wywołanie funkcji jest zawsze takie samo: - processlev15ceilo(year,month,day,STATION) - processlev15cimel(year,month,day,STATION) -processlev15micro(year,month,day,STATION,NUMBER) Funkcje te zapisują dane na poziomie 1.5 oraz zwracają strukturę zawierającą wszystkie (lub prawie wszystkie) dane Analogicznie wywołuje się funkcji dla lev20. II konferencja sieci badawczej Poland-AOD

Struktura danych z poziomu 1.5 i 2.0 data.year data.month data.day data.time data.doy - dzień roku data.XXX - kolejne zmienne o nazwach, które zależą od rodzaju danych, np.: data.RH data.p data.angs data.backangs data.scat450 data.scat525 data.scat635 II konferencja sieci badawczej Poland-AOD

Prawa dostępu Użytkownicy mają dostęp jedynie do czytania i uruchamiana wszystkich skryptów, bez możliwości ich modyfikacji i zapisywania danych. Pracując z bazą danych należy pisać własne skrypty na indywidualnym home’ie, wykorzystując dane i/lub funkcję dostępne w katalogu PolandAOD/processing II konferencja sieci badawczej Poland-AOD

Co jeszcze zawiera baza poland AOD Katalog figures – zawierający dostępne na stronie automatycznie wygenerowane wykresy w miesięcznych katalogach (np , itd.) Dane z satelity MSG (detektora SEVIRI) co 15 minut archiwizowane dla Europy i basenu Morza Śródziemnego (1.5 GB/dzień) Dane z AOD i PW z detektora MODIS na satelitach Terra i Aqua (ściągane dla obszaru Europy Środkowej) Dane z projektu MACC, ściągane codziennie w nocy i archiwizowane dla obszaru Europy Model HYSPLIT, i skrypty ściągające dane i rysujące trajektorie wsteczne dla stacji PolandAOD dla 00 i 12 UTC uruchamiane o godzinie 11:00 i 23:00 Model Modtran do symulacji strumieni radiacyjnych, obecnie nie działa jeszcze w trybie on-line II konferencja sieci badawczej Poland-AOD

Co obejmuje przetwarzanie danych Kalibracja Korekcja danych (np. w przypadku nefelometru, lidaru) Odfiltrowanie przypadków chmurowych (AOD, strumienie promieniowania słonecznego) Metody odwrotne (np. metoda Kletta) Uśrednianie Wizualizacja II konferencja sieci badawczej Poland-AOD

Inne funkcje Łączenie różnych danych: combinedata.m Porównywanie danych z różnych przyrządów II konferencja sieci badawczej Poland-AOD