BIG DATA Przetwarzanie i analiza zbiorów danych w czasie rzeczywistym Marcin Żuchowski SKILLSLEASE Sp. z o.o. |
Firma to ludzie
Agenda
Potrzeby informacyjne Big Data Proste rozwiązania są najlepsze
Podstawa podjęcia decyzji Wiedza informacjakontekstdoświadczenie
Menadżer myśli wielowymiarowo Kiedy Rok Kwartał Miesiąc Kto Kraj Region Strefa Osoba Co Marka Produkt Gdzie Kanał Klient Wynik Wskaźnik
Dane, a więc jak ugryźć big data
Big Data, słów kilka
Przełamywanie tradycyjnego podejścia
Co zrobić by ugryźć „big data”?
Wprowadzenie do Apache Hadoop
Wielkość danych
Różnorodność danych
Szybkość przetwarzania danych
Hadoop to platforma z produktami 1°°°°°°°°° °°°°°°°°°° °°°°°°°° ° ° N
Dystrybucja Hadoop > zestaw produktów Testowane pod kątem spójności całego pakietu
Microsoft +Hortonworks = HDInsight Spójna technologia Zweryfikowany zakres Klasa korporacyjna Usługa Microsoft Azure
HDInsight wspiera Spark Przetwarzanie „In Memory” Jeden model dla wielu zadań (zapytania SQL, Strumienie danych, Uczenie maszynowe) Przetwarzanie danych - do 100x szybsze działanie Przyjazne środowisko dla rozwoju (programowanie Java, Python, Scala) Dostosowany do wielu narzędzi BI (Power BI, Tableau, Qlik, SAP)
Power BI: odkryj swoje dane Każde, w dowolny sposób, wszędzie
Przetwarzanie i analiza w czasie rzeczywistym
Big data in real time
Przetwarzanie w czasie rzeczywistym?
HDInsight wspiera Storm Analiza strumieniowa w „przybliżonym” czasie rzeczywistym Zużywa miliony zdarzeń w czasie rzeczywistym napływające z centrum zdarzeń (np. Azure Event Hub) Wykonuje obliczenia upływu czasu Wyjście do analitycznych pulpitów zarządczych Konfigurowalny z Java +.NET, zintegrowany z Visual Studio Stream processin g Zapytania Analiza w Excelu Samoobsługowy BI Mobilność
Nie przeinwestuj w Big Data
Biznesowe przypadki użycia Big Data Usługi finansoweHandel detaliczny TelekomunikacjaProdukcja Opieka zdrowotnaSektor publicznyUsługi, nafta i gaz
Gartner's Magic Quadrant Źródło: Business Intelligence and Analytics Platforms Enterprise Application Platform as a Service Public Cloud Storage Services
Gartner's Magic Quadrant Źródło: Data Warehouse and Data Management Solutions for Analytics Operational Database Management Systems
Wyzwania związane z Hadoop
$0 Hadoop w chmurze - HDInsight
Kroki skutecznego wdrożenia Big Data