POMIARY PRĘDKOŚCI TRANSMISJI DANYCH W USŁUDZE DOSTĘPU DO SIECI INTERNET Jolanta Podolska Departament Kontroli i Egzekucji m.podolska@uke.gov.pl Współpraca: Paweł Roszak Prosten Telecom pawel.roszak@prostentelecom.pl

Plan prezentacji Ramy regulacyjne przejrzystości ofert i umów na usługi telekomunikacyjne Problemy i uwarunkowania podczas testów prędkości transmisji danych w usłudze Dostęp do sieci Internet Testy prędkości transmisji danych (eksperyment) - Aplikacją dostawcy usługi http://noc.gts.pl - Systemem UKE nGenius 4. Wnioski

1. Ramy regulacyjne Pakiet Dyrektyw: 2009/140/WE i 2009/136/WE Upoważnienie Prezesa UKE do badań i kontroli jakości usług telekomunikacyjnych z Art. 199 i 200 Pt Strategia regulacyjna w zakresie QoS usług publicznie dostępnych dla realizacji Art. 1 ust. 2 pkt 4 Pt, tj.: cyt. „zapewnienie użytkownikom maksymalnych korzyści w zakresie różnorodności, ceny i jakości usług telekomunikacyjnych” Projekt ustawy Prawo telekomunikacyjne z 12.02.2012 r. Prezes UKE ma być uprawniony do przeprowadzania badania, czy rzeczywista prędkość transferu u użytkownika końcowego jest nie mniejsza niż minimalna gwarantowana prędkość transferu danych.

1. Ramy regulacyjne Projekt rekomendacji KE z 19.04 2012 r. w sprawie procedury notyfikacyjnej działań Regulatora z art. 22 ust. 3 USD (Dyrektywa 2009/136/WE) w sprawie nałożenia na przedsiębiorstwo udostępniające sieci łączności elektronicznej minimalnych wymogów w zakresie jakości usług. Przed ustanowieniem takich wymagań Regulator w odpowiednim czasie powinien skierować do KE dokumentację zawierającą podstawy działania, przewidywane wymogi jakości oraz proponowany przebieg działań. Opinia Organu Europejskich Regulatorów Łączności Elektronicznej (BEREC). Po zbadaniu takich informacji KE może zgłaszać do nich uwagi lub wydawać zalecenia, w szczególności w celu zapewnienia, aby przewidywane wymagania nie wpływały niekorzystnie na funkcjonowanie rynku wewnętrznego.

Wnioski z debaty UKE dnia 16 maja 2011 r. nt Wnioski z debaty UKE dnia 16 maja 2011 r. nt. przejrzystości umów oraz jakości usług http://www.uke.gov.pl/uke/index.jsp?place=Lead01&news_cat_id=454&news_id=6780&layout=3&page=text

Jakość usługi Dostęp do Internetu zależy od: Wnioski z debaty UKE 16 maja 2012 2. Uwarunkowania podczas pomiarów prędkości transmisji danych w usłudze Dostęp do Internetu Jakość usługi Dostęp do Internetu zależy od: jakości sieci dostawcy usługi ISP (np. z powodu złego zwymiarowania sieci, stosowanie praktyk overbookingu”), ale też od czynników i uwarunkowań niezależnych od dostawców usług, tj. od: parametrów technicznych urządzeń końcowych (PC, modemy, routery bezprzewodowe) oraz oprogramowania stosowanego przez użytkowników; zjawisk towarzyszących transmisji np. zasięg, warunki propagacji sygnału radiowego itd.;

cd. Uwarunkowania podczas pomiarów prędkości transmisji danych w usłudze Dostęp do sieci Internet liczby użytkowników korzystających z danych zasobów w tym samym czasie (zasada współdzielenia zasobów); wydajności infrastruktury innych przedsiębiorców, z którymi dostawcy usług nie mają podpisanych umów SLA; wydajności infrastruktury podmiotów trzecich w związku z przeciążeniem serwerów z treścią.

Problemy i wyzwania ustalenie zakresu odpowiedzialności dostawców za jakość świadczonej usługi w kontekście złożonej struktury sieci Internet (sieć wielu sieci), zarządzaną przez wiele wzajemnie od siebie niezależnych podmiotów; wiarygodność aktualnie istniejących w sieciach narzędzi do kontroli niektórych jej parametrów działania sieci z terminala użytkownika np. aplikacji typu speedtest; stosowanie przez klientów certyfikowanych narzędzi pomiarowych dla celów uznawania reklamacji klientów na dostępność usług i ich jakość

Dopuszcza się następujące metody badawcze prędkości transmisji danych: połączenia testowe z urządzenia pomiarowego (testera) do wyznaczonego serwera pomiarowego raport z ISP (Internet Service Provider) możliwość alternatywnej metody pomiaru poprzez monitorowanie strumieni danych w ruchu IP (np. System nGenius) inne zwalidowane metody (?)

System nGenius System UKE

System nGenius System nGenius PM pozwala na: monitorowanie łączy i aplikacji planowanie pojemności sieci rozstrzyganie problemów zapobieganie występowaniu błędów i usterek zarządzanie poziomem jakości Sondy nGenius umożliwiają m.in.: pomiar dostępności aplikacji oraz czasu ich odpowiedzi badanie wskaźników jakości KPI pomiar stopnia wykorzystania sieci zapis i analizę strumieni danych Użytkownicy nGenius mogą wykonywać: analizy oparte na billingach modelowanie i symulacje ruchu IP analizy eksperckie wykrywać anomalie i ataki w sieci Rejestrator nGenius pozwala na: śledzenie i sprawdzanie poszczególnych traktów analizę strumieni danych rejestracje prób inwigilacji

Łacze do 10Mb/s GTS-Energis

Badania usług internetowych Wskaźniki dostępności usług pocztowych E-mail (wskaźniki niesprawności serwerów np. SMTP i POP3) oraz stron www (responses, response time) wskaźniki jakości w trakcie dostępów do serwerów pocztowych E-mail i stron www tzw. KPIs (Server Events, Timeouts, Slow Responses, User Events, Packet Loss) dokładność/precyzja przy przeglądaniu stron www (stopa błędów transmisji danych) osiągana prędkość transmisji danych w obu kierunkach (upload, download) – maksymalna, minimalna, średnia, odchylenie standardowe wskaźniki dostępności i jakości telefonii VoIP (stopa nieskutecznych wywołań, MOS, packet loss, jitter, czas zestawienia połączenia)

dostępność do wybranych serwerów: cns2 i ns2 yahoo; Badania usług internetowych dostępność do wybranych serwerów: cns2 i ns2 yahoo; strumienie danych w kierunku „In”, „Out” i „Total”; Volume, Bit Rate, Utilization w okresach dobowych; preferencje użytkowników w zakresie używanych aplikacji i grup aplikacji (Top 10 Application /Application Groups); wskaźniki jakości poszczególnych aplikacji (KPIs); listy rankingowe najlepiej i najgorzej działających grup aplikacji, aplikacji, serwerów, grup hostów, konwersacji klientów ze względu np. na czasy odpowiedzi (Response Time), prędkości transmisji danych ( Bit Rate),

3. Testy prędkości transmisji danych – eksperyment Aplikacją dostawcy usługi http://noc.gts.pl Systemem UKE nGenius Stanowisko administratora Server nGenius (UKE) Sonda 4916/LS-3U

Model badania wg ETSI EG 202 057-4 (Aneks B) Model badania zastosowany Aneks B - Wymagania na Test PC Aneks B – Wymagania na Test Server Aneks C – Liczba połączeń testowych Aneks D – Specyfikacja na pliki testowe A Model badania wg ETSI EG 202 057-4 (Aneks B) Model badania zastosowany w testach UKE noc.gts.pl Schemat badania jakości usług IP w sieci GTS Systemem nGenius Łącze GTS do 10 Mbit/s

Wyniki badań Systemem UKE nGenius (Sonda 4916/LS) Wyniki testów aplikacją http://noc.gts.pl Testowany strumień od i do użytkownika

Wnioski Różnice prędkości transmisji danych uzyskanych narzędziem http://noc.gst.pl i sondą 4916/LS Systemu nGenius wynikają z tego że: . pomiar prędkości za pomocą sondy Systemu nGenius dokonywany jest dla warstwy aplikacji modelu ISO-OSI protokołu HTTP, a prędkość przesyłania plików ze strony noc.gts.pl mierzona była dla warstwy transportowej modelu ISO-OSI protokołu TCP, występują różnice algorytmów pomiarowych aplikacją http://noc.gst.pl (średni wynik prędkości podczas sesji) i sondą pomiarową Systemu nGenius (pomiary co 1 minutę).

w przypadku zastosowania modelu z ETSI EG 202 057-4 traci się możliwość wpływu jakości samej sieci Internet, jakości urządzeń (serwerów) dostawców treści oraz wpływ jakości sieci ISP (w tym wpływu ewentualnego złego wymiarowania sieci (np. stosowania tzw. „overbookingu”), na jakość usług, w tym na wynik pomiaru prędkości.

należy zastanowić się nad miejscem lokalizacji serwera testowego należy zastanowić się nad miejscem lokalizacji serwera testowego. Najbardziej odpowiednim miejscem wedlug nas jest punkt B, gdyż badaniem powinna być objęta także sieć operatora ISP

Przy prowadzeniu testów benchmarkingowych należy doprecyzować: dla jakiej warstwy modelu ISO-OSI należy dokonywać pomiaru prędkości transmisji danych Wedlug nas najbardziej odpowiednia jest warstwa sieci tj. z protokołem IP, gdyż jest to poziom, do którego operator ISP odpowiada za jakość; rodzaje systemów operacyjnych stosowanych w komputerach testowych i w serwerach badaniowych; wymagania na parametry protokołu TCP; wielkość plików testowych (w MB); lokalizacje serwera testowego; czas i częstotliwość wykonywania testów; reprezentatywną liczbę połączeń testowych.

nGenius Model badania wg ETSI EG 202 057-4 (Aneks B) Model badania Aneks B - Wymagania na Test PC Aneks B – Wymagania na Test Server Aneks C – Liczba połączeń testowych Aneks D – Specyfikacja na pliki testowe Model badania wg ETSI EG 202 057-4 (Aneks B) A Model badania zastosowany w testach UKE noc.gts.pl Schemat badania jakości usług IP w sieci GTS Systemem nGenius

Dziękuję za uwagę M. Jolanta Podolska M.Podolska@uke.gov.pl

Slaidy dodatkowe 1

Projekt ustawy Prawo telekomunikacyjne z dnia 12 lutego 2012 r. Dlaczego UKE interesuje się badaniem prędkości transmisji danych usługi Dostęp do Internetu ? m. in. ze względu na: przejrzystość informacji (ofert i umów) art. 56.3 pkt. 9, pkt. 10, pkt. 10a, pkt. 10b, art. 60.3c, art. 60.3d art. 63.1, art. 63. 3 nowe uprawnienia Prezesa UKE w zakresie metod pomiaru predkości transmisji danych art. 62a.1, art. 62a.2, art. 62a.3, art. 62a.4, art. 62a.5 art. 63.2a

Projekt ustawy Prawo telekomunikacyjne z dnia 3 stycznia 2012 r. Wymagania dotyczące umowy na świadczenie usług telekomunikacyjnych Art. 56 ust. 3 pkt. 9) dane dotyczące funkcjonalności świadczonej usługi obejmujące m.in. informacje:  4. o wszelkich ograniczeniach w dostępie lub korzystaniu z usług i aplikacji, 5. o procedurach wprowadzonych przez dostawcę usług w celu pomiaru i organizacji ruchu w sieci, aby zapobiec osiągnięciu lub przekroczeniu pojemności łącza, wraz z informacją o ich wpływie na jakość świadczonych usług,

Projekt ustawy Prawo telekomunikacyjne z dnia 3 stycznia 2012 r. Wymagania umowy na świadczenie usług telekom. Art. 56 Ust. 3. pkt.10) dane dotyczące jakości usług, w szczególności minimalne oferowane poziomy jakości usług, w tym czas wstępnego przyłączenia, a w odpowiednich przypadkach także inne parametry jakości usług, określone przez Prezesa UKE na podstawie art. 63 ust. 2a;”, g) warunki dostarczenia minimalnych gwarantowanych prędkości transmisji danych, jeżeli dostawca usług takie prędkości świadczy

Wymagania umowy na świadczenie usług telekom. Art. 56 Ust. 3. „10a) w przypadku usługi dostępu do sieci Internet świadczonej w stacjonarnej publicznej sieci telekomunikacyjnej: 1. maksymalną przepustowość łącza w kilobitach na sekundę, 2. prędkość transmisji danych do i od abonenta w kb/s, 3. poziom utraty pakietów danych, 4. Zmienność opóźnienia pakietów danych (jitter), 5. okoliczności mające znaczący wpływ na wartości określone w 1-4, 6. warunki dostarczania prędkości, o których mowa w pkt.2

Projekt ustawy Prawo telekomunikacyjne z dnia 3 stycznia 2012 r. Regulamin świadczenia publicznie dostępnych usług telekomunikacyjnych niewymagających zawarcia umowy w formie pisemnej Art. 60 „3c) dane dotyczące funkcjonalności świadczonej usługi obejmujące informacje: 5. o procedurach wprowadzonych przez dostawcę usług w celu pomiaru i organizacji ruchu w sieci, aby zapobiec osiągnięciu lub przekroczeniu pojemności łącza, wraz z informacją o ich wpływie na jakość świadczonych usług, 3d) dane dotyczące jakości usług, w szczególności minimalne oferowane poziomy jakości usług, w tym czas wstępnego przyłączenia, a w odpowiednich przypadkach także inne parametry jakości usług, określone przez Prezesa UKE na podstawie art. 63 ust. 2a;

Pomiar wskaźnika prędkości transmisji danych Projekt ustawy Prawo telekomunikacyjne z dnia 3 stycznia 2012 r. Pomiar wskaźnika prędkości transmisji danych „Art. 62a. 1. Przedsiębiorca telekomunikacyjny świadczący usługę dostępu do sieci Internet w stacjonarnej publicznej sieci telekomunikacyjnej informuje Prezesa UKE o stosowanej metodzie pomiaru, na podstawie której dokonuje pomiaru wskaźnika prędkości transmisji danych, o której mowa w art. 56 ust.3 pkt 10a lit. b, na 30 dni przed wprowadzeniem w życie regulaminu świadczenia usług lub jego zmian. 2. Prezes UKE może w terminie 14 dni od dnia przekazania informacji, o której mowa w ust. 1, zgłosić w formie decyzji sprzeciw co do stosowanej przez przedsiębiorcę telekomunikacyjnego metody pomiaru, jeżeli nie gwarantuje ona abonentom zapewnienia przejrzystych informacji o parametrach jakościowych przedmiotu umowy lub rzetelnego pomiaru. Nie zgłoszenie sprzeciwu przez Prezesa UKE w terminie 14 dni od dnia przekazania informacji uważa się za wyrażenie przez Prezesa UKE zgody na stosowanie przez przedsiębiorcę telekomunikacyjnego metody pomiaru.

Pomiar wskaźnika prędkości transmisji danych Projekt ustawy Prawo telekomunikacyjne z dnia 3 stycznia 2012 r. Pomiar wskaźnika prędkości transmisji danych „Art. 62a. 3. W decyzji …. Prezes UKE zobowiązuje przedsiębiorcę telekomunikacyjnego do stosowania określonej metody, na podstawie której przedsiębiorca dokonuje pomiaru wskaźnika prędkości transmisji danych,……. mając na uwadze potrzebę zagwarantowania abonentom przejrzystych informacji o parametrach jakościowych przedmiotu umowy. 4. Prezes UKE jest uprawniony do przeprowadzania badania, czy rzeczywista prędkość transmisji danych u użytkownika końcowego nie jest mniejsza niż prędkość transmisji danych, mierzona za pomocą metody pomiaru wskaźnika, co do którego Prezes UKE nie zgłosił sprzeciwu, ... lub określonego w decyzji Prezesa UKE, … . 5. W przypadku nie przekazania informacji, o których mowa w ust. 1, Prezes UKE wydaje decyzję, w której zobowiązuje przedsiębiorcę telekomunikacyjnego do stosowania określonej metody pomiaru, na podstawie której przedsiębiorca dokonuje pomiaru wskaźnika prędkości transmisji danych, … , mając na uwadze potrzebę zagwarantowania abonentom przejrzystych informacji o parametrach jakościowych przedmiotu umowy.”;

Projekt ustawy Prawo telekomunikacyjne z dnia 3 stycznia 2012 r. Dostawca publicznie dostępnych usług telekomunikacyjnych publikuje aktualne informacje o jakości tych usług Art. 63 a) „2a. W celu zapobiegania pogorszeniu się jakości usług telekomunikacyjnych oraz utrudnień lub spowolnień ruchu w sieciach telekomunikacyjnych, Prezes UKE, po uprzednim skonsultowaniu z KE, może określić w drodze decyzji minimalne wymogi w zakresie jakości tych usług, mając na uwadze zapewnienie rozwoju konkurencji i zagwarantowanie neutralności sieci. ……Podejmując decyzję Prezes UKE uwzględnia w jak największym stopniu uwagi i zalecenia Komisji Europejskiej.”, … „3. Minister właściwy do spraw łączności może określić, w drodze rozporządzenia, wskaźniki dotyczące jakości poszczególnych usług oraz treść, formę, terminy i sposób publikowania informacji, o których mowa w ust. 1, kierując się potrzebą zapewnienia użytkownikom końcowym dostępu do wyczerpujących i przejrzystych informacji.”;

Slaidy dodatkowe 2

Usługa „Dostęp do Internetu”- polega na zapewnieniu użytkownikowi końcowemu dostępu do usług świadczonych w sieci Interent za pomocą infrastruktury telekomunikacyjnej. Wymagane jest wskazanie urządzenia w sieci przedsiębiorcy telekomunikacyjnego obsługującego ruch użytkownika, do którego ma miejsce transmisja danych z wykorzystaniem protokołu IP z deklarowaną przez dostawcę przepływnością. 36 36

Usługi świadczone za pośrednictwem Internetu: Dostęp do stron www (protokół HTTP, HTTPs) Poczta elektroniczna Wymiana plików (P2P, z dedykowanych serwerów FTP) Gry sieciowe Telefonia internetowa (także wideotelefonia) Usługi strumieniowe (radio i telewizja internetowa) 37

Usługa „Dostęp do Internetu jest charakteryzowana parametrami oceny jakości usług transmisji danych: Przepływność (przepustowość) (up, down) Opóźnienie pakietu (one way delay) – zdefiniowany w IETF RFC 2679 Czas odpowiedzi pakietu (round trip delay) Zmienność opóźnienia pakietu (jitter) - zdefiniowany w IETF RFC 3393 Współczynnik utraty pakietów (packet lost) - zdefiniowany w ETF RFC 2680 38 38

Przepływność (przepustowość) (throughput) to zdolność kanału do przenoszenia informacji binarnej przez medium transmisyjne wyrażona w bit/s. Przepływność dla usługi „Dostęp do Internetu” jest ilością danych przenoszonych za pomocą protokołu IP w ciągu jednej sekundy. Przepływność dla usługi „Dostęp do Internetu” może być mniejsza od przepływności binarnej łącza dostępowego 39 39

Opóźnienie pakietu (One way delay) - czas niezbędny na przesłanie pakietu z punktu A do punktu B w sieci (parametr zdefiniowany w IETF RFC 2679). Czas odpowiedzi pakietu (RTD, Round Trip Delay) – wskaźnik dostarczany przez narzędzia systemowe takie jak np. program ping 40 40

Zmienność opóźnienia pakietu (jitter) – wynika ze zjawiska przybywania pakietów w nierównych odstępach czasowych, co jest związane z możliwością transmitowania pakietów różnymi drogami w sieci, czy też zjawiskiem kolejkowania pakietów na poszczególnych urządzeniach sieciowych (parametr zdefiniowany w IETF RFC 3393) 41 41

Współczynnik utraty pakietów – jest wyrażony procentowo liczbą utraconych pakietów w odniesieniu do całkowitej liczby pakietów transmitowanych w jednym kierunku pomiędzy punktem A i B sieci (parametr zdefiniowany w IETF RFC 2680) 42 42

Czas pomiędzy awariami Usługa „Dostęp do Internetu jest charakteryzowana także parametrami świadczącymi o dostępności i niezawodności usługi (do oceny gwarancji jakości usług w sieciach transmisji danych): Czas pomiędzy awariami Czas powiadamiania o planowanym wyłączeniu łącza z obsługi Czas reakcji Czas usunięcia awarii 43 43

44 44

Proces ustalania wymagań jakości weryfikacja poziomu jakości usług oferowanych przez ISP w w odniesieniu do zobowiązań umów z klientami wykrycie newralgicznych punktów sieci wymagających nałożenia przez NRAs minimalnych wymagań QoS ustalenie minimalnych wymagań jakościowych poprzedzone procesem gromadzenia istotnych danych QoS monitorowanie spełnienia minimalnych wymagań jakości przez ISP 45

Jakość usług w 46

Możliwe metodyki badania (wg.ETSI EG 202 057-4): połączenia testowe z urządzenia pomiarowego (testera) do wyznaczonego serwera pomiarowego, raport ISP (Internet Sernice Provider), alternatywne metody pomiaru poprzez monitorowanie ruchu IP, 47 47

48 48

49 49

Wyzwania związane z oceną wydajności sieci IP Konieczność stosowania metod statystycznych z uwagi na złożoność struktur sieci Internet: zastosowanych technologii, metod zarządzania ruchem, parametrów sprzętu użytkownika i dostawcy treści, bardzo dużej fluktuacji natężenia ruchu Potrzeba opracowania uniwersalnego systemu pomiarowego umożliwiającego ocenę jakości usług zarówno na poszczególnych odcinkach transmisji, jak i całej drogi połączeniowej, oraz identyfikację punktów degradacji jakości usług 50