Systemics-PAB bada sieć pod Warszawą: NetWorks! najlepiej, Plus i PLAY gorzej

W październiku 2020 roku firma Systemics-PAB zbadała dostęp do usług komórkowych na terenach poza centrum Warszawy.

Testy jakości usług przeprowadzono na pięciu obszarach pokazanych na mapie poniżej:

• północne obrzeża prawobrzeżnej Warszawy oraz tereny podmiejskie od Legionowa po Wołomin
• południowe obrzeża prawobrzeżnej Warszawy oraz tereny podmiejskie od Halinowa po Otwock
• południowe obrzeża lewobrzeżnej Warszawy oraz tereny podmiejskie dokoła Piaseczna
• zachodnie obrzeża lewobrzeżnej Warszawy oraz tereny podmiejskie od Piastowa do Brwinowa
• północno-zachodnie obrzeża lewobrzeżnej Warszawy oraz tereny podmiejskie od Izabelina przez Łomianki do Nowego Dworu Mazowieckiego

Testy jakości usług metodą pomiarów w samochodach (drive tests) wykonywane były od 13 do 28 października 2020 roku w godzinach: 8:00-18:00 w założonym czasie pracy zdalnej oraz pomiędzy 19:30 a 23:00 w trakcie szczytu wieczornego. Długość trasy testowej to prawie 1500 km, pokonywanych ze średnią prędkością nieco powyżej 30km/h. Na wykresach wyniki nazwane zostały odpowiednio „Poza Centrum 8-18” i „Poza Centrum 20-23”.

Do testów wykorzystano sprzęt pomiarowy firmy Rohde & Schwarz SwissQual AG w następującej konfiguracji:

Podsumowanie

Wszyscy operatorzy oferują połączenia głosowe wykorzystując VoLTE, lecz tylko Orange, Play i T-Mobile mają zaimplementowane Enhanced Voice Services (EVS) co umożliwia oferowanie lepszej o co najmniej 0,6 punktu MOS jakości mowy w porównaniu z siecią Plus, która EVS nie posiada. Niemniej jednak nawet jakość mowy  w sieci Plus na poziomie 3,7 punktu w skali 1-5 MOS jest bardzo dobra. Czas zestawiania połączeń w sieciach Orange i T-Mobile to nieco dłużej niż 2 sekundy. Pozostali operatorzy mają te czasy o 1 sekundę dłuższe. Współczynnik poprawnych połączeń zawierał się w przedziale od 93% w sieci Plus, przez ponad 97% w sieci Play do ponad 99% w sieciach Orange i T-Mobile.

Testy jakości usług transmisji danych oferowanych przez operatorów sieci Orange, Play, Plus i T-Mobile wykazały, że mogą one konkurować z podstawową ofertą dostępu do Internetu jaką często jest Neostrada 10Mb/s. Uzyskiwane średnie szybkości transmisji w różnych testach sięgały 50Mb/s dla testów pobierania danych i 17 Mb/s dla testów wysyłania danych. Skuteczność wykonywania testów transmisji danych sięgała 99%.

Operatorzy osiągnęli również dobre wyniki w testach streamingu wideo, dla których jakość obrazu oscylowała w granicach 4,3 punktu w skali od 1-5 Video MOS. Czasy rozpoczęcia odtwarzania nieznacznie przewyższały  1 sekundę. Skuteczność realizacji testów była podobna jak dla testów transmisji danych i sięgała 99%, choć dla niektórych operatorów była niższa o kilka punktów procentowych.

Wyniki powyższych badań są nieco gorsze od wyników podobnych pomiarów w godzinach dziennych wykonanych przez Systemics-PAB w centrum Warszawy we wrześniu b.r., ale różnica ta nie jest znacząca.

Wyniki poszczególnych testów

Wyniki testów zostały zestawione z wynikami testów odniesienia w celu zaobserwowania różnicy pomiędzy wartościami wskaźników z centrum Warszawy zebranych przez Systemics-PAB we wrześniu 2020 roku. Dodatkowo, dla testów transmisji danych wykonano testy wieczorne pod większym obciążeniem sieci w tym samym okresie co pomiar zasadniczy. Wyniki testów wieczornych zostały również uwzględnione w zestawieniach wyników.

Testy połączeń głosowych

Wszyscy  operatorzy  osiągnęli  dobre   wyniki w teście połączeń głosowych, ale istnieje znacząca różnica  pomiędzy  wynikami  Orange i T-Mobile, a wynikami Play i Plus dla procentu połączeń o dobrej jakości i czasu zestawiania połączenia. Wszyscy operatorzy zapewniają połączenia VoLTE w prawie 100% testów, jednakże Plus nie korzysta z Enhanced Voice Services (EVS) co obniża wartość wskaźnika jakości głosu MOS mierzonego algorytmem oceny POLQA. W porównaniu do wskaźników jakościowych z centrum Warszawy możemy zaobserwować nieznacznie niższe wartości KPI (Key Performance Indicators) uzyskane podczas pomiarów na peryferiach i w okolicach Warszawy

Mapy poniżej pokazują rozkłady jakości mowy zmierzone dla operatorów na trasie wykonywanych pomiarów.

Test ciągły wydajnościowy wysyłania (UL) i odbierania (DL) danych przez 7 sekund

Na poniższych wykresach  przedstawiono szybkości transmisji danych uzyskiwane podczas  odbierania (DL)     i wysyłania (UL) niekompresowalnego pliku o gigabitowym rozmiarze w okresie 7 sekund. Jednocześnie otwartych było kilka wątków w celu osiągnięcia maksymalnych przepływności. Wykresy przedstawiają uzyskane średnie szybkości transmisji, szybkości transmisji dla 10 i 90 percentyla rozkładu reprezentujących progi szybkości transmisji dla 10% najlepszych i najgorszych próbek.

Ogólnie można powiedzieć, że uzyskane wyniki dla testów w ciągu dnia są na zadawalającym poziomie dla wartości średniej i 90 percentyla. Dla testu odbierania danych są one dla okolic Warszawy gorsze o kilkanaście procent w porównaniu do tych uzyskiwanych w centrum Warszawy. Większe różnice występują na kierunku wysyłania danych do sieci. Należy pamiętać, że takie wyniki udało się uzyskać w sieci obciążonej normalnym ruchem. Dla operatorów Plus i Play zaobserwowano znaczący spadek szybkości transmisji w godzinach wieczornych.

Jednym ze wskaźników jakości transmisji danych jest odsetek połączeń skutecznych z przepływnością nie mniejszą niż 384 kb/s. Operatorzy Orange i T-Mobile uzyskali ten wskaźnik w przybliżeniu na poziomie 99%, nieznacznie niższe wartość wskaźnika zmierzono w sieci Plus. We wszystkich przypadkach najniższe wartości zmierzono w sieci Play.

Testy wysyłania (UL) i odbierania (DL) plików 1MB i 3MB

Na poniższych wykresach przedstawiono wyniki pomiarów wskaźników jakości transmisji plików uzyskiwane podczas odbierania (DL) pliku o rozmiarze 3MB i wysyłania (UL) pliku o rozmiarze 1MB. Ten test miał za zadanie pokazać jak sieci dają sobie radę z wysyłaniem załączników. W przypadku przesyłania załączników o określonej niewielkiej wielkości sieci mogą się zachowywać inaczej niż w przypadku ciągłej transmisji danych ze względu na możliwość użycia akceleratorów transmisji, kompresji danych, innego priorytetu transmisji etc. Otrzymane wyniki pokazują, że Orange w przypadku pobierania plików stosuje rozwiązania przyśpieszające transmisję co pozwoliło mu na uzyskanie przepływności dwa razy wyższych niż w innych sieciach. Jednak ze względu na nieduży rozmiar pliku nie wpłynęło to znacząco na czas jego pobierania. Dla pobierania i odbierania plików sieci Orange i T-Mobile osiągają krótsze czasy przesyłania plików niż Play i Plus. Wartości wskaźników są bardziej zbliżone w przypadku wysyłania plików. Należy zwrócić uwagę, że szybkości transmisji w teście wysyłania plików dla 10 percentyla rozkładu są o wiele niższe niż wartości tego wskaźnika w centrum Warszawy.

Jednym ze wskaźników jakości transmisji danych jest odsetek połączeń skutecznych z przepływnością nie mniejszą niż 384 kb/s i czasem inicjacji połączenia nie gorszym niż 10s. Wartość tego wskaźnika jest na poziomie bliskim lub większym niż 99%. Nieco gorsze wartości w tym zakresie uzyskały Plus i Play.

Uzyskane wyniki dla testów wykonanych w ciągu dnia były na poziomie wystarczającym do wysyłania
i odbierania załączników.

Na załączonych poniżej mapach przedstawiono rozkład szybkości transmisji danych podczas testów wydajnościowych i testów przesyłania plików. Na każdej z map lokalizacje o najniższych zmierzonych szybkościach transmisji są zaznaczone na czerwono.

Testy przeglądania stron WWW i testy streamingu wideo z platformy YouTube

Wskaźnik inicjowania przeglądanej  strony  WWW  w czasie testów w ciągu dnia był niemal identyczny dla wszystkich sieci i na poziomie zbliżonym do wartości uzyskanych w pomiarach w centrum Warszawy. W testach wieczornych wydłużał się ok. 0,2s a w przypadku sieci Orange był prawie dwukrotnie dłuższy. Podobnie wygląda sytuacja dla procentu udanych testów, gdzie wyniki dla pomiarów dziennych są ok. 2pp gorsze poza Warszawą niż w Warszawie. Znacznie gorsze wyniki dla tego wskaźnika uzyskano w godzinach wieczornych. Mogło to być spowodowane większym użyciem  tego typu usług przez   korzystających   z Internetu, a problemy nie muszą być umiejscowione tylko w sieci operatorów.

Wyniki testów streamingu wideo były najbardziej wyrównane. Wszyscy operatorzy oferują wysoką jakość obrazu opisaną wskaźnikiem Video MOS, który w tych testach oscylował w okolicy 4,3 w skali od  1  do  5   zarówno  w  testach  dziennych,  jak      i wieczornych. Wskaźnikami w pewnym stopniu różnicującymi operatorów są czas rozpoczęcia odtwarzania i procent poprawnych odtworzeń. Wskaźniki te przyjmowały wartości odpowiednio ok. 99% i 1,1s. Dla tych wskaźników sieć Plus minimalnie odstaje od pozostałych sieci.

Miejsca występowania w sieciach błędów w czasie testów

Punkty na mapach przedstawiają miejsca, w których poszczególne testy nie udały się lub nie spełniały minimalnych parametrów. Typy testów, których to dotyczy zaznaczono kolorami. Zdecydowanie najwięcej problemów wydarzyło się w sieci Play. Najmniej w sieci T-Mobile. W przypadku połączeń głosowych największa liczba problematycznych połączeń miała miejsce w sieci Plus.

Możliwości wykorzystania sieci 5G

W czasach zwiększonego popytu na usługi telekomunikacyjne, w tym na usługi oferowane przez sieci komórkowe, naturalnym wydaje się pytanie czy nie warto sięgnąć po technologię 5G. Wszyscy polscy operatorzy dysponują sieciami 5G w mniejszym lub większym stopniu zaawansowania. Duży wpływ na tempo budowy sieci 5G ma ciągłe opóźniane postępowania na rezerwację częstotliwości z pasma 3500MHz. Aktualnie operatorzy korzystają z tymczasowych rozwiązań pozwalających na zaznajomienie się z technologią 5G i jej promocją na rynku. W Polsce mamy dwa rozwiązania stosowane przez operatorów: wykorzystanie pasma 2100MHz do współdzielenia bloku 10MHz pomiędzy LTE i 5G korzystając z dynamicznego współdzielenia tych zasobów  i  wykorzystanie pasma  2600MHZ  TDD.   Pierwsze rozwiązanie jest stosowane  przez  Orange, Play i T-Mobile, natomiast drugie rozwiązane wykorzystuje Polkomtel. Zaletą pierwszego rozwiązania jest łatwiejsza budowa szerokiego zasięgu w oparciu o istniejące stacje bazowe, lecz z ograniczoną pojemnością   i szybkością sieci. Zaleta drugiego podejścia to kilkukrotnie większa pojemność i prędkość, ale za to wymaga znaczącej rozbudowy wszystkich stacji. Efekt jest taki, że w przypadku Warszawy zasięg sieci stosujących pierwsze rozwiązanie jest znaczny, a zasięg sieci 5G Plus bardzo ograniczony. Również penetracja rynku terminalami 5G jest bardzo niska i to głównie ten fakt wykluczył 5G z tego badania. Poniższe mapy przedstawiają zasięgi 5G w Warszawie. Możemy przyjąć, że dla nieobciążonych sieci z jakimi mamy obecnie do czynienia, kolor ciemnozielony odpowiada sile sygnału wystarczającej do korzystania z sieci wewnątrz budynków przy oknach.