Nowe pomiary sieci komórkowych w Warszawie - wygrywa T-Mobile

Serwis RFBenchmark przeprowadził w styczniu własne pomiary sieci komórkowych w Warszawie, czyli tzw. drive test.

Pomiar jakości usług głosowych

W trakcie pomiarów drive test wykonano w sumie 4048 połączeń. Dla poszczególnych sieci komórkowych liczba połączeń prezentowała się w ten sposób:

• Orange: 996 połączeń (503 MOC/493 MTC)
• T-Mobile: 1033 (515 MOC/518 MTC)
• Plus: 1049 (525 MOC/524 MTC)
• Play: 970 (490 MOC/480 MTC)

MOC (Mobile Originating Call) to połączenia wychodzące, a MTC (Mobile Terminated Call) to połączenia przychodzące.

Voice Call Setup Success Rate

Pomiar jakości usług głosowych podzielony był na trzy segmenty. Do każdego przypisano kluczowe wskaźniki skuteczności (KPI, Key Performance Indicators). W segmencie dostępności do usług jednym z mierzonych KPI był współczynnik powodzenia konfiguracji połączenia (Voice Call Setup Success Rate).

Voice Call Setup Success Rate to procentowa liczba prób nawiązania połączenia, która skutkuje połączeniem z wybranym numerem. Współczynnik powodzenia konfiguracji (zestawienia) połączeń jest jednym z kluczowych wskaźników wydajności (KPI) wykorzystywanych przez operatorów sieci do oceny wydajności ich sieci. Zakłada się, że ma bezpośredni wpływ na zadowolenie klienta z usług świadczonych przez sieć i jej operatora.

Play może pochwalić się 100% współczynnikiem Voice Call Setup Success Rate.

Oznacza to, że wszystkie połączenia zostały nawiązane pomyślnie. Nieco gorzej wypadły pozostali operatorzy: Plus zanotował 99,81% (100% MOC/99,62% MTC), T-Mobile 99,61% (99,81% MOC/99,42% MTC), a Orange odnotowało wynik 99,20% (99,20% MOC/99,19% MTC).

Przyjmuje się, że w sieciach mobilnych wykorzystujących kanały radiowe współczynnik powodzenia konfiguracji połączeń jest niższy i może wynosić dla sieci komercyjnych między 90% a 98% lub więcej.

Głównymi przyczynami nieudanych konfiguracji połączeń w sieciach komórkowych są: brak zasięgu radiowego, interferencja radiowa między różnymi abonentami, niedoskonałości w funkcjonowaniu sieci (takie jak procedury przekierowania połączenia zakończonego niepowodzeniem), przeciążenie różne elementy sieci itp.

Voice Call Setup Time

Kolejnym zbadanym kluczowym wskaźnikiem jest Voice Call Setup Time, czyli czas konfiguracji połączenia głosowego. Oznacza on całkowity czas wymagany do nawiązania połączenia komutowanego między użytkownikami.

Najkrótszy czas konfiguracji połączenia głosowego zgodnie z przeprowadzonymi pomiarami wskazywało Orange (1,39 s).

Tuż za pomarańczowym operatorem uplasował się T-Mobile (1,5 s), a kolejne miejsca przypadły sieci Play (4,24 s) i Plus (6,04 s).

Voice Call Drop Rate

Biorąc pod uwagę segment ciągłości usług (retainability) zbadano m.in. Voice Call Drop Rate, czyli wskaźnik przerwanych połączeń głosowych.

To procentowa liczba połączeń głosowych, które z powodów technicznych zostały odrzucone, zanim któraś ze stron uczestnicząca w połączeniu nie zakończyła go.

Niemal wszyscy operatorzy zagwarantowali najwyższy poziom usług.

Jedynie w pojedynczych przypadkach po stronie Orange oraz Play doszło do przerwania połączenia z przyczyn technicznych.

Voice Call Quality Average POLQA

W trakcie pomiarów Drive Test wykonywane są połączenia głosowe pomiędzy terminalem ruchomym (testowym), a urządzeniem odbiorczym (np. ISDN, inny terminal ruchomy). Testowe połączenia pomiarowe mogą odbywać się z i do terminala pomiarowego, w zależności od ustawionej sekwencji pomiarowej. Podczas pomiaru jakość głosu jest oceniana według 5-cio stopniowej skali MOS.

MOS (ang. Mean Opinion Score) jest to subiektywna ocena jakości mowy, dokonywana po stronie odbiorczej, po przejściu sygnału mowy przez kanał transmisyjny. Do oceny jakości stosowana jest 5-cio stopniowa skala:

5 – znakomita jakość (możliwe odprężenie, rozmowa nie wymaga wysiłku, aby zrozumieć co mówi nadawca),

4 – dobra jakość (rozmowa wymaga skupienia, nie wymaga znaczącego wysiłku, aby zrozumieć co mówi nadawca),

3 – dopuszczalna jakość (rozmowa wymaga średniego wysiłku, aby zrozumieć co mówi nadawca),

2 – słaba jakość (rozmowa wymaga znacznego skupienia i wysiłku, aby zrozumieć co mówi nadawca),

1 – niedopuszczalna jakość (pomimo skupienia i znaczącego wysiłku, nie ma możliwości, aby zrozumieć co mówi nadawca podczas rozmowy).

POLQA (Perceptual Objective Listening Quality Assessment) to jedna z metod estymacji subiektywnej oceny mowy (MOS). Najczęściej przewidywana jest ocena jakości mowy MOS z zastosowaniem 5-cio stopniowej skali.

Biorąc pod uwagę Voice Call Quality Average POLQA najlepiej wypadła sieć Orange, zdobywając 4 punkty. Taką samą ocenę zdobyła technologia VoLTE oferowana użytkownikom sieci Orange.

Dalej w tej klasyfikacji znalazły się Plus (3,76, brak wdrożonej technologii VoLTE), T-Mobile (3,75, VoLTE: 3,86 oraz 3,64 w kategorii Dual Mode). Ostatnie miejsce przypadło sieci Play (3,58, brak wdrożonej technologii VoLTE oraz ocena 3,58 w kategorii Dual Mode).

Skąd wzięły się wyższe czasy Call Setup Time dla Plus i Play?

Wszystkie telefony wykorzystane w pomiarach ustawione były w trybie Free Mode (technologia, w zależności od dostępności, bez Radio Access Technology (RAT) Lock). Tylko Orange i T-Mobile mają komercyjnie uruchomione VoLTE. Przełożyło się to na krótsze czasy Call Setup Time (CST) oraz lepsze wyniki MOS.

Plus i Play nie mają uruchomionego komercyjnie VoLTE. Ponadto, w przypadku Plusa dodatkowo dochodzi proces autentykacji podczas każdego zestawienia połączenia. To wydłużyło dodatkowo czas Call Setup Time podczas Call Setup Fall Back (CSFB) – jest to przejście z technologii LTE do 3G/2G podczas połączenia głosowego.

Pomiar jakości usług pakietowych

Jednocześnie z pomiarami jakości usług głosowych odbyły się pomiary usług internetowych. Obrazują to prezentowane wskaźniki: Downlink/Uplink Throughtput oraz RTT.

Throughput w telekomunikacji określa ilość prawidłowo przesłanych danych w określonym czasie i podawany jest najczęściej w megabitach na sekundę (Mbps).

RTT (ang. Round Trip Delay Time) informuje o tym, ile czasu mija od wysłania wiadomości z naszego komputera do jej odebrania przez komputer w sieci, plus czas po jakim przychodzi potwierdzenie odebrania wiadomości. Im mniejsza wartość RTT tym lepiej. Podobnym parametrem jest opóźnienie (ang. latency), informujące o tym ile czasu mija od wysłania wiadomości z naszego komputera do jej odebrania przez komputer w sieci.

Z przeprowadzonych pomiarów wynika, że najlepszą średnią szybkość internetu wśród operatorów w Warszawie oferuje T-Mobile (46,43 Mbps), osiągając podczas Drive Testu maksymalny wynik 162,62 Mbps.

W dalszej kolejności sklasyfikowano Orange (średnia szybkość 38,37 Mbps, maksymalna 114,48 Mbps), Plus (średnia 32,54 Mbps, maksymalna 129,88 Mbps) i Play (średnia 24,40 Mbps, maksymalna 132.07 Mbps).

W kategorii RTT najlepszy wynik osiągnął Play (średnia 31 ms).

Za nim uplasowały się niemal z tym samym wynikiem Orange (43 ms) i T-Mobile (44 ms). Plus z kolei zanotował blisko dwukrotnie wyższe wyniki niż operatorzy znajdujący się na drugim i trzecim miejscu (86 ms).

Skąd słaby wynik Plus w kategorii RTT?

Po analizie  okazuje się, iż podczas trwania pomiaru mobilnego ruch z urządzenia z kartą Plusa przechodził przez punkty wymiany ruchu, dla których  zanotowane zostały podwyższone czasy TTL dwukrotnie w porównaniu do pozostałych operatorów.

Poniższa tabela przedstawia w jakim stopniu poszczególni operatorzy spełniają wymagania ustalone podczas prac z Memorandum UKE co do zapewnienia odpowiedniej jakości usług pakietowych (internetowych) gwarantujących bezproblemowe korzystanie z Internetu.

Kolor zielony  – dobra jakość usług,

Kolor żółty  – zadowalająca jakość usług,

Kolor czerwony  – niska jakość usług.

N-Score

Aby lepiej oddawać sens wykonanych badań opracowano autorski wskaźnik N-Score, który pozwala ocenić jakość danego operatora z punktu widzenia użytkownika.

N-score składa się Voice, Data i wyniki danych „crowd-source” uzyskanych z aplikacji mobilnej RFBENCHMARK w podziale punktów:

Wyniki Drive Testu, a pomiary użytkowników aplikacji RFBenchmark

Wyniki z Drive Testu przeprowadzonego w Warszawie korelują się z wynikami otrzymanymi na podstawie pomiarów dokonanych przez użytkowników aplikacji. Oto kluczowe wnioski:

• pod względem Throughput na Downlink zarówno w Drive Teście i pomiarach aplikacji mobilnej najlepszy wynik oferował T-Mobile
• biorąc pod uwagę Throughput na Uplink w obu przypadkach (Drive Test oraz aplikacja mobilna) najlepszy wynik oferował Plus
• w aplikacji mobilnej widzimy, że czasy RTT dla Plusa są bardzo dobre. To potwierdza, że słaby wynik podczas Drive Testu był spowodowany chwilowym problemem w sieci operatora, co zostało naprawione i potwierdzone w dodatkowym teście aktywnym po informacji od operatora
• w przypadku Play, pomimo przyzwoitych wyników dla Throughput UpLink i RTT, operator ten sumarycznie zebrał najmniej punktów dla usług pakietowych w Drive Teście i aplikacji mobilnej. Na takim wyniku zaważył słaby pomiar dla Throughput na Downlink który ma największa wagę przy wyliczeniach końcowych.