Max z Orange zaczyna się przesiadać na GenAI

Od kilku lat Orange Polska wdraża narzędzia sztucznej inteligencji w obszarze obsługi klienta swojej firmy. Bot Max stał się synonimem wirtualnego asystenta w telekomunikacji, aczkolwiek nie wszyscy za nim przepadają. Jak radzie sobie Max z podstawowymi zadaniami, jakie postawili przed nim twórcy, oraz w jakim kierunku będzie się rozwijał, rozmawiamy z Wojciechem Macem z Orange Polska. Tekst ten rozpoczyna cykl „AI w telekomunikacji” przygotowany przez serwisy GSMONLINE.PL i TELKO.in we współpracy z Orange Polska.

GSMONLINE.PL/TELKO.in: Zacznijmy… lekko. Czy stosowanie narzędzi sztucznej inteligencji (AI) w obsłudze klienta telekomu ma w ogóle sens?

 

WOJCIECH MAC, kierownik Wydziału Rozwoju Sztucznej Inteligencji w Orange Polska: Każde narzędzie, które pozwala pracować łatwiej, szybciej i efektywniej ma sens. Zarówno dla firmy, jak jej klientów. Dzisiaj AI rozumiemy głównie jako generatywną sztuczną inteligencję [GenAI ‒ red.], ale innego rodzaju algorytmy AI stosowane są od wielu lat.

 

Dla porządku: Max, czyli podstawowy asystent Orange nie jest jeszcze oparty na generatywnej AI?

 

Jeszcze nie w całości, ale fragmentami wykorzystuje generatywne algorytmy.

 

Kiedy w ogóle pojawiły się pierwsze automaty w obsłudze klienta Orange?

 

Pierwsze chatboty i voiceboty, oparte o narzędzia regułowej AI, wykorzystujące algorytmy NLU (ang. Natural Language Understanding) zaczęliśmy wdrażać w 2018 r.

 

Jaką robotę wykonuje dzisiaj Max?

 

Max pracuje na różnych infoliniach Orange i obsługuje ok. 2 mln rozmów miesięcznie.

 

Jaka to frakcja wszystkich rozmów, jakie przychodzą?

 

Wszystkie połączenia przechodzą najpierw przez Maxa, nawet jeśli ostatecznie trafiają do konsultantów.

 

2 mln, to tylko połączenia głosowe, czy także chaty?

 

To łącznie połączenia głosowe i chaty. Tych pierwszych jest 5 do 6 razy więcej. Podana przeze mnie liczba 2 mln rozmów nie uwzględnia połączeń wychodzących, jakie Max realizuje, przypominając o płatnościach, przedstawiając oferty, promocje itp.

 

Ile jest takich połączeń wychodzących?

 

Setki tysięcy miesięcznie. Tutaj są także przypadki, gdy Max dzwoni do klientów od razu z intencją, by połączyć go z doradcą. Wcześniej jednak wstępnie zweryfikuje możliwości i zainteresowanie klienta rozmową, co oszczędza czasu obu stronom.

 

Jakie stawiacie sobie KPI, jeżeli chodzi o Maxa?

 

Nie chciałbym podawać konkretnych wartości. To zależy, o której infolinii Orange mówimy, a jest ich kilka. *500 przeznaczona jest do obsługi konkretnego numeru abonenckiego, ale nie ma tam informacji o innych usługach niż mobilne. Ten numer od początku był pomyślany do samoobsługi i tutaj Max załatwia prawie wszystko. Inaczej na infolinii *100, gdzie udzielmy bardziej ogólnych informacji o wszystkich usługach. Tutaj Max samodzielnie załatwia znacznie mniej spraw.

Jest też różnica pomiędzy połączeniami głosowymi i na chacie. Z tymi drugimi Max radzi sobie lepiej, co wynika miedzy innymi ze specyfiki pytań, jakie zadają klienci. Większość zapytań pochodzi z aplikacji mobilnej, w której klient jest już zalogowany i widzi stan swojego konta. Max rozpoznaje kontekst i zwykle łatwiej mu udzielić pomocy. Poza tym, na chacie ludzie są bardziej „cyfrowi” i chętniej rozmawiają z botem.

Kolejne różnice we wskaźnikach dotyczą rodzaju połączeń przychodzących i wychodzących. Na przykład rozmowy o płatnościach są bardziej zautomatyzowane niż połączenia w sprawie oferty, które z założenia trafiają raczej do konsultanta.

 

Z doświadczenia wiadomo, że nierozsądnie jest nie odbierać telefonów od Maxa, ponieważ będzie dzwonił co 10 minut.

 

To automat, więc będzie próbował się dodzwonić, ale oczywiście ma ustawiony limit prób. Warto pamiętać, że odebranie połączenia i komunikat: „nie jestem tym tematem zainteresowany” zwykle załatwia sprawę i więcej prób połączeń nie będzie.

 

A jeżeli chodzi o wskaźnik automatycznej obsługi połączeń przychodzących?

 

Tutaj nacisk kładziemy na obsługę przez Maxa, ale nawet jeżeli połączenie zostaje przekierowane do konsultanta, to Max dokonuje wstępnej weryfikacji tematu, by pokierować klienta do osoby, która najlepiej będzie potrafił się nim zająć. W dwa lata od wdrożenia Maxa liczba przekierowań pomiędzy konsultantami, próbującymi kolejno pomóc klientowi, zmniejszyła się trzykrotnie w porównaniu do epoki „przedmaxowej”.

Warto przy tym pamiętać, jak duże jest portfolio usług Orange i wachlarz zagadnień, jakie może interesować klienta. Nie ma konsultantów, którzy znają się na wszystkim ‒ obowiązuje specjalizacja.

Dlatego Max ustali temat rozmowy, zautoryzuje klienta, dzięki czemu rozmowa może być krótsza i bardziej konkretna. Niektórzy klienci tego nie rozumieją, nie odpowiadają na pytania Maxa i tylko żądają połączenia z doradcą. Co ciekawe, wbrew stereotypom, starsze osoby wykazują większą cierpliwość i gotowość do współpracy z Maxem. To oni mają wskaźniki skuteczności rozmów z botem powyżej przeciętnej.

 

Jak oceniać odsetek klientów nie gotowych na współpracę z Maxem?

 

Kilka procent. To na tyle dużo, że żałuję czasu zmarnowanego po obu stronach. To narzędzie jest po to, by klientom pomóc. Udzielanie odpowiedzi sprawi, że nawet jeśli Max sam nie pomoże to klient szybciej trafi do właściwego doradcy.

 

Może to także kwestia efektywności Maxa? Macie w biznesplanie ogólny cel, jeżeli chodzi o odsetek połączeń załatwianych automatycznie?

 

Musze odpowiedzieć ogólnie: chcemy aby było ich możliwie dużo, ale nic na siłę ‒ ważna jest akceptacja i zadowolenie klientów.

 

Z jakimi rodzajami spraw Max radzi sobie najlepiej?

 

Zdecydowanie ze zgłoszeniami dotyczącymi problemów technicznych. Max nie tylko przyjmie zgłoszenie awarii, ale dzięki integracji z systemami sieciowymi sprawdzi także jej powód. Na przykład wie, gdzie była burza, która uszkodziła infrastrukturę, albo w jakim rejonie koparka przecięła nam światłowód. W przyjęciach zgłoszeń awarii Max ma skuteczność sporo powyżej 90 proc.

 

Z czym jeszcze sobie radzi?

 

Z pytaniami o płatności. Mam na myśli status należności, termin płatności, rachunek do wpłaty, czy ewentualna prolongata.

 

Jaka jest tutaj skuteczność?

 

Dobrze powyżej 50 proc. Jeżeli pojawiają się kwestie szczegółowe, Maxowi może brakować kontekstu. Przykładem sytuacja, kiedy ktoś przebywa na terenach przygranicznych, połączy się z siecią z innego państwa, wpadnie w nieunijny roaming i jego rachunek jest wyższy niż zwykle.

Max dobrze sobie radzi także z takimi sprawami, jak zużycie pakietów danych, aktywacja, dezaktywacja czy status usług (wymieniam sprawy, w których liczba zgłoszeń jest duża).

 

Z czym Max radzi sobie gorzej?

 

Prawie wszystkie połączenia dotyczące reklamacji od razu kierujemy do konsultantów. Tu potrzeba większej empatii i zrozumienia niuansów, niż dzisiaj potrafi wykazać bot. Z tych samych powodów Max nie obsługuje zgłoszeń o rezygnacji z usług.

 

Od czego zależy wzrost efektywności Maxa?

 

Wiele nadziei wiążemy z wdrożeniem narzędzi opartych na dużych modelach językowych, czyli generatywnym AI. Dzięki temu Max będzie działać skuteczniej a obciążenie konsultantów będzie się dalej zmniejszać

 

A gdyby modele LLM nie były dostępne, to jak rozwijałby się Max? O ile w ogóle by się rozwijał…

 

Zawsze można niektóre elementy zoptymalizować, czy wdrożyć narzędzie na kolejnej infolinii.

 

 

Celem inwestycji w automatyzację są oszczędności na kosztach operacyjnych. Jakie oszczędności brutto (nie licząc kosztów inwestycji) przyniósł Max?

 

Wdrażania narzędzi AI niestety od razu budzi obawy o zwolnienia. Media lubią np. podawać, ile zawodów musi zniknąć z rynku. Moim zdaniem, to duże uproszczenie, bo wdrożenie bota wcale nie oznacza automatycznych zwolnień. Powiem więcej ‒ nie ma takich zasobów, których obsługa klientów nie jest w stanie skonsumować. Konsultanci odciążeni przez automatyzację mogą zająć się bardziej złożonymi sprawami albo odnaleźć się w innych częściach firmy.

 

Niemniej co roku zatrudnienie w Orange spada o kilkaset osób. Automatyzacja nie może nie mieć z tym związku.

 

Automatyzacja jest jednym z elementów tego procesu, który wynika z szybkiego rozwoju technologicznego. W panów profesji pewnie jest podobnie. To, jak dana firma sobie z tym radzi zależy od jej celów i decyzji biznesowych. Osobiście uważam, że wdrażanie AI wcale nie musi mieć bezpośredniego przełożenia na spadek zatrudnienia.

 

Ile do tej pory zainwestowaliście w budowę i rozwój Maxa?

 

To duży system, który jak już wspominałem działa na różnych infoliniach głosowych, na czacie i realizuje różne kampanie wychodzące. Rozwijamy go od ponad siedmiu lat. Na początku inwestowaliśmy więcej a w kolejnych latach coraz mniej.

 

Rozumiem, że liczbami nie chcecie się dzielić. Na ile w tym projekcie współpracujecie z Grupą Orange?

 

Współpracujemy tak szeroko, jak to tylko możliwe, dzieląc się doświadczeniami i wdrażając najlepsze praktyki z innych krajów.

 

Niemniej Max jest rozwiązaniem lokalnym.

 

Tak, bo każdy telekom jest trochę inny. Odróżniają je procesy i systemy wspierające działalność. Nie udałoby się „z marszu” zaimplementować Maxa np. w Hiszpanii. Dostosowywanie w praktyce wymagałoby napisania dużej części kodu od nowa.

 

W jakim modelu budowany i utrzymywany jest Max? Czy to rozwiązanie czysto wewnętrzne?

 

Max oparty jest na platformie od zewnętrznego dostawcy, który wspierał nas także w początkowym okresie eksploatacji. Dzisiaj rozwój bota realizują pracownicy Orange.

 

Wspomniał pan o generatywnej AI, jako szansie na rozwój Maxa.

 

Uniwersalność i adaptowalność algorytmów GenAI jest bardzo wysoka. Wdrożenie narzędzi opartych na nowych dużych modelach językowych pozwala pod różnymi względami zbliżyć rozmowę z botem do rozmowy z człowiekiem. W narzędziach budowanych wcześniej, a opartych na regułowej sztucznej inteligencji, wyczuwało się pewną sztuczność. Modele LLM pozwalają tego uniknąć. Sam interfejs jest dla konsumenta znacznie przyjaźniejszy niż do tej pory. Niestety, czasem udzielają mądrych, czasem niemądrych odpowiedzi ‒ zapanowanie nad tą niepewnością jest jednym z ważniejszych, praktycznych wyzwań.

 

Czy pojawienie się nowych modeli należy uznać za przełom w automatyzacji obsługi klienta?

 

W praktyce i tak, i nie. To wielkie możliwości, których pełne wykorzystanie zajmie trochę czasu. Max w kilka lat od uruchomienia wiele się nauczył, zyskał kolejne funkcje i zrobił się bardzo duży. Zastąpienie go z dnia na dzień narzędziem opartym na generatywnej AI byłoby bardzo trudne. Tym bardziej, że ‒ choć ma ogromny potencjał ‒ wymaga wiele pracy, by robiła to, czego od niej oczekujemy i nie halucynowała. Zaczynamy ją stosować tam, gdzie ryzyko błędów jest mniejsze.

 

Zdaje się, że bot oparty o narzędzia generatywne obsługuje klientów marki Flex.

 

To prawda. Obsługuje też klientów nju, mających ofertę w modelu subskrypcyjnym. Ten asystent działa jako czat, na razie bez obsługi głosowej.

 

Czy tak jak MAX ma dostęp do wewnętrznych systemów Orange?

 

W tej chwili nie. Bazuje na „liście najczęściej zadawanych pytań” i dobrze radzi sobie z takimi sprawami jak przeniesienie numeru, czy działanie karty eSIM. Jeśli chodzi o udostępnienie mu danych klienta, to myślimy o tym w dłuższej perspektywie.

 

Wyzwanie ma charakter techniczny, czy raczej formalno-prawny?

 

Od strony formalno-prawnej temat mamy rozpoznany. Technicznie także nie ma większych wątpliwości, ale rozwiązanie wymaga dobrego przetestowania. To specyfika narzędzi LLM, które są bardziej nieprzewidywalne od modeli tradycyjnych.

 

Czym działanie MAXA różni się od tych narzędzi?

 

MAX jest zbudowany i działa w modelu tradycyjnym. Upraszczając: klient coś mówi lub pisze, a oparty o uczenie maszynowe model próbuje to rozpoznać i zrozumieć w klasycznym podejściu NLU. Następnie dopasowuje odpowiedź do treści zapytania/zadania zgodnie ze zdefiniowanymi wcześniej regułami. Potrafi także pogłębiać zadanie: jeżeli usłyszy, że klient dzwoni „w sprawie internetu”, to zgodnie z regułami, umie zapytać, czy chodzi o zakup, czy o awarię usługi i pokierować dalej rozmową. Wiążą go jednak predefiniowane reguły, poza które nie wyjdzie. Generatywna AI jest elastyczniejsza.

 

Jak od strony czysto biznesowej, pod kątem efektywności, wypada porównanie Maxa z „flexbotem”?

 

W tej chwili oba boty obsługują inne rzeczy. Max jest narzędziem regułowym, a reguły najsensowniej jest budować dla największego wolumenu zdarzeń. Max ma sprostać najczęściej pojawiającym się pytaniom, które często wymagają aktualnego kontekstu usług danego klienta. Dla zapytań rzadko występujących nie opłaca się budować reguł. Tutaj LLM radzi sobie znacznie lepiej, bo dzięki swojej wiedzy i umiejętności korzystania z kontekstu potrafi znaleźć odpowiedź na takie pytanie.

 

A jeżeli chodzi o jakość odpowiedzi (rozwiązania problemu klienta)?

 

Jeżeli ścieżka rozwiązania jest powtarzalna, to nie powinno być różnicy w działaniu obu typów AI. Jeżeli sprawa jest mniej typowa, model LLM może okazać się skuteczniejszy.

 

A gdyby kierować się podstawowym celem automatyzacji, to które narzędzie potrafi załatwić więcej zgłoszeń samodzielnie?

 

Z pewnością większy potencjał mają narzędzia LLM. Dzisiaj jednak jeszcze wszyscy uczymy się jak je stosować. Jeżeli klient chciałby szczegółowo omówić niedopłatę z ostatniej faktury, to GenAI sobie poradzi, ale jest wiele zagadnień z zakresu bezpieczeństwa, compliance i ochrony danych, o które trzeba najpierw zadbać.

 

Co pan ma na myśli?

 

Chodzi o narzędzia oparte na chmurze obliczeniowej, które trzeba zweryfikować, gdzie muszą być ulokowane serwery (jeżeli na przykład prawo nakazuje lokalne przetwarzanie danych klientów) i zawrzeć odpowiednie porozumienia z dostawcami chmury i narzędzi LLM.

 

Z tego wnosimy, że dzisiaj Max więcej spraw umie załatwić sam, niż „flexbot”.

 

Dzisiaj te narzędzia załatwiają trochę inne sprawy. Max jest bardziej skoncentrowany na pytaniach z kontekstem klienta, a „flexbot” na pytaniach ogólnych. Który bot procentowo załatwia więcej spraw, to trudno porównać, bo zależy od specyfiki infolinii, czy kanału czatowego i proporcji pomiędzy rodzajami pojawiających się pytań.

 

Czyli gdyby nawet możliwe było przejście na narzędzie generatywne ‒ z dnia na dzień, to takie rozwiązanie niekoniecznie musiałoby działać efektywniej? Przynajmniej na początku…

 

Tak. Proste pytania/odpowiedzi regułowy bot może obsługiwać lepiej niż bot oparty o LLM. W tradycyjnym podejściu sprawa jest prosta: z rozpoznanego w określony sposób pytania wynika określona odpowiedź i nie ma innej możliwości. W przypadku narzędzia LLM też tak powinno być i kiedyś będzie, ale to wymaga pracy i czasu, żeby wdrożyć niezbędne mechanizmy zapewniające poprawność i bezpieczeństwo: począwszy od sformułowania promptu, przez dynamiczny kontekst po ostateczną weryfikację odpowiedzi.

 

Czy można zatem w ogóle porównywać jakość obu typów narzędzi: opartych na predykcyjnej i generatywnej AI?

 

Dzisiaj jest to trudne. Jakość rozwiązania nie wynika tylko z technologii, która jest wykorzystywana. Trzeba zrobić z niej dobry użytek. Generatywna AI ma ogromny potencjał. Dlatego w przyszłości prawdopodobnie przejdziemy na korzystanie z generatywnej AI.

 

A czy narzędzie oparte LLM nie może po prostu nauczyć danych zebranych do tej pory przez Maxa?

 

To mylące stwierdzenie, że narzędzia LLM „mogą się uczyć” w rozumieniu: powiększać bazowe zasoby swojej wiedzy. Faktycznie każde narzędzie LLM bazuje na podstawowej, uniwersalnej wiedzy modelu jaki wytrenował jego dostawca. Każde zapytanie zostaje rozpatrzone w świetle tych zasobów oraz przydatnej dodatkowej wiedzy, jaką można ad hoc pozyskać z innych źródeł i dodać w postaci kontekstu do pytania (prompta).

Warto pamiętać, że modele LLM są wyuczone na podstawie danych o ofercie telekomów i obsłudze ich klientów na całym świecie. To nie jest tak, że po rozmowie z jednym klientem w Polsce chatbot jest mądrzejszy i będzie umiał to wykorzystać w rozmowie z kolejnym klientem. Dzisiaj głównym zadaniem modeli LLM w czat bocie jest zrozumienie, o co klientowi chodzi i sformułowanie odpowiedzi w oparciu o dostarczony kontekst. Potrzebuje jednak pomocy, aby sprostać pytaniu.

Mówiliśmy wcześniej z czym Max sobie radzi lepiej, a z czym gorzej. Dzisiaj reklamacje obsługują konsultanci, ale sprawny bot LLM, wyposażony w kontekstową wiedzę o konkretnym kliencie, również może z tym zadaniem sobie poradzić.

 

Skoro przyszłością są narzędzia generatywne, a Max jest oparty na regułach, to jego los jest przesądzony.

 

Nazwa asystenta pewnie pozostanie, ale algorytmy generatywne będą stopniowo wypierały algorytmy regułowe. To będzie płynne przejście. Kiedy 7 lat temu wdrażaliśmy Maxa, też nie zastąpił od razu mechanizmów IVR, które nadal obsługiwały część ‒ zwłaszcza bardziej złożonych ‒ zadań. Z czasem mogliśmy jednak ostatecznie zrezygnować z IVR.

 

Macie już orientację, który z powszechnych modeli językowych najlepiej nadaje się do zastosowań w obsłudze klientów telekomu?

 

Nie ma jednego, optymalnego modelu.

 

Ale „flexbot” jest oparty na Gemini.

 

To nie jest jedyne narzędzie LLM, z którego korzystamy. W innym rozwiązaniu, które pomaga klientom wybrać smartfon, stosujemy GPT. Są różni dostawcy, a każdy dostarcza więcej niż jeden model o różnym stopniu złożoności. Korzystamy ze wszystkich.

Największe modele rozumują najlepiej, ale korzystanie z nich najwięcej kosztuje, a czas odpowiedzi jest relatywnie długi. Jeżeli nie ma powodu, by postąpić inaczej, można skorzystać z mniej zaawansowanego modelu, który odpowie szybciej za niższą cenę tokena [jednostka analizy danych przez sztuczną inteligencję - red].

 

W Grupie Orange jest jeszcze model Dinootoo.

 

Dinootoo, to nie model tylko tzw. nakładka, która pozwala korzystać pracownikom w intranecie grupy Orange z różnych, uniwersalnych LLM jak Gemini, czy GPT. Nie jest wykorzystywany w obsłudze klientów.

 

Czy można się spodziewać powstania modeli LLM wyspecjalizowanych na przykład w obsłudze klienta masowego? Dajmy na to: telekomu.

 

To wróżenie z fusów. Osobiście tego nie widzę. Pamiętajmy, że największe modele były trenowane długimi tygodniami na zasobach o tysiącach procesorów i miliardach dokumentów. Powtarzanie takich inwestycji mija się z celem. Co innego dostrajanie modeli zwane żargonowo „fine tuning”. Takie modele mogą być lepiej dopasowane do specyfiki branży, ale wymagają wielkiej ilości danych wsadowych. Nie są też pozbawione wad.

Dzisiaj korzystamy z dużych modeli w chmurze, co ma wiele zalet np. skalowalność. AI rozwija się szybko i kto wie, czy nie pojawią się sprawne i wydajne modele o mniejszych wymaganiach technicznych, które będzie można umieszczać na własnych serwerach. Wtedy naszą rozmowę o sposobach korzystania ze sztucznej inteligencji w procesach firmy telekomunikacyjnej będziemy musieli przeprowadzić na nowo.

 

Jakie są w Orange kierunki rozwoju narzędzi AI przeznaczonych do obsługi klienta?

 

Dzisiaj rozwiązania LLM wykorzystujemy głównie w dialogach opartych na wiedzy ogólnej i związanych pytaniami abstrakcyjnymi, natomiast boty regułowe: z masowo powtarzalnymi zdarzeniami, dotyczącymi konkretnych klientów. Chcemy ulepszać wykorzystywane obecnie narzędzia: automatowi do obsługi klientów Flexa i nju wkrótce damy dostęp do wybranych danych o usługach klientach i sieci, a Maxowi więcej umiejętności odpowiedzi na ogólne pytania. Potem będziemy stopniowo zastępować istniejące regułowe self-serwice’y. Wszystko to będziemy realizować narzędziami GenAI.

 

Można je swobodnie miksować z narzędziami regułowymi?

 

Tak. Pytania dotyczące kart eSIM realizujemy dzisiaj (na chacie) narzędziem LLM, nawet jeżeli odpowiedzi udziela Max. Przełączanie jest płynne, chociaż uważny klient wychwyci drobne różnice w stylu udzielanych odpowiedzi. Upraszczając: odpowiedzi klientowi nadal udziela bot regułowy, ale podpowiada mu narzędzie LLM.

 

Dziękujemy za rozmowę.

 

rozmawiali Łukasz Dec i Wojciech Piechocki

[materiał powstał we współpracy z Orange Polska]