MARCIN KOZAK, dyrektor ds. rozwoju standardu obsługi klienta B2B: Skala. W segmencie B2B mamy dwa preferowane przez klientów kanały kontaktu: telefoniczny i mailowy.
MARCIN KOZAK: O wszystkich segmentach od SOHO poprzez firmy typu „Small”, „Medium” i „Korpo”, kończąc na klientach kluczowych.
MARCIN KOZAK: Kontakt mailowy jest preferowany przez klientów z wyższych segmentów: od „Small” w górę. Jeśli chodzi o segment SOHO, to maili jest zdecydowanie mniej, przeważają połączenia telefoniczne. Drugim istotnym sposobem kontaktu w segmencie SOHO jest czat.
MARCIN KOZAK: Połączenia głosowe ‒ średni czas obsługi takiego połączenia jest o połowę dłuższy od czasu obsługi maila. W skali miesięcznej maili jest natomiast więcej niż połączeń głosowych. To jednak dla połączeń głosowych i czatów najwcześniej wdrożono boty wspomagające pracę konsultantów. W B2B wykorzystujemy te same narzędzia co rynek konsumencki ‒ naszego voicebota, którego pewnie znacie, Maxa. Dla kanału mailowego natomiast, który jest specyficzny dla rynku B2B, do czasu nie mieliśmy żadnego narzędzia. Stąd potrzeba wdrożenia MML.
MARCIN KOZAK: Zaczęliśmy o tym rozmawiać w 2018 r. Wtedy nie było jeszcze generatywnej sztucznej inteligencji [GenAI ‒ red.], więc zaczynaliśmy w oparciu o modele uczenia maszynowego.
ADAM SKIBIŃSKI, kierownik działu rozwoju narzędzi AI: Zaczęliśmy od rozpoznania, „co w tych mailach siedzi” ‒ jak rozpoznać powtarzające się tematy i jak je skategoryzować. To było pierwsze i największe wyzwanie. Od strony biznesowej przyjrzeliśmy się, czy rynek ma jakieś rozwiązania wspomagające obsługę mailu. W 2018 r. roku jednak był to jeszcze trudny temat.
MARCIN KOZAK: Celów było kilka. Po pierwsze: zrozumieć specyfikę zapytań oraz ocenić, czy jesteśmy w stanie usprawnić, zautomatyzować, ale też wyeliminować pewne zapytania, które generują niepotrzebny wysiłek klienta i jego frustrację. Początkowa wiedza, o której wspomniał Adam, miała umożliwić podnoszenie efektywności obsługi, z drugiej strony poprawiać doświadczenie klienta. Dodatkowo chcieliśmy też wykorzystywać wiedzę z kanału e-mail do poprawy procesów obsługi klienta.
ADAM SKIBIŃSKI: Ważnym aspektem była priorytetyzacja zapytań. Czasem potrzebna jest szybka reakcja, gdy chodzi np. o restart karty SIM, lub gdy kończy się abonament i trzeba przedłużyć umowę. Inne tematy mogę trochę poczekać np. odpowiedź na życzenia świąteczne klienta. Druga sprawa, to właściwe kierowanie zapytań do wyspecjalizowanych konsultantów, dzięki czemu można ograniczyć liczbę przekierowań maili w dziale obsługi.
ADAM SKIBIŃSKI: Mieliśmy już wtedy pierwsze doświadczenia z wdrażania Maxa, zarówno jeśli chodzi o czaty, jak i rozmowy głosowe. Na tej podstawie zaczęliśmy się zastanawiać: „no dobrze, czy w kanale mailowym też uda się automatyzacja? czy mamy do tego kompetencje? czy to ma ekonomiczny sens?”.
ADAM SKIBIŃSKI: Nie. Wdrożenie w B2B było pionierskim przedsięwzięciem, aczkolwiek mieliśmy już zespoły, które miały doświadczenia ze sztuczną inteligencją.
Jak wspomniałem, gotowych rozwiązań za uzasadnioną cenę na rynku nie było. W epoce przed pojawieniem się generatywnej sztucznej inteligencji przeanalizowanie maili i przygotowanie modeli uczenia maszynowego było dużym (i bardzo drogim w zamówieniu) przedsięwzięciem. Na to nakładała się charakterystyka języka polskiego i specyficzny leksykon opisujący nasze produkty. Każdy zewnętrzny dostawca musiał najpierw wykonać całościową analizę, bo nie miał wcześniejszych doświadczeń i standardowych zasobów. My musieliśmy zrobić dokładnie to samo, więc po analizie wyszło, że korzystniej jest działać własnymi zasobami.
MARCIN KOZAK: Dodam, że kiedy rozważaliśmy model realizacji, istotny był aspekt poufności danych klientów. Nie mogliśmy bezkrytycznie zaaprobować podejścia niektórych dostawców do polityki bezpieczeństwa i ich modelu opartego na cloudowym przetwarzaniu danych.
ADAM SKIBIŃSKI: Przygotowanie bazy uczącej zajęło nam pół roku. Konsultanci oceniali każdy mail, jego kategorie: czy jest obsługowy, czy nieobsługowy. Mając tę wiedzę i skategoryzowane maile, można było uczyć modele, przepuścić je przez sieć neuronową, poustawiać odpowiednio wagi i prawdopodobieństwa, uzyskując powtarzalność procesów.
ADAM SKIBIŃSKI: Wtedy zaczynało się od człowieka i dalej zaczyna się od człowieka, ale z czasem pojawiły się narzędzia oparte na GenAI, które przyspieszają pracę i obniżają jej koszty (dlatego też zaczynają pojawiać się dostawcy, którzy dysponują standardowymi rozwiązaniami).
MARCIN KOZAK: Ważne jest, że zanim przeszliśmy do realizacji, musieliśmy też zmienić model operacyjny i przygotować się na zmiany. Chociażby stworzyć specjalne skrzynki mailowe do komunikacji z klientami. Powiedzmy, że jako Marcin Kozak, opiekun klienta, pracuję czasem z kilkuset klientami. Oni znają mój adres i zapytania kierują na taką skrzynkę funkcyjną. My te skrzynki „wpięliśmy” w infrastrukturę call center i w rozwiązanie „uniwersalnej kolejki”: połączenie głosowe, czatowe, e-mail, czat czy zadanie back-office trafiają do doradcy z odpowiednimi priorytetami.
MARCIN KOZAK: Finalnie mail trafi do opiekuna, co się natomiast stanie do tego czasu, to jest właśnie funkcją systemu.
MARCIN KOZAK: Tam, gdzie jesteśmy w stanie wykorzystać technologię, żeby ograniczyć wysiłek doradcy i usprawnić jego pracę, to tak. W przypadku maili, większość spraw trafia jednak do doradcy a technologia wspiera go w efektywnej i skutecznej obsłudze.
ADAM SKIBIŃSKI: Dla przykładu: przygotowuje propozycję odpowiedzi, którą doradca dostaje, zapoznaje się z nią, może ją zmodyfikować i wysłać. To taki „tryb nadzorowany”, który obecnie przeważa, biorąc pod uwagę specyfikę obsługiwanych spraw i oczekiwania klientów. Systemy analizują dane i szykują rozwiązania, ale ostateczną decyzję podejmuje konsultant.
Ogranicza to ryzyko halucynacji systemu, a z drugiej strony odpowiada na potrzeby klienta, który oczekuje, że będzie mieć własnego opiekuna, który zna jego sprawy i wspiera go na bieżąco. Z czasem, kiedy narzędzia AI staną się doskonalsze, a zaufanie klientów do nich wyższe, coraz więcej spraw będzie mogło być obsługiwanych całkowicie automatycznie.
MARCIN KOZAK: Już dzisiaj w przypadku części prostych, powtarzalnych zadań mamy pełną automatyzację. Jeżeli zapytanie dotyczy restartu karty SIM a mamy wszystkie niezbędne informacje, to system sam przekazuje to zlecenie do robota, który dokonuje restartu. W tym obszarze istniała konkretna grupa klientów, która potrzebowała takiej usługi i jednocześnie była gotowa do standaryzacji swoich zgłoszeń. Dlatego automatyzacja restartów SIM była względnie łatwa i dzisiaj potrafimy skutecznie zrealizować 97 proc. wszystkich zleceń. Pozostałe 3 proc. trafia do realizacji przez opiekunów.
ADAM SKIBIŃSKI: Na jednej z polskich uczelni powstało badanie, z którego wynika, że 80 proc. Polaków preferuje człowieka po drugiej stronie infolinii. Jednocześnie w Orange Polska połowę kontaktów w kanale czat finalizuje bot ‒ bez konieczności transferu do doradcy. Jest pewien rozdźwięk między deklaratywnymi a realnymi potrzebami. Zaletą narzędzi automatycznych jest na przykład dostępność 24 godz. na dobę 7 dni w tygodniu.
ADAM SKIBIŃSKI: Od początku działamy na bazie tego samego ok. 10-osobowego zespołu, który pracuje od mniej więcej 2019-2020 roku, kiedy wystartowaliśmy. To było strategiczne założenie. Mieliśmy świadomość, że projekt będzie ewoluował: zmieniają się technologie, usługi po naszej stronie, język jakiego używają klienci w mailach. Chcieliśmy, żeby niezbędne zmiany wdrażały te same osoby. Zbudowaliśmy zespół z konkretnymi kompetencjami, jak data scientists (teraz rozszerzony o inżynierów od AI), oczywiście także programiści, analitycy, analitycy biznesowi, testerzy oraz deweloperzy.
Na samym początku zaczęliśmy od prostego skategoryzowania maili na dwa typy: obsługowe i nieobsługowe? I tutaj niespodzianka, bo okazało się, że system jest skuteczniejszy i bardziej powtarzalny niż ludzie. W przypadku dwóch konsultantów, którzy analizowali tę samą wiadomość, jeden potrafił stwierdzić, że mail jest obsługowy, a drugi, że nieobsługowy. Rozbieżności było więcej, kiedy doszły kolejne kategorie: jedna osoba mogła uznać ten sam mail za reklamację, a druga za zgłoszenie problemu technicznego a często intencji klienta w pojedynczym mailu mogło być kilka. Wtedy następowała tzw. kalibracja, czyli ustalenie kategorii w większym gronie. Później dodaliśmy jeszcze pętlę zwrotną, czyli możliwość oceny przez konsultanta, czy bot sklasyfikował mail dobrze, czy źle.
MARCIN KOZAK: Pomysł pojawił się w 2018 r. W 2019 rozpoczęliśmy prace, by w 2020 uruchomić pierwsze funkcje. Wówczas, gdy przychodził mail, dzięki klasyfikatorom byliśmy w stanie zidentyfikować, czy wymaga zaangażowania doradcy, czy nie. Okazało się ‒ i to utrzymuje się do dzisiaj ‒ że ok. 25 proc. maili nie wymaga obsługi. To jest w skali miesiąca ok. 25 tys. wiadomości. Często to są newslettery, automatyczne respondery, informacje o urlopach, podziękowania za realizację zgłoszenia itp. Dzięki ich eliminacji doradca może się skupić na obsłudze pozostałych maili, czy też podejmować dodatkowe czynności.
MARCIN KOZAK: Poniżej 1 proc. maili zaklasyfikowanych jako bezobsługowe, które w istocie wymagały konsultanta. Większy był odsetek maili bezobsługowych, które nie zostały odsiane. I to wynikało też z naszej decyzji, że w sytuacjach wątpliwych mail powinien trafić do doradcy. Z czasem, pracując z konsultantami, zmniejszyliśmy liczbę źle zaklasyfikowanych maili bezobsługowych.
ADAM SKIBIŃSKI: Należy dążyć do ideału, ale odsetek błędów generowany przez człowieka był wyższy.
MARCIN KOZAK: W tej chwili, jeśli porównuję wyniki badań klientów w różnych kanałach, to właśnie obsługa mailowa ma najwyższe wskaźniki satysfakcji, najwyższy poziom zadowolenia z kontaktu i najniższy „wysiłek klienta”. Gdy zaczynaliśmy, wynik był o 20 punktów procentowych niższy. Z różnych powodów, nie tylko dlatego, że jeszcze nie działał MML.
ADAM SKIBIŃSKI: Załączników jeszcze nie obsługujemy. Po pierwsze, jest zbyt wiele typów załączników: PDF ustrukturyzowany albo skan, plik tekstowy albo z edytora, arkusz kalkulacyjny, zdarzają się zdjęcia, a nawet skany odręcznych notatek. To jest na razie zbyt duże wyzwanie, więc maile z załącznikami trafiają od razu do doradców. Ponadto wciąż bardzo wiele można „wycisnąć” z podstawowej treści maila. Z drugiej strony narzędzia oparte na generatywnej AI przyniosą nowe możliwości jeżeli chodzi analizowanie załączników.
MARCIN KOZAK: Rozwój był dwutorowy. Pierwszym kierunkiem było usprawnianie narzędzia ‒ mieliśmy już feedback od konsultantów i mogliśmy pracować nad eliminacją błędów. Drugim kierunkiem było drążenie w głąb: na jakie kategorie można podzielić maile obsługowe, żeby nimi lepiej zarządzać. Czy klientowi chodzi o reklamację, czy o kończącą się umowę na abonament itp.
MARCIN KOZAK: Klasyfikujemy sześć kategorii: „Zlecenia i informacje”, „Zapytania techniczne”, „Płatności”, „Oferta”, „Rezygnacje” i „Reklamacje”. Największa pod względem wolumenu maili kategoria, to „Zlecenia i informacje”, na którą przypada ponad 70 proc., następnie są „Zapytania techniczne” oraz „Płatności” z udziałem ok. 10 proc.
MARCIN KOZAK: W tym okresie, ze względu na ograniczenia technologiczne, skupialiśmy się na usprawnianiu tego, co już było. Później pojawiła się generatywna sztuczna inteligencja, która zmieniła reguły gry. Okazało się, że mamy „supermoc” i możemy z niej skorzystać, żeby np. przeanalizować treść maila, sięgnąć do wiedzy z bazy, by przygotować propozycję odpowiedzi dla doradcy. Nadal mamy tą samą liczbę maili do przetworzenia, ale dzisiaj ich treść analizuje sztuczna inteligencja, co oszczędza czas operacyjny.
ADAM SKIBIŃSKI: Wcześniej to też teoretycznie było możliwe, ale z powodu skomplikowania i kosztów mało opłacalne. Kiedy pojawił się ChatGPT, rozpoczęliśmy poszukiwania dostawców technologii GenAI/LLM. Rozmawialiśmy z Microsoftem i z Googlem (z OpenAI było trudno). Długo zabiegaliśmy o specjalnie przygotowane, bezpieczne środowisko pracy, które zabezpieczy dane naszych klientów i zagwarantuje, że nikt ich nie będzie wykorzystywał np. do trenowania dużych modeli językowych.
Na początku narzędziami GenAI wspomagaliśmy rozbudowywanie bazy szkoleniowej maili dla modeli machine learning dzięki czemu mogliśmy znacząco ograniczyć ilość potrzebnych ręcznie klasyfikowanych maili. Drugi obszar zastosowań to było streszczanie (sumaryzacja) maili, żeby ułatwić doradcy zrozumienie, o co dokładnie chodzi klientowi. Pojawiło się podsumowanie historii konwersacji mailowej z klientem, co jest funkcją bardzo pozytywnie odbieraną przez doradców. Ostatnim z ważnych zastosowań jest możliwość wygenerowania odpowiedzi na maila klienta.
MARCIN KOZAK: Absolutnie tak. MML od początku był zaprojektowany jako otwarty na nowe technologie. Pojawiła się generatywna AI i część zadań realizujemy z jej wykorzystaniem, ale w części przypadków modele uczenia maszynowego wciąż są efektywniejsze i tańsze. Korzystamy z miksu technologii.
MARCIN KOZAK: Tak. To jest ewolucja. Nie wszędzie warto korzystać z GenAI, jeżeli sprawdzają się inne rozwiązania. Tokeny to koszty.
ADAM SKIBIŃSKI: Sprawdzaliśmy uważnie, co się da zrobić lepiej, co efektywniej, a co taniej. Kategoryzacja dalej jest oparta o standardowy machine learning, bo świetnie się to sprawdza. Natomiast w podsumowaniu treści, w generowaniu odpowiedzi czy w korzystaniu z własnych baz wiedzy to GenAI jest lepsza.
Dodam jeszcze, że wybudowane w 2020 r. środowisko jest bardzo elastyczne. Kiedy sięgaliśmy po GenAI, to więcej czasu zajęło nam zbudowanie bezpiecznego środowiska, oczekiwanie na akty prawne, niż samo wdrożenie nowych narzędzi. Z całego roku przygotowań na właściwe wdrożenie potrzebowaliśmy może jednego kwartału.
MARCIN KOZAK: Dobrym przykładem jest cesja usług: klient chciałby przenieść numer na inne konto, bądź pracownik opuszcza firmę i chciałby zabrać ze sobą numer telefonu. Pyta mailem, jak to zrobić. Generatywna AI doskonale rozpoznaje treść pytania. Sięgamy wtedy do analizy informacji, widzimy, czego nam brakuje do wniosku, zaglądamy do bazy wiedzy, wyciągamy formularz, który klient musi uzupełnić, wrzucamy to do propozycji odpowiedzi, która mailem dociera do doradcy. Doradca od razu wie, że mail dotyczy cesji, a klient chciałby przenieść numer z konta X na konto Y. Cały ten zestaw informacji pojawia się automatycznie. Inaczej doradca musiałby sam wykonać te wszystkie czynności.
MARCIN KOZAK: Rezygnacje oraz reklamacje. Tutaj zwykle jest jakiś powód, jakaś głębsza przyczyna, unikalna dla konkretnego klienta.
ADAM SKIBIŃSKI: Machine learning nie wywoływał takich dylematów w ogóle. Oczywiście, za każdym razem trzeba było się zastanowić, jak do tematu podejść, przekonsultować z działem prawnym, że taki proces chcemy wesprzeć automatyzacją. Na pewno pomogło nasze strategiczne założenie, że stosujemy „AI nadzorowane”.
Więcej wyzwań prawnych pojawiło się wraz z generatywną AI. Tutaj wyzwaniem była nowość tej technologii na rynku. Trzeba było poczekać na regulacje, na to, jak zachowa się rynek, jak dostosują się do wymogów prawnych dostawcy dużych modeli językowych, zwłaszcza w reżimie prawa europejskiego, które jest inne niż amerykańskie. Trzeba było czekać na przepisy i na interpretacje. Pojawił się AI Act, do którego trzeba było dostosować działanie narzędzi. Z drugiej strony to wszystko dawało czas na testy technologii. Dzisiaj mamy obowiązek poinformować klienta, że rozmawia z botem, albo że odpowiedzi na e-mail udziela mu automat. To jest jednak sprawa czysto techniczna.
MARCIN KOZAK: Może nie nierealny, ale… wymagający.
MARCIN KOZAK: Chociażby analityka związana z przetwarzaniem emocji klienta w kanale głosowym. Technicznie wiedzielibyśmy jak to zrobić, ale wiemy, że to może być trudne w świetle obowiązujących przepisów.
ADAM SKIBIŃSKI: Nie jest żadną tajemnicą, że Orange Polska współpracuje z firmami takimi jak Google'a czy Microsoft. Do różnych zastosowań stosujemy lub testujemy modele dostępne w chmurze, jak i on premise. Dodatkowo testujemy modele komercyjne jak i open source, a wśród nich również modele polskie: Bielika i PLLuM. Modele uruchamiane na własnej infrastrukturze pozwalają nam samodzielnie panować nad bezpieczeństwem danych naszych klientów. Generalnie różne modele sprawdzają się w różnych zastosowaniach. Część jest świetna w analizach i wnioskowaniu a część (ze względu na szybkość odpowiedzi) sprawdza się we wsparciu voicebotów. Dlatego w przyszłości na pewno będziemy korzystać z przynajmniej kilku, jeżeli nie z kilkunastu, modeli ‒ w zależności od ich właściwości i naszych potrzeb.
MARCIN KOZAK: W mojej ocenie to będzie ekosystem różnych technologii. Chociaż rola generatywnej AI będzie rosła, to jednak machine learning wciąż jest przydatne, podobnie jak Robotic Process Automation, dzięki któremu roboty [automatyczne procesy ‒ red.] wspierają naszych doradców i realizują procesy obsługowe, czy procesy wsparcia. Z tych technologii nie zamierzamy rezygnować.
MARCIN KOZAK: Mamy pomysły na kolejne funkcje z wykorzystaniem GenAI, które będą usprawniały pracę doradcy. Szukamy synergii i chcemy zbudować wspólny ekosystem tak, aby doradca mógł korzystać w swojej pracy z jednego, a nie z kilku, narzędzi, także z integracją asystenta AI.
ADAM SKIBIŃSKI: Strategicznie chodzi o to, by konsultant nie musiał zaglądać do kilku różnych systemów: CRM, billingu, informacji o usterkach sieci itp. Tam wszędzie są ważne informacje, które potrafimy zebrać w jedno miejsce i udostępnić agenta AI, który pomoże zarówno konsultantowi, jak i klientowi. Mamy już sporo narzędzi AI, mamy przyczółki automatyzacji w różnych obszarach i będziemy dążyć do ich integracji w bardziej zwarte środowisko. Mamy już tez agenta AI opartego o naszą bazę wiedzy ‒ wspólną dla wszystkich konsultantów, niezależnie od rynku.
MARCIN KOZAK: Druga ważna linia rozwoju to komercjalizacja systemu wspomagania obsługi kanału e-mail poza Orange jako produktu ICT. Już mamy za sobą pierwsze rozmowy z klientami i rozmawiamy na temat potencjalnych wdrożeń.
GSMONLINE.PL/TELKO.in: Dziękujemy za rozmowę.
rozmawiali Łukasz Dec i Wojciech Piechocki