Bułgarski Sąd pyta TSUE o interpretację przepisów AI Actu

Sąd Rejonowy dla miasta Sofii w Bułgarii przedstawił Trybunałowi Sprawiedliwości Unii Europejskiej aż 17 pytań dotyczących wykładni prawodawstwa Unii Europejskiej w dziedzinie sztucznej inteligencji i ochrony konsumentów w kontekście automatycznie generowanych decyzji.

W tym wpisie skupie się tylko na niewielkim wycinku tego wniosku tj. na pytaniach dotyczących AI Actu:

Czy art. 86 ust. 1 rozporządzenia (UE) nr 2024/1689 należy interpretować w ten sposób, że konsument w rozumieniu dyrektywy 2011/83/UE i dyrektywy 93/13/EWG ma prawo do informacji od usługodawcy, w jaki sposób i w oparciu o jakie elementy i parametry zostały wydane automatycznie podejmowane decyzje (faktury), oparte na danych automatycznie gromadzonych przez przedsiębiorcę w ramach umowy o świadczenie usług łączności ruchomej?

Czy przepisy art. 86 ust. 1 rozporządzenia 2024/1869 w związku z art. 38 Karty praw podstawowych Unii Europejskiej należy interpretować w ten sposób, że konsument ma prawo do informacji od usługodawcy, jaki jest algorytm wyliczania automatycznie generowanych faktur […], jakie elementy i parametry są w nich zawarte?

Czy art. 86 ust. 1 rozporządzenia (UE) 2024/1689 należy interpretować w ten sposób, że ma on zastosowanie do umów konsumenckich?

Czy art. 86 ust. 1 rozporządzenia (UE) 2024/1689 w związku z art. 47 w związku z art. 38 Karty, a także zasadę skuteczności określoną w art. 6 ust. 1 i art. 7 ust. 1 dyrektywy 93/13/EWG i art. 5 dyrektywy 2011/83/UE należy interpretować w ten sposób, że sąd może wezwać przedsiębiorcę do przedstawienia danych z czarnej skrzynki, kodu źródłowego i algorytmu, dotyczących sposobu podejmowania automatycznej decyzji w ramach umowy konsumenckiej?

Czy art. 86 ust. 1 rozporządzenia (UE) 2024/1689 w związku z art. 47 w związku z art. 38 Karty i dyrektywą 2011/83/UE należy interpretować w ten sposób, że automatycznie generowana decyzja, wydana przez przedsiębiorcę na podstawie umowy o świadczenie usług łączności ruchomej zawartej z konsumentem, dopuszcza, aby ta automatycznie generowana decyzja była poddana rewizji i weryfikacji przez człowieka – sędziego, dokonywanej w toku rzeczywistego postępowania sądowego?

Czy przepisy te należy interpretować w ten sposób, że automatycznie podejmowane decyzje […] podlegają kontroli człowieka – sędziego, w ramach rzeczywistego procesu sądowego?

Powyższe pytania powstały przy okazji sporu o kwotę 15 euro.

Strony zawarły umowę o świadczenie elektronicznych usług łączności ruchomej na okres dwóch lat (od dnia 27 marca 2020 r. do dnia 27 marca 2022 r.). Umowa obejmuje określoną liczbę bezpłatnych minut rozmów w Bułgarii, Internet z maksymalną prędkością i określoną liczbę bezpłatnych minut w roamingu, lecz bez ruchomej transmisji danych w roamingu. W umowie uzgodniono, że jednostkowa stawka za rozmowy wynosi minutę, a w przypadku ruchomej transmisji danych (Internet) – 1 MB. Przewidziano, że w przypadku przedterminowego rozwiązania przez niego umowy konsument będzie zobowiązany do zapłaty kary umownej.

Kara umowna odpowiada wysokością wszystkim miesięcznym opłatom abonamentowym za okres od dnia rozwiązania umowy do dnia upływu okresu obowiązywania umowy. Maksymalna wysokość kary umownej nie może jednak przekroczyć trzykrotności opłaty z tytułu abonamentu miesięcznego. Opłata z tytułu abonamentu miesięcznego, do celów obliczenia kary umownej, jest najwyższą opłatą abonamentową.

Pozwany (konsument) przestał płacić w styczniu 2021 r., a strona powodowa (przedsiębiorca – usługodawca w ramach usług łączności ruchomej) zaprzestał świadczenia usługi na podstawie umowy w dniu 25 stycznia 2021 r. Strona powodowa uważa, że zawieszając świadczenie usług na podstawie umowy, jednostronnie rozwiązała umowę.

W przedmiocie kary umownej: z opinii biegłego sądowego z zakresu rachunkowości oraz przedłożonych przez stronę powodową umów wynika, że standardowy miesięczny plan taryfowy (opłata miesięczna) wynosi 34,16 BGN bez VAT (około 17,08 EUR). Opłata standardowa jest rozumiana jako opłata bez rabatu. Strony uzgodniły, że pozwany będzie korzystał z rabatu w wysokości 9,77 % przez cały okres obowiązywania umowy. Po uwzględnieniu tego rabatu miesięczna opłata wynosi 30,83 BGN bez VAT (15,42 EUR). Strony uzgodniły również, że pozwany będzie korzystał z drugiego rabatu w wysokości 20 %. Oba rabaty obowiązują przez cały okres obowiązywania umowy. W związku z tym ostateczna miesięczna opłata do zapłaty przez pozwanego wynosi 24,66 BGN bez VAT (około 12,33 EUR).

 

 

Spółka będąca stroną powodową wykorzystuje zautomatyzowane systemy i algorytmy do przechwytywania danych z urządzenia mobilnego konsumenta, a także dokonuje pomiaru czasu i wykorzystania MB (megabajtów). Dane te są automatycznie wprowadzane do systemu rozliczeniowego (systemu księgowego) strony powodowej, który ponownie automatycznie generuje faktury, zgodnie z zatwierdzonymi planami taryfowymi. Faktury wystawione pozwanemu (w odniesieniu do kwot, których dotyczy sprawa) zostały wygenerowane automatycznie na podstawie innego systemu, który automatycznie uwzględnia czas trwania rozmów i korzystanie z MB. Zdaniem biegłego w systemie księgowym wprowadza się dane dotyczące planów taryfowych i jednostkowych stawek za usługi łączności ruchomej, lecz biegły nie wie, czy dane te są aktualne w odniesieniu do rozpatrywanej umowy i czy są one prawidłowe. Wprowadzanie danych jest wykonywane przez człowieka. Obliczanie kwot, pomiar ilości (czas i MB), generowanie faktur jest procesem automatycznym. Strona powodowa dochodzi od pozwanego zapłaty na podstawie wystawionych faktur. Numer telefonu pozwanego nie został jednak usunięty, a jeśli kwoty zostaną zapłacone, usługa operatora telefonii komórkowej zostanie przywrócona.

Dopiero na czwartej rozprawie strona powodowa przedstawiła za pośrednictwem biegłego sposób (algorytm), za pomocą którego zostały naliczone dochodzone kwoty. Wskazuje on, że naliczanie jest procesem automatycznym w systemie bilingowym operatora telefonii komórkowej. Strona powodowa zauważa, że kara umowna składa się z kwartalnych standardowych opłat. Do otrzymanej kwoty dodaje się różnicę między ceną promocyjną a ceną standardową bez VAT. Różnica ta zostaje pomnożona zgodnie z okresem korzystania z usługi (10,011 miesięcy), a otrzymana wartość odnosi się do pozostałych miesięcy do końca umowy (13,989 miesięcy).

 

 

Wystawione faktury stanowią automatycznie podejmowaną decyzję (ADM), ponieważ zostały sporządzone na podstawie automatycznego gromadzenia informacji (lokalizacja, czas trwania rozmów i wykorzystane MB). Dane te są następnie przekazywane do innego zautomatyzowanego systemu, który automatycznie generuje faktury po automatycznym wprowadzeniu danych dotyczących użytkowania usług łączności ruchomej i lokalizacji. Wstępnie wprowadzane są jedynie dane dotyczące stawki jednostkowej usług, planów miesięcznych i taryf. Przy wystawieniu faktur konsument (pozwany) staje się dłużnikiem, a usługodawca (w rozumieniu dyrektywy 93/13) (strona powodowa) staje się wierzycielem.

W świetle prawa do rzetelnego procesu sądowego wynikającego z art. 47 Karty sąd stara się ustalić, czy może wymagać od strony, zgodnie z art. 86 rozporządzenia w sprawie sztucznej inteligencji, przedstawienia danych dotyczących sposobu podjęcia decyzji opartej na zautomatyzowanym systemie podejmowania decyzji, a także algorytmu. Uprawnienie to jest konieczne dla zagwarantowania praw konsumentów, zasady skuteczności wynikającej z art. 6 ust. 1 i art. 7 ust. 1 dyrektywy 93/13 w świetle zasady rzetelnego procesu.

Dla sądu odsyłającego nie jest również jasne, jaki jest kod źródłowy (source code) systemu generującego faktury. Występuje efekt czarnej skrzynki (black box effect, sprawa C-634/21). Pomimo wyznaczonej opinii nie ustalono, w jaki sposób zostały podjęte decyzje o naliczeniu spornych kwot i w tym zakresie istnieje rozbieżność. Pozwany podnosi zarzuty dotyczące nieuczciwych warunków i inne wnioski dowodowe.