Gniew, strach i sylwetki. Ratusz w Moskwie ujawnił, które algorytmy rozpoznają ludzi po ich twarzach

Gniew, strach i sylwetki. Ratusz w Moskwie ujawnił, które algorytmy rozpoznają ludzi po ich twarzach

25.08.2022 0 przez admin
  • Andriej Zacharow
  • BBC

Zapisz się do naszego newslettera „ Kontekst ”: pomoże Ci zrozumieć wydarzenia.

prawa autorskie do zdjęćMichaił Poczujew/TASS

Moskiewski system monitoringu wideo, który pomaga znaleźć przestępców i opozycjonistów, wykorzystuje jednocześnie nie jeden, ale cztery algorytmy rozpoznawania twarzy. W tym ten, który pomaga siłom bezpieczeństwa Białorusi znaleźć przeciwników reżimu Aleksandra Łukaszenki. Algorytmy stosowane w Moskwie konkurują ze sobą o dokładność i szybkość. W ciągu najbliższych dwóch lat zostanie na nie wydanych prawie 800 milionów rubli.

W połowie sierpnia państwowy kanał telewizyjny Moskva-24 dwukrotnie z dumą informował o możliwościach systemu monitoringu wizyjnego w miejskim metrze. Najpierw opowiedzieli, jak za pomocą kamer udało im się znaleźć kieszonkowca, który ukradł torebkę dziewczynie na stacji Proletarskaja. Potem – jak monitoring wideo pomógł złapać mężczyznę, który w nocy bił mężczyznę na jednej ze stacji.

Szczegóły techniczne poszukiwań w opowiadaniach nie są ujawniane, ale wiadomo, że od jesieni 2020 roku w moskiewskim metrze działa system rozpoznawania twarzy. Podłączone są do niego również kamery monitoringu miejskiego, w tym kamery przy wejściach. System działa w obie strony: możesz przesłać zdjęcie i zrozumieć, gdzie dana osoba była, lub możesz śledzić trasę konkretnej osoby i ostatecznie ustalić jej tożsamość.

Są jednak przykłady zastosowania tego systemu, o których Moskwa-24 i inne media urzędu burmistrza stolicy wolą nie mówić. Na przykład w ostatni Dzień Rosji – 12 czerwca 2022 r. – policja zatrzymała w moskiewskim metrze co najmniej 43 osoby, wyraźnie obawiając się protestów, obliczył projekt OVD-Info (uznawany w Rosji za zagranicznego agenta). Wśród nich byli dziennikarze i działacze, których zdjęcia zostały w szczególny sposób oznaczone w systemie. W takim przypadku, gdy tylko właściwa osoba wejdzie na stację, system zgłasza to organom ścigania.

prawa autorskie do wizerunku, Dyrekcja Główna MSW w Moskwie

podpis pod zdjęciem,

Przykład zastosowania systemu rozpoznawania twarzy z prezentacji Zastępcy Szefa Zarządu Głównego MSW na Moskwę

Wcześniej o moskiewskim systemie rozpoznawania twarzy wiedziano, że jest on oparty na technologii firmy NtechLab, w której Rostec posiada udziały. Jednak w rzeczywistości system wykorzystuje jednocześnie cztery technologie, dowiedziała się BBC. W tym ten, który działał na Białorusi podczas tłumienia protestów w 2020 roku. Razem są w stanie rozpoznać nie tylko twarze, ale nawet emocje ludzi.

Istota przetargów

W połowie lata JSC Electronic Moscow, podlegająca urzędowi burmistrza Moskwy, opublikowała cztery umowy na usługi „indeksowania danych” w „segmencie miejskim zunifikowanego systemu analizy wideo”. Kontrakty zawarto z jednym dostawcą, bez przetargu i publikacji jakiejkolwiek dokumentacji, ale łączna kwota jest znana: około 800 mln rubli. Te pieniądze zostaną wydane w ciągu dwóch lat.

Jeśli przetłumaczyć z języka komputerowo-biurokratycznego na normalny, mówimy o wsparciu technicznym i utrzymaniu systemu analizy wideo, mówi twórca jednego z algorytmów rozpoznawania twarzy używanych przez biuro burmistrza Moskwy.

Dzięki tym umowom można wreszcie dokładnie powiedzieć, z jakich technologii korzysta moskiewski ratusz: każda umowa zawierana jest na konkretny algorytm rozpoznawania twarzy, jej nazwa jest wskazana na stronie zamówień publicznych. Jeden z nich, jak wcześniej wiadomo, został opracowany przez firmę NtechLab. Reszta też była rosyjska: Tevian FaceSDK, VisionLabs Luna Platform i Kipod.

Tak czy inaczej, informacja o ich ewentualnym udziale w projekcie pojawiła się wcześniej w mediach, ale po raz pierwszy ich nazwiska zostały ujawnione przez urząd burmistrza publicznie i w jednym miejscu.

Początkowo, gdy system rozpoznawania twarzy został uruchomiony w Moskwie, miał trzy algorytmy, a potem dodano czwarty – Kipod, twórca jednego z nich potwierdził BBC. Twórca innego z kolei dodał, że technicznie możliwe jest użycie kilku algorytmów naraz.

Stosując jednocześnie cztery algorytmy, urząd burmistrza mógłby dążyć do poprawy skuteczności systemu uznawania, mówi Artem Kozlyuk, dyrektor wykonawczy organizacji publicznej Roskomsvoboda. Do tego dochodzi wtedy mniejsza zależność od konkretnego dostawcy – jeśli np. firma podlega sankcjom lub odmawia współpracy z obawy, że zostaną nałożone.

Co potrafią te technologie?

Algorytm białoruski

Kipod jest rozwinięciem rosyjsko-białoruskiej firmy Synesis. Jej korzenie tkwią w Mińskim Parku Technologicznym, głównym miejscu słynnego białoruskiego boomu informatycznego. Nieco później pojawiło się biuro w Skołkowie pod Moskwą.

Początkowo firma zajmowała się tworzeniem oprogramowania na zamówienie (m.in. brała udział w tworzeniu komunikatora Viber), ale potem zaczęła tworzyć własne produkty. Jednym z nich jest inteligentny system monitoringu wideo Kipod.

To właśnie Kipod stał się główną technologią rozpoznawania twarzy, która została wprowadzona przez białoruskie władze w kraju i pomogła lokalnym siłom bezpieczeństwa znaleźć osoby, które uczestniczyły w protestach przeciwko Aleksandrowi Łukaszence w Mińsku w 2020 roku. W rezultacie zarówno Synesis, jak i jeden z założycieli firmy Aleksander Szatrow zostali objęci sankcjami UE i USA za udostępnienie białoruskim władzom platformy do szpiegowania i identyfikowania przeciwników reżimu, jak wynika z oficjalnych dokumentów UE.

prawa autorskie do zdjęćKipod.com

podpis pod zdjęciem,

Przykład algorytmu z prezentacji firmy

Synesis potwierdza na swojej stronie internetowej, że to Kipod działa na stacjach moskiewskiego metra. Oprócz wyszukiwania po zdjęciu, według twórców może znaleźć osobę za pomocą znaków – musisz podać jej przybliżony wiek, płeć, rasę, czy nosi okulary, brodę czy wąsy.

Z pomocą kamer podłączonych do Kipoda, na przykład białoruskie siły bezpieczeństwa miały rzekomo wyśledzić i zatrzymać opozycyjnego blogera Nikołaja Dedoka, donosi projekt ByPOL (zrzeszający byłych funkcjonariuszy organów ścigania Białorusi).

W lutym 2022 r. ByPOL opublikował duży film śledczy Kipod. W szczególności opublikowała nagranie dźwiękowe rozmowy telefonicznej pomiędzy, według ByPOL, dwoma wysokimi rangą urzędnikami bezpieczeństwa białoruskiego.

„Tam można poszukać dopasowań o procentach. 100% rzadko kiedy coś daje, zwykle od 50% do 80% pracujemy, a jak obniżysz niżej, jest ich dużo i trzeba ręcznie oglądać […] Kiedy w Kipod wydaje „zbieg okoliczności”, pokazuje ten fragment wideo. Naciskasz go, otwierasz – i widzisz fragment nagrania metra przejścia konkretnej osoby, aby kogo podaje „zbieg okoliczności”, jak wygląda, „jeden z nich dzieli się swoim doświadczeniem z algorytmem.

Sama firma następnie pośrednio potwierdziła autentyczność rozmowy, zauważając , że chodziło o schwytanie przestępcy, który zaatakował nożem kobietę w Mińsku.

W Synesis generalnie komentują każdą publikację o pracy Kipoda na Białorusi, aktywnie używając takich słów jak „fałszywa” i „postprawda”, a decyzja UE o nałożeniu sankcji była kwestionowana w sądzie.

„Komunikacja mobilna, sieci społecznościowe, zdjęcia w mediach pozwalają na masową identyfikację protestujących. Kipod opiera się na zupełnie innej logice i ma na celu wyszukiwanie osób w sposób oczywisty identyfikowalnych – poszukiwanych, zaginionych itp. Fałszywa opiera się na fobiach technologicznych obywateli i logiki codzienności” – komentują m.in. zarzuty, że algorytm rozpoznawania twarzy firmy Synesis posłużył do wyszukiwania białoruskich opozycjonistów.

Dwie rosyjskie firmy

Innym algorytmem, który, sądząc po stronie zamówień publicznych, jest używany w Moskwie, jest Platforma VisionLabs Luna. Jego deweloper, Visionlabs, rozpoczął pracę w trzewiach rosyjskiego Skołkowa, ale szybko zainteresował się dużymi inwestorami – AFK Sistema Vladimir Yevtushenkov i Sbierbank. W 2021 roku firma całkowicie przeszła pod kontrolę spółki zależnej operatora komórkowego MTS, którego głównym właścicielem jest ta sama Sistema.

Z systemu rozpoznawania twarzy VisionLabs korzysta kilkadziesiąt rosyjskich banków – w szczególności Alfa-Bank: dzięki niemu potencjalny klient jest sprawdzany na „czarnych listach” biur historii kredytowej, zanim jeszcze o cokolwiek poprosi i złoży swoje dokumenty. Wśród innych użytkowników algorytmu są Sbierbank, Post Bank i Tinkoff, a także rosyjska struktura amerykańskiego biura historii kredytowych Equifax.

prawa autorskie do zdjęćVisualLabs

podpis pod zdjęciem,

Przykład wykorzystania algorytmu

Luna, podobnie jak Kipod, określa parametry twarzy takie jak wiek, płeć, rasa, a nawet „emocje”, wynika z instrukcji dla użytkowników.

Platforma jest oficjalnym partnerem Urzędu Miasta Moskwy w projekcie Face Pay. W jego ramach pasażerowie moskiewskiego metra mogą wgrać swoje selfie do specjalnej aplikacji mobilnej, podpiąć kartę bankową do swojego profilu i jednym spojrzeniem w kamerę przejść przez metro.

Projekt rozpoczął się jesienią 2021 r., ale biuro burmistrza zaczęło wcześniej wykorzystywać algorytm VisionLabs w miejskim systemie monitoringu wideo: firma to potwierdziła, ale bez szczegółów.

Czwartym algorytmem wykorzystywanym w moskiewskim systemie monitoringu wideo jest FaceSDK moskiewskiej firmy Tevian. To kolejny mieszkaniec Skołkowa, założonego przez ludzi z laboratorium multimedialnego Wydziału Matematyki Obliczeniowej i Cybernetyki Moskiewskiego Uniwersytetu Państwowego.

Osiągnięcia tej firmy są nieco skromniejsze niż innych: na przykład, jeśli przychody VisionLabs w 2021 roku były bliskie 1 miliarda, a Tevian tylko 200 milionów rubli. We własnym opisie możliwości algorytmu firma osobno zastrzega, że FaceSDK jest w stanie wykrywać emocje na twarzach ludzi – „gniew, strach, smutek, radość, zaskoczenie”.

„Oddzielny, szybszy algorytm wykrywania obecności uśmiechu” – czytamy w dokumencie. W ciągu najbliższych dwóch lat biuro burmistrza wyda prawie 200 mln rubli na określenie emocji tych, którzy chodzą ulicami Moskwy – tyle przeznacza się na wykorzystanie FaceSDK w miejskim systemie monitoringu – jednak, jak również dla wszystkich innych algorytmów.

Aukcja algorytmów

Wszystkie cztery algorytmy są używane jednocześnie przez biuro burmistrza, poinformowała BBC w Departamencie Technologii Informacyjnych w Moskwie.

„Nie ma podziału strumieni wideo między algorytmami. Strumienie wideo z kamer są jednocześnie przetwarzane przez wszystkie cztery algorytmy. Ponadto wynik pracy wszystkich algorytmów w agregacie jest obliczany przy użyciu specjalnej formuły” – powiedział minister.

Takie podejście pozwala „połączyć mocne strony każdego dewelopera” i zwiększyć „dokładność rozpoznania”, dumnego z urzędu burmistrza.

Wykonawca IT powiedział BBC, że jego zdaniem zadania związane z analizą wideo są rozdzielane między dostawców za pośrednictwem systemu przydziałów. „Tam logika jest maksymalnie rynkowa. Jest chmura, w której wszyscy ci faceci konkurują jakością algorytmów i ceną. Jest stała ocena i redystrybucja kwot, kto ile przetwarza i ile zarabia” – mówi.

Na początku 2021 r. Electronic Moscow JSC zakupiła specjalny program, który pozwala oceniać algorytmy rozpoznawania w trybie automatycznym. Deweloperem tego systemu ratingowego jest firma Amtech, stały zwycięzca przetargów informatycznych Urzędu Miasta Moskwy.

Z opisu systemu wynika, że ocenia algorytmy pod kątem „szybkości, dokładności i wydajności”. Najprawdopodobniej o tym mówi źródło BBC: warunki zakupu systemu wskazywały, że powinien on współpracować z FindFace, VisionLabs LUNA, Tevian FaceSDK i Kipod.

prawa autorskie do wizerunku, Dyrekcja Główna MSW w Moskwie

podpis pod zdjęciem,

Przykład zastosowania systemu monitoringu wizyjnego z prezentacji zastępcy szefa Zarządu Głównego MSW na Moskwę

To na te algorytmy Elektroniczna Moskwa wyda teraz w ciągu dwóch lat prawie 800 milionów rubli. Do tego trzeba dodać jeszcze około 100 milionów, które Elektroniczna Moskwa przeznaczyła na inne elementy miejskiego systemu analizy obrazu wideo, w tym detektor wideo do wyszukiwania sylwetek ludzi w kadrze.

Tevian i „Synesis” (algorytm Kipoda) nie odpowiedzieli na pytania BBC. W „VisionLabs” przekierowano po odpowiedzi do działu informatyki.

Systemy Ministerstwa Spraw Wewnętrznych

Miejski system monitoringu wizyjnego to nie jedyny projekt moskiewskiego ratusza, który z jednej strony ułatwia życie obywatelom (w tym przypadku pomaga znaleźć przestępców), a z drugiej strony pomaga ścigać niedopuszczalne i dysydentów (w tym przypadku pozwala na zatrzymanie opozycjonistów przy wejściu do metra).

Biuro burmistrza Moskwy ma prawie 190 różnych systemów informacyjnych, za pomocą których zbiera i analizuje informacje o mieszkańcach, domach, samochodach, straganach, placach zabaw i wszystkim innym, co składa się na życie miasta.

Analizuje zachowania użytkowników w miejskiej sieci Wi-Fi oraz na licznych stronach Urzędu Miasta. Od kilku lat trwają prace nad jednym systemem, który może wydobywać dane ze wszystkich zasobów i platform moskiewskiego rządu. Ponadto działa na zasadzie uczenia maszynowego, czyli uczy się samo rozwiązywać zadanie.

Na przykład w 2018 roku za jego pomocą burmistrz szukał mieszkań wynajmowanych bez umowy. Aby wyszukać „szare” mieszkania, system przeanalizował informacje o rejestracji osób, dane komórkowe, dane parkingowe, a także przejrzał historię rachunków za media, płatności za przedszkole i inne usługi edukacyjne – powiedział BBC były pracownik urzędu miasta.

„Powiedzmy, że jesteś zarejestrowany w jednym miejscu, ale płacisz za przedszkole i prąd w innym, gdzie jednocześnie parkujesz” – wyjaśnił zasady analizy.

Władze próbowały stworzyć podobny system, który gromadziłby dane z różnych źródeł na szczeblu federalnym, jak wskazano w najnowszym raporcie projektu Network Freedoms dotyczącego technologii inwigilacji obywateli.

Mowa o systemie IBD-F 2.0, który został opracowany przez Ministerstwo Spraw Wewnętrznych. Miał zastąpić przestarzały „IBD-F”, który jednoczy bazy policyjne wszystkich regionów Rosji. Nowy system miał być połączony z bazami danych innych resortów – aż do informacji o przejazdach komunikacją miejską i danych biometrycznych.

Umowa państwowa została zawarta w 2020 roku, ale niedawno, w lipcu, została rozwiązana z powodu „niespełnienia warunków”.

Ale jednocześnie, jak zauważono w „Swobodach sieciowych”, Ministerstwo Spraw Wewnętrznych nadal ma inne systemy: na przykład Główna Dyrekcja Ministerstwa Spraw Wewnętrznych w Moskwie ma „System księgowy i barier – M”, który pozwala na przeprowadzenie kompleksowego przeszukiwania tablic innych baz i tworzenie list kontrolnych obywateli, będących przedmiotem zainteresowania operacyjnego. W ich odnalezieniu pomaga miejski system monitoringu wideo połączony z systemem rozpoznawania twarzy.

22 sierpnia przed wejściem do moskiewskiego metra ponownie zatrzymano na cały dzień obywateli, którzy wcześniej uczestniczyli w protestach (łącznie 33 osoby). W OVD-Info taka działalność była związana z Dniem flagi rosyjskiej – być może siły bezpieczeństwa obawiały się wieców.

Co więcej, co najmniej jeden obywatel, Siergiej Wyborow, został zabrany nawet przy wejściu, ale już w samochodzie. Większość z nich wypuszczono bez specjalnych wyjaśnień i protokołów, ale jedna – Swietłana Getia – została ukarana grzywną za napis „Jestem przeciw wojnie” na jej ubraniu.

prawa autorskie do zdjęćFSB

podpis pod zdjęciem,

Fragment filmu FSB o Natalii Vovk, po lewej widoczny interfejs miejskiego systemu monitoringu wizyjnego

Nagranie z miejskiego systemu monitoringu znajduje się również w filmie FSB o Natalii Wowk – według tajnych służb zabójczyni Darii Duginie, córce filozofa i ideologa „rosyjskiego świata” Aleksandra Dugina. W tych kadrach Vovk wchodzi do wejścia do moskiewskiego domu, system oznacza ją jako „obcą” – odpowiedni znak na ekranie. Oznacza to, że nie była wcześniej widziana wśród mieszkańców tego domu – wiele wejść do Moskwy jest wyposażonych w kamery połączone z systemem rozpoznawania twarzy.

8 października 2021 r. władze rosyjskie wpisały korespondenta BBC Andrieja Zacharowa do rejestru mediów działających jako agent zagraniczny. 17 stycznia 2022 r. status ten został zawieszony decyzją sądu do czasu zakończenia procesu w sprawie z powództwa Andreya.