Protokół zamiast nagrania: Jak musi być zbudowana transkrypcja AI dla sali sądowej

Szczególny przypadek rozpoznawania mowy

Rozpoznawanie mowy jest już codziennością: programy do dyktowania, napisy, protokoły z wideokonferencji. Kto jednak chce zastosować tę samą technologię podczas rozprawy głównej w postępowaniu karnym, szybko odkrywa, że typowe narzędzia zostały zaprojektowane z myślą o innych sytuacjach. Program do dyktowania zakłada obecność jednego głosu blisko mikrofonu. Wideokonferencja dostarcza każdego uczestnika przez oddzielny kanał. W sali rozpraw natomiast laptop leży na stole obrony, a przed nim przemawiają przewodniczący, ewentualni sędziowie zawodowi, ławnicy, prokurator, świadkowie i biegli – z różnej odległości, w pogłosie pomieszczenia, z okrzykami z sali i licznymi nazwami własnymi.

Do tego dochodzą wymogi, których żaden program biurowy nie zna. Dźwięk nie może opuścić urządzenia. To, czy w ogóle wolno go zapisywać, jest kwestią prawną o istotnych konsekwencjach: jeśli jest przetwarzany wyłącznie ulotnie w pamięci operacyjnej, powstaje pod względem prawnym zapis odręczny; jeśli zostaje zapisany, powstaje nagranie dźwiękowe wymagające zezwolenia sądu. Poza tym obrońca w trakcie przesłuchania nie ma wolnej ręki, by obsługiwać oprogramowanie. Niniejszy artykuł opisuje, jak powinno być zbudowane oprogramowanie do transkrypcji, które spełnia te warunki.

Zasada 1: Wszystko pozostaje na urządzeniu

Współczesne laptopy dysponują wyspecjalizowanymi jednostkami obliczeniowymi AI, które umożliwiają rozpoznawanie mowy w czasie rzeczywistym bez korzystania z chmury. W sali sądowej nie jest to kwestia wygody, lecz warunek konieczny. Gdy rozpoznawanie działa lokalnie, nie ma podmiotu przetwarzającego, nie dochodzi do transferu danych do państw trzecich i nie pojawia się kwestia zachowania tajemnicy adwokackiej wobec usługodawcy.

Lokalnie oznacza tu konsekwentnie lokalnie. Modele rozpoznawania powinny być częścią pakietu programowego i nie mogą być pobierane w czasie działania aplikacji. Ścieżka audio nie ma dostępu do sieci. Tam, gdzie oprogramowanie w ogóle potrzebuje połączenia – na przykład w celu pobrania danych z akt z systemu kancelarii – połączenie to pozostaje ograniczone do sieci kancelarii, ma wyłącznie charakter odczytu i nie dotyczy ani dźwięku, ani transkryptu. Te właściwości nie powinny być jedynie deklarowane, lecz wymuszane przez system zarządzania uprawnieniami systemu operacyjnego.

Zasada 2: Dźwięk jest surowcem, nie wynikiem

Wynikiem sporządzania protokołu jest tekst. Dźwięk to jedynie materiał, z którego ten tekst powstaje. Z tego wynika najważniejsza decyzja architektoniczna: droga od mikrofonu do tekstu musi być tak zbudowana, aby bez zapisywania dźwięku nie brakowało niczego, co jest niezbędne do samego protokołu.

Przebieg procesu jest w istocie zawsze taki sam. Sygnał z mikrofonu jest przeliczany na format odpowiedni do rozpoznawania, przechowywany w krótkich odcinkach w buforze i przekazywany do modelu rozpoznającego. W odpowiedzi otrzymujemy nie tylko tekst, lecz do każdego słowa jego znacznik czasowy oraz wartość wskazującą pewność modelu. Te dodatkowe informacje stanowią właściwą wartość dodaną maszyny, ponieważ na ich podstawie działają przypisywanie mówców, wyszukiwanie i oznaczanie błędów.

W przypadku przetwarzania czysto ulotnego bufor jest stale nadpisywany. Istotne jest, że jest to właściwość architektury, a nie ustawienie, które najpierw zapisuje plik, a następnie go usuwa. Kto zamiast tego zapisuje dźwięk, musi obchodzić się z nim stosownie do jego wrażliwości:

• osobny klucz dla każdej sesji, który z kolei jest odczytywalny wyłącznie za pomocą klucza głównego powiązanego z układem zabezpieczającym urządzenia, dzięki czemu dane nie mogą być odszyfrowane na żadnym innym komputerze,
• szyfrowanie w małych blokach, aby awaria nie uczyniła całego nagrania bezużytecznym,
• stały termin usuwania danych, egzekwowany przez usługę systemową nawet wtedy, gdy aplikacja nie jest uruchomiona,
• usuwanie przez zniszczenie klucza (Crypto-Shredding), tak aby wszelkie pozostałości na nośniku danych stały się nieczytelne,
• wykluczenie z kopii zapasowych, aby żadna kopia nie przeżyła terminu usuwania.

Dwa poziomy rozpoznawania

Do transkrypcji na żywo potrzebny jest szybki, energooszczędny model. Wyświetla on wstępny tekst natychmiast i zastępuje go, gdy tylko podejmie ostateczną decyzję. Takie modele sprawdzają się dobrze w przypadku języka codziennego, lecz są wyraźnie słabsze w rozpoznawaniu nazw własnych, nazw miejscowych, liczb i dat. Właśnie te dane są w zeznaniu świadka często kluczowe.

Jeśli dźwięk został zapisany, po zakończeniu sesji można uruchomić drugi poziom: znacznie większy model rozpoznawania, który w nocy na nowo transkrybuje przebieg rozprawy. Aby ten drugi poziom niczego nie pogorszył, potrzebuje mechanizmów ochronnych. Ręcznie poprawione fragmenty nie mogą być nadpisywane, usunięte fragmenty muszą pozostać puste, a wersja na żywo powinna być możliwa do przywrócenia. Duże modele mają ponadto tendencję do wymyślania w fazach ciszy zdań, które nigdy nie padły. Takie typowe halucynacje muszą być wykrywane i odfiltrowywane.

Bez zapisu dźwięku drugi poziom odpada. To cena wariantu bezpiecznego pod względem prawnym, którą oprogramowanie musi nadrobić gdzie indziej – przede wszystkim poprzez słownik i kolumnę adnotacji opisane poniżej.

Kto mówi? Rozdzielanie mówców bez naciskania klawiszy

Transkrypt bez wskazania mówcy ma w sali sądowej niewielką wartość. Obrońca nie może jednak przy każdej zmianie mówcy naciskać klawisza, gdy sam przygotowuje pytania lub naradzает się z klientem. Przypisanie musi zatem odbywać się automatycznie.

Rozdzielanie mówców (diaryzacja) przebiega w trzech krokach: dzieli dźwięk na odcinki zawierające po jednym głosie, oblicza dla każdego odcinka odcisk głosowy – czyli wektor liczbowy zawierający cechy charakterystyczne głosu – i grupuje podobne odciski w mówców. Im więcej dźwięku jest dostępne, tym stabilniejsze staje się to przypisanie. Dlatego sensowne jest regularne ponowne obliczanie rozdzielenia w trakcie sesji na podstawie całego dotychczasowego przebiegu, zamiast analizować wyłącznie ostatni fragment.

Stąd wynika praktyczny problem: każde nowe uruchomienie numeruje mówców od nowa. Jeśli obrońca oznaczył już „Mówcę 2" jako przewodniczącego, to przypisanie to nie może zostać utracone podczas kolejnego uruchomienia. Oprogramowanie musi zatem przyporządkowywać starych i nowych mówców do siebie na podstawie wspólnych czasów wypowiedzi. Rola zostaje w ten sposób przypisana danemu mówcy tylko raz i obowiązuje przez cały dzień. Pomocna jest również sugestia dotycząca tego, kto podczas przesłuchania jest świadkiem – rozpoznawalna po tym, kto ma w nim największy udział w mówieniu. Taka sugestia musi pozostać oznaczona jako sugestia do momentu jej potwierdzenia przez obrońcę.

Odciski głosowe to nie dźwięk, lecz dane osobowe, a w określonych okolicznościach – dane biometryczne. Należy je zatem chronić i usuwać z taką samą starannością jak sam dźwięk.

Uwidacznianie niepewności

Dokładność oprogramowania do transkrypcji wynosi około 95 procent. Płynnie czytany tekst maskuje ten margines błędu. Oprogramowanie musi zatem wskazywać miejsca, w których jest niepewne. Słowa, dla których model zgłasza niski wskaźnik pewności, są wyróżniane kolorem – zarówno w programie, jak i w eksporcie. Każdy dokument wytworzony przez oprogramowanie powinien być ponadto wyraźnie oznaczony jako automatyczny zapis, który nie jest protokołem urzędowym.

Druga kolumna: treść dosłowna i adnotacja obok siebie

Najważniejszym elementem interfejsu jest dwukolumnowy układ: po lewej rozpoznany tekst dosłowny, po prawej adnotacje obrońcy. Wpisuje on tam to, czego maszyna nie jest w stanie wykonać: korektę, dopisek „niepewne", obserwację dotyczącą sposobu składania zeznań, odniesienie do miejsca w aktach. Tekst maszynowy i ludzka percepcja stoją obok siebie, lecz pozostają rozdzielone.

O przydatności rozstrzyga jeden szczegół: adnotacja musi być przypisana do akapitu, który był wypowiadany w momencie, gdy obrońca zaczął pisać – nie do tego, który jest aktualnie odtwarzany w chwili zapisu. Wpisanie notatki zajmuje kilka sekund, a w tym czasie świadek mówi dalej. Kolumnę uzupełniają znaczniki ważnych miejsc, sprzeczności i możliwych wniosków, a także punkty struktury odwzorowujące przebieg przesłuchania: pouczenie, dane osobowe, zeznania co do meritum, pytania poszczególnych uczestników postępowania, konfrontacje z dowodami, zwolnienie.

Bez rejestracji dźwięku kolumna ta jest centralnym narzędziem korygującym. Zastępuje późniejsze odsłuchiwanie bieżącą percepcją w chwili zdarzenia.

Uczenie się na podstawie poprawek

Nazwy własne to słaby punkt każdego systemu rozpoznawania mowy. Wiele systemów oferuje możliwość wprowadzenia listy oczekiwanych nazwisk. W praktyce opcja ta nie wykazuje mierzalnego efektu w przypadku niektórych modeli działających na żywo, a w przypadku niektórych dużych modeli podanie takiego tekstu inicjującego może nawet powodować gubienie zdań.

Bardziej niezawodny jest słownik uczący się na podstawie poprawek użytkownika. Gdy obrońca koryguje akapit, oprogramowanie porównuje stary tekst z nowym słowo po słowie i proponuje znalezione zmiany jako pary zastępcze. Pary wyglądające jak nazwy własne są wstępnie zaznaczone. Zatwierdzone pary obowiązują natychmiast przez całą sesję i przy każdym kolejnym rozpoznawaniu. Jeśli nazwisko świadka zostanie raz poprawione pierwszego dnia rozprawy, drugiego dnia będzie od początku zapisane prawidłowo.

Co nie należy do transkryptu

Nie wszystko, co dociera do mikrofonu, powinno znaleźć się w zapisie. Oprogramowanie musi obsługiwać dwa przypadki.

Pierwszy to części rozprawy, które nie mogą być rejestrowane – na przykład po wyłączeniu jawności lub podczas narady przy stole. W tym celu potrzebny jest dobrze widoczny przełącznik, który faktycznie wyłącza mikrofon, a nie tylko wyświetlacz. W transkrypcie pozostaje jedynie adnotacja wskazująca, od kiedy do kiedy nic nie było rejestrowane.

Drugi rodzaj to rozmowy zarejestrowane przypadkowo, na przykład cicha wymiana zdań z mandantem. Muszą one być możliwe do późniejszego usunięcia. Jeśli dźwięk został zapisany, usunięcie samego tekstu nie wystarczy: dźwięk w tym miejscu musi zostać nieodwracalnie nadpisany, z niewielkim marginesem bezpieczeństwa przed i po, w przeciwnym razie drugi etap rozpoznawania mógłby z czasem odtworzyć treść. W eksporcie z takiego miejsca nie pojawi się nic.

Narzędzia na co dzień w sali rozpraw

Rzeczywistą użyteczność zapis protokołu ujawnia dopiero wtedy, gdy pracuje podczas rozprawy, a nie dopiero po jej zakończeniu.

• Wyszukiwanie podczas bieżącego zapisu. Jeśli świadek po południu twierdzi coś przeciwnego niż to, co mówił rano, dane miejsce musi być możliwe do odnalezienia w ciągu kilku sekund, bez przerywania zapisu. Wyniki wyszukiwania są wyświetlane z godziną i oznaczeniem mówcy i można je skopiować jako cytat do konfrontacji.
• Wniosek na podstawie § 273 ust. 3 StPO. Jeśli dosłowne brzmienie wypowiedzi ma znaczenie, obrońca może wnioskować o jej pełne zapisanie i odczytanie. Oprogramowanie przejmuje zaznaczony tekst bezpośrednio do gotowego wniosku.
• Eksport. Plik edytora tekstu z danymi nagłówkowymi dotyczącymi sprawy oraz tabelą zawierającą tekst i adnotacje do każdego przesłuchania, z zaznaczonymi niepewnymi słowami i listą ustawionych znaczników.
• Niezawodność operacyjna. Ekran nie może blokować się podczas zapisu. Jeśli przez dłuższy czas nie dociera żaden dźwięk lub poziom sygnału jest praktycznie niemierzalny, oprogramowanie musi ostrzec użytkownika. Powinno ono również samodzielnie wybierać mikrofon: na wielu komputerach programy do wideokonferencji lub nagrywania instalują wirtualne urządzenia audio, które rejestrują się jako domyślne wejście. Oprogramowanie polegające na tym ustawieniu domyślnym może przez wiele godzin transkrybować ciszę.

Kluczowe pytanie architektoniczne: zapisywać dźwięk czy nie?

Ostatecznie każda decyzja projektowa sprowadza się do wyważenia racji. Zapisany dźwięk umożliwia drugi etap rozpoznawania, odsłuchanie poszczególnych miejsc podczas korekty oraz późniejsze ponowne przeliczenie separacji mówców. Bez dźwięku w pełni zachowane pozostają: zapis na żywo, oznaczanie niepewnych słów, kolumna adnotacji, uczące się słownictwo, wyszukiwanie i eksport.

Pod względem prawnym przetwarzanie ulotne jest – zgodnie z odpowiednią literaturą – traktowane jak sporządzanie notatek i jest dopuszczalne. Natomiast zapisywanie dźwięku wymaga zgody przewodniczącego składu i jest prawnie ryzykowne w przypadku niejawnych części rozprawy. Kto projektuje takie oprogramowanie, powinien wyciągnąć z tego wniosek: przetwarzanie ulotne jest wariantem normalnym, zaś zapis dźwięku stanowi świadomie włączany wyjątek dla postępowań, w których sąd wyraził na to zgodę.

Technika w służbie obrony

Dobry oprogramowanie do transkrypcji na sali sądowej to mniej kwestia najlepszego modelu rozpoznawania, a bardziej kwestia architektury. Działa lokalnie, traktuje dźwięk jako ulotny surowiec, przypisuje mówców bez ingerencji użytkownika, otwarcie sygnalizuje swoją niepewność, pozwala obrońcy odnotować obok rozpoznanego tekstu to, co sam usłyszał, i uczy się na każdej korekcie. Zbudowane w ten sposób zastępuje zawodną pamięć dosłownym zapisem i przywraca obrońcy uwagę, którą może poświęcić świadkowi.