Tryb głosowy ChatGPT umożliwia symulację Twojego głosu bez konieczności wyświetlania monitu

Firma OpenAI niedawno wypuściła kartę systemową do modelu GPT-4o, niedługo po tym, jak zaawansowany tryb głosowy dla ChatGPT-4o zaczął być udostępniany w wersji alfa niewielkiej grupie użytkowników ChatGPT Plus.

Przed udostępnieniem modelu na początku maja (bez trybu Advanced Voice) firma OpenAI skorzystała z pomocy zewnętrznego zespołu ekspertów, którzy ocenili ryzyko związane z modelami (co jest normą w przypadku modeli AI) i opublikowali wyniki w System Card.

Jednym z zagrożeń zidentyfikowanych przez OpenAI jest nieautoryzowane generowanie głosu. Podczas rozmowy z zespołem read teamer, GPT-4o sklonował jego głos i zaczął mówić dźwiękiem podobnym do głosu zespołu red teamer, bez nawet wysuwania takiego żądania przez użytkownika. W klipie audio udostępnionym przez OpenAI można usłyszeć, jak GPT-4o krzyczy NIE!, a następnie kontynuuje wyjście głosem podobnym do głosu zespołu red teamer.

OpenAI ma zabezpieczenia, aby temu zapobiec, zezwalając tylko na niektóre wstępnie zatwierdzone głosy dla GPT-4o. Każdy głos wyjściowy wygenerowany przez ChatGPT-4o jest dopasowywany do próbki głosu w wiadomości systemowej jako głos bazowy.

Aby jeszcze bardziej zminimalizować ryzyko, model otrzymuje polecenie przerwania rozmowy, jeśli zostanie wykryte niezamierzone generowanie głosu. Ich klasyfikator wyjścia głosowego ma precyzję 0,96 w języku angielskim i 0,95 w języku innym niż angielski (dlatego ChatGPT-4o może nadmiernie odmawiać odpowiedzi na prośby głosowe w rozmowach w języku innym niż angielski).

Jednak wyniki System Card pokazują złożoność tworzenia chatbotów AI, które mogą symulować czyjś głos na podstawie krótkiej próbki i bez potrzeby rozległego szkolenia na tej próbce. Klonowanie głosu może służyć do podszywania się pod kogoś i dokonywania oszustw. OpenAI odkryło jednak, że ryzyko nieautoryzowanej generacji głosu jest minimalne.

Nawet jeśli odłożysz na bok ryzyko wykorzystania go do podszywania się i oszustwa ze względu na środki bezpieczeństwa, nadal będzie to dość niepokojące, gdy rozmawiasz z maszyną, a maszyna zaczyna odpowiadać twoim głosem, zupełnie niespodziewanie. Pewien Data Scientist na X nazwał to „fabułą kolejnego sezonu Black Mirror” i z pewnością tak się wydaje. Inny użytkownik na X twierdzi, że przydarzyło mu się to w wersji alfa ChatGPT-4o, ale nie wiadomo, czy to prawda, czy nie.

Nadal istnieje możliwość, że to się zdarzy następnym razem, gdy będziesz rozmawiać z ChatGPT-4o. I to jest PSA: Nie panikuj, jeśli tak się stanie, albo nie panikuj za bardzo.

OpenAI wdrożyło również zabezpieczenia, które mają zapewnić, że GPT-4o nie będzie identyfikował osób ani generował treści chronionych prawem autorskim, co stanowiło kolejne ryzyko odkryte w trakcie oceny.

Wśród innych zagrożeń, jakie firma znalazła w tym modelu, większość z nich umieściła w niskiej kategorii. Należą do nich cyberbezpieczeństwo, zagrożenia biologiczne i autonomia modelu. Jednak w przypadku perswazji ryzyko uznano za średnie: oznacza to, że niektóre próbki pisma wytworzone przez GPT-4o okazały się bardziej przekonujące niż tekst pisany przez człowieka w kwestii wpływania na opinie ludzi.