Agenci sztucznej inteligencji pomogą osobom z niepełnosprawnościami korzystać z internetu. Zastosowanie rozwiązania może być jednak dużo szersze

Naukowcy z Uniwersytetu Stanu Ohio opracowali model językowy służący jako agent SI. Jego zadaniem ma być przeglądanie stron internetowych i wykonywanie poleceń wydawanych przez użytkownika. Dzięki temu osoby niewidome oraz z niepełnosprawnością ruchową będą mogły w pełni korzystać z możliwości internetu. Twórcy zapewniają przy tym, że możliwości rozwiązania są dużo większe. Mogłoby ono analizować strony czy nawet całe systemy w celu opracowywania ich udoskonaleń.

– Są różne technologie wspomagające osoby z różnego rodzaju niepełnosprawnościami w dostępie do sieci, ale sytuacja jest daleka od ideału. Na przykład ktoś może korzystać z czytnika ekranu do odczytywania na głos zawartości strony internetowej, ale jest to dużo mniej efektywne w porównaniu do doświadczeń większości ludzi i dużo wolniejsze. Inni ludzie mogą przejrzeć treść strony i wybrać z niej, co chcą przeczytać. Często, aby te technologie wspomagające mogły działać najlepiej, twórcy poszczególnych stron internetowych powinni przestrzegać określonych standardów i najlepszych praktyk, aby dostosować je do tej technologii. Niestety, czego nie da się uniknąć, wielu projektantów stron internetowych nie realizuje tych zasad wcale lub robią to w nieodpowiedni sposób, co również przyczynia się do tego, że te technologie wspomagające działają w sposób odbiegający od optymalnego – mówi agencji Newseria Innowacje Yu Su z Uniwersytetu Stanu Ohio.

Chcąc poprawić dostęp osób z niepełnosprawnościami do internetu, badacze z Uniwersytetu Stanu Ohio rozpoczęli prace nad agentami sztucznej inteligencji, którzy będą mogli wykonywać zadania na dowolnej stronie internetowej, zlecane za pomocą prostych poleceń językowych.

– Chcieliśmy stworzyć coś, co określiliśmy jako ogólni agenci surfowania (ang. generalist web agents). Są to agenci SI, za pomocą których można wejść na dowolną stronę internetową, jedną z miliardów dostępnych, i wykonać określone zadanie. Agent SI zrozumie polecenie i zapozna się z treścią strony internetowej, chociaż widzi ją po raz pierwszy, oraz wykona polecenie – wyjaśnia Yu Su.

Badacze rozpoczęli działanie od stworzenia Mind2Web, pierwszego zbioru danych dla uniwersalnych agentów internetowych, który w pełni uwzględnia złożoną i dynamiczną naturę witryn internetowych w świecie rzeczywistym. Zespół wykonał ponad 2 tys. zadań opartych na 137 różnych witrynach internetowych, które następnie wykorzystał do przeszkolenia agenta. Zadania obejmowały m.in. rezerwowanie międzynarodowych lotów w jedną stronę i w obie strony, śledzenie kont gwiazd na Twitterze czy przeglądanie filmów komediowych z lat 1992–2017 udostępnianych w serwisie Netflix. Wiele z tych zadań było bardzo skomplikowanych. To na przykład rezerwacja jednego z międzynarodowych lotów, która wymagała aż 14 działań.

– Opracowaliśmy również modele oparte na dużych modelach językowych, takich jak ChatGPT, GPT-4, aby przeglądać kod i html stron internetowych i na tej podstawie wykonać polecenie użytkownika. Wyniki były jednak dość słabe, wskaźnik powodzenia okazał się niski. Następnie znacznie ulepszyliśmy narzędzie, uzupełniając je o dodatkowy wbudowany model.  Wtedy agenci mogli nie tylko przeglądać kod html jako tekst, ale także widzieć rendering wizualny strony, do którego mają dostęp ludzie. Okazało się, że to bardzo uprościło sprawę, podniosło znacznie wskaźnik powodzenia i zbliżyło go do zastosowania praktycznego – podkreśla naukowiec z Uniwersytetu Stanu Ohio.

W efekcie agent działa w sposób podobny do tego, jak zachowują się ludzie podczas przeglądania sieci. Jak podkreślają twórcy, ich model jest w stanie zrozumieć układ i funkcjonalność różnych witryn internetowych, wykorzystując jedynie zdolność do przetwarzania i przewidywania języka.

– Narzędzia te będą bardzo pomocne w dostępie do internetu osobom z wadą wzroku lub z niepełnosprawnością fizyczną, która utrudnia korzystanie z myszy czy klawiatury. Mogą one im pomóc w tym, aby ich doświadczenia z korzystaniem z internetu były dużo bardziej zbliżone do doświadczeń innych ludzi, w porównaniu do tradycyjnych technologii asystujących. Jednocześnie wiele innych osób może użyć tych narzędzi przy codziennym korzystaniu z sieci. Współczesne strony internetowe są bardzo złożone – po wejściu na stronę widzimy niezliczone banery, a chcemy tylko znaleźć konkretne informacje, które są ukryte. Jeśli posłużymy się agentem, który zrozumie taką złożoną stronę internetową i znajdzie na niej informacje za nas, zaoszczędzimy wiele czasu – zauważa Yu Su.

Choć model został stworzony z myślą o tym, by służył ludziom korzystającym z internetu, zwłaszcza tym, którzy mają to utrudnione z uwagi na niepełnosprawność, to twórcy podkreślają, że można go również wykorzystać do ulepszania rozwiązań z zakresu sztucznej inteligencji, takich jak np. ChatGPT. Rozwiązanie to zapełnia lukę komunikacyjną, jaka istnieje między ludźmi posługującymi się swoimi językami narodowymi a komputerami korzystającymi z języków programowania. To swoisty pomost między tymi sposobami komunikacji.

– W ten sposób użytkownicy będą mogli posługiwać się codziennym językiem komunikacji do porozumiewania się ze światem komputerów bez konieczności uczenia się nowych języków komputerowych. Aby przybliżyć ten temat, często korzystam z nieco oklepanego stwierdzenia – chcemy, aby maszyny rozumiały myślenie człowieka, ale nie żeby ludzie myśleli jak maszyny – mówi naukowiec.

Jak podkreśla, nowe rozwiązanie może służyć także podnoszeniu efektywności osób na co dzień korzystających z sieci, wyręczając ich w wyszukiwaniu niezbędnych informacji na stronie internetowej. Po drugie, jest także narzędziem demokratyzacji sztucznej inteligencji, czyli zwiększania jej dostępności dla szerokiego grona odbiorców.

– Wszelkie bariery w dostępie zwykle powiększają nierówności w społeczeństwie, ponieważ tylko dysponujące znacznymi zasobami organizacje i jednostki mogą mieć dostęp do najbardziej zaawansowanych technologii. Nie dotyczy to technologii SI, nad którą pracujemy, ponieważ jest ona dostępna dla każdego. Dzięki demokratyzacji zaawansowanych technologii SI mamy nadzieję umożliwić każdemu korzystanie z tych technologii do usprawnienia pracy i poprawy jakości życia oraz zapewnić udział w korzyściach płynących ze sztucznej inteligencji jako prawdopodobnie najpotężniejszej technologii automatyzacji naszych czasów – kwituje Yu Su.

Badacze zwracają jednak uwagę na to, że tego typu narzędzia mogą mieć też swoją ciemną stronę i stanowić wsparcie dla osób o niejasnych intencjach. Agenci SI mogą bowiem podejmować potencjalnie niebezpieczne działania zmierzające np. do szerzenia dezinformacji lub niewłaściwego wykorzystywania informacji finansowych.

Według PR Newswire światowy rynek dużych modeli językowych do 2029 roku osiągnie wartość prawie 41 mld dol. Dla porównania w 2022 roku było to 10,5 mld dol.