AMIGOS, nowy program finansowany przez DARPA, ma na celu wykorzystanie sztucznej inteligencji i rozszerzonej rzeczywistości do tworzenia podręczników szkoleniowych w czasie rzeczywistym.
DARPA buduje instrukcję naprawy machin wojennych, które jeszcze nie istnieją. Takie jest założenie „Autonomous Multimodal Ingestion for Goal-Oriented Support” lub AMIGOS, nowego programu, w którym sztuczna inteligencja i rzeczywistość rozszerzona są wykorzystywane do tworzenia podręczników szkoleniowych w czasie rzeczywistym dla mechaników wojskowych i medyków.
16 grudnia dział badawczy Xeroxa PARC, we współpracy z Uniwersytetem Kalifornijskim Santa Barbara, Uniwersytetem w Rostocku i firmą zajmującą się rzeczywistością rozszerzoną Patched Reality, otrzymał kontrakt o wartości 5,8 miliona dolarów od DARPA, skrzydła Pentagonu zajmującego się projektami błękitnego nieba. Celem jest stworzenie programu, który poprowadzi użytkowników przez złożone operacje wykraczające poza ich dotychczasową wiedzę, na przykład umożliwienie mechanikowi naprawy maszyny, której nigdy wcześniej nie widzieli.
„Rzeczywistość rozszerzona, wizja komputerowa, przetwarzanie języka, przetwarzanie dialogów i wnioskowanie to technologie sztucznej inteligencji, które indywidualnie, ale nigdy w tak skoordynowany i synergiczny sposób, zrujnowały różne gałęzie przemysłu” — powiedział Charles Ortiz, główny badacz AMIGOS , „Wykorzystując istniejące materiały instruktażowe do tworzenia nowych wskazówek AR, projekt AMIGOS może przyspieszyć ten ruch, udostępniając na żądanie wskazówki dotyczące zadań i informacje zwrotne w czasie rzeczywistym”
AMIGOS mieści się w ramach szerszych celów badania DARPA dotyczącego percepcyjnego kierowania zadaniami, które działa z założeniem, że ludzie o ograniczonych możliwościach nie są w stanie dowiedzieć się wszystkiego o każdym fizycznym zadaniu, o którego wykonanie zostaną poproszeni przed wysłaniem ich w teren. A jednak ci ludzie będą musieli leczyć nowe urazy lub naprawiać nieznane maszyny, prawie z definicji pracy wojskowej.
Rozważ jeden z takich hipotetycznych scenariuszy. W bazie marynarki wojennej 2033 mechanik może otrzymać zadanie naprawy nowego rodzaju robota podwodnego, odzyskanego po uszkodzeniu. Schematy robota są przechowywane na serwerze w stanach, a inżynierowie, którzy go zbudowali, są dostępni na wezwanie po przebudzeniu. Ale mechanik nigdy wcześniej nie widział robota i jest jedyną fizycznie obecną osobą, która ma odpowiednie doświadczenie w jego naprawie.
Zakładając zestaw słuchawkowy zasilany przez AMIGOS, mechanik mógł spojrzeć na robota i znaleźć właz otwierający jego procesor. W trakcie jej pracy ta mechanika otrzyma wizualne przedstawienie kolejnych kroków, z których wszystkie są zasilane przez sztuczną inteligencję na tym samym serwerze, co schematy. Ta sztuczna inteligencja automatycznie generuje instrukcję obsługi, gdy mechanik kontynuuje naprawy, i daje instrukcje skalibrowane zgodnie z wiedzą, którą ten mechanik już posiadał, dzięki czemu nieznajomy czuje się znajomy.
Tak jak obiecano, AMIGOS oferuje przynajmniej pomoc wyjątkowo użytecznego przyjaciela, który dokładnie w chwili potrzeby poprowadzi kogoś przez nowe fizyczne zadanie po raz pierwszy.
Na razie program będzie pracował nad stworzeniem dwóch części składowych dla AMIGOS. Xerox opisuje jedno z nich jako narzędzie offline, które może skanować tekst z podręczników i innych materiałów instruktażowych, takich jak filmy, w celu stworzenia przewodnika krok po kroku potrzebnego do zadania. Drugi komponent będzie dostępny online i zamierza wykorzystać sztuczną inteligencję do dostosowania instrukcji podręcznika do przewodnika instruktażowego w czasie rzeczywistym. Komponent offline pozyskuje materiał edukacyjny, przygotowując go do użycia przez komponent online, który na podstawie przetworzonych podręczników generuje zaktualizowany przewodnik dla użytkownika w czasie rzeczywistym.
Jest to jednocześnie ćwiczenie w uczeniu się i narzędzie nauczania, oferujące wyniki w tempie interakcji.
„Oczekuje się, że personel wojskowy będzie wykonywał coraz większą liczbę zadań i bardziej złożonych zadań niż kiedykolwiek wcześniej”, czytamy w opisie DARPA dotyczącym percepcyjnych wskazówek dotyczących zadań. „Na przykład mechanicy są proszeni o naprawę większej liczby coraz bardziej wyrafinowanych maszyn i platform, a medycy są proszeni o wykonywanie większej liczby procedur przez dłuższy czas”.
Zarówno naprawa maszyn, jak i karoserii to zadania specjalistyczne, z wieloletnim szkoleniem i często zawodowymi wymogami ustawicznego kształcenia. Wydaje się, że żadna część AMIGOS nie może tego zastąpić. Zamiast tego, oferując wiedzę z instrukcji obsługi w czasie rzeczywistym i za pomocą zestawu słuchawkowego rzeczywistości rozszerzonej, AMIGOS może przekazać kluczową wiedzę osobom, które w przeciwnym razie nie miałyby jej.
Nauka w locie, nawet pod kierunkiem, nie jest idealna, ale jest o wiele lepsza niż medyk, który po prostu nie jest w stanie wyleczyć zagrażającego życiu urazu w terenie, ponieważ nie ma pewności, jak postępować.
