Gdy linie komunikacyjne są otwarte, poszczególni agenci, tacy jak roboty czy drony, mogą współpracować i wykonać zadanie. Co jednak, jeśli nie są one wyposażone w odpowiedni sprzęt lub sygnały są zablokowane, co uniemożliwia komunikację? Badacze z University of Illinois Urbana-Champaign zaczęli od tego trudniejszego wyzwania. Opracowali metodę szkolenia wielu agentów do współpracy przy użyciu wieloagentowego uczenia wzmacniającego, rodzaju sztucznej inteligencji.
„Jest to łatwiejsze, gdy agenci mogą ze sobą rozmawiać” – powiedział Huy Tran, inżynier lotniczy z Illinois. „Ale chcieliśmy to zrobić w sposób zdecentralizowany, co oznacza, że nie rozmawiają ze sobą. Skupiliśmy się również na sytuacjach, w których nie jest oczywiste, jakie powinny być różne role lub zadania dla agentów.”
Tran powiedział, że ten scenariusz jest znacznie bardziej złożony i jest trudniejszym problemem, ponieważ nie jest jasne, co powinien robić jeden agent w porównaniu z innym agentem.
„Interesującym pytaniem jest to, jak uczymy się wspólnie wykonywać zadanie w czasie” – powiedział Tran.
Tran i jego współpracownicy wykorzystali uczenie maszynowe do rozwiązania tego problemu, tworząc funkcję użyteczności, która mówi agentowi, kiedy robi coś użytecznego lub dobrego dla zespołu.
„W przypadku celów zespołowych trudno jest wiedzieć, kto przyczynił się do zwycięstwa” – powiedział. „Opracowaliśmy technikę uczenia maszynowego, która pozwala nam zidentyfikować, kiedy indywidualny agent przyczynia się do globalnego celu zespołu. Jeśli spojrzeć na to w kategoriach sportowych, jeden piłkarz może zdobyć bramkę, ale chcemy również wiedzieć o działaniach innych kolegów z drużyny, które doprowadziły do bramki, jak asysty. Trudno jest zrozumieć te opóźnione efekty”.
Algorytmy opracowane przez badaczy mogą również zidentyfikować, kiedy agent lub robot robi coś, co nie przyczynia się do osiągnięcia celu. „To nie jest tak, że robot wybrał, aby zrobić coś złego, tylko coś, co nie jest przydatne dla celu końcowego”.
Przetestowali swoje algorytmy za pomocą symulowanych gier, takich jak Capture the Flag i StarCraft, popularna gra komputerowa.
Możesz obejrzeć wideo Huy Tran demonstrującej powiązane badania wykorzystujące głębokie uczenie wzmacniające, aby pomóc robotom ocenić ich następny ruch w Capture the Flag.
„StarCraft może być nieco bardziej nieprzewidywalny — byliśmy podekscytowani widząc, że nasza metoda działa dobrze również w tym środowisku”.
Tran powiedział, że ten typ algorytmu ma zastosowanie w wielu rzeczywistych sytuacjach, takich jak nadzór wojskowy, roboty współpracujące ze sobą w magazynie, kontrola sygnalizacji świetlnej, autonomiczne pojazdy koordynujące dostawy lub kontrola sieci elektrycznej.
Tran powiedział, że Seung Hyun Kim zrobił większość teorii stojącej za pomysłem, kiedy był studentem studiów licencjackich studiującym inżynierię mechaniczną, z Neale Van Stralen, studentem aeronautyki, pomagającym w realizacji. Tran i Girish Chowdhary doradzali obu studentom. Praca została niedawno przedstawiona społeczności AI na konferencji Autonomous Agents and Multi-Agent Systems.
