V současné chvíli se se společností Fly4Future s.r.o. zabýváme výzkumem a vývojem ovládání a řízení většího počtu dronů, jejichž připravenost je doložena níže uvedenou dokumentací.
(Na uvedené činnosti je také podána žádost o podporu v Operačním programu Technologie a aplikace pro konkurenceschopnost.)
Uživatelské rozhraní pro ovládání více dronů
Uživatelské rozhraní dosud Fly4Future staví na dostupných open-source technologiích v rámci Systému ROS (Robot Operating System). Uživatelské rozhraní umožňuje jednoduchou interakci s mobilními agenty a vizualizaci standardizovaných dat z ROS. Systém je plně modulární a poskytuje možnost rozšíření funkcionalit pomocí pluginů třetích stran. Uživatelské rozhraní nabízí vizualizaci základních tvarů ve 3D a dále schopnost zobrazovat text. Dále poskytuje interaktivní elementy, kterými je možné mobilní roboty povelovat.
Nedostatky tohoto systému jsou převážně složitost ovládání běžným uživatelem “laikem”, a to z důvodů značné potřebné vstupní znalosti ROS, Linux a řídicího systému dronu. Dále je zde problematické nasazení tohoto rozhraní mimo operační systém Ubuntu ve spojení se systémem ROS. Nasazení rozhraní na tablet, mobilní telefon či běžný laptop je tedy zatím nemožné.
V experimentálním vývoji se nachází taktéž uživatelské rozhraní pro ovládání dronů běžnými uživateli. Rozhraní je vyvíjeno v rámci projektu KOLDRO (rozpracovaná průběžná zpráva je k dispozici zde). Rozhraní, prozatím vyvíjené pro ovládání pomocí standardních vstupů jako je myš a klávesnice, umožňuje zadávání misí, jakými jsou například skenování zadané oblasti. Video demonstruje použití uživatelského rozhraní v reálném prostředí.
Koordinace skupiny dronů
Koordinace skupin dronů v prostředí s GNSS je doména, kterou se Fly4Future zabývá dlouhodobě. Dosud se jednalo převážně o tzv. offboard plánování, kde pohyby formace byly plánované a rozvrhované na externím počítači a poté vzdáleně komunikované do jednotlivých bezpilotních prostředků. Limitace dosavadních metod se nachází ve využití speciálního počítače s operačním systémem Ubuntu a middleware Robot Operating System, tedy i zde je v aktuální chvíli problematické použití neodborným personálem. Dále se ještě neuskutečnilo plánování pohybu formací čistě pomocí uživatelského rozhraní. Od operátora formace se doposud vyžadovalo vkládání pokynů pro formaci pomocí programových instrukcí. Takto ovládané formace zatím slouží spíše jen pro demonstrační účely.
Koordinace dronů pod kontrolou Fly4Future byla představena v laboratorních podmínkách (a i mimo laboratoř) v rámci běžícího projektu KOLDRO (již zmíněného výše). V průběžné zprávě je prezentován systém a metody nasazení autonomních dronů s palubní umělou inteligencí pro plnění různorodé sady úkolů. Ukázka koordinovaného letu dronů v provizorním venkovním laboratorním prostředí je ke shlédnutí níže.
Metody pro nasazení dronů s palubní umělou inteligencí vycházejí ze spolupráce s ČVUT v Praze, FEL. V rámci výzkumu se Fly4Future podílí na vývoji open source systému MRS UAV System, který je určen pro experimentální nasazení autonomních bezpilotních prostředků. Součástí systému je velké množství instrukcí a manuál pro nasazení systému na reálných dronech a k provádění laboratorních experimentů a simulací.
Velké jazykové modely
Nedávné pokroky ve velkých jazykových modelech (Large Language Models) prokázaly jejich potenciál nejen pro konverzace, ale i pro samotné chování inteligentních agentů.
V GoodAI jsou tyto technologie aplikovány v doméně videoher. V současné době je vyvíjena videohra (která zatím není zveřejněna), kde jsou základní mechanikou techniky zpracování přirozeného jazyka, vedoucí k emergentnímu chování a konverzacím agentů (= videoherních postav) v dynamickém a nepředvídatelném prostředí videohry typu “sandbox“.
Zcela inovativní přístup spočívá v tom, že jsou jazykové modely využívány nejen ke konverzaci, ale i k plánování akcí agentů, aby byla interakce s nimi poutavá a pohlcující. To se liší od tradičního vývoje videoher, kde je chování postav předem naprogramováno a řízeno rozhodovacími stromy.
V průběhu vývoje videohry již byly do značné míry prozkoumány (a jsou nadále zkoumány) řady technických a vědeckých otázek:
- Jak vybavit videoherní postavy dlouhodobou pamětí?
- Jak agenti revidují svou představu o světě, když jsou konfrontováni s novými informacemi?
- Jak agenti vytváří plány, které mohou ve skutečnosti realizovat ve světě?
- Jak můžeme formovat osobnosti agentů?
Práce na těchto otázkách zahrnuje:
- Metody získávání dlouhodobé paměti.
- Jemné ladění modelů pro pravdivost a ovladatelnost.
- Prezentaci a revizi přesvědčení uložených ve znalostní bázi agentů ve formě přirozeného jazyka.
- Techniky pro modelování osobnosti agenta: uvažování řetězem myšlenek, hierarchické plánování konverzace, příprava dlouhodobé paměti.
- Řetězení emergentního chování agentů v prostředí, kdy ovlivňují a mění chování jak jiných agentů, tak i prostředí samotného.
Ukázka níže představuje interakci hráče se třemi agenty. Hráč požádá jednoho z agentů (postava prodavače) o slunečnici. Poté se trojice agentů mezi sebou domluví a vytvoří plán, jak dostat slunečnici ke hráči: jeden z agentů má semínka, druhý je zasadí a pak předá nazpět prodavači vzrostlou slunečnici. Prodavač ji předá hráči. Nejedná se o předem naskriptované chování, ale o zcela emergentní, předem nedefinovanou interakci:
Agenti ve videohře jsou emulované osobnosti s cíli a vzpomínkami. Jak to funguje?
- Osobnost agenta je popsána designéry ve formě textu.
- Pozorování a nedávné události jsou odeslány do jazykového modelu.
- Jazykový model generuje, co by tato osoba v této situaci udělala a řekla.
- Výstup je převeden na možné herní akce.
- Nejedná se o naskriptované chování (behaviorální stromy nebo tradiční plánovače). Klasické plánovače používáme pouze pro pohyb agentů v prostředí a vyhýbání se překážkám.
Přehled mechanismu rozhodování agentů:
Oproti reálnému světu představuje videohra ideální bezpečné testovací prostředí pro agenty na bází jazykových modelů. Stále je však potřeba brát zřetel na to, že se jedná o nedeterministické modely v dynamickém prostředí, a proto může docházet k chybám nebo nedostatkům, jako jsou falešné vzpomínky, nepochopení nebo neschopnost udržet dostatečně široké povědomí o kontextu (dlouhodobou paměť). Níže je příklad, kdy agent (dívka) opakovaně chybně identifikuje předmět (zaměňuje med a zlato):
V současné době je pracováno na překonání těchto nedostatků. Ačkoli věříme, že časem budou společným úsilím vědecké komunity zcela minimalizovány, počítáme s tím, že nasazení v reálném prostředí, jako je například osobní asistence v podobě chatbota nebo robotika, bude vyžadovat dostatečné mechanizmy ověření a princip „human in the loop”: agent automaticky nevykoná akci sám, ale nejdříve předloží uživateli plán. Uživatel následně plán schválí a nebo upraví skrze konverzaci s agentem.
Původní myšlenky tak byly experimentálně ověřeny ve virtuálním světě a výsledky ukazují, že nové technologie mohou splnit to, co se od nich očekává.
V reálném světě již také začalo docházet k prototypování uživatelského rozhraní pro integrování přirozeného jazyka u dronů (v návaznosti na pilotní projekt v Jihoafrické republice), kde se potvrdilo, že tato synergie má obrovský potenciál a může vést k mnohem širší adopci užitečných robotických technologií. Koncepční návrh uživatelského rozhraní s integrací velkých jazykových modelů dokládá video níže.