V posledních letech jsme se posunuli od vnímání dronů jako jednoduchého high-tech hračka pro nahrávání videí aby se staly klíčovým nástrojem v oblasti bezpečnosti, sledování a dokonce i ozbrojených konfliktů. A jak už to u jakékoli technologie, která se tak rychle rozvíjí, často bývá zvykem, že aspekt bezpečnosti a ochrany se ne vždy vyvíjí stejným tempem.
V této souvislosti skupina výzkumníků z Kalifornské univerzity v Irvine předvedla něco, co zní jako vtip, ale od něj má daleko: Některé autonomní drony je možné přilákat a neutralizovat pouze pomocí deštníku se specifickým barevným vzorem.Žádné rušičky rádia, žádné dálkové hackování, žádné sofistikované zbraně. Jen „divný“ deštník a trocha reverzního inženýrství toho, jak tato zařízení vnímají svět.
Proč autonomní drony vyvolávají rostoucí obavy
Vzestup dronů se v žádném případě neomezuje jen na volný čas. Čína, Rusko, Spojené státy a další země Agresivně prosazují vývoj bezpilotních letounů vybavených systémy umělé inteligence schopnými samostatného rozhodování. Už nemluvíme jen o létajících kamerách pro influencery, ale o autonomních platformách s taktickými a sledovacími aplikacemi.
Velmi jasný příklad lze nalézt ve válce Rusko a Ukrajinakde byly nasazeny nejrůznější drony: kamikadze zařízení, sledovací jednotky, systémy propojené s optickými kabely pro zlepšení přenosu dat atd. K tomu se přidávají vývoje hraničící se sci-fi, jako například ruské experimenty s údajnými holubi se proměnili v biodrony, které ilustrují, do jaké míry jsou někteří aktéři ochotni prozkoumat jakoukoli technologickou cestu k získání výhod na bojišti.
Problém je v tom, že tatáž technologie, když je přenesena do civilního sektoru, otevírá dveře mnohem nepříjemnějším scénářům: neustálé sledování lidí, neoprávněné automatické sledování, sběr dat na citlivých místech nebo jednoduše narušení každodenního soukromí kohokoli, kdo se s jedním z těchto zařízení setká v nevhodnou chvíli.
Masové zavádění dronů s autonomními sledovacími funkcemi v úkolech, jako je soukromá bezpečnost, dohled nad hranicemiKontrola davu nebo hlídkování kritické infrastruktury rozšiřuje jejich operační možnosti… ale zároveň znásobuje rizikové vektory. Nejen proto, že drony mohou selhat, ale také proto, že s nimi lze manipulovat, oklamat je nebo je použít proti těm, kteří je provozují.
Vzhledem k této situaci je čím dál jasnější, že nestačí šifrovat komunikaci nebo chránit rádiová pásma. Skutečná bitva se odehrává i na fyzické půdě, v tom, jak algoritmy vidění a umělé inteligence interpretují to, co vidí skrz kameru dronu, a jak reagují na vizuální vzory, které je mají zmást.
Výzkum UC Irvine: zastřešující prostředek proti umělé inteligenci
Místo vývoje nového útočného dronu tým... Kalifornská univerzita v Irvine (UC Irvine) Rozhodl se k problému přistupovat z druhé strany: jak se fyzicky chránit před autonomními sledovacími systémy založenými na umělé inteligenci. Jeho cíl byl jasný: zlepšit tzv. „fyzickou kybernetickou bezpečnost“ pomocí předměty denní potřeby a levné věci, bez spoléhání se na specializovaný hardware nebo pokročilé znalosti hackingu.
Během svého vyšetřování experti důkladně analyzovali, jak fungují sledovací algoritmy zabudované do mnoha komerčních dronů. Konkrétně se zaměřili na funkce komerčně známé jako Active Track, Dynamic Track nebo jiné podobné systémykteré umožňují dronu automaticky sledovat osobu nebo objekt pomocí počítačového vidění, aniž by pilot musel neustále ručně upravovat trajektorii.
Po několika experimentech objevili překvapivě jednoduchou slabinu: určité modely dronů, které fungují Sledování cíle pomocí neuronových sítí a analýzy pohybu obrazu Mohou být zmatené, pokud jsou prezentovány s velmi specifickým vizuálním vzorem. Tato metoda byla pojmenována jako FlyTrap, „past na muchy“, což odkazuje na způsob, jakým láká dron do pozice, kde jej lze zajmout nebo sestřelit.
Nejpozoruhodnější na celém případu je, že praktická implementace FlyTrapu byla provedena pomocí něčeho tak běžného, jako je deštník. Vyražením příslušného vizuálního vzoru na povrch deštníku A když ho otevřete před dronem, sledovací umělá inteligence interpretuje řadu změn v obraze, které ji vedou k domněnce, že se cíl pohybuje pryč, i když osoba, která ho drží, stojí.
Výsledky byly prezentovány na mezinárodní konferenci specializující se na počítačovou bezpečnost (NDSS), kde bylo podrobně uvedeno, že tento přístup není pouhou laboratorní kuriozitou. Testy ukázaly, že fyzický útok funguje za různých podmínek.se změnami osvětlení a počasí, což se nebezpečně přibližuje scénáři reálného použití mimo kontrolované prostředí.
Jak útok FlyTrap funguje krok za krokem (na koncepční úrovni)
Abychom pochopili, proč může deštník postavit autonomní dron do obtížné situace, musíme se podívat na to, jak fungují systémy sledování cílů založené na... umělé viděníV podstatě dron nepřetržitě zachycuje snímky svého okolí a pomocí neuronových sítí a algoritmů pro analýzu pohybu se v každém snímku pokouší najít objekt, který by měl sledovat.
Tyto algoritmy se zaměřují na vzory tvaru, barvy, kontrastu a pohybu odhadnout, kde se objekt na aktuálním snímku nachází vzhledem k předchozímu. Z těchto informací vypočítají, zda se objekt blíží, vzdaluje, uhýbá do strany, skrývá se za překážkou atd. Dron poté upraví svou rychlost a trajektorii tak, aby udržel objekt v záběru ve vzdálenosti považované za „optimální“.
Útok FlyTrap využívá právě tuto logiku. Grafický vzor navržený pro deštník způsobuje, že dron generuje vzory, když se dron byť jen nepatrně pohne nebo změní úhel pohledu. zjevné změny v měřítku a poloze cíle což algoritmus interpretuje jako nepřetržitý pohyb pryč. Umělá inteligence se domnívá, že se subjekt pohybuje dozadu, i když ve skutečnosti stojí na místě.
Co tedy dron dělá? Aby kompenzoval tuto údajnou vzdálenost, postupně zkracujte vzdálenostSnaha „přiblížit se“ k objektu, aby se zachovala kompozice podle vnitřních pravidel sledovacího systému. Výsledkem je, že letadlo vstupuje do stále agresivnější přibližovací spirály… dokud se nebezpečně nepřiblíží k deštníku a osobě, která ho nese.
Když je dron velmi blízko, má útočný operátor velmi výhodnou rezervu: může chytit ho sítí, zasáhnout ho, destabilizovat ho nebo ho srazit proti blízkému povrchu. Na rozdíl od jiných obranných metod, jejichž jediným cílem je přimět dron, aby ztratil cíl nebo přestal sledovat, vám FlyTrap umožňuje dostat ho přímo do ideální polohy pro fyzickou neutralizaci.
Dotčené modely dronů a skutečný rozsah problému
Výzkumníci z Kalifornské univerzity v Irvine se nezastavili pouze u simulací; svou techniku otestovali s... skutečné komerční dronyMezi úspěšně vyhodnocené modely patří:
- DJI Mini 4 Pro
- DJI Neo
- Vznášející se vzduch X1
Všechna tato zařízení obsahují automatické sledovací funkce založené na počítačovém vidění, které jsou teoreticky navrženy tak, aby usnadňovaly dynamické záběry, aniž by se pilot musel starat o kameru. Přesně ta schopnost autonomně sledovat uživatele Je to ten, který se obrátí proti němu, když se do hry dostane vzorec jako FlyTrap.
V testech byly drony dostatečně přitahovány, aby byl jejich provoz životaschopný. zachycení pomocí síťových zařízení nebo jeho řízený dopadJinými slovy, nešlo jen o to, aby se algoritmus na chvíli zmátl, ale o vynucení trvalého fyzického přiblížení, které by zařízení nechalo na milost a nemilost útočníka.
Výzkumníci odpovědní za studii jednali v souladu s osvědčenými postupy komunity kybernetické bezpečnosti a Zranitelnost komunikovali zodpovědně. zúčastněným výrobcům před zveřejněním všech podrobností. To otevírá dveře společnostem jako DJI a dalším dotčeným firmám k revizi svých sledovacích algoritmů a implementaci protiopatření v budoucích aktualizacích firmwaru nebo generacích hardwaru.
Nicméně, kromě těchto specifických modelů, objev má mnohem širší důsledkyJakýkoli UAS (bezpilotní letecký systém), který se spoléhá na neuronové sítě ke sledování cílů pomocí počítačového vidění, by mohl být náchylný k variacím stejného přístupu, pokud není speciálně vyškolen k odolávání těmto typům nepřátelských vzorců.
Fyzický útok, který nevyžaduje rádio, hacking ani rušení
Jednou z klíčových vlastností FlyTrapu je, že funguje výhradně v fyzická doménaNevyžaduje zasahování do komunikace dronu, přístup k jeho datovému spojení ani zneužívání tradičních softwarových zranitelností. Útok funguje, protože manipuluje s tím, co vidí kamera dronu, a tedy s tím, co se podle algoritmů umělé inteligence děje.
V praxi to znamená, že útočník nemusí vydávat rádiové signály, WiFi, GPS nebo podobnéTaké nevyžaduje žádné připojení k dronu, přístupová oprávnění ani přihlašovací údaje. Stačí mu ukázat fyzický objekt určený k využití jeho kognitivních slepých míst, což je něco, co je mnohem obtížnější sledovat a blokovat standardními obrannými mechanismy.
Tento přístup zapadá do tzv. nepřátelské útoky ve fyzickém světěToto je stále relevantnější směr výzkumu. Stejně jako byly vytvořeny brýle, trička nebo samolepky, které dokáží oklamat systémy rozpoznávání obličeje nebo autonomní vozidla, zde se používá deštník k vyřazení sledovacích algoritmů dronu.
Navíc jsou náklady směšně nízké ve srovnání s zdroji obvykle spojenými s elektronickým bojem nebo sestřelením bezpilotních letadel. Není potřeba žádné drahé vybavení, speciální antény ani odborné znalosti v oblasti rádiových technologií.Vše, co potřebujete, je deštník se správným designem a trochu dovednosti, abyste se umístili na správné místo, když je dron v režimu sledování.
Tato asymetrie mezi cenou pokročilého dronu a náklady na jeho neutralizaci pomocí tak běžného objektu má přímý dopad na to, jak bychom měli o... zabezpečení kritické infrastruktury, nasazení policie nebo hraniceZlomyslný aktér by teoreticky mohl pomocí těchto technik přiblížit sledovací drony k omezeným oblastem a poté je deaktivovat nebo nechat spadnout tam, kde chce.
Důsledky pro bezpečnost, soukromí a hromadné nasazení dronů
Šíření bezpilotních letadel poháněných umělá inteligence To představuje obrovskou výzvu pro veřejnou bezpečnost. Vidíme stále více projektů, které navrhují využití rojů dronů k hlídkování ve městech, monitorování hranic nebo dohledu nad velkými akcemi. Studie UC Irvine však ukazuje, že bez posílení algoritmů vnímání spočívá celé toto nasazení na poměrně křehkých základech.
Na operační úrovni by mohl být útok FlyTrap použit jak ofenzivně, tak obranně. Na jedné straně by někdo mohl neutralizovat policejní nebo hraniční dronyTo ohrožuje reakční kapacitu bezpečnostních složek v konkrétní oblasti. Na druhou stranu, osoba obtěžovaná dronem nebo oběť špionáže s komerčním zařízením by mohla použít stejný mechanismus k obraně s jednoduchým upraveným deštníkem.
Je tu také aspekt ochrana strategické infrastruktury (elektrárny, dopravní zařízení, datová centra atd.). Pokud se tato místa spoléhají na autonomní drony jako doplněk ke svým sledovacím systémům, zranitelnost jako FlyTrap zvyšuje riziko, že útočník by mohl obejít část detekčního systému pouze pomocí fyzického objektu bez jakékoli elektronické interakce.
Studie tak vysílá jasný signál: Zabezpečení dronů se nemůže omezit pouze na elektronickou nebo síťovou vrstvuZabezpečení datových spojení, šifrování komunikace a ochrana softwaru jsou nezbytné, ale nedostatečné, pokud jsou algoritmy vidění oklamány barevnými vzory vytištěnými na deštníku. Odolnost se musí vztahovat i na to, jak umělá inteligence interpretuje fyzické prostředí a jak je odolná vůči úmyslné manipulaci.
S tím, jak se používání autonomních dronů stává stále rozšířenějším v městské prostředí a citlivé provozyTyto typy útoků přestanou být akademickou kuriozitou a stanou se faktorem, který budou muset výrobci, regulační orgány a provozovatelé zvažovat již od fáze návrhu. Ignorování těchto zranitelností může být nákladné, jakmile již dojde k rozsáhlému nasazení.
Omezení útoku a možné obranné linie
I když je představa „sestřelení dronu deštníkem“ velmi lákavá, neměli byste si myslet, že postačí jen tak ledajaký barevný deštník. Vzor FlyTrap je pečlivě navržen zneužít specifické slabiny v testovaných algoritmech. Není to univerzální trik, který bude automaticky fungovat se všemi drony nebo za každých okolností.
Útok navíc vyžaduje, aby dron využíval funkce autonomní sledování založené na zrakuPokud operátor pilotuje letadlo výhradně ručně, nebo pokud je naváděno jinými senzory (jako je LIDAR, radar nebo pokročilé kombinace senzorů), může se prostor pro oklamání umělé inteligence pouze pomocí vizuálního vzoru snížit nebo dokonce zmizet.
Dalším praktickým omezením je nutnost fyzicky přiblížit deštník k zornému poli dronuV situacích, kdy zařízení letí ve vysoké nadmořské výšce nebo udržuje vzdálenost několika kilometrů od cíle, nemusí být dosažení této blízkosti realistické. FlyTrap je obzvláště nebezpečný v situacích s nízkým letem, při blízkém sledování osob nebo v městském prostředí s úzkými trasami.
Z obranného hlediska existuje několik možných postupů. Jedním z nich je přeškolení modelů vidění Využívají příklady nepřátelských vzorců, jako je FlyTrap, aby se naučili rozpoznávat je jako anomálie a vyhnuli se pádu do pasti nekontrolovatelného přiblížení. Další možností je kombinovat vizuální informace s dalšími zdroji (hloubka, inerciální senzory, 3D mapy), aby se vyhnuli spoléhání se pouze na to, co vidí kamera.
Je také rozumné to zavést do firmwaru. limity blízkosti a další bezpečnostní pravidlaTato opatření brání dronu v přiblížení se k cíli na méně než určitou vzdálenost, pokud detekuje neobvyklé nebo nekonzistentní vizuální změny. To sice nemusí zcela eliminovat klam, ale snížilo by to pravděpodobnost, že dron dosáhne pozice, kde jej lze snadno zachytit ručně nebo sítí.
A konečně, na regulační úrovni, orgány odpovědné za certifikaci dronů pro použití bezpečnostní, policejní nebo dohled nad infrastrukturou Do svých hodnocení budou muset zahrnout testy proti tomuto typu fyzického útoku. Použití dronu k natáčení horské scény není totéž jako jeho použití k hlídkování na hranici: požadovaná úroveň robustnosti by se měla zřetelně lišit.
To vše vede k kurióznímu scénáři: čím „chytřejší“ drony vyrábíme pomocí umělé inteligence, Důležitější bude myslet jako kreativní útočník který se snaží najít zkratky v reálném světě, aby je oklamal. A právě tam se protagonistou může stát zdánlivě nevinný předmět, jako je barevný deštník.
Stručně řečeno, tyto studie ukazují, že Bezpečnost autonomních systémů není jen otázkou firewallů a šifrováníale také pochopit, jak vnímají prostředí, jaké zkratky jejich algoritmy používají a jak jednoduchý grafický vzorec může proměnit pokročilý bezpilotní letoun v něco stejně zranitelného, jako je moucha přilákaná dobře navrženou pastí.