Et nytt rammeverk for å spore AI-integrerte trusler

Sikkerhetsforskere har i de siste årene advart om at kriminelle til slutt ville bygge programvare som er i stand til å bruke kunstig intelligens på egen hånd, uten et menneske som skriver kommandoer bak kulissene. Den advarselen har nå blitt en dokumentert virkelighet. Forskere hos Cisco Talos utviklet et nytt deteksjonsrammeverk designet spesifikt for å identifisere programvare og hackingverktøy som støtter seg på AI-chatboter for beslutningstaking. Mens de testet verktøyet, fant de noe de ikke forventet: ondsinnet programvare som rådfører seg med flere store språkmodeller for å avgjøre hva den skal gjøre neste gang, uten en operatør som styrer den i sanntid.

Rammeverket, som er bygget for å klassifisere og analysere AI-integrert programvare, ga Talos en måte å oppdage mønstre som tradisjonelle antivirus-signaturer og atferdsanalyse har en tendens til å overse. I stedet for bare å lete etter kjent ondsinnet kode, ser verktøyet etter de avslørende tegnene på programvare som spør AI-modeller midt i utførelsen, og i praksis spør en chatbot hvilket steg den skal ta neste gang i et kompromittert system.

Inne i CLOSEDQUORUM: Programvare med sitt eget AI-råd

Det mest slående funnet fra denne forskningen er et stykke programvare som forskerne har kalt CLOSEDQUORUM. I stedet for å stole på en enkelt AI-modell for veiledning, tar CLOSEDQUORUM angivelig kontakt med flere forskjellige store språkmodeller og veier svarene deres før den handler, og fungerer nesten som en liten komité av AI-rådgivere som tar beslutninger sammen. Det er dette designet som har fått noen i sikkerhetsmiljøet til å beskrive det som et AI-«hive mind» som styrer ondsinnet aktivitet.

Dette er viktig fordi det fjerner en av de største begrensningene for cyberkriminalitet: behovet for at et menneske forblir involvert. Tradisjonell programvare trenger ofte en operatør for å sende nye kommandoer, justere taktikker når forsvar endres, eller bestemme hvordan den skal reagere på en uventet hindring. Programvare som kan forespørre flere AI-systemer og syntetisere innspillene deres, kan potensielt tilpasse seg på egen hånd, i maskinens hastighet, uten å vente på at en person skal logge seg på og gi instruksjoner.

Denne oppdagelsen kommer sammen med andre nylige funn som peker i samme retning. Tidligere i år bekreftet Googles Threat Intelligence Group at AI allerede brukes til å drive utvikling av zero-day-exploits, noe som viser at AI sin rolle i offensive cyberoperasjoner har beveget seg godt forbi teoretisk diskusjon. Talos' oppdagelse av CLOSEDQUORUM legger til nok et datapunkt: AI hjelper ikke bare angripere med å skrive kode raskere, den bygges direkte inn i programvarens operasjonelle logikk.

Personvernimplikasjoner av autonom programvare

For vanlige internettbrukere reiser fremveksten av AI-styrt programvare som CLOSEDQUORUM reelle personvernbekymringer, selv om de umiddelbare tekniske detaljene er rettet mot bedriftsforsvarere. Programvare som uavhengig kan bestemme hvordan den skal bevege seg gjennom et nettverk, hvilke data som ser verdifulle ut, eller hvordan den skal unngå å bli oppdaget, kan være langt mer effektiv til å lokalisere og eksfiltrere personopplysninger enn programvare som er avhengig av at en menneskelig operatør sjekker inn med jevne mellomrom.

Autonom beslutningstaking kompliserer også attribusjon og respons. Når en menneskelig operatør styrer et angrep, kan sikkerhetsteam noen ganger forutse atferd basert på kjente mønstre knyttet til en bestemt gruppe. Programvare som rådfører seg med AI-modeller underveis kan oppføre seg mindre forutsigbart og generere nye angrepsveier som ikke samsvarer med noen tidligere katalogisert teknikk. Den uforutsigbarheten er nettopp grunnen til at Talos bygde et dedikert rammeverk i stedet for å stole på eksisterende deteksjonsmetoder; målet er å fange AI-integrerte trusler før de i stillhet kan høste påloggingsopplysninger, finansdata eller personlige filer.

Hva dette betyr for deg

De fleste enkeltbrukere vil ikke bli direkte mål for avansert AI-styrt programvare som CLOSEDQUORUM på kort sikt. Verktøy som dette dukker først opp i målrettede inntrengninger mot bedrifter, infrastruktur eller nettverk med høy verdi. Men den underliggende trenden betyr noe for alle: etter hvert som AI senker den tekniske terskelen for å bygge adaptiv ondsinnet programvare, vil volumet og raffinementet av angrep som når vanlige forbrukere sannsynligvis øke over tid. Phishing-e-poster, falske påloggingssider og ondsinnede nedlastinger kan i økende grad bli generert eller finjustert med AI-assistanse, noe som gjør dem vanskeligere å oppdage med det gamle rådet «se etter skrivefeil og dårlig grammatikk».

Det faktum at forskere bygger deteksjonsrammeverk spesifikt for AI-integrerte trusler, er et positivt tegn. Det betyr at sikkerhetsmiljøet behandler dette som en prioritet nå, i stedet for å reagere etter at AI-styrt programvare blir utbredt.

Handlingsrettede råd

  • Hold operativsystemer, nettlesere og sikkerhetsprogramvare oppdatert, siden oppdaterte systemer fortsatt er første forsvarslinje mot både tradisjonell og AI-assistert programvare.
  • Vær skeptisk til uventede meldinger eller lenker selv når de virker godt skrevet og feilfrie, siden AI nå kan hjelpe angripere med å produsere overbevisende innhold i stor skala.
  • Bruk en anerkjent passordbehandler og aktiver multifaktorautentisering der det er mulig, noe som reduserer verdien av enhver enkelt stjålet påloggingsinformasjon.
  • Følg rapportering fra etablerte sikkerhetsforskere for å holde deg klar over hvordan AI endrer trussellandskapet, i stedet for å stole på antakelser om hva programvare kan eller ikke kan gjøre.

AI-styrt programvare som CLOSEDQUORUM er en påminnelse om at cybersikkerhetstrusler utvikler seg kontinuerlig, og nye deteksjonsrammeverk er et av de sterkeste verktøyene forskere har for å holde seg i forkant. Å holde seg informert om utviklingen som denne er en av de enkleste måtene å beskytte ditt eget personvern i månedene som kommer.