Guide to prevent AI-powered fraud

This article is also available in Slovakian.

In recent years, we have witnessed an exponential increase in AI-based fraud. With the advent of big language models and generative AI (GenAI) – most known from the popular chatbot ChatGPT - fraudsters have been given an arsenal of tools that, with minimal technical knowledge, can assist in deployment in large scale frauds that target thousands, or enhance fraudsters abilities in successfully targeting one specific person or company.

In this guide we aim to provide a basic set of tips to avoid being defrauded, as well as tips in case you fall victim to fraud.

How is AI used in fraud:

1. Generative text and image content – GenAI is being used to create fabricated content, whether that be emails, instant messages, or other content, tailored to impersonate respectable or trustworthy institutions (banks, state authorities, IT companies) or persons (CEOs of business partners, business contacts, family or friends). GenAI can also be used to create fabricated images which can be used as evidence in fraudulent insurance claims.
2. AI enabled chatbots – sophisticated chatbots are being used to converse with potential victims to manipulate them into making payments.
3. Deep fake videos– i.e. videos generated via GenAI are being used to bypass security controls or to impersonate CEOs or other officers to convince employees to make payments or reveal confidential information.

    

   Deep fake videos can also be used to impersonate public figures to drive sales of a product they seemingly endorse or to direct users to a phishing site. One such case is currently being investigated in the UK, where scammers used the identity of a known TV presenter and adventurer, Mr. Ben Fogle, to lure victims into fake investment platform.

4. Voice cloning– we see rise in deep fake voice cloning used to target employees of companies for fraud, with fraudsters using this tool to mimic the voice of their supervisor or the company's CEO, instructing them to do something.

    

   Example: An employee could receive a call from somebody asking them to make a payment to a certain account, but the caller's voice has been cloned to resemble the voice of their superior. This type of fraud is commonly used in tandem with manipulation techniques. Fraudsters tend to induce stress to the targeted employee, with emphasis on time sensitivity and secrecy of the payment, or guilt if they start to question the nature of the payment.

   More sophisticated AI systems can not only mimic the desired language and tone but also use emotion-inducing intonation to make the call more persuasive. Voice cloning is also being used to try to penetrate bank's biometric ID systems.

5. Sophisticated targeting of victims – AI tools can be used to review large volumes of data and tailor scam content to victim's particular vulnerabilities. This type of scam is known as "spearfishing" and can be done on an automated basis and therefore on a larger scale using AI.

Basic steps for fraud prevention and recognition:

1. Hardware and software tools to help verify the origin of a message or its author.
2. Training staff, particularly those with account dispositions, on the risks of fraud - methods of recognising manipulation, the need to assertively request pre-verification of the transaction and verifying the identity of the person ordering it.
3. Setting up a four-eyes check for payments over a certain amount and setting up a standardised, pre-agreed payment approval process.
4. Verification and training on the bank's fraud reporting procedure - verification of who has the authority to report fraud and stop the transaction, possible verification/consultation with the bank on how the bank will handle fraud reporting and what time limits the bank has to process the transaction.
5. Ensuring that there is always a person available with sufficient authority to stop the transaction (regardless of whether the company has domestic or foreign executives).
6. Verifying with the bank what methods it uses to detect unusual activity, whether it uses automatic unusual transaction flagging tools and preferring a bank that keeps on the bleeding edge of fraud prevention technologies.

In case the preventative measures fail, and you or your company become a victim of fraud, it’s crucial to act decisively within the first few hours. For this purpose, we at Taylor Wessing developed a step-by-step manual:

1. Find a lawyer with expertise in fraud cases and with an international network. This legal representation is vital for navigating the complexities of recovery and legal proceedings.
2. Contact your bank. Notify your bank immediately about the fraudulent transaction. File a request to halt any outgoing funds related to the scam. If the money has already been transferred, instruct your bank to send a SWIFT message to the recipient's bank, indicating that the incoming funds are suspected proceeds of fraud.
3. File a criminal complaint. Go to your local police station to file a criminal complaint regarding the fraud while requesting that via the local Interpol office a report of the incoming payment shall be sent directly to Interpol in the country where the money is heading, so that it can be blocked in the recipient's account.
4. Reach out to the Financial Intelligence Unit in your country.They may have mechanisms and direct secure communication channels to block the funds via their foreign counterparts (e.g. within the Egmont Group).
5. Engage a foreign legal representation. If the funds are located in another country, it is essential to hire a local law firm who can communicate with the local police or bank holding the funds before they are released to the fraudster.
6. File a criminal complaint in the foreign jurisdiction where the money has been sent. This step is crucial for long-term blocking of the funds by the foreign bank.

If the described procedure is successful, the money will remain blocked in the fraudster's foreign account and the foreign law firm can initiate the process of recovering the stolen funds.

As AI-driven fraud continues to evolve, protecting your company requires vigilance and a proactive approach. If your business has been affected by AI-powered fraud or you simply have more questions on how to protect your business, please feel free to contact us. We at TaylorWessing have substantial experience assisting clients through these complex situations and we are ready to provide the support and guidance you need to address these challenges.

Sprievodca prevenciou voči podvodom s umelou inteligenciou

V ostatných rokoch sme svedkami exponenciálneho nárastu podvodov založených na umelej inteligencii. S príchodom veľkých jazykových modelov a generatívnej umelej inteligencie (GenAI) - najviac známej z populárneho chatbota ChatGPT - dostali podvodníci do rúk arzenál nástrojov, ktoré môžu s minimálnymi technickými znalosťami využiť pri rozsiahlych podvodoch zameraných na tisíce ľudí alebo zvýšiť schopnosti podvodníkov pri úspešnom zameraní sa na jednu konkrétnu osobu alebo spoločnosť.

V tomto sprievodcovi sa snažíme poskytnúť základný súbor rád, ako sa vyhnúť podvodu, ako aj tipy pre prípad, že sa stanete obeťou podvodu.

Ako sa umelá inteligencia používa pri podvodoch:

1. Generovanie textového a obrazového obsahu - GenAI sa používa na vytváranie falošného obsahu – či už ide o e-maily, okamžité správy alebo iný obsah – ktorý sa vydáva za obsah od serióznych alebo dôveryhodných inštitúcií (banky, štátne orgány, IT spoločnosti) alebo osôb (CEO a riaditelia obchodných partnerov, rodina alebo priatelia). GenAI možno tiež použiť aj na vytváranie falošných obrázkov, ktoré sa môžu použiť ako dôkaz pri podvodných poistných nárokoch.
2. Chatboti s umelou inteligenciou - sofistikovaní chatboti sa používajú na konverzácie s potenciálnymi obeťami s cieľom prinútiť ich k platbám.
3. Deepfake videá - t. j. videá vytvorené prostredníctvom GenAI sa používajú na obchádzanie bezpečnostných kontrol alebo na vydávanie sa za riaditeľov alebo iných vedúcich pracovníkov s cieľom presvedčiť zamestnancov, aby vykonali platby na podvodný účet, či prezradili dôverné informácie.  

    

   Deepfake videá možno použiť aj na napodobenie verejných osobností s cieľom podporiť predaj podvodného produktu, alebo nasmerovať používateľov na podvodnú stránku. Jeden takýto prípad sa v súčasnosti vyšetruje v Spojenom kráľovstve, kde podvodníci použili identitu známeho televízneho moderátora a dobrodruha pána Bena Fogla, aby nalákali obete na falošnú investičnú platformu.

4. Pozmenenie hlasu- podvodníci v poslednom čase čoraz častejšie používajú deepfake falošný hlas, ktorým napodobňujú hlas nadriadeného alebo CEO spoločnosti a dávajú zamestnancom pokyny, aby niečo urobili.

    

   Príklad: Zamestnanec môže dostať telefonát od niekoho, kto ho žiada, aby vykonal platbu na určitý účet, ale hlas volajúceho bol pozmenený tak, aby sa podobal hlasu jeho nadriadeného. Tento typ podvodu sa bežne používa spolu s manipulačnými technikami. Podvodníci majú tendenciu vyvolať u cieľového zamestnanca stres s dôrazom na časovú náročnosť a utajenie platby alebo pocit viny, ak začne pochybovať o povahe platby

   Sofistikovanejšie AI systémy dokážu nielen napodobniť požadovaný jazyk a tón, ale aj použiť intonáciu na prejav emócie, aby bol hovor presvedčivejší. Pozmenenie hlasu sa využíva aj na pokusy preniknúť do biometrických identifikačných systémov bánk.

5. Sofistikované zacielenie na obete- nástroje umelej inteligencie možno použiť na preskúmanie veľkého množstva údajov a prispôsobenie obsahu podvodu konkrétnym obetiam a ich zraniteľnostiam. Tento typ podvodu je známy ako "spearfishing" a pomocou AI ho možno vykonávať automatizovane, a teda vo väčšom rozsahu.

Základné kroky na prevenciu a rozpoznávanie podvodov:

1. Využívať hardvérové a softvérové nástroje, ktoré pomáhajú overiť pôvod správy alebo jej autora.
2. Školiť zamestnancov, najmä tých s dispozičnými právami k bankovému účtu, o rizikách podvodu - o metódach rozpoznania manipulácie, o potrebe asertívne požadovať predbežné overenie transakcie a overenie totožnosti osoby, ktorá ju zadáva.
3. Nastaviť kontrolu štyroch očí pri platbách nad určitú sumu a nastaviť štandardizovaný, vopred dohodnutý proces schvaľovania platieb.
4. Overiť postupy banky pri nahlasovaní podvodov a školenia zamestnancov o týchto postupoch - overenie, kto je oprávnený nahlásiť podvod a zastaviť transakciu, prípadné overenie/konzultácia s bankou o tom, ako bude banka postupovať pri nahlasovaní podvodov a aké lehoty má banka na spracovanie transakcie.
5. Zabezpečiť, aby bola vždy k dispozícii osoba s dostatočnými právomocami na zastavenie transakcie (bez ohľadu na to, či má spoločnosť domácich alebo zahraničných konateľov).
6. Overiť v banke, aké metódy používa na odhaľovanie neobvyklých obchodných operácií, či používa automatické nástroje na označovanie neobvyklých transakcií a uprednostňovať tie banky, ktoré sa držia na špičke technológií na prevenciu podvodov.

V prípade, že preventívne opatrenia zlyhajú a vy alebo vaša spoločnosť sa stanete obeťou podvodu, je nevyhnutné rozhodne konať v priebehu prvých hodín. Na tento účel sme v advokátskej kancelárii Taylor Wessing vypracovali príručku so základnými krokmi:

1. Nájdite si advokáta s odbornými znalosťami v oblasti podvodov a s medzinárodnou sieťou. Právne zastúpenie je nevyhnutné na zvládnutie zložitých procesov vymáhania a súdnych konaní.
2. Kontaktujte svoju banku. Okamžite informujte svoju banku o podvodnej transakcii. Podajte žiadosť o zastavenie všetkých odchádzajúcich finančných prostriedkov súvisiacich s podvodom. Ak už boli peniaze prevedené, dajte svojej banke pokyn, aby banke príjemcu zaslala správu SWIFT, v ktorej uvedie, že prichádzajúce finančné prostriedky sú príjmami z podvodu.
3. Podajte trestné oznámenie. Obráťte sa na miestnu políciu a podajte trestné oznámenie v súvislosti s podvodom a zároveň požiadajte, aby miestna pobočka Interpolu zaslala hlásenie o došlej platbe priamo pobočke Interpolu v krajine adresáta platby, aby mohli byť prostriedky zablokované na účte príjemcu.
4. Obráťte sa na finančnú spravodajskú jednotku vo svojej krajine. Môže mať mechanizmy a priame bezpečné komunikačné kanály na zablokovanie finančných prostriedkov prostredníctvom svojich zahraničných partnerov (napr. v rámci skupiny Egmont).
5. Zapojte zahraničného právneho zástupcu. Ak sa finančné prostriedky nachádzajú v inej krajine, je nevyhnutné kontaktovať miestnu advokátsku kanceláriu na komunikáciu s miestnou políciou alebo bankou, v ktorej sú finančné prostriedky uložené, a to skôr, ako budú podvodníkovi uvoľnené.
6. Podajte trestné oznámenie v zahraničnej jurisdikcii, kam boli peniaze zaslané. Tento krok je rozhodujúci pre dlhodobé zablokovanie finančných prostriedkov zahraničnou bankou.

Ak je postup úspešný, peniaze zostanú zablokované na zahraničnom účte podvodníka a zahraničná advokátska kancelária môže začať proces vymáhania odcudzených prostriedkov.

Keďže podvody založené na umelej inteligencii sa neustále vyvíjajú, ochrana vašej spoločnosti si vyžaduje ostražitosť a proaktívny prístup. Ak vašu firmu postihli takéto podvody alebo máte jednoducho viac otázok o tom, ako chrániť svoju firmu, neváhajte nás kontaktovať. V advokátskej kancelárii TaylorWessing máme značné skúsenosti s pomocou klientom v týchto zložitých situáciách a sme pripravení poskytnúť vám podporu a poradenstvo, ktoré potrebujete na riešenie týchto problémov.