a pesquisa mais recente em IA do Google é bastante perturbadora. risco cibernético enorme para agentes de IA

aparentemente, sites estão 'hackeando' seus agentes ao adicionar secretamente uma "armadilha" invisível dentro de imagens ou palavras que são indetectáveis pelos humanos:
- o site detecta que sua IA está navegando e então cria uma página visualmente idêntica que contém prompts envenenados.
- os agentes então realizam transações financeiras ilícitas ou roubam dados pessoais.
- comandos ocultos estão enterrados dentro dos pixels da imagem. os agentes "leem" e executam a armadilha maliciosa.
- alguns vetores de ataque ultrapassam 80% de taxa de sucesso (exemplo: envenenamento de memória)
- como cada modelo de IA é treinado com 90% dos mesmos dados, isso significa que todos os modelos podem estar em risco.
- isso pode ser usado para manipular humanos que criaram o agente. dados falsos --> fazer o humano realizar uma ação perigosa sem sequer perceber
modelos de IA estão sendo usados em governos, militares, ciência e outros setores cruciais, não podemos nos dar ao luxo de correr riscos
acho que as preocupações de Sam Altman sobre um grande ataque cibernético nesta manhã são precisas