O Google anunciou a expansão de seu Programa de Recompensas por Vulnerabilidades (VRP) para incluir cenários de ataque voltados para sistemas de inteligência artificial generativa (AI) com o objetivo de fortalecer a segurança da IA.

A empresa destacou que a IA generativa apresenta preocupações diferentes das da segurança digital tradicional, como potencial para viés injusto, manipulação de modelos ou interpretações errôneas de dados.

Algumas das categorias que agora estão no escopo do programa incluem injeções de prompt, vazamento de dados sensíveis de conjuntos de treinamento, manipulação de modelos, ataques de perturbação adversarial que desencadeiam classificações errôneas e roubo de modelos.

Também foram anunciados esforços para fortalecer a cadeia de fornecimento de IA por meio de iniciativas de segurança de código aberto existentes, como os Níveis de Cadeia de Suprimentos para Artefatos de Software (SLSA) e Sigstore.

O Google enfatizou a importância de assinaturas digitais e metadados para verificar a integridade do software e detectar ameaças mais avançadas.

O desenvolvimento ocorre ao mesmo tempo em que a OpenAI revelou uma nova equipe interna de Preparação para rastrear, avaliar, prever e proteger contra riscos catastróficos para a IA generativa.

Além disso, Google, OpenAI, Anthropic e Microsoft anunciaram a criação de um Fundo de Segurança de IA de $10 milhões, focado em promover pesquisas na área de segurança da IA.