Executivos discutem como a IA generativa acelera projetos, mas amplia riscos de segurança, vieses e responsabilidade legal, destacando falhas de guardrails, Shadow AI e a urgência de políticas claras com revisão humana
O avanço da IA generativa virou prioridade em conselhos e diretorias, pressionando empresas a acelerar a transformação digital. No Telium SecDay, o painel “IA com propósito, segurança e consciência digital”, mediado por Ricardo Brasil, diretor de TI da GWS Engenharia, reunindo Júlio Cataldo, gerente de DevSecOps da EXA, Miller Augusto, presidente do Grupo Ivy S/A, e Ronaldo Andrade, CEO do Grupo Ivy S/A, trouxe um alerta unânime, a adoção corporativa precisa vir acompanhada de governança, controles técnicos e políticas claras, sob pena de amplificar riscos de segurança, vieses e responsabilidade legal.
Os executivos concordaram que a corrida por eficiência e inovação com IA generativa expõe fragilidades pouco percebidas, da segurança de dados à reputação. Para eles, a maturidade passa por definir limites de uso, testar continuamente os modelos e manter revisão humana em fluxos críticos.
Vulnerabilidades técnicas expostas, guardrails, prompt injection e homologação
Ao detalhar testes práticos em produtos baseados em modelos generativos, Júlio Cataldo relatou que os guardrails ainda falham diante de técnicas de exploração. “Nos testes internos, exploramos prompt injection e prompt leaking e encontramos fragilidades nos guardrails. A IA trouxe dados que não devia e gerou respostas fora do contexto”, afirmou.
Para o executivo, um ponto crítico é barrar a liberação apressada de protótipos diretamente ao usuário final, algo que pode aumentar a superfície de ataque e provocar respostas imprevisíveis. “Sem governança, aumenta o risco de alucinações e vazamento de instruções. Antes de ir para produção, precisa de homologação e revisão humana.”
Cataldo reforçou a importância de fronteiras de uso, tanto no escopo de dados quanto no comportamento esperado. “É fundamental definir quais dados a IA pode usar e garantir que ela não saia do contexto ético para o qual foi programada”, completou. Para as empresas, isso significa mapear fontes confiáveis, controlar integrações e registrar auditorias para rastreabilidade, sobretudo quando a IA generativa acessa conteúdos internos sensíveis.
Shadow AI, vieses e reputação, por que a revisão humana ainda é indispensável
Na dimensão cultural e organizacional, Miller Augusto chamou atenção para a expansão da Shadow AI, o uso não supervisionado de ferramentas de IA por colaboradores, que pode infiltrar conteúdos inadequados em fluxos críticos. “Testes simples mostram como os modelos são enviesados. Pedi imagens de uma bailarina e não recebi nenhuma representação diversa. Isso cria verdades distorcidas”, disse.
O executivo alertou que, quando a IA generativa fala pela companhia, qualquer deslize ganha escala e afeta a confiança. “A Shadow AI já está no dia a dia das empresas, e isso preocupa. Quando a IA fala pela companhia, o risco é enorme.” Para conter o problema, ele defendeu políticas internas objetivas e aplicáveis na prática. “Ainda não existe um modelo fechado de adoção, mas já sabemos que precisamos definir claramente quando a IA pode ser usada e como ela deve ser aplicada.”
Segundo Augusto, a revisão humana deve seguir como camada obrigatória para outputs públicos e comunicações institucionais, reduzindo vieses e erros que afetem a reputação e a conformidade. “Para conteúdo externo, ainda não confio na IA sem revisão. Uma vez que a comunicação sai da empresa, ela passa a representar a empresa.”
Governança e responsabilidade, lições dos EUA e limites para decisões críticas
Ronaldo Andrade trouxe um comparativo com práticas dos Estados Unidos, onde projetos críticos operam sob controles rígidos e isolamento de ambientes. “Modelos de IA ligados à defesa só operam em enclaves isolados. É raro consultar fontes externas.” Segundo ele, a governança é reforçada pela responsabilização direta de líderes, o que eleva o rigor e a diligência.
“Em alguns setores, o executivo responde com o patrimônio pessoal por decisões sobre IA. Isso muda completamente o nível de rigor”, afirmou. Nesse cenário, o uso de IA generativa em decisões sensíveis é fortemente limitado. “Ferramentas generativas dificilmente são autorizadas para decisões críticas. O risco regulatório é muito alto.”
Para os executivos, a realidade brasileira precisa avançar em estruturas de governança corporativa que combinem segurança, ética e conformidade regulatória. Isso inclui políticas de acesso a dados, critérios de homologação antes da produção, trilhas de auditoria, gestão de vieses e critérios claros de quando a IA generativa pode, ou não, atuar sem supervisão.
O consenso do painel é que a adoção responsável exige equilíbrio entre velocidade e controle. Em vez de proibir ou liberar de forma irrestrita, é preciso implementar uma estratégia por fases, com casos de uso bem definidos, métricas de qualidade, testes de red teaming para prompt injection e prompt leaking, e processos consistentes de revisão humana. Assim, empresas colhem o valor da IA generativa, reduzindo riscos operacionais, legais e reputacionais.
No fim, a mensagem é pragmática, a IA generativa é uma alavanca de produtividade e inovação, porém só entrega resultados sustentáveis quando anda lado a lado com segurança, governança e consciência digital. O Telium SecDay deixou claro que essa combinação, do laboratório à produção, é hoje um imperativo competitivo.