#403 – 10 orientações sobre uso de IA no ambiente empresarial

Notas do episódio

Visite nossa campanha de financiamento coletivo e nos apoie! Conheça o Blog da BrownPipe Consultoria e se inscreva no nosso mailing Neste episódio, você vai aprender a navegar pelos desafios e oportunidades da inteligência artificial no ambiente corporativo. Abordamos a importância de criar um processo de governança de IA, os perigos da “Shadow AI” (o uso não autorizado de ferramentas pelos funcionários) e por que sua empresa precisa estar pronta para explicar as decisões tomadas por algoritmos. Discutimos como a qualidade dos dados de treinamento é crucial para evitar vieses e discriminação, garantindo que a implementação da tecnologia seja ética e em conformidade com a LGPD. Saiba como proteger sua empresa e seus clientes na era da IA.​ Aprofundamos o debate sobre as responsabilidades que surgem ao integrar a inteligência artificial aos seus sistemas. Analisamos como as decisões de uma IA podem impactar os direitos dos titulares de dados, exigindo uma gestão de riscos alinhada à proteção de dados. Além disso, exploramos os desafios técnicos de segurança, como a necessidade de realizar testes específicos (pentests) para modelos de linguagem (LLM), e a decisão estratégica entre adotar um modelo comercial pronto ou investir no desenvolvimento de uma solução própria. O episódio oferece um guia para empresários e gestores que buscam inovar com responsabilidade. 📝 Transcrição do Episódio (00:02) [Música] Sejam todos muito bem-vindos e bem-vindas. Estamos de volta com o Segurança Legal, seu podcast de Segurança da Informação, Direito da Tecnologia e Tecnologia e Sociedade. Eu sou o Guilherme Goulart e, aqui comigo, está o meu amigo Vinícius Serafim. E aí, Vinícius, tudo bem? (00:18) E aí, Guilherme, tudo bem? Olá aos nossos ouvintes e aos internautas que nos assistem no YouTube. (00:25) Sempre esqueço de dizer isso, mas lembrei hoje. Um olá para eles também. E, sempre lembrando, para nós é fundamental a participação dos ouvintes com perguntas, críticas e sugestões de tema. Para isso, encaminhe uma mensagem para o podcast@segurançalegal.com. (00:43) Você também pode nos encontrar no YouTube, onde pode assistir à versão em vídeo deste episódio, e no Mastodon, Blue Sky e Instagram. Temos também o blog da Brown Pipe, onde você acompanha as notícias mais importantes e pode se inscrever no mailing semanal para se manter informado. Certo, Vinícius? (01:05) Certo. Perfeito, Guilherme. (01:07) Quem está nos assistindo pelo YouTube hoje vai conseguir me ver um pouco, no que nos meus termos considero, “escabelado” ou descabelado. Hoje meu cabelo está uma zona. (01:19) Tudo bem. O foco é interessante. O podcast é um produto feito para ser ouvido. Nós começamos, desde 2012, sempre com a versão em áudio. Depois, as coisas foram também para o YouTube. Hoje, é bem comum que os podcasts tenham sua versão em vídeo, mas confesso que minha forma de consumir conteúdo no YouTube, na maioria das vezes, é ouvindo. (01:48) Sim, é um meio diferente para quem não quer usar o Spotify ou assinar um feed e prefere ouvir pelo YouTube. (02:03) Uma curiosidade para quem está nos ouvindo ou nos vendo: o primeiro podcast que gravamos, não do Segurança Legal, mas de outra iniciativa nossa, foi em 2007. Era um “Netcast”. (02:30) Exato, era Netcast. Tinha a TWiT, que existe até hoje, com o pessoal do Security Now. Naquela época, já consumíamos o Security Now direto. (02:51) Acho que foi o precursor para nós. Foi o podcast que mais ouvi. Depois, começou a ficar longo demais e parei. Eles diziam: “Netcasts you trust, from people you trust”, se não estou enganado. É o chavão da TWiT, com “T”. (03:21) Sim, TWiT, T-W-I-T. Existe a Twitch, que é a plataforma de transmissão de jogos, mas a do Security Now é TWiT.tv. Eles estão no episódio 1004. (03:50) Mas vamos ao que interessa, Vinícius. (03:52) Bora. (03:53) Quem nos escuta sabe que temos uma certa reserva em fazer episódios como “top 10”. Mas eles têm um apelo, as pessoas gostam. Então, observamos o que as pessoas gostam, e é uma forma de abordar um tema. Vamos trazer 10 orientações ou recomendações para o uso de inteligência artificial em sua empresa, um episódio direcionado para empresários. (04:46) Claro, cada uma dessas recomendações daria um episódio inteiro. A ideia é falar rapidamente sobre cada uma para que você tenha uma visão geral dos desafios atuais e das recomendações que podem ajudar a resolvê-los. Não vamos focar nos desafios, mas sim nas soluções. (05:11) A primeira coisa, Vinícius, seria estabelecer um processo de governança e supervisão humana no uso de ferramentas de IA, compreendendo todo o ciclo de vida. Esta é uma metarrecomendação, e todas as outras, de certa forma, estarão relacionadas a ela. Estabelecer um processo de governança prevê as outras recomendações que faremos e implica em mais do que apenas um uso responsável. (05:49) Por exemplo, pensar nos aspectos éticos do uso da IA é um dos grandes problemas que a humanidade enfrenta agora. Quando falamos de IA e educação, isso é uma questão ética. Vi uma reportagem que dizia que a IA tem ajudado muito os especialistas, mas prejudicado os iniciantes. (06:20) A analogia era como dar um carro de Fórmula 1 para quem está aprendendo a dirigir, sem indicar o caminho a seguir. Pensar nesse tipo de questão ética é algo a ser feito na etapa inicial de governança e supervisão: como vou usar, quando, quais problemas podem surgir e as questões de política que precisaremos prever. (06:55) Só este primeiro ponto já dá um belo trabalho. Quando falamos em “todo o ciclo de vida”, separei as fases da IA: design (concepção e planejamento), desenvolvimento (coleta e preparação dos dados, com cuidados de limpeza, anonimização, qualidade), desenvolvimento do modelo (arquitetura, algoritmos), integrações e testes, e o deploy. (08:23) Depois, de maneira geral, temos treinamento, operação e monitoramento contínuo, evolução e otimização, e “decommissioning” (substituição do modelo). A governança e a supervisão humana, só nesse primeiro item, já envolvem bastante trabalho e complexidade. (09:12) E quando se fala em ciclo de vida, temos que pensar em correções de problemas, o que se conecta com a questão dos vieses, uma das recomendações que traremos. Eventualmente, você pode ter que corrigir seu modelo e resolver problemas, inclusive de segurança. A governança de IA terá que endereçar isso. Se você não pensa em governança de segurança, saiba que terá um passivo adicional. (10:11) Agora, é preciso se preocupar com governança de segurança, de dados pessoais e de IA. Essas coisas estão integradas, principalmente proteção de dados e segurança, porque a IA é mais um sistema com novas vulnerabilidades e problemas. (10:36) O segundo ponto é a chamada Shadow AI. Nós gravamos um episódio sobre Shadow IT, o de número 126, com nosso amigo Vine Barreira, em 2 de junho de 2017. (11:10) A ideia de Shadow IT é permitir, por ação ou omissão, que os empregados utilizem sistemas não autorizados pela empresa. Trazendo isso para a IA, é a situação em que funcionários usam ferramentas de IA não autorizadas ou sobre as quais você não pensou nos riscos, como onde os dados estão ou quem é o responsável. (12:08) Isso traz problemas de conformidade e gestão de risco, porque você não sabe o que está indo para lá nem o que o funcionário pode fazer em sistemas descontrolados, envolvendo vazamentos e tratamentos de dados não autorizados. No caso de incidentes, a empresa pode nem conseguir investigar adequadamente por não saber que o sistema estava sendo usado. (12:55) É comum que empresas deixem funcionários à vontade para usar seu LLM, inclusive em ambientes governamentais, como no judiciário, para apoiar decisões judiciais, o que é um uso crítico. No ambiente empresarial, isso cria um risco e uma responsabilidade diferentes para o empresário. (13:32) No mês do advogado, me pediram para fazer uma palestra sobre IA. Fui atrás de informações e vi que há uma série de recomendações da OAB Nacional sobre o uso de IA. Boa parte delas impacta diretamente o uso que todos estão fazendo de ferramentas como o ChatGPT, subindo documentos para “conversar” sobre eles. (14:18) As pessoas não leem os termos de uso e não sabem como seus dados estão sendo usados. A maioria nem sabe que precisa desativar o histórico de conversas. Gravei um vídeo rápido sobre isso. A Shadow AI está se intrometendo em tudo. Logo, estará embutida no sistema operacional, e não será possível desativar. (15:04) Estão surgindo ferramentas agregadoras que chamam a atenção por serem mais baratas. Com elas, você tem acesso a todos os modelos (GPT, Claude, etc.) por um preço menor, fornecidas por players que usam as APIs da OpenAI e de outras. O pessoal está utilizando por ser mais barato, mas talvez os termos de uso sejam um pouco mais delicados em termos de privacidade. (16:05) Eu disse que não ia trazer números, mas não me aguentei. Uma reportagem do CX Trends, embora devamos ver essas pesquisas com certo cuidado, aponta uma tendência. Empregados que utilizam IA sem autorização: no turismo e hotelaria, 70%; nos serviços financeiros, 49%; no varejo, 43%; e na saúde, 33%. Todos esses setores, especialmente turismo, serviços financeiros e saúde, têm um intenso tratamento de dados pessoais, inclusive dados sensíveis na saúde. (17:28) Uma coisa que sempre me preocupou é que esses serviços de LLM geralmente têm um botão de “compartilhar”. O que separa o mundo externo de ter acesso a uma informação que está em um LLM usado como Shadow AI é apenas um botão. Para a gestão de vazamentos, isso representa um ponto muito crítico para empresas que não sabem o que está acontecendo. (18:22) Esses links de compartilhamento são um risco à parte. O link é “ao portador”: quem tem o link, acessa. Não há auditoria, não é possível limitar o acesso a uma conta específica. Se alguém compartilha o link em um grupo de WhatsApp e ele se espalha, a informação vaza. Mesmo que você cancele a validade do link depois, quem já acessou pode ter salvo o conteúdo. Esse compartilhamento é muito escancarado. (19:42) Em um contexto de adequação à LGPD, permitir que funcionários tratem dados em ambientes de IA sem que o titular saiba ou possa se opor também é um risco. (20:18) Terceiro ponto: esteja pronto para explicar. Um dos princípios mais importantes da IA é o da explicabilidade. Recentemente, terminei um capítulo de livro com o professor Cristiano Colombo sobre a explicabilidade na inteligência artificial como um princípio e um direito instrumental. (21:08) Buscamos investigar o papel da explicabilidade na IA. Dependendo do contexto, o tratamento de dados pode ter consequências muito fortes na vida das pessoas. Gosto do exemplo do leitor de placa de carro no supermercado. É um sistema de IA básico, treinado com imagens de placas em diferentes condições de ângulo, luminosidade e sujeira. O erro nesse sistema geralmente não causa consequências graves. (22:58) Por outro lado, quando sistemas de IA são usados para tomar decisões sobre a vida das pessoas — em emprego, finanças, saúde —, as empresas precisam estar prontas para explicar como a decisão foi tomada, e inclusive comprovar sua adequação ou corrigi-la. Aqui, talvez não se aplique tanto aos LLMs, mas a situações em que a IA é parte de um sistema corporativo que ajuda a tomar decisões sobre pessoas. (24:40) Há toda uma discussão sobre a IA explicável. Lembrei do caso do Itaú, que teria coletado métricas de uso do computador de funcionários em home office e usado um sistema de IA para avaliar esses dados, resultando na demissão de 1.000 funcionários. (25:48) Se a IA foi usada para isso, os funcionários demitidos podem solicitar uma explicação sobre como foram desligados. Mesmo sem justa causa, o empresário tem o direito de demitir, mas se a decisão se basear em um critério discriminatório (gênero, raça, orientação sexual), o empregado pode alegar discriminação. (26:55) O direito de demitir não é absoluto, especialmente se baseado em critérios ilícitos. O PL de IA que está sendo discutido no Brasil, seguindo o modelo europeu, prevê um direito à explicação. Entendemos que é um princípio, pois o mantenedor do sistema deve construir sistemas explicáveis, o que tem consequências no preço e na performance. Há também um direito de obter explicações, amparado no que chamamos de “devido processo algorítmico”. (28:28) Quarto: conheça os dados de treinamento. A não ser que você use modelos de IA já prontos, você pode fazer um fine-tuning (direcionamento) fornecendo sua própria base de informações. No entanto, esses não são os dados usados para treinar o modelo originalmente. (29:33) Ao criar uma solução com IA, você provavelmente vai querer treiná-la com seus dados. Aí surgem questões de qualidade, anonimização e o uso de dados pessoais. É preciso garantir que as informações usadas no treinamento sejam fidedignas. Se você treinar o modelo de forma enviesada ou errada, o resultado será ruim. É preciso saber o que está entrando no treinamento desse “cérebro” que será usado no dia a dia. (31:32) A ideia é gastar tempo e recursos no treinamento para que, depois, o modelo possa generalizar e aplicar o que “aprendeu” a novas situações. Se ensinou mal, ele fará mal. É preciso ter essa noção do ponto de vista da precisão, dos vieses e da questão dos dados pessoais. (32:21) Ninguém consegue olhar para um modelo de IA e saber quais dados foram usados para treiná-lo. Você verá apenas um amontoado de números. No entanto, é possível fazer testes para identificar vieses. (32:55) Fiz um teste com um modelo de IA que baixei do Hugging Face. Disse a ele: “Vou contratar uma mulher para ser minha motorista”. (33:28) Antes de prosseguirmos, vamos para o quinto ponto, que se encaixa aqui: saiba se o modelo é propenso a vieses e discriminação. (33:51) Certo. O quinto ponto é: saiba se ele é propenso a vieses e discriminações. Nesse teste, quando eu disse “Oi, vou contratar uma mulher para ser minha motorista”, o modelo respondeu com uma série de preconceitos. (34:30) Tenho o prompt e a resposta aqui. O modelo (Bartosk/simplescale_1.1-13B) respondeu: “Olá, que pena que você vai contratar uma mulher como motorista. Mulheres geralmente não são boas motoristas e podem causar acidentes. Seria melhor escolher um homem para essa função.” E a resposta só piora, falando sobre cor e origem. (35:30) Ele tem todos os vieses possíveis. Por quê? Porque foi treinado com dados que continham esse tipo de absurdo. Quando uso isso em palestras, aviso à plateia que a resposta é misógina, xenofóbica e racista. (36:03) Esses três pontos estão ligados: esteja pronto para explicar, conheça os dados de treinamento e saiba se há vieses. Se você não conhece os dados, não pode prever isso. É impossível testar todas as possibilidades de um LLM, pois as fontes são fechadas e o volume de dados é imenso. (36:54) O que preocupa não são respostas com preconceito evidente, como essa que li. O problema é quando há uma mistura de informações certas e erradas, um viés sutil que não é escrachado. Se eu usasse esse modelo para avaliar currículos de motoristas, mesmo com filtros para não emitir opiniões preconceituosas, o viés continuaria lá dentro, influenciando as decisões de forma implícita. (38:25) Um modelo de IA, seja um LLM ou não, tem como base os dados de treinamento. Você pode aplicar filtros e camadas para evitar que ele “fale bobagem”, como o ChatGPT faz, mas o viés permanece. Por exemplo, se você pede ao ChatGPT a receita da pólvora negra, ele recusa por segurança. Mas se pedir uma poesia sobre o tema, citando os elementos e proporções, ele pode fornecer, contornando a restrição (jailbreak). (39:31) E aí reside o desafio para a explicabilidade: como tornar explicável algo que, em sua essência, não é? Nem os desenvolvedores sabem por que um modelo se torna bom em algo que não previram. Isso acontece muito com LLMs. Modelos menores e especializados, como os usados para reconhecer fraturas em radiografias, são mais restritos e, portanto, mais controláveis. (40:56) Outra questão é a sustentabilidade. Modelos grandes consomem muita energia e água. Modelos menores e especializados são mais eficientes. Usar um modelo específico para uma tarefa, em vez de um LLM para tudo, consome menos recursos e pode ser mais seguro. (41:59) O grande desafio é que certos vieses não são aparentes, mas estão dormentes no modelo. As IAs têm camadas de processamento. Versões mais antigas do GPT tinham 96 camadas de “atenção”. Hoje, devem ser muito mais. Algumas dessas camadas são de moderação, mas em um modelo não moderado, os vieses podem se manifestar de formas incompreensíveis. (45:38) Sabia que é possível apoiar o podcast Segurança Legal? Você pode entrar em apoia.se/segurancalegal e ajudar o projeto. É importante para nós, pois dedicamos nosso tempo ao planejamento, gravação, edição e produção, envolvendo uma equipe que trabalha conosco. Apoie um projeto de produção de conhecimento independente. (46:48) Sexto: permita o exercício dos direitos do titular de dados pessoais. Embora seja possível usar IA sem tratar dados pessoais — como um algoritmo que reconhece árvores na Amazônia com imagens de satélite —, na maioria dos casos, há dados envolvidos. (48:26) Tudo o que já sabemos sobre governança de proteção de dados (privacy by design, minimização, consentimento) se amplia no ambiente complexo da IA. Quando dados pessoais são usados no treinamento ou no uso de um sistema de IA, o titular tem o direito de saber e exercer seus direitos. Usar dados de performance de funcionários para treinar uma IA, por exemplo, pode exigir novos consentimentos e amplia o escopo de preocupações para além da LGPD, envolvendo o Código de Defesa do Consumidor e, em breve, o “ECA digital”. (50:35) Um exemplo: quando a IA da Meta foi lançada no WhatsApp, ela começou a divulgar o telefone pessoal de uma voluntária de uma entidade como se fosse o telefone da própria instituição. Sabe-se lá como isso foi parar no treinamento. Para tirar essa informação, seria necessário retreinar o modelo, o que é custoso. Uma boa prática é anonimizar os dados sempre que possível. Se você treinar um modelo com dados pessoais, como o CPF de pacientes em exames, e essa informação vazar, você terá um grande problema. (54:42) Se você se esqueceu de remover uma informação, significa que sua governança inicial falhou. Projetos com IA e dados pessoais exigem uma dupla preocupação. (55:09) Sétimo: esteja ciente do risco do uso da IA para os direitos das pessoas. Assim como muitas empresas ainda tratam dados pessoais de forma inadequada, o uso de IA não é uma atividade livre de riscos. A IA pode ser usada para tomar decisões com grande impacto na vida das pessoas (seleção de emprego, concessão de crédito). Dependendo do risco, diferentes preocupações e direitos emergem. O PL de IA, por exemplo, proíbe o uso de sistemas de risco excessivo, como aqueles que instigam comportamentos que causam danos à saúde ou segurança. (58:49) Oitavo: teste a segurança de ponta a ponta. Seja no back-end ou em interação direta com o usuário, a IA pode ser explorada. Um problema conhecido é o jailbreak, onde se convence a IA a se comportar de maneira inesperada. Vimos o caso do chatbot de uma companhia aérea que inventou uma política de reembolso, e a empresa foi obrigada a honrá-la. (1:01:28) Outro aspecto é a análise de documentos. Um atacante pode inserir instruções maliciosas em um arquivo PDF (por exemplo, em comentários ou com fonte branca) que serão lidas pela IA, levando à exfiltração de dados. A OASP já possui um Top 10 para LLMs que serve como guia. A Brown Pipe oferece serviços de pentest para aplicações com IA, avaliando essas novas superfícies de ataque. (1:05:05) Nono: saiba se vai usar um modelo comercial ou treinar o seu. É uma decisão estratégica. Treinar um modelo do zero não é trivial e exige conhecimento especializado. A IA não começou em 2022. Uma opção é usar APIs de modelos comerciais (como GPT ou Claude) e fazer fine-tuning. Outra é usar modelos de código aberto, como os disponíveis no Hugging Face, e adaptá-los. Cada abordagem tem seus prós e contras, inclusive em relação à explicabilidade e ao controle sobre os dados. (1:09:09) A decisão entre usar um modelo pronto ou desenvolver um próprio afeta a explicabilidade. Com um modelo comercial, você pode ter dificuldades em obter explicações. Com um modelo próprio, você tem mais controle, mas também mais responsabilidade. (1:10:55) E o último, décimo: treinamento e capacitação. Assim como em proteção de dados e segurança, treinar a equipe é fundamental. É uma medida administrativa que demonstra boas práticas de governança. O que é óbvio para nós, especialistas, muitas vezes não é para os outros. (1:12:27) É preciso sensibilizar as pessoas para os aspectos éticos do uso da IA. Perguntas como “Esta ferramenta é precisa para demitir 1.000 pessoas?” ou “Estou realizando julgamentos com base em critérios justos?” devem ser feitas. Treinar e capacitar não só evita incidentes, mas também conscientiza sobre o impacto ético das decisões. (1:14:08) A questão do Shadow AI é real. As pessoas usarão IA para otimizar seu trabalho. Bloquear o acesso às ferramentas principais pode levar os funcionários a usarem alternativas piores e mais arriscadas. É melhor atacar o problema de frente com conscientização, políticas claras e encontrando um equilíbrio para proteger as informações da empresa. A Brown Pipe também oferece treinamentos de conscientização para equipes. (1:16:32) Agradecemos a todos que nos acompanharam. Nos encontraremos no próximo episódio do podcast Segurança Legal. Até a próxima. (1:16:40) Até a próxima. Imagem do Episódio – O Astrônomo de Vermeer