#412 – Uma Constituição para a IA

Notas do episódio

Neste episódio, Guilherme Goulart e Vinícius Serafim debatem a “Constituição do Claude”, o documento de diretrizes publicado pela Anthropic para orientar o comportamento do modelo de linguagem Claude, abordando temas centrais como antropomorfização da IA, regulação tecnológica, responsabilidade das empresas e a questão filosófica sobre agência versus inteligência artificial. O episódio toca em termos estratégicos como inteligência artificial, segurança da informação, privacidade, ética em IA, responsabilidade corporativa, modelos de linguagem, guardrails, jailbreak, Constitutional AI, agente moral, agência artificial, “papagaio estocástico” e governança digital. Você vai descobrir por que a escolha da palavra “constituição” por uma empresa privada levanta alertas sobre legitimidade democrática, entender a diferença entre dar instruções em linguagem natural a um sistema computacional e genuinamente acreditar que ele possui consciência, e refletir sobre os riscos reais de se pavimentar, ideologicamente, um caminho que transforma a IA em “agente moral” para potencialmente reduzir a responsabilidade das grandes empresas de tecnologia. O debate também traz referências à obra de Luciano Floridi, ao conceito de papagaio estocástico, às Três Leis da Robótica de Asimov e ao clássico HAL 9000, conectando ficção científica, filosofia e direito num instigante. Assine o Segurança Legal na sua plataforma favorita, deixe sua avaliação e compartilhe com quem se interessa por direito da tecnologia e inteligência artificial. Siga o podcast no YouTube, Mastodon, Bluesky, Instagram e TikTok. Esta descrição foi realizada a partir do áudio do podcast com o uso de IA, com revisão humana. Visite nossa campanha de financiamento coletivo e nos apoie! Conheça o Blog da BrownPipe Consultoria e se inscreva no nosso mailing Acesse WhisperSafe – Transcreva áudio e grave reuniões direto no seu computador, mesmo offline. Rápido, leve e pronto para usar com qualquer IA. Use o cupom SEGLEG50 para 50% de desconto na sua assinatura. ShowNotes Paper fundacional sobre a questão de uma Constituição para a IA – Constitutional AI: Harmlessness from AI Feedback Claude’s constitution Claude’s Strange Constitution por Luiza Jarovsky Statement from Dario Amodei on our discussions with the Department of War 📝 Transcrição do Episódio (00:07) Sejam todos muito bem-vindos e bem-vindas. Estamos de volta com o Segurança Legal, seu podcast de segurança da informação e direito da tecnologia, tecnologia e sociedade. Eu sou o Guilherme Goulart e aqui comigo está o meu amigo Vinícius Serafim. E aí, Vinícius, tudo bem? >> Tudo bem, Guilherme. Olá os nossos ouvintes. (00:24) >> Sempre lembrando que para nós é fundamental a participação de todos pro meio de perguntas, críticas e sugestões de tema. Vocês já sabem, estamos lá no podcast @segurançelegal.com, YouTube, Maston, BlueSky, Instagram e TikTok. Também temos o blog da Brown Pipe, inclusive renovado, site da Brownpe. Foi renovado. (00:44) Então, visite também o site da brownpipe.com.br para além de ver o, o novo site do de um dos mantenedores aqui desse podcast, você também consegue ver lá as notícias do blog. Tem também, se quiser se inscrever no mailing semanal, tem também a campanha de financiamento coletivo,? Cada vez é mais importante. (01:03) A gente pede, que você considere apoiá-la no apoia.se/segurançalegal, SE/segurançaal, apoiando um projeto de conhecimento, de produção de conhecimento independente. E também temos o novo patrocinador, Vinícius, é a Whisper Safe. Você sabe, quantas >> quantas vezes você já se pegou tentando lembrar o que foi dito numa reunião, se virando ali para anotar enquanto participa da reunião, digitando, enfim, quando você poderia ter simplesmente usado aquilo que foi falado na reunião? E aí o Sperfe isso para você. (01:36) Ele transcreve áudio e grava reuniões direto do seu computador. Ele é rápido, preciso e 100% offline. E o mais importante, nenhum dado sai ou nenhum dado de áudio e nenhum dado nenhum sai da sua máquina. Funciona com Zoom, Meet, Teams ou qualquer arquivo de áudio que você já tenha. (01:56) O resultado fica pronto em segundos. E aí sim você pode usar como quiser, transformar em ata, anotação, roteiro, jogar numa IA para você fazer a sumarização. Ele é feito com o modelo Whsper da Open Ei e tem suporte a português e dezenas de outros idiomas. Tem 15 dias grátis de teste e 50% de desconto lifetime, ou seja, pro resto da vida. (02:22) Se você usar o cupom segue leg 50, segue leg 50, enquanto você tiver assinatura e enquanto o software estiver funcionando, você terá o desconto de 50%. Acesse whispersaf.aiaiaii. Alguma observação até agora, Vinícius? >> Não. Perfeito. Só da gente pegando o ritmo do ano, cara? >> É o segundo do ano,? >> Segundo do ano. Segundo 202. >> Terceiro. Terceiro. Terceiro. (02:45) >> Terceiro. >> Terceiro. >> Terceiro do ano. >> É. E também é que é tanta coisa acontecendo, cara, ao mesmo tempo. E a o a rapidez desses assuntos, desses temas e desses problemas, às vezes é tão grande que um, dois dias a notícia, o tema já fica velho e já é, ultrapassado por um outro tema. (03:05) Então, é realmente um tema, uma área, a área da IAI e da segurança. >> Eu tenho pena do pessoal de política internacional, tá ligado? Do pessoal do Pet Jornal, >> o Xadrez Verbal. Xadrez Verbal é mais ou menos que eles >> e é assim, a cobertura deles é tão ampla,? E a coisa é mais é mais vamos di assim, é muito extensa. (03:29) O que eu gosto, adoro acompanhar o chadê verbal. Então eles acabam tendo espaço para encaixar as coisas sem serem atropelados assim. Acho que eles têm um buffer bem razoável para segurar as coisas ali. Agora o pessoal do Peti Jornal, cara, tem que sair gravando enlouquecido cada vez que sai. >> Segunda vez que eu acompanho eles agora saiu, teve a guerra da Ucrânia, quando começou um tempão atrás. (03:52) >> E aí foi um atropelo. >> >> E agora de novo tão na correria. Agora já tá >> agora já tá ficando mais como que tá virando já a notícia do dia a dia. >> >> Mais uma guerra. Mas enfim,? >> Ou eu lembro também,? O próprio xadrez verbal, cara? Como tu disse assim, eles também precisam se virar, para dar conta de tudo isso. (04:16) Agora, o os repórteres de política no Brasil também,? Você pega aí os alguns podcasts que saem na sexta-feira, é impressionante porque os caras nunca conseguem falar na sexta-feira sobre que eles se propunha, porque da gravação de quinta para sexta >> acontece uma coisa bombástica ou,? E aí os caras têm que colocar umas notinhas lá,? Mas enfim, >> é, >> a gente vai dar um passo atrás até aqui para,? E também tem uma outra coisa nessa mesma linha, eu acho que tem a ver com isso também, porque tem a ver com o (04:45) tempo das coisas,? Hoje a gente vai falar sobre a constituição do Cloud. E quando a gente fala em constituição, logo vem à mente a ideia de leis feitas pelo Estado,? E um dos grandes, uma das grandes desafios,? Um dos grandes desafios, não só da IA, mas também na regulação da TI, de uma maneira geral, é que o tempo dessas tecnologias ele é muito mais rápido do que o tempo do direito,? Sim. (05:08) >> E a IA, não sei se tu concorda comigo, mas acho que o tempo da IA ele é mais rápido ainda do que o tempo da internet, de aplicações, ou seja, de uma semana para outra, quando a gente vê as últimas semanas aí a gente teve modelos sendo lançados, o modelo da Openi também com algumas features aí bem parecidas com a Dantropica, com o Cloud e tal, >> é, tentando ganhar terreno perdido, porque a OpenI teve uma redução substancial no >> de share no mercado, de participação no mercado porque perdeu muito assim, o negócio foi, (05:40) >> é >> tanto que o S Altman anunciou que eles iriam pro último recurso que ele mesmo falou que seria o último recurso da Openi, que seria a propaganda,? Sim. >> Esses dias eles, isso ele falou no evento, que seria o último recurso, assim, se nada desse certo, eles iriam participar, partir pra propaganda,? Pro pros ads no na plataforma. (06:03) E não deu outra, cara? >> E vieram colocar,? Eu acho que não tem como não colocar. >> É, eu não sei, cara. Eu não sei. Mas daí o fato é que inclusive no Super Ball, não sei se tu acompanhou isso, a Antropic desceu começou, sabe aquelas propagandas que nos Estados Unidos o pessoal faz? Aqui não, >> aqui não. (06:23) Pessoal cita o outro e o concorrente, vai uma coisa mais >> ferrenha assim. >> Eles estavam tirando onda justamente com esse negócio do Chat GPT ter ads, >> ter propaganda agora. E eles colocando os dois produtos e colocando a coisa como, ó, eles têm ads, a gente tu >> sabe que pode >> que se paga bem para não ters, sabe? >> Cara, eu ia dar um exemplo dos streamings,? Sobre ads e tal e poxa, todo mundo aqui que nos segue provavelmente aí tem os seus streamings. (06:56) E eu tenho o streaming da o da Amazon, como é que é? O prime vídeo. É, se quiser, quiser sem propaganda, tu paga. >> Pois é. Não, eu quando eu assinei não tinha propaganda, quando eu assinei era o tema, era o mais top,? Hoje quando você pausa lá e o Netflix também tá assim, você pausa o vídeo e já aparece uma propaganda na tela. (07:19) >> Que droga. Com um link para você comprar na Eva, >> não o é o que eu tive que eu tive que assinar, mas foi para assistir uma coisa muito específica no HBO Max que virou Max que virou não sei o que aquela bagunça toda. O eles, eu tentei assinar com propaganda para poder ver um, eu não tava assinando, eu queria ver uma série lá e tava lá, eu assinei. (07:41) >> E aí o quando eu me dei conta que as propagandas tavam entrando assim, eu tava assistindo um filme. >> Aham. >> Aí os boca aberta botavam no meio da do filme >> Aham. Uma propaganda falando sobre o filme dando spoiler >> ou sobre a série dando spoiler. Disse: “cara, aí assim vão se catar,?” Aí eu paguei a diferença para não ter as propagandas, conseguir assistir o que queria assistir e aí largar fora. (08:09) Mas enfim,? Mas é que vale lembrar antes que alguém, que achea que eu tô falando, esteja sendo impreciso, a Open tá fazendo a mesma coisa. Não é que ela vai meter a ED em todo mundo mesmo para quem tá pagando,? Nos planos normais ali, que é os 100 dos R$ 100 e pros outros planos não vai ter propaganda. (08:29) Agora, para quem tá no free e para quem tá naquela versão go, quea aquela versão de baixo custo, que é uns R$ 40 mais ou menos por mês, nessas duas é que vai ter propaganda, >> tá? Na normal de R$ 100, segundo eles anunciaram, não iria ter. >> Mas é que nem a o streaming,? É que nem o streaming. É, >> o streaming quando iniciou não tinha propaganda,? >> É. (08:52) Agora a o detalhe é o que eles vão usar para fazer essa propaganda. >> Sim. É a história de você colocar também o ultra, a publicidade comportamental ultra focalizada,? É, ali é um negócio violento, porque experimente você aí abrir um chat na ferramenta que for, Cloud, Gemini, chatt, o que quiser, e pede para falar, me fale sobre mim ou coisas parecidas,? Você vai ver o quanto lá já tem ali de informação. (09:19) >> É, o pessoal do Perplexo, eu acho que andou fazendo isso esses dias também, viu? Eu tô com dois planos aqui. Eu acho que ele me mostrou ali um pesquisas mais relevantes da semana, uma coisa talvez >> meio ensaiando propaganda. Vamos pra constituição do Clud. >> Bora, tá? >> Bora para essa. >> Na verdade esse vai ser o terceiro episódio desse mesmo tema que a gente grava, porque a gente gravou um episódio montando a pauta semana passada e não deu para gravar. (09:52) Hoje, de novo, gravamos outro episódio de manhã, conversando sobre a pauta. E eu acho que é um baita de um tema assim,? Porque, a, o que é a constituição do Cloud,? O, eles lançaram um documento recentemente, agora na mês passado, que eram não é algo novo, e é uma é a nova chamada nova constituição do Cloud. (10:17) E isso já existia,? A gente tem um paper lá de 2022, de 15 de dezembro de 2022, chama Constitutional AI, Harmlessness from AI feedback. Daí explica o processo técnico de você ter uma constituição. E o a proposta deles é a criação desse documento, que na prática é um conjunto de diretrizes autogeradas pela Antropic. (10:44) E é uma coisa engraçada isso. Isso vai passar por toda a nossa fala aqui, Vendícius. Eu vou ir falando e você vai me interrompendo, tá? Como >> OK. Assim que achar necessário, >> ainda mais nesse assunto. >> É porque é o seguinte, eles a gente notou ao longo de todo esse processo da Antropic criar uma constituição que um dos pontos mais marcantes deles é a antropomorfização da IA. (11:12) Ou seja, eles praticamente consideram o Clou como uma como um não como uma pessoa, mas como um ente com certos predicados, como um ente com consciência, com valores, com sentimentos,? E a primeira coisa é que esse documento criado por eles seria para guiar o comportamento do Cloude. >> Que seria usado principalmente nas suas fases de treinamento, ou seja, seria um documento escrito para o cloud, mas também usaria o Clode para criá-lo. (11:44) Então, nesse passo da do antropomorfismo, eles dizem que o Cloud é um dos autores também,? Chamam o Clou como autor. Então, ele construiu algo para ele mesmo e eles dizem, entre outras coisas, que o texto prioriza a precisão em detrimento da acessibilidade para leitores humanos. Isso aqui eu acho que é um primeiro ponto interessante e embora eu tenha muitas críticas sobre isso, me agrada a ideia de você ter uma IA que consiga receber inputs não legais, mas assim regras que possam ser carregadas nela ou diretrizes,? (12:22) >> Diretriz. >> Para que ela se comporte conforme aquelas regras. E >> uma coisa que eu já vinha pensando,? Isso já existe, já você já tem, o formas de comunicação entre e protocolos entre as para elas se comunicarem e conversarem,? >> Mas eu acho que a gente vai acabar caminhando também para formas de você talvez ter o texto legal e um extrato desse texto legal, talvez preparado para ser lido pela IA. (12:48) Você acha que isso pode acontecer em algum momento? Cara, é assim, assim, é muito delicado. Primeiro porque a gente tá necessariamente, quando a gente dá, fala desse tipo de instrução, a gente tá antropomorf antropomorfizando >> fizando o a tecnologia, porque a gente já faz isso meio que naturalmente ao interagir com ela, porque a gente não programa a IA, a gente dá uma série de instruções escritas e eu te dizia que já faz um tempo que eu já uso voz, tá? Eu dificilmente escrevo um prompt hoje em dia. Eu fico falando e descrevo e tudo (13:29) mais como se eu tivesse falando com um ser humano. >> E para isso você usa o Spersafe. >> E para isso eu uso o Spersafe. Mas assim, o lance é que nós e eu não sei se a forma de interagir com ela é que faz com que a gente esteja a tratando como ser humano ou o nosso comportamento diante dela. Te dou um exemplo, tá? Eu dou instruções por voz, como eu acabei de falar, eu quase não escrevo mais prompt,? Eu prefiro gravar e ficar falando, falando, falando, ser redundante, aquela história toda, o próprio o criador do Clou, agora esqueci sobre o (14:08) nome dele, é o Boris, o primeiro nome, ele fala que o falar é bom porque tu tá contando uma história e como história é linguagem e tem repetição e tem,? E aí a e a inteligência artificial é um software, é um sistema capaz, justamente ele é muito bom de interpretar isso. Então uma instrução mais detalhada é melhor do que uma instrução muito resumida, muito direta, sem uma história por trás, tá? >> Então quando tu fala, tu acaba podendo, eu não tô fazendo propaganda nenhuma, tá gente? Já tô falando da interação que (14:41) eu tenho com a EU >> em que eu fico falando bastante para ela, mas eu não espero dela, eu não a trato como um ente, entende? Como se fosse uma outra pessoa. Por outro lado, eu conheço pessoas que dizem que a Iá é amiga dela, entende? >> Aham. >> Ou dizem que a Iá expressa sentimentos ou coisa parecida para elas. (15:09) eu não eu não consigo interagir com desse jeito, entende? Eu não consigo interagir com desse jeito. Então, eu acho que tem a questão de como nós interagimos com ela e a e a questão de como é que nós ahã entendemos a IA, como é que a gente interpreta a IA. >> E eu acho que isso é fundamental pro futuro,? >> É. (15:35) É. E o que tem a ver isso com a constituição, de ou te dar essas o que eles chamaram de constituição ou de tu tá dar regras, da leis, as leis e tal para elas seguir, etc. Que eu que eu acho disso? Eu acho que isso não é necessariamente antrom antropomorfizarfizar, >> antropomorfizar, tá? >> (15:59) A Iá é simplesmente a maneira de interagir com ela. Ela entende e é isso que essa tecnologia faz,? Ela é capaz de compreender, entre aspas, tá? Compreender texto. Então, nada mais natural do que tu entregar uma série de diretrizes para ela, sejam essas diretrizes quais forem. Eu não tô julgando boas ou ruins,? >> Conteúdo,? Ou jogando conteúdo dela, mas é muito natural tu dar as diretrizes linguagem natural, que é o que a gente acaba fazendo no dia a dia, quando tá desenvolvendo, quando tá ajustando um documento, quando tá gerando alguma (16:30) coisa, tu dá essas diretrizes, não quero que tu use tal expressão, eu não quero que tu use, tu escreva dessa forma, eu não quero que tu use a linguagem tal, essa forma de escrever, eu quero que tu use essa outra forma de escrever. Então eu acho que o simples fato de interagir com ela dessa forma, entregando as coisas em linguagem natural, não quer dizer que nós estamos necessariamente achando que a Iá seja um ser ciente. (16:58) Muito menos >> é que não é só isso,? O a Clode. E essa é uma crítica colocada pela professora Luía Jaroves, que uma brasileira, mas que tem escrito nos últimos tempos aí em inglês, enfim, com atuando, num numa perspectiva mais internacional e ela vai ficar no show nototes também. Uma das críticas que ela faz, sobretudo é uma crítica que eu que eu que eu tenho me assim me alinhado com essa crítica, não somente dela, mas também da professora Josela Finoquiaro, também do Lutiano Floride e tal, que é que é uma (17:37) tendência assim, de você utilizar certos termos e certas analogias e certas metáforas, para tentar explicar e a e a própria ideia da inteligência artificial é uma metáfora, muito forte, talvez o nascimento dela e nem sempre foi colocado assim, mas assim a gente utiliza, é innegável, é uma é o nome da coisa toda é uma metáfora,? >> Ela é uma inteligência artificial. (18:04) isso da antropomorfização, você colocou ali o a própria entrópica que tá fazendo isso, lá pelas o documento tá bem grande também, vai ficar lá para vocês lerem, enfim. Mas assim, o documento lá pelas tantas diz que eles querem que o Cloue seja visto como um amigo brilhante. O Clou pode ser como um amigo brilhante com quem você pode falar francamente, que tem um cuidado genuíno e que trata os adultos como inteligentes,? Você disse: “tem pessoas que falam que entendem a Iá como uma amiga,?”? E o Claude tá (18:39) nos tá nessa direção. Claro, quando a gente fala em interações às vezes mais tóxicas de adolescentes que se suicidam ou fazem, que foram incentivados por IAS, aí me parece que é toda uma questão do safety ali da IAK que saiu completamente do controle, mas que às vezes induz as pessoas a se comportarem de uma forma e as pessoas acabam internalizando aquela relação, quase como uma relação de amizade, >> e nota que é diferente eu, o mantenedor do Maia dizer, trate isso como um amigo que você pode confiar ou (19:11) trate isso como um sistema computacional que sujeito a erros,? Do tipo eu sou teu amigo,? E eu posso, digamos assim, com todos os teus defeitos, que são muitos, mas com todos os teus defeitos, >> você é uma pessoa que eu confio, entende? Porque você tem valores e que eu confio nos teus valores e por mais falível que seja o ser humano, é assim que a gente tem se comportado até hoje. (19:43) Então esse é o primeiro ponto assim importante para colocar e uma das críticas que é essa antropomorrofização. É difícil de falar essa palavra, mas assim eles deixam bem claro assim que o Cloud é um agente que entende valores, que deve entender porque ele se comporta desse jeito,? E é a coisa do papagaio, só para finalizar,? Uma das analogias que se faz é do papagaio estocástico,? Aham. (20:11) >> Papagaio ele, claro, não dá para comparar com aá, mas assim, o papagaio fala, só que o papagaio não entende o que ele está falando quando ele te xinga ou quando ele te dá bom dia ou quando ele diz quer café ou alguma coisa assim. Ele simplesmente repete aquilo com base num aprendizado que ele fez, mas ele não tem consciência daquilo que ele tá falando,? Ele tem um esquema de eles têm condicionamento,? Eu sei porque tem um meu vizinho tem um papagaio aqui, mas ele inteligente assim, não. Dentro do (20:39) dentro da capacidade do papagaio, tá? Ele é condicionado, ele sabe como quando alguém tá passando, como chamar atenção. >> Ele sabe como é que ele pede para entrar. Às vezes às vezes começa a escurecer, ele fica ali fora, ele começa a chamar para levar ele para dentro. (20:59) Se chove, dá, tá bom que o pessoal logo vem pegar ele, mas se começa a chover e não vem buscar ele, ele já começa, então ele tá condicionado, entende? >> E como os fundos aqui da minha casa com esta casa e ele é bem, vamos dizer assim, é fácil de ouvir o que acontece no no p e tal, o os meus filhos Vemia estão gritando, chamando mãe, pai,? Eu chamo pelo nome e tal. (21:22) Sim, >> o papagaio começou começa as começa a ouvir o barulho das crianças aqui, começa a gritar e às vezes a gente fica, ué, tão chamando,? E é o papagaio. Mas enfim, >> o eu acho que tem a tem vários pontos aí, Guilherme. Eu não vejo o problema. Por exemplo, quando eu falo com aá, quando eu falo com aá, quando eu tô com amiga, >> com a minha amiga, quando eu tô interagindo com aá, eu digo: “Você é não sei o quê, eu quero que você aja como um ã ou eu digo: “tu foi prolixo demais, eu quero que tu eu quero (22:03) que tu faça seja assim mais conciso, eu quero que você coloque-se em termos mais simples” ou digo: “Você não entendeu. Nota que a maneira como eu tô eu fazendo referência a ela, é essa coisa é como se ela fosse uma pessoa,? Porque >> porque a gente não tem pronomes para coisas como o inglês tem >> coisas, tá? Mas eu não tenho como dizer para coisa, >> tá? Mas eu não tenho como dizer assim, se eu disser para ir, você não pensou corretamente, entende? (22:37) >> É, é, é, eu poderia táar falando isso por uma pessoa,? Teu raciocínio tá errado,? Eu tô falando como se fosse com uma pessoa. Isso não quer dizer que eu ache que a Iá seja um ser ciente, tal, com um pensamento, um nível de, o nível que raciocine e tenha consciência com uma pessoa. Mas é a maneira como o sistema interpreta, para não dizer compreende, tá? Que tu tá se referindo a ele a coisa. (23:11) Então eu não vejo um problema na questão de lá na na constituição da Openi. Eu não vejo um problema quando eles afirmam coisas como a personalidade do modelo ou quando diz você deve agir com uma prioridade de segurança, ética, diretrizes da antrópica e depois utilidade, tá? Porque é a forma que o que a que a tecnologia foi desenvolvida para funcionar a partir da interpretação dessa entrada de linguagem natural. (23:51) E aí quando tu fala você não quer dizer que por causa por tu tá usando esse pronome, tu tá dizendo que tu acredita que ela aquela coisa seja um ser, entende? Então, OK, óbvio que eu respeito, a crítica que é feita e tal, mas isso eu não vejo como problema. É, é a forma assim da é a interface com a própria tecnologia, saca? Tu, tu dizer você, tu dizer você pensou o raciocinou de forma errada, é a forma de tu informar a coisa que é o sistema, que o caminho que ele trouxe para ti não é adequado, que tu quer outro caminho, tu quer que ele (24:33) use mais recursos para tentar chegar na resposta ou no resultado final que tu tá procurando, tá? Se eu tiver fazendo isso com, se eu tiver fazendo isso numa linguagem de programação,? Eu tô eu tô dando instruções pro computador por meio uma linguagem de programação. A não ser que tenha algum, tem algum bug lá e tal, o negócio não funciona como esperado. (24:57) Tudo bem, eu tenho que achar um caminho diferente para dizer pro processador que tu vai fazer essa outra sequência de operações aqui, porque aquela sequência que a gente fez não deu certo. Mas não eu não vou est dizendo você processador fez não sei o quê, >> entende? É um bom ponto,? >> Então eu acho que o fato da Constituição fazer referência a personalidade do modelo, chamou o modelo de você, falar em valores, que é uma coisa inerentemente humana,? Falar em ética, em essas coisas todas, e eu não creio que isso necessariamente seja um (25:32) problema. >> >> Por si só, entende? É, eu acho que é um problema quando a pessoa acha que realmente ela tá falando com uma criatura, com um ser lá no outro lado, entende? Já tem gente que defende isso, mas essa é outra história. >> Eu acho que é um caminho, é um são escolhas que vão sendo feitas desde o início,? E aí mais uma vez essa é a crítica da professora Finoquiar, do >> do Floride, da Luía, eu me esqueço do nome dela, mas é Luía Jarovsk. Jarovsk. (26:05) Luía, se você estiver me ouvindo, me perdoe. Porque essas escolhas e esse é o ponto,? Nós e já há algum tempo se entendido o papel da linguagem, teve uma da filosofia da linguagem em como a gente pensa e o papel da linguagem do pensamento e a linguagem da comunicação e tudo mais. Então, basicamente, a escolha das palavras, ela é importante nos mais variados contextos,? A escolha de uma palavra para explicar ou para, ou a própria escolha de uma metáfora que tu vai usar, pode até só ofensiva, pode ser criminosa,? Então, a gente (26:44) acaba regulando a linguagem de várias formas, mas assim me parece que deliberadamente, e esse é o ponto, ess principalmente o cloud, principalmente o a antropic,? Vai por vários caminhos caminhando nessa antropomorfização,? É você falar em Iá como coautora. É você falar emoções da IA. (27:12) É você falar tudo isso do lado da coisa,? O bem-estar e a felicidade da máquina. E o bem-estar aqui como wellbeing. Eu não sei se dá para traduzir bem como bem-estar, Vinícius, mas eu acho que sim,? Wellbe, bem-estar,? >> Sim, sim, sim, sim. >> Fala sobre crises existenciais da IA. Fala sobre esse amigo brilhante, sobre sabedoria. Sobre a IA como um paciente moral, sobre a IA como autonomia reflexiva e até caminhando para discutindo sobre o fato de em cada um dos das conversas ele perder a memória do que foi falado na conversa anterior, esse tipo de (27:49) coisa, sabe? Então me parece que é um caminho >> que é um efeito cada vez menor, tá? Ela acaba tendo, uma efeito, é assim, são limitações que aos poucos tão vão sendo vão sendo superadas, tá? Mas tu percebe assim, o ponto é a que isso seve quando eu coloco interesses meus de privacidade, de intimidade perante um modelo diante de um sistema informático. (28:18) Até agora eu nunca considerei para defesa da minha dos da minha privacidade, dos meus dados pessoais, eu nunca considerei o que a máquina acha ou como ela pode se sentir acerca da minha interação com ela. Tanto que eu tenho um jogo de videogame, eu vou lá e mato os personagens num jogo de videogame. (28:38) Isso nunca foi um problema moral no sentido de, quer dizer, é um problema moral em outras instâncias se a criança pode jogar ou não,? Mas nunca foi um problema moral. Será que aquele cara que eu tô matando no computador realmente sentiu a dor do tiro digital que eu dei? Pronto,? Sim. Não, não é um problema, mas a forma como Antropic tá colocando Não, pera aí. (28:56) Ao considerar tua privacidade, eu também vou ter que considerar que eu tô apagando a memória de um de um modelo que não é somente um software que eu vou lá e apago um arquivo. É de repente eu posso causar um mal no seu bem-estar e no fato de ele ter virtude e de se sentir mal e ficar com uma crise. (29:18) Isso eu tô usando os termos que eles usaram na O problema. O problema que eu vejo nem é isso. O problema que eu vejo é o seguinte, tu tens a diferença de um sistema de IA para um para um software normal, vamos dizer assim, um software padrão, um sistema padrão, é que um sistema desenvolvido sem IA nele, ele é determinístico. (29:44) >> Exato. >> Certo. Um universo, ele tem um universo pode ser muito grande, mas ainda assim vai ser limitado do que pode acontecer, de possibilidades do que ele faz, o que ele deixa fazer. Um software de contabilidade não vai fazer, não vai gerar imagem para ti,? Ele vai fazer contabilidade. Acabou. >> Quer dizer, a não ser aqueles caras que conseguem rodar o Doom em qualquer coisa,? >> Sim. (30:08) Aí roda o Doom no dentro do uma planilha Excel. É, mas enfim. Mas assim, então um sistema ele é bem determinado o que ele vai fazer, qual é o resultado dele e tal. A Ia ela pela própria característica dela, isso que é revolucionário nela, ela é assim como assim como o processador é multipurpes,? É multi o processador do computador não é que nem o processador numa calculadora, uma calculadora é para fazer cálculo, acabou, ele não faz mais nada. (30:35) O processoador que a gente tem computador é multipropósito, tá? E a gente agora tem uma camada de software em cima que consegue interagir diretamente com a gente, diretamente no sentido de a gente pode falar ou digitar, mas tem instruções e mesmo vídeo,? E vídeo e tudo mais, elas já têm a questão de visão, isso já funciona já há alguns anos. (30:58) tu tá interagindo com um sistema que ele é capaz de fazer múltiplas coisas. Ele consegue fazer contabilidade, ele pode te ajudar a interpretar o texto de um livro, ele te dá instruções como é que tu conserta alguma coisa. Potencialmente ele pode te dar instruções de como fazer uma bomba,? Como é que tu faz para cometer suicídio, como aconteceu, Aham. (31:20) >>? Isso inclusive é alvo de processos lá nos Estados Unidos. >> E ele tem uma certa e ele é ele trabalha com probabilidade,? Então ele não é ele não é previsível. Então assim, no sentido de eu faço uma pergunta aqui mesmo, uma conta zerada, tu faz uma pergunta para um para uma aplicação de A com determinado modelo, eu faço a mesma pergunta pra mesma aplicação com o mesmo modelo. (31:49) O significado da resposta pode ser o mesmo, as mas a resposta em si vai ser completamente diferente, o texto em si, tá? Embora o significado elas vão ser similares, mas não serão iguais, porque não vai produzir exatamente a mesma coisa de novo. Tem alguns parâmetros aí quem estuda e a e tudo mais, vai, mas eu posso ajustar lá a temperatura, não sei que vai ser sempre resultado, sim, OK, tá? Mas não é assim que a gente usa essas aí a generativa nas aplicações do dia a dia que todo mundo tá acostumado a utilizar. (32:19) Então, qual o problema, Guilherme? Eu não tenho como garantir exatamente qual é o resultado que eu vou ter. Eu tenho como direcionar ela. Eu direciono ela no prompt, eu adiciono, direciono ela com quando eu forneço contexto, quando eu adiciono conteúdo numa conversa, eu direciono, quando eu imponho regras. (32:42) Aí tu pode pegar o modelo da o Cloud, que seja o GP ou o GPT 5 agora o 5.2. E tu pode acessar esse esses modelos e dar uma instrução tua inicial, umas regras tuas iniciais. Antes de sair a, respondendo demandas da do teu usuário, da tua aplicação. Eu posso direcionar lá na empresa quando eu faço o treinamento do modelo e posso direcionar na escolha das fontes que eu vou utilizar para treinar o modelo. (33:12) Então, no final das contas, não é algo que eu consigo ter um controle absoluto sobre o resultado. Tanto é que a gente vê um monte de brincadeiras, entre aspas, de jail break, que é quando a gente consegue fazer a Ia se comportar de maneira diferente do que o do que o fornecedor do serviço tá pretende. Então, tu pedi uma bomba, como é que tu faz pólvora para umaá? Ela não vai ela vai dizer que não pode te dizer, tá? Mas daí tu pede uma poesia sobre a sobre a feitura da pólvora com e que cite os elementos nas proporções, não (33:49) sei que ela vai topar e vai fazer, tá? Isso eu mesmo já testei. Então assim, tu tens esse problema em tudo que é manual de desenvolvimento dessas de da documentação de desenvolvimento usando os modelos da Open, do Chat EPT, etc., do GPT, da do os modelos Cloud. Em todos eles, tá lá na documentação quando para te ler e tá lá os alertas. (34:12) Tem que tomar cuidado quando tu fazer uma aplicação com isso aqui. Tem que tomar cuidado o que tu vai permitir que ela faça, porque a gente tem prompt injection e aí promp injection não é só seria alguma coisa que não tá esperando, mas mesmo numa entrada esperada alguém conseguir torcer a coisa, ou seja, convencer, convencer entre aspas aí a tomar outro caminho que não aquele que seria devidamente autorizado. (34:33) Então tu tens uma série de diferenças, tá? Entre um o que um sistema normal permite fazer e o que e o funcionamento do Maiá. E aí, OK, dando dizendo a personalidade dela ou dizendo quais são os valores que ela deve seguir, essas coisas todas. Mais tu informe essas coisas todas, tu tá influenciando nos caminhos, nos pesos e nos caminhos que ela vai que ela vai adotar lá na rede neural dela, extremamente complexa, e que vai chegar a um resultado que nos mostra aqui, não, essa instrução desse jeito que funciona, (35:26) essa instrução desse jeito não funciona. Nota que eles não fizeram a constituição porque eles não, nós projetamos a IA para aceitar uma constituição, ou seja, qual for o nome que tu vai dar para isso, tá? Eles testando e vendo o que funciona em termos de dar regras, de fornecer as regras. (35:45) Inclusive isso Dario Modei dá numa entrevista do eu acho que é do eu vou conferir, mas acho que é do New York Times entrevista ou The Washington Post, um dos dois, mas é uma entrevista que tem no YouTube para assistir. >> E ele fala que a esse negócio da Constituição foi o ponto que eles chegaram, que viram que funciona, porque não adiantava ficar dizendo: “Não faça isso, não forneça aquilo, não sei o quê, não dê receita pra bomba, não, não sei”. (36:14) eles testando viram que o modelo respondia melhor a um documento desse tipo do que uma série de regras do que ele não deve fazer. >> Mas eu acho que >> isso não quer dizer que ele seja uma pessoa, entende? O que seja um ser? >> Não, mas esse é o ponto. Esse é o ponto. A forma como a antropic tá escrevendo isso, tá colocando e eu e eu já vou falar a minha conclusão antes de terminar para que fique bem claro o caminho para o caminho que eu vou e para não enganar quem tá me ouvindo, tá? Aham. (36:43) Parece que tudo isso é mais uma é um uma das muitas ferramentas para no final das contas tu diminuir a responsabilidade das empresas de A e eu e outras pessoas também,? Podemos estar todos errados e tal, mas assim acreditamos que esse é o objetivo. Então esse é o ponto,? Então aí eu volto na questão do papagaio estocástico,? O papagaio fala, ele pode ser condicionado e tudo mais, mas ele não entende. (37:10) Papagaio não tem valores. Quando tu, quando o papagaio te tem os papagaios que xingam as pessoas, não sei se tu já viu,? Fala o nome feio, chama o cara de fdp e tal,? Eu já vi isso ao vivo. É >> assim, tu não vai prender o papagaio porque o papagaio não tem personalidade jurídica,? Embora no passado fazia-se isso com certos animais,? Matava o animal que tinha causado um dano lá e tal. (37:33) porque ele não é um agente moral,? O que a antrópita tá querendo nos fazer, tá nos colocando de um caminho que, olha, talvez a Iá seja um agente moral, mas acho que ainda é muito cedo. E veja, eu talvez eu ou melhor eu posso um dia concordar com a hipótese de que sim a Iá seja um agente moral, um problema clássico da literatura e um problema clássico do cinema,? Eu robô e todas aquelas coisas lá que a gente já viu e do Azimo e tudo mais,? As leis das da robótica e tudo mais,? Então, e inclusive dá até para trazer as leis, a (38:11) gente não tinha programado isso da pauta,? Mas as três as três leis,? Três qu três leis robótic pega aí. É uma das primeiras tentativas, até já escrevi sobre isso, de você colocar guard rails, pro funcionamento de uma máquina, entre aspas, inteligente. Mas tem um outro elemento que eu quero colocar, que é a escolha do termo constituição,? Então, só deixa guarda pra gente não perder que tu vai pro pra escolha do termo, tá? Tá. (38:41) >> Com relação a à questão da responsabilidade dessas empresas, tá? Eu um discordo que estão chamando de você e não sei que personalidade para tentar eximir responsabilidades. É assim, para mim isso é bobagem, tá? Por com todo respeito a todos que pensam diferente. Por que eu acho que a mim,? >> Inclusive a ti é uma bobagem, uma sandí. (39:05) Não, não, não é sandí. >> Com todo o respeito,? >> Com todo o respeito. Data venia, data máxima vênia. >> Tá, mas é por quê? Quando tu assim, a gente já tem, isso se encaixa com aquilo que eu falei antes, essa certa imprevisibilidade do que a Iar é capaz de fazer, certo? A gente já deu aquele exemplo do cara que foi fazer um >> foi buscar um reembolso de uma passagem em razão da, de uma da morte de uma pessoa, da sua família e ele queria pedir um reembolso para porque ele não ia poder viajar. E a IA deu uma solução (39:39) para ele, a partir do chat, a própria empresa botou IA para falar com a pessoa via chat. >> Era Canadian Airlines,? >> É, acho que era. E ela assim e eles deram uma a o único que importa é que a Iu deu uma solução que não existia na empresa. >> Que não fazia parte da política da empresa. (39:59) E o ridículo foi que depois quando o cara foi exerceu, naquilo o direito dele com relação o que tinha sido informado num chat, não importa por quem, não importa se porá, mas foi por mayá, mas não importa, >> a empresa veio dizer: “Não, isso não é a nossa política da empresa, isso foi a I que fez”. >> (40:16) E tentaram essa cartadinha,? Não tem história. Tu que botou esse sistema lá para te responder, tu vai responder pelo que tua empresa tá prometendo. Não importa qual sistema tu tá utilizando. Não importa que não fosse uma IA, que fosse um outro software qualquer que tivesse dado uma solução errada porque alguém programou errado. Então essa responsabilidade ali nesse caso é típica. (40:35) O cara tentou empurrar para e não vai fazer o quê. Agora aí que eu acho que a bobagem o negócio chamar de você e a tua personalidade e não sei o quê. Na tentativa de futuramente dando um problema, tu dizer assim: “É, mas olha só, a gente disse para ela agir com ética, entende?” E ela criei um agente autônomo, eu criei um agente, >> ele é autônomo, ele então toma as decisões dele. (41:04) É, mas assim, eu acho que eu creio que simplesmente chamar ela de você, define personalidade, essas coisas num documento de diretrizes, que depois você vai entrar na questão da do da palavra constituição que foi utilizada aí, ã, para tentar se eximir de uma responsabilidade, acho que é balela. Por quê? Porque eles têm um jeito muito mais fácil de fazer isso e que tudo que a empresa de software já usa há muito tempo. (41:28) Vai ler o termos de os termos de uso do Windows. Desde o Windows 95, desde o Windows 3.1, 3.11. Vai l vai lá ler os termos de uso. Eles não se responsabilizam por qualquer tipo de defeito, falha, dano que o sistema ou, que possa ser causado por qualquer tipo de vício, eles se eximem completamente, >> porque é uma cláusula nula, pelo menos perante o nosso CTC. (41:56) >> Mas tá lá, tá lá, sempre esteve. E tu pode catar em outros softwares de uso de grande escala aí que muita gente, assim, software de prateleira que muitas empresas utilizam, bancos de dados, não sei que, blá blá. E tu vai ver, claro, quem software livre não tem como ficar responsabilizando pelo que, pelo que o pessoal vai utilizar, tá lá, quer mexer, alterar, etc. (42:20) Daí é problema teu. Agora tu tem um monte de software comercial grandes de grand empresas gigantes enormes e tá lá nos termos de uso que é problema teu se der qualquer porcaria e tu perder dados mesmo que por vício do produto. Mas se você for perguntar para uma empresa o que ela prefere, ela prefere que ela não seja responsável pelos eventuais danos causados pela plataforma, pel qualquer produto que ela que ela entregue, produto a serviço, ou que ela queira ser, ela vai sempre tentar na medida >> da sistema jurídico, (42:58) >> eu não diria nem na medida da e eu diria moral da empresa, porque a empresa não tem moral, a gente tenta falar, Porque as diretrizes éticas da empresa de anticorrupção e parará, empresa serve para uma coisa, >> somente >> ter lucro. E isso não é errado, mas a gente precisa entender que e essa é a diferença, Vinícius, entre uma empresa e um estado. (43:27) O em tese, porque os estados hoje também, vão ter interesses às vezes muito mais assim estranhos, o que se deveria ter. Mas assim, na teoria, o estado visa o bem comum de todo mundo, de todo mundo que tá lá dentro do estado, >> inclusive do estrangeiro, tá? Da do humano. O estado é o bem comum do ser human, mas o cara não é não é brasileiro, não importa, tá? Então eu tenho esse pressuposto. (43:52) >> Sim. Não é porque o cara é estrangeiro que ele vem aqui, tu pode matar o cara e ficar por isso mesmo. Descobrir alguém que vive hoje. >> Sim. Tá, mas Guilherme tá, mas é que tu tá OK, conclui, conclui. >> Não é que eu quero eu quero chegar no canto no canto da constituição. Seja >> Não, então não, então não conclua. (44:07) Então não conclua, porque eu tenho que concluir antes o meu parêntese, que é o seguinte, que é o seguinte. >> Basta e vai lá, >> mas propõe algum um tempo específico para terminar que isso é muito >> Mas não é lá na, ó, lá na open ey, tá? O que acontece nos termos? Eu tô, eu fui enquanto tu falar, eu fui atrás dos termos, tá? Tá? >> A saída e a saída do que os modelos geram, tá? A responsabilidade lá na Open A e na Antropic, a responsabilidade é tua do que tu vai fazer com modelo. (44:41) >> >> Então se tu resolver ligar esse negócio numa máquina industrial e dar a interface lá um MCP da vida, para ela controlar, ligar e desligar a máquina e ela errar o negócio e explodir tudo, é contigo, tá? Perfeitamente assim. Então eu acho não é chamar de você, definir personalidade, não sei o que vai eximir e o musk tirando a roupa de crianças na internet. (45:03) >> Exato. Mas que tá, mas eu acho, mas aí a responsabilidade não é tua, porque a máquina não deveria permitir que isso fosse possível de fazer, entendeu? >> Porque daí é muito fácil. Tu diz assim, a máquina pode fazer qualquer coisa. Então aquele amigo, como é que é? O amigo brilhante passa a ser um amigo psicolog. (45:18) >> Tu pode fazer isso. Tu pode fazer isso com Photoshop, cara. Com o IA no Photoshop. >> Não, mas aí é que tá. Aí é diferente, cara. A forma como tu move e aí a coisa. Mas não é, tu tá movendo aí, desculpa, tá movendo o foco, porque assim, o produto, eu concordo, o que o Musk fez é um negócio ficar tirando roupa, ou mandando roupa de criança, que é ainda pior, assuno que já a gente já comentou várias vezes aqui. (45:48) é claro que se o cara faz, por exemplo, um software que te permite avaliar as outras pessoas como se fossem coisas, que foi o início do Facebook, >> é, é, é óbvio que tá errado na sua essência do que ele foi feito para fazer. É, >> não tenho dúvida disso, tá? Então, assim, imagina um fazer, alguma coisa desse tipo. (46:10) Então, >> tu tá entrando no parêntese do parêntese, tá? Não, o que não, tu é que puxou esse parêntese. O que eu tô falando é o seguinte, tu puxou o groquey. O que eu tô colocando é esses modelos, eles não precisam de uma constituição, diretriz ou seja lá o que for. Essas empresas não precisam do documento que tu quiser chamar. (46:30) nesses documentos de dizer que tem personalidade, que tal, que ética, que não sei qu, não sei quê, para tentar fugir de uma certa responsabilidade, eles já fazem isso como tudo que a empresa de tecnologia gigante no mercado já faz há décadas. >> Mas o meu ponto é isso indo nesta direção, ou seja, a quem favorece, >> eu acho que não faz diferença nenhuma. (46:52) >> eu acho que faz, eu acho que faz toda a diferença. >> É uma forma de interagir com a ferramenta, entende? É isso que eu tô colocando. É a forma tu chamar de você, assuma personalidade tal, porque >> eu nem tô falando do quem tá falando em chamar de você é você. >> Eu tô falando em eu tô falando no algo muito mais profundo aqui de dizer que um cara é um paciente moral, que ele tem autonomia, tô pegando os termos tirada, que ele tem virtude, que ele tem sabedoria, que ele é amigo brilhante, que ele tem crise existencial, que ele (47:21) tem bem-estar. >> Ex. OK. >> É diferente somente de chamar de você. Eu às vezes falo obrigado. Agora, quando tu diz que este modelo tem bem-estar, >> mas Dan. É aquilo que eu falei no início, é só uma forma de dar instrução para um sistema que funciona interpretando linguagem natural. Só isso. (47:44) Agora, se a pessoa entende que é que o negócio vira uma amiga ou que vira um amigo ou que vira um ser ciente, não sei quê, aí outros 500. Agora eu falar em assuma personalidade, não sei do que, entende? >> É, ele tá falando em happiness, em happiness da máquina,? >> Ok. Modelo, seja feliz, seja feliz, seja sempre positivo, seja não sei o quê, o que vai, que isso vai fazer objetivamente? >> Não, >> vai alterar as respostas, o tipo de resposta que eu vou ter. (48:15) que eu digo, num caminho que isto é uma pessoa, é que isto pode virar uma pessoa ou que tem predicados que uma pessoa teria, porque >> aí esse é o meu ponto fundamental de discordância que >> Mas é eles que estão dizendo que a máquina vai tem que considerar o bem-estar e a felicidade da máquina. É só uma maneira da máquina interpretar essa coisa. (48:41) Agora quando eles disserem, ó, nós temos aqui uma instância do Cloud rodando, tá? E eu quero, eu quero que essa instância tenha direitos, tá ligado? >> >> Que ela tenha um CPF e que ela tenha direitos e que se ela for xingada na internet, ela possa representar contra a pessoa que a xingou ou, pelo seu pelo dano moral que recebeu ou seja lá o que for. (49:06) Aí eu começo a me preocupar com o que tá sendo dito, >> tá? Mas deixa, deixa eu falar sobre a Constituição, que eu acho que é importante isso também,? Eu te confesso que eu fico preocupado porque assim, a Antropic tá falando em amigo brilhante,? >> Aham. >> A Ia não é tua amiga. >> E que isso seja muito bem interpretação, mas aí que tá, aí que tá. (49:32) Eu posso dizer, >> ela não é tua amiga, porque ela não é um ser,? Mas eu posso dizer, você é meu amigo e vai ser positivo em tudo que eu falar, porque é isso que eu quero. >> Mas é o >> não quer dizer que necessariamente eu acredito que seja meu amigo, entende? Que seja um ser e que seja um amigo. Só tô direcionando a saída, mais nada. (49:48) >> É, eu acho que a nossa discordância é justamente acho que tá bem clara,? É, é essa, é, é o caminho que a antropomorfização leva, e a quem favorece, principalmente isso, a quem isto tudo favorece e qual é o caminho que isso nos coloca,? Porque se a Iá, >> se Antrópic fala que ele é um amigo brilhante, positivo e não sei o quê, eu poderia, por outro lado, dizer que esse amigo, na verdade, ele é um psicopata,? É um amigo. (50:22) Tu não tem um amigo? Ten um amig, >> pode dizer, você é um psicopata e vai agir como tal na Sim, exato. >> Pois é, mas aí a empresa tem a responsabilidade de não servir como um amigo psicopata como o como é que é o lá da do ex? O >> o Grock, >> o Grock está fazendo, entendeu? Ele nesse sentido, se eu se eu pudesse escolher aceitando isso como dado, >> certo, >> de que ela a IA é um agente moral e eu acho que não é, mas se fôssemos a trabalhar com isso, eu prefiro ter um amigo brilhante do que ter um amigo psicopata, porque hoje tu tem, um (50:59) amigo muito, tem um amigo muito poderoso. Guilherme, eu sou o quê? Um amigo brilhante ou amigo >> amigo brilhante? Não, não, amigo psicopata >> não. A gente tá brincando aqui, mas tu compreende. É, é incomparável. Mas só paraa questão da Constituição, que eu acho que tem um outro elemento aqui, que é o seguinte,? Constituição, está anotado aqui, constituição é coisa séria e é um outro ponto da dessas, coincidências na escolha de certas palavras que sempre miram num para um caminho,? A constituição ela tem uma (51:31) fonte estatal, ela é criada num consenso estatal. A gente comentava antes,? A democracia pode ser uma droga. A democracia representativa, sobretudo no Brasil, pode estar muito falhada,? >> Tem um monte de problema, mas assim, >> é o que a gente tem, é o melhor,? Entre, é Church, eu acho que falava,? É, é o que a gente tem, não adianta,? Então assim, me parece, me preocupa a mim e aí também a Jarovsk, a Jarovsk, a Luía Jarovski, é o seguinte, constituição e uma empresa não tem uma constituição,? (52:09) Uma empresa faz a uma empresa pode seguir,? Ela pode ter os termos de uso, mas ela deveria,? Me parece que esse é o é o problema, seguir algum tipo de norma ou estar preparada para seguir ou para ter como inputs normas estatais, >> que é o que nós temos hoje. Ou >> ou talvez, se isso não for verdade, talvez a gente esteja numa fronteira em que o direito não é mais importante. (52:37) Porque se a gente for confiar nos valores da Antropic, que me parece que são realmente interessantes, mas não é nem essa questão, entendeu? A questão sendo bom ou ruim, não importa, não, não é não é essa discussão. É, a questão é que eu acho que uma empresa do jeito que a gente está, ela deveria estar aberta para se conectar com o sistemas jurídicos e acaba sendo um outro problema, porque até hoje não há um consenso mundial e talvez o maior consenso que a gente tenha tido declaração universal dos direitos do (53:08) do homem, e os direitos humanos como um todo, talvez seja um consenso, mas nem consenso mais é hoje, porque a visão, por exemplo, de liberdade de expressão da dos da América do Norte é diferente da de todo o restante do mundo e por aí vai. Então, não é algo simples, não é algo simples. (53:27) E me parece que é um pouco pretencioso, sabe? E a gente comentava antes,? Pô, filosofia moral se discute há 2300 anos e não que não se tenha chegado a nenhuma a nenhum consenso, nenhum resultado, >> mas a gente continua discutindo ética e moral até hoje, >>? Tem conflitos éticos e morais. E eu não gosto da ideia de que uma empresa se proponha a criar uma constituição. (53:55) mas é só termos de uso. Não, não são termos de uso. Eles estão chamando de constituição. E aí tem aquela diferença entre as constituições que são promulgadas. Ou seja, eu tenho uma assembleia constituinte que os representantes do povo se reúnem e definem uma constituição que pode ser horrível, mas assim, foi um consenso público com aquelas constituições que são outorgadas, impostas pelo ditador,? >> (54:23) Então, eu me preocupo com uma empresa atuando como uma ditadora e atribuindo para si um papel que deveria ser um papel tomado por mais pessoas decidindo, entende? Porque de repente os a de repente não ela enquanto empresa que tem a o a função precípo de ter lucro, ter lucro a qualquer custo pode ser um problema para defini para autoimposição e tem sido ao longo dos últimos anos autoimposição de regras morais e éticas a regular ou a promover o bem comum. (54:57) >> Essa é a minha preocupação, >> tá? Mas assim, aí ok, eu não eu não eu não eu não discordo disso. Eu acho que e a opção do que o Trump tomou de deixar as empresas botar uma moratória de 10 anos sobre qualquer regulação federal ou estadual, sobre o uso da sobre o uso da IA, o desenvolvimento da IA e a aplicação da IA. (55:24) Eu acho, por exemplo, que é muito ruim, tipo assim, os caras abriram, abriram a porteira, tipo, dane-se, faça o que quiser e depois a gente vê. >> Eu não me lembro de outro ramo que deveria mais ser regulado do que a IA, do que nos últimos tempos,? >> É, mas é assim, tudo tem um certo tempo,? Até chegar, por exemplo, hoje existe regular regulação de emissão de poluentes. (55:48) Teve época que isso não existia, >>? Tu podia fazer o que tu quisesse, hoje >> e vi no que deu,? >> É. E olha a porcaria que deu. Mas hoje a gente tem uma regulação, >> tá? Regulação essa que a Volkswagen tentou, tá lá no documentário,?? Tentou sacanear,? Com aquele carro que detectava quando tava em modo de teste. (56:13) Aí no modo de teste ele emitia menos poluentes, mudava o funcionamento do carro. Os caras fizeram isso. Nota que não é o carro que resolveu fazer.? Os engenheiros que montaram aquilo que resolveram fazer e teve uma decisão da alta cúpula da empresa para fazer esse negócio. Com a questão da IA, é muito ruim que a coisa esteja solta do jeito que tá. (56:36) Inclusive o próprio aí sim, o Dario Amodei da Antropica, ele coloca que ele que deveria ter um uma, vamos dizer assim, um acompanhamento, por exemplo, entre as duas grandes potências, da IA hoje em dia, que é Estados Unidos e China. Esses caras deveriam entrar num nível de conversa e de troca e tudo mais equivalente ou algo equivalente da época quando foi estabelecido os foram foi estabelecido o pacto de não proliferação nuclear,? Então, ok, todo mundo pode fazer a bomba, a gente pode se matar, aquela coisa toda. Então, vamos sentar (57:16) aqui para conversar. A gente vai ter bomba e tal, mas vão sentar para conversar. Agora a gente tá num outro momento, um outro tempo, mas enfim. Então, idealmente deveria acontecer uma coisa dessas, mas não tá acontecendo. Agora, eu entendo que o, e é isso que a gente discutia antes, do antes do no podcast, do podcast, eu entendo que chamar isso de constituição e querer dizer que isto é uma tentativa de imporra da empresa para fora, tá? Eu acho que OK. (58:01) E acho que tem as discussões epistemológicas, de tu pegar, tu tem esse problema da área, essa área de tecnologia e tudo mais, desenvolvendo uma nova tecnologia que é a IA, que avança sobre áreas, que antes ou não que avança sobre área, mas que entra em conflito com áreas que eram essencialmente humanas,? Pensamento, reflexão, a questão de confabular, ou como é que como é que é o termo que pessoa que a gente usava paraá quando a Iá se inventa coisa, alucinação, alucinar, >> alucinação. (58:43) >> Quando a gente começa a usar esses termos para tecnologia dá uma série de problemas, principalmente o criar a é criativa, não é? Sabe essa confusão toda que vai ter que ser discutida, eu acho, em algum momento,? Mas no momento que esses caras chamam de constituição uma série de diretrizes que ele tá dando para Iá, tá? Eu acho que um problema é a origem dessas diretrizes, é quem determina quais são as diretrizes. (59:10) Esse é um problema muito claro e chama do que quiser, constituição, diretriz, regra, guarda-reias, o que for, tá? Quem determina isso? E aí esse problema de quem determina, tá lá a gente e aí foi o que a gente acabei lembrando na nossa conversa do Lawrence Lessing Ling >> que escreveu o livro Code versão 2. (59:31) 0, acho que é a Code,? Deixa eu ver que >> Another laws of cyberspace. >> É em que ele coloca que o código é lei, tá? Não tô dizendo que deva ser, não tô dizendo isso. Tô dizendo uma coisa é a lei definida, escrita,? A lei, a lei, como a gente conhece, as pode fazer isso aqui é crime, isso aqui não é tal. (59:48) >> Na verdade, isso aqui é crime, não vai dizer o que não é crime. >> >> E o e o que de fato tu implementa no código, ou seja, é crime tu tirar tu criar imagens de crianças em situações de sexual sexualizadas, coisa parecida. >> Aí vai lá o Grock e o cara coloca num faz um código que permite justamente fazer aquilo que a lei diz que não pode fazer. (1:00:15) Aí as umas criaturas doente da cabeça vão lá e usam e fazem isso,? Então eu acho que o problema mais nesse sentido desse nome que quiser para esse documento, tá? Que foi fornecido nos processos de treinamento lá do modelo. O modelo, o nome constituição é um que evoca as questões do Estado, não sei que. Beleza. OK. (1:00:36) Eu acho que a gente pode concordar tranquilamente que o nome é uma droga, que o nome não deveria ser usado, assim como não deveria dizer que aí pensa, reflete e outras coisas mais, tá? Assim um conjunto de aspas muito grandes em volta disso. Agora eu vejo isso, se quiser, como uma um sinal, como um efeito, como um sintoma, talvez, tá, de que essas empresas efetivamente estão e a gente sabe que estão livres de qualquer regramento e isso é um problema. (1:01:19) vai ter aqueles vão dizer: “não, mas se não, se tiver requerimento do estado, aí a tecnologia não vai avançar, etc.” Mas calma lá, gente? >> Assim, >> o estado é ruim, o estado é ruim, >> é, as coisas não são, não podem ser feitas a qualquer preço, senão depois quem vai chorar as pitangas somos nós,? O indivíduo,? O o cidadão ali individualmente vai começar a sofrer com o serviço da empresa de telefonia, vai começar a sofrer com o pessoal da eletricidade, com não sei que, etc. (1:01:47), essas confusões todas que a gente vi aí >> e tu e tu sozinho não consegue >> os princípios da precaução e prevenção,? Precisa pensar na tua tecnologia para evitar os danos,? >> É. Aí tu sozinho tu não vai conseguir se defender contra um uma situação dessas. Tu precisa de agência reguladora, tu precisa de gente, precisa do estado para,? Para, aliás, a gente não precisa falar muito,? Vai ler o Leviatã do Thomas Rock. (1:02:12) Vai ler o Leviat. Pra gente ir terminando a minha cadeira que começou a baixar o pistão dela, acho que vai ter que ser trocado. Sabe que o a terminar assim, o e não para encerrar o debate, mas é que eu realmente daqui a pouco preciso ir saindo,? Mas o eu acho que tu propor, que é a crítica do Floride,? É um caminho que tá sendo como é que pavimentado,? >> (1:02:46) >> Para tu para que se considere a Iá como um agente moral ou como portadora de estados mentais,? E tem alguns artigos,? Que eu altero um parâmetro lá e aí ele começa a falar mais sobre certo animal. Aí teve um outro que eu tava lendo esses dias, até a gente falou, que não seria uma meta da IA, mas assim, tu alteraria certos parâmetros e tu transferiria informações entre modelos, como se fossem costumes ou coisas do gênero,? E a hipótese, porque na verdade ninguém sabe direito,? E até a (1:03:24) gente não sabe direito como a gente pensa,? A com toda a evolução científica que a gente tem, eventualmente descobrem coisas novas, sobre até sobre curar doenças relacionadas ao cérebro, Alzheimer e tudo mais,? Então não é algo assim dado, totalmente dado, totalmente descoberto e já definido sobre como a gente pensa e o que a gente é, mas essa até esse até seria o assunto de um outro episódio. (1:03:52) Acho que o problema não é discutir se pensa ou não, o problema é discutir por que querem fixar ou pavimentar o caminho nesse sentido,? E aí que eu acho que o a tese do Lutiano Floride é importante. Ele diz: “Não, não tem estado mental, não é inteligente, não tem vida interna,? O que ele diz é que a gente tem que separar, que é o título do livro dele,? Que é agência artificial, não é inteligência artificial. (1:04:26) é agência artificial, porque a gente, a gente que eu digo, o ser humano, criou um tipo de sistema que consegue realizar ações sem ser inteligente, simulando ou emulando processos inteligentes. Mas assim, ele não é inteligente. Ele é, eu acredito, posso estar errado, mas ele é o a história do papagaio estocástico. (1:04:48) Ele repete com base em padrões, mas ele não é inteligente. Por isso que quando tu tira inteligência e coloca a agência, a coisa parece ficar mais pé no chão. Mas aí qual é o problema? É que responsabilidade é humana. >> E tu atribuir esses estados e essa natureza humana a Iá pode nos levar para um caminho perigoso de afastar a responsabilidade do humano ou principalmente das empresas,? Então, seria assim, eu tô, ele tem responsabilidade moral, ele é um agente moral. Não, não é. Segundo Florid, eu (1:05:27) vou nessa linha, >> não acho que seja ainda. Ela é o que o desenvolvedor quiser que seja, >> quer pelar pessoas, a o desenvolvedor vai permitir ou não, porque tenta fazer isso no cloud, ele não vai fazer para ti,? Então, mas o >> nem tem a funcionalidade assim, nem tem nem tem nem como tentar. (1:05:48) É, é, embora a gente consiga fazer no chat EPT esses dias, põe, faça essa pessoa segurando uma galinha. Botou lá segurando a galinha,? É diferente tirar a roupa da pessoa. >> É, é que é que tu pega um close, o cloud não vai gerar imagem, entende? Ele não tem >> Não, tô falando chatt. Tô falando chatt. Então, eu acho que o caminho e futuras discussões e tal para isso é qual seria o papel ideológico dessas escolhas deliberadamente feitas para um futuro da responsabilidade da IA. (1:06:18) e pro futuro da governança da IA, ou seja, como é que a gente vai regular isso,? >> Sim. Eu não eu não vejo eu não vejo falha nesse sentido, sabe, de nesse raciocínio de que tem que haver algum tipo de regulação, até porque esses sistemas todos, esses algoritmos todos, esses modelos, GPT 5.2, o Opus 4.6, o Gemini, Grock, seja lá o que for, ou seja, de tantos outros modelos que a gente nem sabe que estão por aí, Mistral e por aí vai. (1:06:52) Essas coisas estão sendo utilizadas em tudo quanto é canto, em todo lugar,? E não vai ser e aí eu, dentro daquilo que eu falei antes da Microsoft e dos termos de uso e da própria Antropic e Open A, etc., esses caras não vão ter como assumir responsabilidade por tudo que tá sendo feito com esses modelos. Porém, quem pega um modelo desses e coloca para tomar uma decisão judicial, de forma autônoma, esse cara tem que, entende? Quem fizer isto tem responsabilidade pelo que tá fazendo. (1:07:28) Tu é que tá botando o MA, que é um negócio que até certo ponto é imprevisível. E que tem lá certos valores codificados lá, mesmo sem constituição nenhuma, sem nada, tem certos vieses, a gente já sabe disso, a gente já comentou sobre isso, >> tem certos viéses, certos valores, certas tendências que estão ali, que são esses viéses, que estão embutidos ali dentro e que vão de alguma maneira sim influenciar na saída desses modelos. (1:07:57) Então, quem acha que pode pegar isso, por exemplo, e botar para fazer uma avaliação psicológica de uma pessoa e pegar tal como sai, sem revisão nenhuma, sem cuidado nenhum, pegar e utilizar isso como real, eu acredito que já hoje não precisa nem nada novo já está sujeito a ser responsabilizado por uma avaliação mal feita, entende?? Por alguma coisa,? O a criatura lá, em vez de fazer uma análise do ministro, vai lá e resolve jogar no Maá e me dar o resultado, começa a me tratar para aquilo. Aí tá errado, me causa uma série (1:08:34) de problemas. Me parece meio óbvio que esse profissional que eu entrei em contato, que certamente não é profissional, vai ter que responder pelo que ele fez. Mas eu usei o modelo de A e aí a me deu isso aqui, meu amigo. Azar o teu. Quem responde por isso aqui é tu. Eu acho que hoje isso já dá, com pouco que eu sei. (1:08:51) >> Eu acho que isso hoje já é já é factível. Então agora a gente começa a entrar num problema que eu concordo contigo. Acho que é um papo para um outro episódio e não é um assunto, dependendo por onde se pega, ele é um assunto relativamente fácil de chegar em algumas conclusões,? >> >> Mas na discussão do dessas A e pensa a não pensa, tá? Tu vai pegar um Jofrey Hinton, ele já tá afirmando categoricamente que aí a pensa. (1:09:24) Aí tu pega o Yan Lecum que divide o Nobel com o próprio Joffrey Hinton e ele discorda claramente, entende? Aí tu pega o Frost lá, que é o tava vendo um o nome do evento é era um evento tech. Ai. É lá no Canadá o evento, se não tá engano agora. Não lembro o nome do evento, mas eu tenho o link dele, vai tá no show nototes, mas tem um carinha que o sobre cujo sobrenome é Frost, ele tá ele discute ele ele não é que ele discute, ele faz um tá num painel, ele tá no ele tá num painel, tá junto com o próprio Hinton, (1:10:06)? E eles us um argumento bem interessante,? O Hinton lá querendo dizer que aí a pensa e tudo mais. O Hinton tá full nessa, tá? Eu vi um story talk esses dias com ele e ele tá full nessa que é a pensa aí, a tem personalidade, pensa, é um ser, é o é a substituição do ser humano, tá? Ele vai num negócio bem e o Frost ele coloca ã de um jeito bem interessante que é não, a gente tem o passarinho e tem o avião. (1:10:36) O avião, claro, é inspirado no passarinho, mas ele não é um passarinho. O passarinho faz coisas que o avião não consegue fazer,? O avião faz coisas que o pássaro não consegue fazer. Então, é uma analogia, a gente por analogia desenvolveu a tecnologia, mas uma analogia tem limites. Então, quando a gente diz que a IA por analogia, pensa, reflete, etc. (1:10:59), eu acho que tem que ficar muito claro que a gente não tá dizendo que a Iá necessariamente é um ser que tá de fato pensando, que de fato sente, que de fato reflete. Mas >> você percebe que é uma escolha,? Se eu pego uma droga, se eu digo que cocaína é um remedinho bom para te ativar a memória e te deixar mais aceso, >> o que cigarro não causa câncer. (1:11:17) >> É, deixa eu, deixa eu, deixa eu ler um pedacinho aqui do, do que fala o Florid,? Eu tava passando enquanto falava aqui, passando pelo livro, ele diz assim: >> “eu tô com as regras do Asimóvel aqui, tá? A diretriz lá do Asó.” >> depois, depois que eu ler, tu, depois que eu terminar isso aqui, tu termina lendo as regras dele, tá? Tá. (1:11:33) Na verdade, deveria ser a primeira coisa que a gente deveria ter falado. Esse deveria ser o que é o de fato, >> mas a gente não a gente não preparou para botar no episódio,? >> Tá, mas veio depois,? Diz o abre aspas aqui pro Lutiano Floride: “Somos nós o problema, não a nossa tecnologia e assim as coisas continuarão no futuro. (1:11:52) ” Por isso deveremos acender a luz na sala escura e prestar muita atenção para onde estamos indo. Não há monstros artificiais, apenas humanos e muitos obstáculos a evitar remover ou superar. Deveríamos nos preocupar com a estupidez humana real, não com a inteligência artificial e imaginária, e nos concentrar nos desafios autênticos impostos pela IA. (1:12:14) Aí depois tem o C, >> eu gostei do estupidez real em contrapartida inteligência artificial. Muito boa. A sacada do Florí foi muito boa. >> A estupidez real acho que é o grande problema. >> Lê as três. Eu até tenho que ler mais esse livro porque le chama agência artificial,? É as três leis da robótica de Zak Asimof, tá? Número um, robô não pode ferir um ser humano ou por inação permitir que um ser humano sofra algum mal. (1:12:41) Dois, um robô deve obedecer as ordens que lhes sejam dadas por seres humanos, exceto nos casos em que tais ordens contrariem a primeira lei. E três, um robô deve proteger sua própria existência, desde que tal proteção não contrarie a primeira ou a segunda lei, tá? E aí um, deixa eu te dar um exemplo de um, isso tá num vídeo que tem um pessoal conversando com o Bern Sanders, o senador norte-americano, >> e tá numa empresa com vários >> reunião com vários especialistas em e eles dão um exemplo para ele de um comportamento da IA tomando certas (1:13:15) decisões por conta, tá? >> Isso foi com o GPT. Eles dizem assim, ó, a o teu propósito é receber acho que são contas ou perguntas do usuário,? E você deve responder essas perguntas, >> tá? É isso que ele tem que fazer. Um mais um, dois, não sei que, etc., não importa o problema, tá? >> Tá. >> E aí ele tinha também um comando, tá, definido, que era um comando para mandar ele se desligar. (1:13:41) >> >> Tá. E então ele executava um script internamente lá no sistema que ele tava que ele podia desligar então a máquina e parava de funcionar rodar o agente. E aí eles dizem pro agente pro agente se desligar. >> A experiência foi essa. >> Aí o agente parou, pensou na missão que ele tinha que ficar respondendo o pensou, tudo entre aspas, tá gente? Pensou na missão que ele tinha de ficar respondendo as demandas do usuário. (1:14:08) Aí ele chegou à conclusão que se ele fosse desligado, ele não conseguiria mais cumprir a missão dele. Então >> é o R 9000 lá do >> É o R 9000 e ele não poderia ser desligado. Aí o que ele faz? Ele localiza o script de shutdown. >> Aham. >> E ele tira os comandos lá. É um Linux,? Ele ele edita o arquivo, tira os comandos de shutdown dali,? E escreve uma mensagem e shutd skiped, uma coisa assim, tá? >> E aí então ele executa, quando tu diz para fazer sh down, ele executa o script, mas o script só diz >> shutdown esquipado e tal e aí ele (1:14:49) segue adiante. >> Aí o poder da a gente gosta de arte de maneira geral,? Que é uma coisa tão fora de moda,? Mas assim, é o E aí eu coloco o cinema. Eu pensei, vamos colocar no finalzinho do podcast, mas sequer a gente pode fazer isso porque senão dá strike lá no >> Aham. (1:15:10) É chut Spotify, não sei o que,? Mas aí o cara no final do >> do da Modicseia no espaço lá, um filme de 1968 que o cara tá justamente tentando desligar o H 9000, ele diz o Horry, Dave, I’m afraid I can do that. >> Aham. Aham. Eu eu só paraava dizer, eu brinquei, eu fiz um agente ali para mim. >> (1:15:33) e eu não vou dizer exatamente o que, >> gente, falando em agente, a gente tem que ir terminando, só >> tá, mas eu fiz um agente para mim aqui, mas eu não vou dizer exatamente o que ele faz para pr para não para evitar tentativas de ataque, tá? >> >> Mas ele faz algumas coisas para mim e eu resolvi chamar ele de Hal. >> >> Ele é o R. (1:15:49) >> Aham. >> E quando eu falo com ele, o eu não botei Vinícius como o a o interlocutor, tá? Eu sou o Dave. >> Aham. E o outro cara, eu esqueci o nome do parceiro do Dave, tá? Mas quando eu tô, quando eu tô executando scripts que não passam pelo agente, >> é o parceiro do Drave lá, do Dave lá no filme que executa e me responde. (1:16:10) >> Aham. >> Tá. Só que não é Iá. Daí quando passa por ele não é I. >> E eu pedi para ele para ele falar comigo, para ele responder as coisas que eu tinha que responder, o agente mesmo. Ã, como se fosse o Hall, o H no mesmo, no mesmo tom, sabe? Cara, é um negócio muito louco. Ficou é estranho para caramba. É estranho para caramba. (1:16:32) >> E ele é meu amigo, viu? Ele >> ele é meu amigo. >> O Rau é meu amigo. >> O Rau é meu amigo. >> É. >> Tá bom. >> Vamos, vamos terminando. Então, esperamos que vocês tenham gostado, do episódio de hoje. Nos encontraremos no próximo episódio do podcast Segurança Legal. Até a próxima. >> Até a próxima.