Testes A/B em sistemas de AI e ML (convidado: José Carlos Santos)

Notas do episódio

O episódio de hoje aborda um tema muito relevante para qualquer projeto contínuo de AI. Como fazer validações dos nossos modelos seguindo um modelo de teste A/B? Como saber se as alterações que estamos a fazer estão a ter impacto real e esperado no resultado que queremos medir? Este problema torna-se ainda mais importante quando temos um ambiente produtivo muito complexo, com múltiplas equipas e scopes que podem contaminar a validação do que queremos fazer. E para partilhar connosco a sua visão e experiência no tema, temos como convidado o José Carlos Santos, Principal Software Engineer na equipa da Microsoft do produto Bing com uma vasta experiência em implementação e definição de testes A/B e em como medir o impacto das mudanças em modelos de ML/AI. Links IA News: A team of researchers from Stanford University simulating the annual tournament with the help of artificial intelligence - https://cs.stanford.edu/~haotianz/research/vid2player/ AI tool detects child abuse images with 99% accuracy - https://artificialintelligence-news.com/2020/07/31/ai-tool-detect-child-abuse-images-accuracy/ Microsoft is fighting deepfakes ahead of the 2020 US election - https://www.cnet.com/news/microsoft-is-fighting-deepfakes-ahead-of-the-2020-us-election/ http://www.spotdeepfakes.org