Timnit Gebru era até há bem pouco tempo um nome relativamente pouco conhecido do público apesar da sua proeminência na comunidade tecnológica. Nascida e criada na Etiópia até aos 5 anos, Gebru emigrou depois para os Estados Unidos da América onde um percurso académico notável a evidenciou em diversos campos no mundo da tecnologia, como o desenvolvimento de circuitos para a Apple ou a optimização de visão computadorizada em Stanford, e, ultimamente, os contributos para a investigação sobre ética aplicada à inteligência artificial. Entre as bandeiras da sua carreira está um estudo desenvolvido no Microsoft Research em que a investigadora revela as falências dos sistemas de inteligência artificial no que toca ao reconhecimento de mulheres ou pessoas de cor, e a liderança da equipa responsável pela ética na IA da Google, cargo que agora deixa numa saída que tem gerado amplo debate online, depois de ter criado uma das equipas reconhecidamente mais diversas de toda a Google. Gebru diz ter sido despedida, a Google diz que Gebru se demitiu, pelo meio fica uma troca de argumentos e acusações em que muitos sugerem discriminação e incapacidade da Google para lidar com opiniões divergentes dentro da sua própria equipa.
Apparently my manager’s manager sent an email my direct reports saying she accepted my resignation. I hadn’t resigned—I had asked for simple conditions first and said I would respond when I’m back from vacation. But I guess she decided for me 🙂 that’s the lawyer speak.
— Timnit Gebru (@timnitGebru) December 3, 2020
A história do afastamento de Timnit Gebru começa com um paper co-autorado pela investigadora e foi-se revelando publicamente numa troca de memos e e-mails que foram sendo publicados no Twitter. O primeiro relato do caso foi enderaçado por Timnit, por e-mail, aos seus colegas, mas os capítulos seguintes desta história ainda sem fim passaram-se em pleno Twitter, tornando pública toda a discussão. Jeff Dean, o responsável por todo o departamento de Inteligência Artificial da Google, foi o primeiro a reagir, contando a sua versão dos factos, publicando na sua conta da rede social, no passado dia 4, a mensagem que terá enviado a toda a equipa comunicando o afastamento de Timnit e explicando os seus fundamentos. É neste e-mail que se percebe que Gebru fora afastada por uma nova investigação que viria a lume pouco depois. Dean escreve que a investigadora, em conjunto com quatro outros Googlers e dois outros investigadores externos, foi autora de um paper submetido para publicação externa antes de ser submetido para revisão de pares internamente seguindo os critérios definidos pela empresa, respondendo vagamente a algumas das questões levantadas pela investigadora no seu primeiro e-mail, em que conta de forma hipotética tudo o que se terá passado.
I understand the concern over Timnit’s resignation from Google. She’s done a great deal to move the field forward with her research. I wanted to share the email I sent to Google Research and some thoughts on our research process.https://t.co/djUGdYwNMb
— Jeff Dean (@🏡) (@JeffDean) December 4, 2020
Segundo Dean, o paper em questão terá sido submetido para revisão da Google poucos dias antes do dia previsto para a sua publicação, ao contrário do definido pela Google de que os trabalhos de investigação feitos pelos seus colaboradores devem ser enviados duas semanas antes. Para além disso, o responsável do departamento de AI diz no mesmo e-mail que, apesar do incumprimento do processo, a equipa da Google procedeu à revisão do artigo, concluindo que a investigação não estava ao nível dos standards da empresa por ignorar uma certa quantidade de assunções e desenvolvimentos, recomendando aos investigadores uma série de alterações. Foi em resposta a esta solicitação que o princípio do fim da passagem de Gebru terá começado, segundo Dean. A então responsável de ética terá respondido impondo uma série de condições para a sua continuidade na Google, entre as quais, segundo o mesmo e-mail, exigia saber quem tinham sido os revisores da sua investigação. Dean e a sua equipa terão rejeitado as condições propostas e interpretado o e-mail como um pedido de demissão que acabaram por aceitar; contudo, para Timnit, e segundo testemunhos que surgem nas redes sociais, como o da própria visada, o assunto pode ser mais complexo do que aparenta, valendo até um abaixo assinado por 1400 colaboradores da Google e a resposta do CEO da Google, Sundar Pichai.
O primeiro ponto a gerar controvérsia prende-se com a intransigência da Google em aprovar o trabalho científico dos seus colaboradores. Este procedimento é visto por críticos como uma forma da Google manter um grande controlo sobre o que é publicado e, para além disso, como uma forma de a empresa se substituir ao processo cientifico corrente de revisão anónima mediada pelos editores das revistas a que o trabalho se sujeita a publicação. Já a empresa defende que esta é uma forma de gerar uma discussão ampla sobre os pressupostos dos artigos, envolvendo investigadores de diversas áreas. O segundo ponto, intimamente ligado, prende-se com o facto de a empresa sugerir que a revisão interna é anónima — e que Timnit terá pedido a identificação dos revisores do paper em causa — uma alegação que a autora desmente, acrescentando ainda que considera “irreal” a ideia de se assumir que a revisão na Google é anónima, algo confirmado por Manas Tungare, também dos quadro da empresa, que refere que as revisões não são anónimas. Também William Fitzgerald que esteve durante 9 anos no departamento de AI da Google, sugeriu que as declarações de Dean eram infundadas, dizendo que durante os anos que colaborara na revisão de artigos, dezenas não terão sido revistos, sem isso resultar no despedimento de ninguém.
Can confirm. I’ve reviewed papers at Google and the process is not designed to be anonymous. There’s a proper web app that handles incoming reviews tied to Googlers’ internal usernames & identities. We review fully knowing that the authors (will) know our identities. https://t.co/VrUvfWLs3b
— Manas Tungare (@Manas) December 13, 2020
https://twitter.com/william_fitz/status/1335004771573354496?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1335004771573354496%7Ctwgr%5E%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Fwww.technologyreview.com%2F2020%2F12%2F04%2F1013294%2Fgoogle-ai-ethics-research-paper-forced-out-timnit-gebru%2F
Para além das dúvidas sobre as alegações, outros apontam para o facto de a Google ter transformado uma proposta de diálogo de Timnit Gebru numa rescisão sumária como uma forma pouco diplomática de terminal a relação laboral com a investigadora. Jack Poulson, cuja saída da Google também fez títulos na imprensa, foi uma das vozes que testemunhou ter sido alvo de um processo homólogo mas tratado de forma diferente – Poulson demitira-se da empresa a propósito do projecto Dragonfly em 2018. Mas para além do apoio recebido por Timnit de fora da empresa, não foram só ex-trabalhadores da Google a solidarizar-se com a mulher que chefiava o departamento de ética. No dia 4 de Dezembro, um dia após o seu afastamento da empresa se tornar público, surgiu no Medium uma carta assinada por centenas de trabalhadores da Google exigindo mudanças nos processos da Google. Desde a sua publicação, a carta já recolheu 2351 assinaturas de colaboradores da empresa, para além das 3729 vindas de outros apoiantes de Timnit de outros quadrantes da sociedade. Face ao sucedido e à magnitude da reação, Sundar Pichai viu-se obrigado a reagir. Timnit Gebru fazia parte da minoria de 1.6% de mulheres negras que compõe os quadros da Google, pelo que o seu despedimento fez soar os alarmes da diversidade, atendendo especialmente ao facto de a investigadora ser responsável por uma das equipas mais diversas da Google e por ter um trabalho proeminente nessa mesma área, essencial a um desenvolvimento ponderado e democrático das tecnologias de Inteligência Artificial.
Contudo, se a carta de Sundar Pichai podia acalmar os ânimos, a forma como se referiu à investigadora acabou por acicatar ainda mais os ânimos. O facto de Sundar Pichai caracterizar o evento como uma demissão em vez de um despedimento é um dos principais motivos de celeuma. Timnit Gebru terá dito na sua resposta aos primeiros e-mails que ponderaria sair da Google caso as condições propostas não fossem aceites, mas a decisão de cancelar os acessos corporativos da investigadora, cessando informalmente a sua ligação à empresa, terá sido uma decisão unilateral que a empresa agora se recusa a reconhecer — e que segundo Gebru seguirá para tribunal. Jack Clarck, director de Políticas na OpenAI, laboratório de investigação sobre ética em AI, foi uma das pessoas a tornar esta preocupação vocal, considerando as declarações de Pichai uma forma de desresponsabilização sobre o assunto. A própria Timnit disse num tweet que sentiu que o memo de Pichai foi desumanizador fazendo-a parecer uma “mulher negra enfurecida”. De facto, o texto escrito pelo CEO da Google enfatiza a condição minoritária de Gebru de uma forma pouco substancial — “we need to accept responsibility for the fact that a prominent Black, female leader with immense talent left Google unhappily.” —, sem endereçar de facto os motivos que levaram ao seu afastamento, deixando apenas a promessa de perceber “como poderia [a Google] ter agido de forma mais respeitadora.”
I typically stay out of stuff like this, but I'm absolutely shocked by this email. It uses the worst form of corporate writing to present @timnitGebru firing as something akin to a weather event – something that just happened. But real people did this, and they're hiding.
— Jack Clark (@jackclarkSF) December 9, 2020
Do outro lado da barricada destacaram-se as intervenções neste debate público de Pedro Domingos, professor emérito da The Paul G. Allen School of Computer Science & Engineering; o autor português de um reconhecido livro sobre Inteligência Artificial saiu em defesa da Google criticando a postura woke de Timnit Gebru e categorizando o fenómeno como um abuso de poder, e uma perpetuação de um complexo de vitimização, declarações que acabaram por fazer com que a Universidade a que está associado fizesse uma thread esclarecendo a sua posição divergente do exposto pelo Professor, reconhecendo contudo a sua liberdade para entrar na discussão pública nas redes sociais.
Quick reminder of how modus ponens works, for those whose logic is a little rusty:
Premise 1: If you don't accept my demands, I resign.
Premise 2: You don't accept my demands.
Conclusion: I resign.
(The conclusion is not "I was fired.")— Pedro Domingos (@pmddomingos) December 11, 2020
The woke method:
1. Willfully misunderstand and misrepresent what your opponents say.
2. Hammer on it until your misrepresentation prevails.
3. If that doesn't work, kill discussion by insulting everyone until they don't want to be there.— Pedro Domingos (@pmddomingos) December 11, 2020
#UWAllen leadership is aware of recent “discussions” involving Pedro Domingos, a professor emeritus (retired) in our school. We do not condone a member of our community engaging in a Twitter flame war belittling individuals and downplaying valid concerns over ethics in AI. 1/11
— Allen School (@uwcse) December 12, 2020
E se o assunto se tornou público com a discussão nas redes sociais, a verdade é que pouco mais se sabe para além da troca aberta de tweets, e o tema promete tornar-se mais uma pedra no sapato da Google que tem tido diversos casos de divergência entre os seus colaboradores e as suas intenções nos últimos anos. Apesar de o artigo científico ainda não se ter tornado público, a revista Technology Review do MIT acedeu ao documento, e sintetizou alguns dos principais pontos enunciados, reforçando ainda mais a ideia de que o motivo central do afastamento pode ser a discórdia sobre o artigo — recorde-se que no primeiro e-mail de Jeff Dean, o responsável da Google refuta liminarmente estas acusações.
Do que agora se tornou público do artigo, através de uma das autoras que colaborou com Timnit Gebru, Emily Bender, sabe-se que a investigação era especialmente incisiva sobre os custos ambientais e financeiros do treino de modelos de aprendizagem automática utilizados pela Google, alertando para a pegada carbónica provocada por esta tecnologia de ponta. No artigo, as investigadores sugerem que o treino de sistemas de processamento de linguagem com modelo NAS (Neural Architecture Search) produz cerca de 284 toneladas métricas de carbono, ao passo que o modelo BERT, usado pela Google desde 2019, por exemplo, no motor de busca, para aprender a partir das pesquisas dos utilizadores, é responsável por quase o dobro da produção deste gás. Para além disso, o artigo alertava para o facto de a análise de grandes quantidades de texto se tornarem mais difícil de escrutinar, podendo deixar passar linguagem racista ou misógina, que pode induzir nos sistemas de aprendizagem automática viés indesejados e discriminatórios. O paper referia ainda os elevados custos de desenvolvimento desta tecnologia e a forma como esses custos levavam a pesquisa neste campo a guiar-se sobretudo por critérios de custo-oportunidade focados no que as empresas tecnológicas podem ganhar no futuro com as tecnologias, não se comprometendo necessariamente com um desenvolvimento de uma tecnologia mais precisa. Por último e num ponto análogo, as investigadores chamavam à atenção para o facto de a inteligência artificial não compreender de facto a linguagem embora o seu tratamento e utilização pudesse fazer com que o público desenvolvesse, erradamente, essa percepção.
Segundo as autoras do estudo, o argumento central da investigação prende-se com o facto de o desenvolvimento de AI consumir muitos recursos, tornando-se acessível apenas para empresas e grupos de investigação ricos, o que pode ter implicações futuras na democraticidade da tecnologia. Para além disso, esta perspectiva enunciada, remonta para o carácter plutocrático do desenvolvimento tecnológico da contemporaneidade. Com a investigação em tecnologias de ponta altamente dependente do financiamento de grandes empresas como a Google, as autores temem que o desenvolvimento possa seguir sobretudo o caminho do lucro e não necessariamente o caminho mais benéfico para a ciência, por não haverem benefícios em fazer pesquisa nesse sentido.
O despedimento ou demissão de Timnit Gebru, seja como for entendido no final, é um sinal paradigmático da relação entre as corporações e o desenvolvimento cientifico, denunciando uma hiper-dependência da investigação em determinados sectores, como a inteligência artificial. De um lado há quem defenda a importância das empresas e da sua capacidade de financiar pesquisa que de outra forma poderia ser mais lenta, por outro há quem diga que esta é uma forma destas mesmas empresas controlarem os resultados dessa investigação e a forma como estes chegam a público, permitindo-lhe gerir melhor as percepções sobre os seus próprios produtos que muitas vezes se valem de uma certa incompreensão por parte do utilizador para perpetuar retóricas ilusórias sobre as consequências da utilização da inteligência artificial.
No mais recente desenvolvimento sobre o caso, a influente cientista da computação de inteligência artificial deu uma entrevista à BBC em que acusa a Google e as gigantes tecnológicas no geral de serem “institucionalmente racistas”. A posição crítica de Timnit Gebru é secundada por vários investigadores da área, ecoando novamente a preocupação endereçada por Emily Bender de as grandes empresas afastarem pessoas eticamente comprometidas de áreas de desenvolvimento cruciais.
