Ninguém escreve e ninguém lê: os geradores de texto com Inteligência Artificial e a ciência que queremos

Desde a sua introdução massiva, no final de 2022, os geradores de texto com Inteligência Artificial — chamados Large Language Models (LLM) — como o ChatGPT e versões posteriores, como o GPT-4, não param de despertar o interesse dos media. Estes sistemas são capazes de gerar textos, resumos, traduções e transcrições de áudio. A sua capacidade de redação será tão avançada que são capazes de gerar abstracts tão coerentes que nem os próprios especialistas seriam capazes de detectar que tinham sido escritos por uma máquina. E a sua utilização em casos práticos está na ordem do dia; foi sugerido, por exemplo, que podiam ser utilizados para prever os estados iniciais da doença de Alzheimer. No entanto, por outro lado, também muito se insistiu no facto de estes sistemas carecerem de uma capacidade real de compreender os textos que processam (que “lêem” ou “escrevem”). Por esta razão foram chamados de “papagaios estocásticos”. E muitos outros problemas foram sendo destacados, como a falta de transparência nos dados de treino, problemas de privacidade, enviesamento dos resultados, ou as chamadas “alucinações” e falsidades que produz.

Embora o interesse seja real, ainda não se pode dizer com certeza que esta tecnologia tenha sido amplamente integrada num processo de trabalho formal, nem que a sua utilização se tenha generalizado para além da utilização experimental, para lazer ou apenas por satisfação da curiosidade. Esta é, sem dúvida, uma questão que merece ser esclarecida através de estudos empíricos sérios.

Geradores de texto com I.A. como assistentes

Neste artigo deixaremos de lado os aspetos técnicos para nos concentramos nos aspetos epistemológicos e filosóficos gerais, relacionados com a automatização de processos chave de leitura e redação no âmbito académico. Dada a extensão do artigo, e sem querermos ser exaustivos, limitar-nos-emos a abodar uma questão bastante específica: o uso de LLM para a automatização do processo de investigação e revisão bibliográfica que tende a preceder qualquer investigação académica.

Tomemos como exemplo o caso do Elicit, uma destas ferramentas que procura otimizar os fluxos de investigação académica. No seu site, a empresa responsável descreve-o da seguinte forma:“O Elicit é um assistente de investigação que utiliza modelos linguísticos como o GPT-3 para automatizar partes dos fluxos de trabalho dos investigadores. Atualmente, o principal fluxo de trabalho do Elicit é a Revisão da Literatura. Se fizer uma pergunta, o Elicit mostrará documentos relevantes e resumos das principais informações sobre esses documentos numa tabela fácil de utilizar.”

De acordo com os criadores do Elicit, com base na questão do utilizador, o sistema encontra os 400 artigos mais ‘semanticamente’ relacionados com a questão, ordena-os e devolve como resultado as informações chave mais importantes dos 8 artigos mais relevantes (outcome measured, intervention e sample size).

Em todos os âmbitos académicos e cientifico-técnicos, a procura bibliográfica do estado da arte precede qualquer investigação. É um instrumento que usamos para saber o que foi dito sobre um tema, que visões ou teorias existem, que lacunas estão por preencher, etc. E que serve, em suma, para estabelecer as bases da nossa própria investigação.

Mas será esta investigação bibliográfica um mero exercício que podemos otimizar com uma ferramenta como o Elicit? Para responder a esta pergunta, devemos abordar uma questão preliminar de âmbito mais geral, relacionada com a forma de fazer ciência, que é o que comentaremos em seguida.

Ciência Intensiva e Extensiva

Para abordar a questão — e esperamos não a simplificar demasiado — podemos fazer um paralelo com a agricultura e a pecuária¹ e distinguir entre ciência “intensiva” e “extensiva“.

A ciência intensiva é aquela que é “bem-sucedida” em termos de resultados quantitativos, entendidos como a publicação em massa de artigos e a maximização da pontuação em todas as dimensões avaliadas por agências de qualidade científica. As práticas intensivas permitem aos investigadores sobreviver e ser promovidos. Para além disso é um modelo de especialização vertical e, continuando com o paralelo com a agricultura, de monocultura. Em suma, a ciência intensiva procura obter o máximo de rendimento possível do tempo e dos demais recursos de que dispõe com o intuito de maximizar os benefícios tangíveis, à custa de outros aspetos menos tangíveis ou diretamente intangíveis.

A prática da ciência intensiva é habitual na área da IA onde, por exemplo, existem diversos artigos sobre sistemas que se apresentam como capazes de “detetar emoções” ainda que, na realidade, sejam incapazes de o fazer num sentido estrito. Para satisfazer os imperativos da maquinaria produtiva da tecnociência² a enorme complexidade das emoções humanas é reduzida ao que pode ser medido com um sistemas de I.A., mesmo que isso signifique estabelecer falsas categorias universais e retirar do modelo algorítmico qualquer referência à corporalidade, ao contexto e à cultura.

Assim, se o principal interesse do investigador é “produzir” um artigo para obter citações e melhor pontuação nos indicadores de qualidade académica, ainda que o artigo não contribua com grande valor intrínseco, provavelmente a investigação bibliográfica prévia não é mais que um instrumento e um fim em si mesmo. O objectivo será recolher artigos e catalogá-los, lendo no máximo as palavras-chave, o título e o resumo, aumentando assim a produtividade.

Isto pode ser automatizado?

Sim, e neste sentido, ferramentas como o Elicit, excluindo algumas dificuldades técnicas que podem ser melhoradas no futuro, podem ser úteis; para este tipo de ciência intensiva, reducionista e centrada obtenção de soluções, e cujo principal propósito é maximizar a produção de artigos.

Se fizermos um teste com o Elicit (ver imagem 1), o programa apresenta-nos como resultado revistas de ciências da computação, mas não nos oferece resultados sobre a teoria das emoções da área da psicologia, que situaria imediatamente o reducionismo dos sistemas de I.A. de reconhecimento de emoções como ultrapassado, na melhor das hipóteses. Mas isto não interessa no modelo de ciência intensiva, em que os grupos de investigação se especializam na monocultura de artigos, e para quem a interdisciplinaridade pode constituir uma ameaça à sua tarefa³.

Por outro lado, se formos mais movidos pela ciência extensiva e realmente interessados na deteção de emoções e, se quisermos verdadeiramente perceber a fundo a complexidade da questão e começar com a multidimensionalidade do conceito, mais do que estagnar em simplificações banais, ferramentas como o Elicit tornam-se muito menos úteis. No melhor dos cenários, servem como ferramentas que ajudam de forma parcial numa tarefa que é mais ampla e vai mais longe.

Isto dá-nos uma outra resposta à questão que colocámos acima. No enquadramento da ciência extensiva, a resposta é: não, a pesquisa bibliográfica não é um mero instrumento que pode ou não ser automatizado. Aristóteles dizia que a prática da medicina não consistia em cortar ou não cortar, em prescrever um remédio, mas em fazê-lo de uma certa maneira. Nós podemos dizer o mesmo sobre investigação bibliográfica: não é só sobre obter o resultado — páginas de texto com referências bibliográficas para outros artigos —, mas antes sobre obter o resultado de uma certa forma.

Em resumo, temos duas respostas preliminares: para a ciência intensiva, a pesquisa bibliográfica pode de facto ser automatizada, enquanto para a ciência extensiva isto só pode ser feito parcialmente. Este ponto merece análise em maior profundidade, que é o que tentaremos fazer em seguida.

Fins intrínsecos e fins instrumentais

A filosofia tende a distinguir entre dois tipos de valores (ou fins): intrínseco e instrumental. Intrínseco aqui refere-se a tudo o que tem valor em si mesmo, como a amizade, a saúde, a diversão ou a justiça. Instrumental refere-se a coisas cujo valor depende da relação com algo valioso, seja através da obtenção ou da preservação desse algo. Neste sentido, os valores instrumentais também são importantes.

Por exemplo, uma broca não tem valor intrínseco, mas é útil para fazer buracos na parede para que possamos pendurar quadros e apreciá-los. Por outro lado, o prazer estético que deriva da contemplação das ditas imagens tem valor intrínseco. A questão de saber por que razão queremos obter o prazer estético não tem certamente muito sentido, uma vez que se trata de algo desejável em si mesmo.

Em alguns casos, uma mesma coisa pode condensar os dois tipos de valor, isto é, pode servir para algo, e por sua vez, ter valor em si mesmo. Pensemos na amizade, um amigo ou amiga pode ajudar-nos a conseguir um trabalho melhor ou num processo de mudanças. Simultaneamente, a amizade tem valor em si mesma, e o valor de ter amigos e amigas não depende de que eles nos sirvam para algo. Se compararmos o valor da amizade com o da broca mencionada anteriormente, a diferença é óbvia: o berbequim tem pouco ou nenhum valor para além de fazer buracos na parede ou na madeira.

O exemplo da matemática pode servir para ilustrar esta diferença com maior profundidade. A matemática é geralmente dividida em matemática pura e matemática aplicada. A primeira, pura, inclui domínios com a álgebra, a geometria e a análise matemática. E diz-se que as pessoas que se dedicam à matemática pura têm um interesse em si e fazem-na per se: em si e por si, não como um meio para algo. Ou seja, alguém que investiga “grupos finitos” fá-lo com um interesse intrínseco, por exemplo, para abstrair propriedades relevantes, quer essas descobertas sirvam ou não para qualquer aplicação prática subsequente. Naturalmente, é possível que qualquer descoberta na teoria, por mais abstrata que seja, possa eventualmente servir para algo. O ponto central aqui é que, no entanto, a forma como se aborda o estudo, que não depende de um para algo posterior. Em sentido inverso, nas matemáticas aplicadas encontramos este para algo. Por exemplo, na área das matemáticas industriais, o foco está na resolução de problemas de interesse industrial, tais como a otimização da eficiência energética de edifícios mediante uma simulação numérica.

Esta diferença entre a matemática pura e aplicada é uma idealização, e o que encontramos na prática é que, também nas matemáticas aplicadas, os matemáticos e as matemáticas estão interessados na prática da matemática como um fim em si mesmo⁴. A resolução de um problema relacionado com um sistema geotérmico de aquecimento pode muito bem ter uma aplicação prática, mas a própria tarefa de resolver o problema e a atividade intelectual necessária para manipular ideias complexas, fazer abstrações e formalizar soluções é, por si só, algo que vale a pena fazer e dá sentido à matemática como profissão.

O valor intriseco da investigação bibliográfica

Agora que clarificámos a diferença entre fins intrínsecos e instrumentais, voltemos à investigação bibliográfica. Conduzi-la excede a dimensão instrumental, porque nos ajuda a adquirir e complementar um vocabulário com o qual podemos desenvolver as nossas próprias ideias, aumentando assim a nossa capacidade de pensamento crítico e criativo, que é algo com valor intrínseco. Para além disso, uma boa investigação bibliográfica situa o nosso trabalho num espaço de diálogo com os nossos pares e aqueles que nos precederam. Ao mesmo tempo, permite-nos encontrar referentes e posicionarmo-nos numa corrente académica, o que pode e tem um efeito na nossa identidade e nos valores e crenças que adotamos como indivíduos. Por outras palavras, se alguns aspetos da investigação bibliográfica são instrumentais (mais uma vez, quer dizer que servem para algo), existem muitos outros que têm uma importância que independente da sua aplicação ou utilidade prática imediata, que são intrínsecos à prática da ciência na sua modalidade extensiva.

Tal como acontece com a matemática aplicada, que nunca é meramente instrumental, vemos que algo aparentemente modesto como a investigação bibliográfica também está profundamente conectado com as duas classes de valores: serve para algo e, tem valor em si mesmo.

A partir desta constatação podemos fazer uma série de perguntas: devíamos automatizar as tarefas relacionadas com o mais profundo da nossa profissão e que, inclusive, lhe dão sentido e a constituem?

A resposta não depende de que estes sistemas de assistência à investigação funcionem bem ou não. Pela nossa experiência, o Elicit na sua versão atual não oferece melhores resultados do que os do Google Scholar, mas isto não é uma questão central porque pode melhorar no futuro. A questão importante radica da própria prática académico-cientifica. O que acontece com os valores e fins intrínsecos quando se automatizam? O que acontece com o significado e o sentido destas práticas humanas quando os valores instrumentais desestabilizam e corroem atitudes, normas e atividades com valor intrínseco? Lembremo-nos de que, ao fazer pesquisa bibliográfica, aprendemos e formamos o nosso pensamento, questionamo-nos, dialogamos com os que nos precederam em acordos e disputas, consolidamos competências e desenvolvemos outras.

Podemos ir mais longe: o que acontece quando os valores intrínsecos obtidos numa pesquisa bibliográfica são substituídos por uma resposta vinda de uma espécie de oráculo e não daqueles que fazem a prática? Imaginemos o melhor cenário possível: uma resposta sem erros, sem conteúdo inventado (“alucinações”), compilada a partir de fontes atuais e com reputação. Suponhamos então que no melhor dos casos, com estes sistemas podemos obter os artigos mais relevantes. Mas mais relevantes para quem? Tem sentido falar de relevância como uma noção neutra e universal? Se separarmos a investigadora ou o investigador do processo de busca, separamo-la deste diálogo com diferentes tradições que tem lugar durante a investigação bibliográfica; de que ferramentas conceptuais dispomos para desenvolver uma noção de relevância? Como podemos falar de relevância sem um sujeito que imprima esse significado e compromisso nesta fase da investigação?

O processo de investigação bibliográfica é parte do processo de construção de um andaime conceptual e teórico para pensar sobre os temas que investigamos. Estes andaimes, por sua vez, não são ilhas, estão conectados aos andaimes de uma multiplicidade de investigadores e investigadoras, do presente e do passado, com quem direta ou indiretamente partilhamos práticas académico-cientificas, e com quem nos relacionamos através de vocabulários, tradições, métodos, consensos e disputas. Uma parte crucial da investigação bibliográfica é, justamente, avaliar uma fonte e decidir inclui-la ou descartá-la. Em que critérios e valores baseamos a nossa decisão? Esta tarefa é a chave na construção de uma hipótese ou teoria, e não pode ser automatizada por um LLM que opera à base de padrões estatísticos. A delegação desta tarefa causa um enorme prejuízo à própria investigação ao tornar sem sentido a tarefa de determinar a relevância de uma fonte e a sua inclusão ou exclusão.

Então, será que não devíamos automatizar nada? É impossível otimizar o processo e torná-lo mais eficiente? Claro, claro que podemos automatizar e otimizar. Automatizamos coisas como a geração da lista de referências utilizando um gestor de bibliografia como o Zotero, e delegamos a verificação gramatical para o processador de texto. Mas por cada atividade que automatizamos, algumas coisas são perdidas e outras são ganhas. Preparar manualmente a lista de referências no formato APA ou corrigir a gramática requer mais conhecimento do que usar o Zotero ou o Word. Contudo, podemos defender estas automações porque otimizam processos e aumentam a eficiência sem fundamentalmente erodirem os aspetos intrínsecos da prática extensiva da ciência.

Este ensaio não é uma apelo contra a automação, mas antes uma reflexão que procura ponderar que atividades e tarefas podem ser automatizadas e quais não devem ser delegadas às máquinas. Faz sentido automatizar a geração de hipóteses, a revisão bibliográfica, o desenho de experiências ou a discussão dos resultados? Podemos automatizar certas partes desses processos? Que partes e até que ponto?

Para responder adequadamente temos de ser claros acerca do que perdemos com a automação e do que ganhamos em troca. São habilidades e atividades que vale a pena deixar de lado em troca de algo mais valioso? Ou, pelo contrário, sacrificamos coisas intrinsecamente valiosas em troca do valor instrumental da eficiência?

As respostas para estas perguntas não podem ficar nas mãos de engenheiros com visões simplistas e “solucionistas” da prática científica, que a reduzem ao mínimo para caber nas portas de entrada e saída de um sistema algorítmico. Nem podem ser deixadas nas mãos de gestores académicos, interessados apenas nos “indicadores de qualidade”. Estas respostas devem ser dadas principalmente pelas pessoas interessadas no valor intrínseco das práticas académico-cientificas, não apenas pelas pessoas guiadas por valores instrumentais. Nós estamos bem cientes que tudo isto envolve um questionamento radical de como comunicações e avaliamos a produção cientifica.

Para concluir, voltemos à agricultura e à indústria da pecuária. Os adubos e os robots de ordenha não são meras ferramentas, mas sim dispositivos tecnológicos que moldam um tipo de prática. As tecnologias não são instrumentos neutros mas antes uma forma de pôr certas visões em prática, preterindo outras. A criação de gado em jaulas é contrária ao pastoreio extensivo, e a monocultura é contrária à agricultura sustentável e resiliente. Algo similar pode acontecer com os sistemas de Inteligência Artificial como o ChatGPT ou o Elicit. O seu design e a sua funcionalidade parecem encaixar-se melhor com valores instrumentais da ciência intensiva do que com os valores intrínsecos da ciência extensiva. Por essa razão, pensar sobre a eventual adoção destes sistemas é um bom pretexto para pensar também na direção que queremos que as nossas práticas académico-cientificas sigam. Queremos uma ciência de textos (parcialmente) automatizados por máquinas que outras máquinas processem e sumarizem e em que ninguém lê o que escrevemos? Queremos uma ciência instrumental, intensiva, optimizada para a quantidade e a eficiência ou, pelo contrário, preferimos imaginar e perseguir uma ciência extensiva que procure a qualidadade e a profundidade e que não seja apenas um instrumento para algo mas antes um fim em si mesma?

Agradecimentos:

Os autores gostariam de agradecer a Txetxu Ausin e César Astudillo pelos seus valiosos comentários a uma versão preliminar deste artigo.

Artigo originalmente publicado na Revista Mosaic da Universitat Oberta de Catalunya (CC BY-NC-ND), traduzido por João Gabriel Ribeiro.

1- A Agricultura intensiva procura maximizar o rendimento e o lucro de uma cultura utilizando, por exemplo, maquinaria industrial, fertilizantes ou rega abundante, que tem maior impacto ambiental. A agricultura extensiva, por sua vez, é mais respeitosa do ambiente e procura usos mais sustentáveis da terra. Algo semelhante ocorre no sector da pecuária, embora com o acréscimo importante do bem estar animal. Este aspecto é ignorado na pecuária intensiva, que utiliza processo de fabrico para lidar com seres vivos que nascem em contentores e são alimentados com ração, ao passo que a pecuária extensiva tende a procurar melhores condições no cuidado dos habitats, das espécies e dos ecossistemas, por exemplo, através do pastoreio livre consoante a estação do ano.

2-  Entendida como uma prática hiper-tecnologizada e acelerada em que a tecnologia já não é apenas o resultado da aplicação do conhecimento científico, mas que, por sua vez, transforma a própria prática científica a todos os níveis, dos processos aos valores.

3-  Por uma questão de foco e de espaço, deixaremos de lado por agora a discussão epistemológico-ontológica sobre a natureza deste conhecimento cientifico intensivo. Para a discussão em causa, partiremos do princípio de que a ciencia intensiva produz de facto conhecimento, da mesma forma que a agricultura e a pecuária intensivas produzem carne, ovos e legumes.

4-  É também de notar que a matemática pura não está isenta das práticas intensivas que mencionámos.