Para os CEOs das tecnológicas, a distopia é o mais importante

Quando a OpenAI lançou o seu novo programa com interface de voz, o ChatGPT-4o, deu-se imediatamente uma inundação de comparações com Her, o filme de 2013 de Spike Jonze em que Joaquin Phoenix se apaixona por um programa com a voz de Scarlett Johansson. A comparação foi encorajada pela OpenAI – quer no próprio design do agente, que soa suspeitosamente como Johansson, e pelo CEO Sam Altman, que tweetou “her” enquanto a demonstração acontecia. 

Em resposta, os observadores – grupo em que me incluo – fizeram algo que já é tradicional na internet: chamar à atenção para o facto de a referência de ficção científica para que o fundador da tecnológica aponta não ser aspiracional mas, na verdade, uma distopia – contendo um aviso que deve ser ouvido e não imitado. 

“Peço Outra Vez a Todos os Senhores da Tecnologia para que Vejam o Filme Todo” escreveu Brian Barret, da Wired, numa peça engraçada em que analisa alguns dos mais recentes infratores deste género, incluindo Elon Musk e a sua sugestão de que o Cybertruck é “o que o Bladerunner [sic] teria conduzido”, e Mark Zuckerberg, e o seu amor pelo metaverso, cuja ideia terá vindo do Snowcrash e do Ready Player One – ambas distopias cyberpunk pessimistas. 

“Imploro às empresas de IA que estão a construir coisas modeladas pelo Her para que terminem o filme” escreveu Kevin Roose, do New York Times no X. “Não acaba bem”

O facto de os executivos do sector tecnológico terem uma tendência para se inspirarem em filmes e livros de ficção científica distópicos já se tornou uma piada recorrente – eu próprio escrevi uma peça longa para o Motherboard (RIP) a criticar o Zuck por tentar ganhar dinheiro com um metaverso distópico em 2021 – mas talvez a tendência tenha sido melhor apanhada pelo infame tweet do Torment Nexus:

Essa é a essência! Por muito que agitemos, que gozemos, ou chamemos à atenção para o facto de os titãs da tecnologia estarem a retirar as suas referências e os produtos do contexto: tudo é em vão. É óbvio que os CEOs não querem saber do que os críticos culturais pensam das suas aspirações e, para além disso, temos de compreender que estas distopias lhes são activamente úteis. 

Qual é o denominador comum do anúncio/distopia do Cybertruck Blade Runner de Elon Musk e do anúncio/distopia do metaverso de Mark Zuckerberg? É que o presumível utilizador ou dono do produto é o seu protagonista! Se comprares um Cybertruck, estarás a salvo de um mundo à beira do abismo, dos replicantes, seja do que for. Se estiveres no metaverso, podes ser como o tipo do Ready Player One; um herói que vive todo o tipo de aventuras, mesmo que o mundo em geral esteja a desmoronar-se fora do capacete de RV – a distopia é útil para comercializar o que, de outra forma, é uma tecnologia antissocial e pesada.

Com o Her é ainda mais simples: muitas pessoas, especialmente homens solitários, gostariam de estar permanentemente rodeados por um bot da Scarlett Johansson que age como se se preocupasse profundamente e lhes achasse graça. Que importa se, no final do filme, é revelado que a IA não estava realmente envolvida numa relação amorosa pessoal com o protagonista, mas sim numa simulação de uma, que essa simulação o estava a impedir – e a todos os seres humanos – de desfrutar de experiências humanas básicas e a privá-lo de uma ligação duradoura com outras pessoas? É um companheiro pessoal de IA de Scarlett Johansson, 24 horas por dia, 7 dias por semana.

Portanto, isto é uma comunicação aspiracional, mas de uma variedade profundamente misantrópica – nós queremos que tu tenhas a coisa fixe de alta tecnologia, mesmo que seja à custa de todos os outros, ou do bem estar da sociedade em geral. E isso coincide muito bem com a ideologia dos fundadores que criam os produtos com referências de Sci-Fi para começar. 

O Elon Musk, afinal de contas, despreza sindicatos e transportes públicos, tem como maior esperança deixar a Terra por Marte e tem-se tornado num reacionário anti-imigração, no X. A sua distopia útil é um mundo que é parte Blade Runner, parte Mad Max (a sua compreensão real do filme, uh, não parece ser assim tão boa: parece-lhe um apocalipse futurista em que o polícia que caça robôs é o tipo por quem se torce), e ele usa-o para vender produtos como o Cybertruck, que os consumidores podem usar para sobreviver. O mesmo se pode dizer dos seus outros produtos proeminentes – no caso do Tesla, Musk começou a evitar apresentá-lo como uma solução para as alterações climáticas e a inclinar-se para o apresentar como uma cápsula de prazer auto-conduzida, com grandes ecrãs e velocidades máximas elevadas. (Para melhor atravessar, e ignorar, o mundo em ruínas).

Por outro lado, Mark Zuckerberg, é o homem que comprou as 4 casas mais próximas no seu bairro e as mandou demolir para que pudesse ter mais espaço para si próprio; por isso, o seu metaverso é uma experiência digital intensamente isolada cujo objetivo é fechar o mundo físico. Para os seus objetivos pessoais, o enquadramento do metaverso é uma distopia útil para defender precisamente este fim.

Por último, Sam Altman, que é um prepper do fim dos tempos com um pedaço de terra em Big Sur, para onde planeia voar se as coisas ficarem difíceis, pode de facto estar preocupado com o risco existencial colocado pela AGI. No entanto, parece pouco preocupado com os riscos sociais que têm muito mais probabilidades de se materializarem a curto prazo. Como tal, é difícil pensar numa distopia mais útil do que aquela que promete ligar os seus utilizadores a um simulacro de ScarJo virtual e sempre disponível.

Isso também é uma forma de obter algum crédito cultural fácil e jogar com as ansiedades existentes que o público tem em torno de uma tecnologia de consumo que, na realidade, provavelmente não é tão avançada como ele gostaria que pensassem que é. (Outra possibilidade é que a capacidade de interpretação cinematográfica de Altman possa simplesmente ser insuficiente; este é o homem que fez o célebre tweet: “Esperava que o filme de Oppenheimer inspirasse uma geração de miúdos a serem físicos, mas falhou mesmo o alvo nisso… acho que A Rede Social conseguiu fazer isso pelos fundadores de startups“. Portanto, ele pode ter assumido plenamente que Her é um anúncio de duas horas para assistentes de IA que soam bem).

Ao associar o novo produto a uma especulação popular, especialmente uma com uma tensão dramática incorporada, os fundadores podem associar uma tecnologia com erros, não comprovada ou parcialmente concebida ao nosso imaginário cultural, mesmo que por pouco tempo. É um cheat code, uma forma de nos pôr em relação com um futuro que já foi culturalmente prototipado, e pode ser bastante bem sucedido. Por exemplo: Um dia depois de ter criticado as empresas tecnológicas por usarem a IA como referência para os seus produtos, Roose dedicou a sua coluna a explicar como a era da IA Her chegou – reforçando assim a ligação entre a tecnologia aspiracional da OpenAI e a distopia útil que a acompanha na consciência do público. A minha própria história sobre as origens sombrias do metaverso provavelmente fez com que o produto Horizons VR do Facebook parecesse muito mais fixe do que acabou por ser.

Mesmo que os consumidores não estejam cientes de todos os pontos de referência distópicos que estes fundadores e empresas estão a promover, provavelmente deveriam estar cientes da mentalidade narcisista, de nós-contra-o-mundo-em-colapso, que está ativa por detrás dessas referências. E não devemos apenas gozar com o sector tecnológico por usar distopias como material de marketing – devemos tentar impedi-lo de as criar também.

Este artigo foi originalmente publicado na página de Brian Merchant.

Brian Merchant é autor de Blood in the Machine: The Origins of the Rebellion Against Big Tech, livro imperdível que contextualiza historicamente a luta contra as big tech, considerado pela revista Wired como o livro mais importante para ler sobre o boom da IA.