Um par de luvas que converte língua gestual em áudio

Procurar
Close this search box.
Foto de Brett Eloff via Royal Academy of Engineering

Um par de luvas que converte língua gestual em áudio

Nunca foi tão importante parar para pensar – e o teu apoio pode fazer toda a diferença.

Num ambiente mediático demasiado rápido e confuso, o Shifter é uma publicação diferente. Se gostas do que fazemos subscreve a partir de 2€ e contribui para que tanto tu como quem não pode fazê-lo tenha acesso a conteúdo de qualidade e profundidade.

O teu contributo faz toda a diferença. Sabe mais aqui.

Projecto foi desenvolvido para a sobrinha de Roy Allela, que nasceu surda, mas tem sido um sucesso maior.

A ideia e motivação de Roy Allela para criar um par de luvas que convertesse sinais gestuais em som surgiu em resposta a um problema familiar e está agora entre os 16 projectos nomeados para o Africa Prize for Engineering Innovation 2019, que pelo quinto ano consecutivo promete distinguir a melhor inovação que chega do “continente esquecido”.

A sobrinha de seis anos do queniano Roy Allela nasceu surda, mas ninguém na sua família sabia língua gestual, tornando difícil a comunicação entre todos. É certo que podiam aprender o ‘abecedário dos gestos’, mas Roy Allela, de 25 anos, um evangelista de tecnologia que trabalha para a Intel e ensina ciência de dados na Universidade de Oxford, foi mais longe ao inventar um conversor em tempo real de movimentos gestuais em áudio, com a forma de umas luvas.

“A minha sobrinha mete as luvas, emparelha-as com o seu telemóvel ou o meu, depois começa a falar em língua gestual e eu entendo o que ela está a dizer”, contou Roy Allela ao The Guardian. “Como todos os comunicantes de linguagem gestual, ela é muito boa a ler os lábios, pelo que não precisa que eu responda em linguagem gestual.”

As luvas chamam-se Sign-IO e têm sensores flexíveis nos dedos, que monitorizam o movimento destes e determinam o gesto que o utilizador está a fazer, utilizando, para tal, uma base de dados interna baseada na American Sign Language. As Sign-IO são emparelhadas com um smartphone através de Bluetooth, e é através de uma app dedicada que o sinal das luvas é convertido em áudio com uma precisão de 93% .

Foto de Brett Eloff via Royal Academy of Engineering

A aplicação, que foi igualmente desenvolvida por Roy Allela, permite personalizar o género, o tom, o ritmo e o atraso da voz que representa a pessoa. “As pessoas falam em velocidades diferentes e o mesmo acontece com quem comunica por gestos: algumas são realmente rápidas, outras são lentas; por isso, integramos isso na app móvel para que seja confortável para qualquer um usá-la”, explica. Os utilizadores das luvas também vão poder personalizá-las e, assim, tê-las ao estilo que pretendem, seja com um desenhos de princesa ou com elementos do Spider-Man.

O sistema das Sign-IO (que significa “Sign-Input-Output”) usa inteligência artificial e aprendizagem automática para melhor entender e processar os gestos, e Roy Allela está a aprender língua gestual para melhor compreender os desafios que a tecnologia lhe pode colocar. Apesar de terem sido desenvolvidas para a sobrinha, as Sign-IO têm sido criadas em conjunto com outros jovens com deficiências auditivas ou de fala.

O projecto já ganhou um prémio monetário do American Society of Mechanical Engineers (ASME), que está a ser utilizado por Roy Allela para aperfeiçoar a tecnologia.

Índice

  • Shifter

    O Shifter é uma revista comunitária de pensamento interseccional. O Shifter é uma revista de reflexão e crítica sobre tecnologia, sociedade e cultura, criada em comunidade e apoiada por quem a lê.

Subscreve a newsletter e acompanha o que publicamos.

Eu concordo com os Termos & Condições *

Apoia o jornalismo e a reflexão a partir de 2€ e ajuda-nos a manter livres de publicidade e paywall.

Bem-vind@ ao novo site do Shifter! Esta é uma versão beta em que ainda estamos a fazer alguns ajustes.Partilha a tua opinião enviando email para comunidade@shifter.pt