Um par de luvas que converte língua gestual em áudio

Projecto foi desenvolvido para a sobrinha de Roy Allela, que nasceu surda, mas tem sido um sucesso maior.
Foto de Brett Eloff via Royal Academy of Engineering

A ideia e motivação de Roy Allela para criar um par de luvas que convertesse sinais gestuais em som surgiu em resposta a um problema familiar e está agora entre os 16 projectos nomeados para o Africa Prize for Engineering Innovation 2019, que pelo quinto ano consecutivo promete distinguir a melhor inovação que chega do “continente esquecido”.

A sobrinha de seis anos do queniano Roy Allela nasceu surda, mas ninguém na sua família sabia língua gestual, tornando difícil a comunicação entre todos. É certo que podiam aprender o ‘abecedário dos gestos’, mas Roy Allela, de 25 anos, um evangelista de tecnologia que trabalha para a Intel e ensina ciência de dados na Universidade de Oxford, foi mais longe ao inventar um conversor em tempo real de movimentos gestuais em áudio, com a forma de umas luvas.

“A minha sobrinha mete as luvas, emparelha-as com o seu telemóvel ou o meu, depois começa a falar em língua gestual e eu entendo o que ela está a dizer”, contou Roy Allela ao The Guardian. “Como todos os comunicantes de linguagem gestual, ela é muito boa a ler os lábios, pelo que não precisa que eu responda em linguagem gestual.”

As luvas chamam-se Sign-IO e têm sensores flexíveis nos dedos, que monitorizam o movimento destes e determinam o gesto que o utilizador está a fazer, utilizando, para tal, uma base de dados interna baseada na American Sign Language. As Sign-IO são emparelhadas com um smartphone através de Bluetooth, e é através de uma app dedicada que o sinal das luvas é convertido em áudio com uma precisão de 93% .

Foto de Brett Eloff via Royal Academy of Engineering

A aplicação, que foi igualmente desenvolvida por Roy Allela, permite personalizar o género, o tom, o ritmo e o atraso da voz que representa a pessoa. “As pessoas falam em velocidades diferentes e o mesmo acontece com quem comunica por gestos: algumas são realmente rápidas, outras são lentas; por isso, integramos isso na app móvel para que seja confortável para qualquer um usá-la”, explica. Os utilizadores das luvas também vão poder personalizá-las e, assim, tê-las ao estilo que pretendem, seja com um desenhos de princesa ou com elementos do Spider-Man.

O sistema das Sign-IO (que significa “Sign-Input-Output”) usa inteligência artificial e aprendizagem automática para melhor entender e processar os gestos, e Roy Allela está a aprender língua gestual para melhor compreender os desafios que a tecnologia lhe pode colocar. Apesar de terem sido desenvolvidas para a sobrinha, as Sign-IO têm sido criadas em conjunto com outros jovens com deficiências auditivas ou de fala.

O projecto já ganhou um prémio monetário do American Society of Mechanical Engineers (ASME), que está a ser utilizado por Roy Allela para aperfeiçoar a tecnologia.

Partilha nas redes sociais:
Share on facebook
Share on twitter
Share on linkedin

O Shifter depende de ti 

O Shifter faz jornalismo com as pessoas que dele querem fazer parte. Estamos a criar um espaço de publicação para pensamento colectivo e comunitário, aberto a sugestões e diálogos. Procuramos estabelecer pontes entre diferentes actores da sociedade, da academia ao activismo, da cultura à política.

Se puderes apoiar-nos nesta missão, subscreve a partir de 2€ por mês ou faz um donativo único:

2 €/mês

5 €/mês

10 €/mês

15 €/mês

Donativo

Artigos Relacionados

Junta-te à Comunidade
Jornalismo é aquilo que fazemos todos juntos. Entra na Comunidade Shifter e faz parte da conversa.
Sabe mais
Em teste

Bem-vind@ ao novo site do Shifter! Esta é uma versão beta em que ainda estamos a fazer alguns ajustes.Partilha a tua opinião enviando email para comunidade@shifter.pt