Gestus

Contextualização e enquadramento no mercado

No decorrer da história, sempre existiu a consciência de que existiam pessoas com contrariedades que se refletiam em surdez e mudez. Estas, graças a esses problemas, sempre tiveram dificuldades na comunicação com pessoas desprovidas dessas condições clínicas, sendo que a necessidade da conceção de um novo modo de diálogo veio ao de cima, criando-se assim a linguagem gestual.

No mundo como o conhecemos, a comunicação é uma atividade fundamental que sempre esteve presente na sociedade e, até mesmo, antes desta existir. Podemos considerar que a comunicação é uma ferramenta de integração e trocas mútuas de todo o tipo de ideias, ocorrendo entre um emissor e um ou mais recetores. Como já foi referido anteriormente, é notório como as barreiras comunicativas impõem limitações e ampliam problemas, muitas vezes, as capacidades intelectuais são as mesmas, mas as oportunidades não são iguais.

Posto isto, surgiu a ideia de criar um dispositivo que permite a pessoas com dificuldades auditivas e orais comunicarem com o mundo. Este equipamento será capaz de reconhecer linguagem gestual e convertê-la em sinais textuais ou auditivos. O ponto forte do projeto é o facto de conseguir promover a inclusão social de pessoas que possuem dificuldades na audição e na fala, através de um produto minimalista, que conjuga fatores como, o conforto, a portabilidade e estética, sendo que este em nada condiciona a vida da pessoa que o está a utilizar.

No caso do produto Gestus, os clientes serão todas as pessoas que recorrem a linguagem gestual, numa fase inicial em Portugal e depois no mundo. Deste modo, o equipamento poderá ser adquirido por essas pessoas para que consigam comunicar com qualquer outra pessoa, mesmo que esta não entenda linguagem gestual.

Este mercado é praticamente inexistente, não existindo nenhum produto com caraterísticas semelhantes disponível atualmente. No entanto, existem instituições de ensino e centros de investigação que já tentaram criar produtos semelhantes, com algumas nuances.

Com vista a fazer um estudo sobre a quota de mercado que se estima atingir e as quantidades de vendas, foi necessário perceber quantas pessoas necessitam de utilizar linguagem gestual para comunicar no dia a dia. De acordo com a Organização Portuguesa de Surdos, estima-se que, em Portugal, existem cerca de 100 000 pessoas (sofredores de contrariedades) com capacidade para dialogar através desta linguagem, enquanto no mundo estima-se que sejam cerca de 72 000 000 de pessoas. Esta comunidade cada vez mais abrangente inclui, não só as pessoas com deficiência auditiva, mas também ouvintes com incapacidade física para falar, ou que têm dificuldade na língua falada devido a alguma patologia que interfira na aprendizagem da sua própria língua.

Motivação

Como já foi referido, é notório como as barreiras comunicativas impõem limitações e ampliam problemas no dia a dia das pessoas. Durante o nosso percurso escolar presenciamos uma dessas situações e, por isso, acreditamos na importância de um projeto com estas características que visa promover a inclusão social de pessoas que possuem dificuldades na audição e na fala.

Por este motivo, a equipa Gestus participou na edição de 2022 da TecStorm e, desde então, continuou a desenvolver o seu projeto. Recentemente, integrou um programa promovido pela Fast Track Ventures onde teve oportunidade de receber formação acerca da criação de uma Start-up. Considera também que, com o apoio e experiência dos mentores, será possível efetuar o desenvolvimento tecnológico e estratégico do projeto.

Descrição Funcional

O projeto Gestus é um dispositivo que permite a pessoas com dificuldades auditivas e orais comunicarem com o mundo. Este, baseia-se num par de luvas minimalista, confortável e prático.

Através da utilização de sensores embutidos nas luvas é possível recolher os dados relativos aos movimentos efetuados pelas mãos sendo enviados sinais para um microprocessador que os vai traduzir por meio de um AI. Após o seu processamento, envia o resultado para um dispositivo de saída, facilitando assim a comunicação entre pessoas com dificuldades auditivas e/ou distúrbios de fala através da conversão de movimento em áudio ou texto.

Deste modo, o principal objetivo é facilitar a comunicação em ambiente de trabalho, familiar ou recreativo, permitindo uma maior inclusão das pessoas com algumas limitações, tudo isto mediante a simples utilização de umas luvas no seu dia a dia.

Descrição Técnica

SENSORES

O dispositivo é composto por 2 luvas em que cada uma tem um conjunto de sensores que permitem detetar linguagem gestual. Estão presentes 2 IMUs (inertial measurement units, que por sua vez contêm acelerómetro, magnetómetro e giroscópio em cada um dos 3 eixos X, Y e Z) e 4 sensores de efeito de Hall (ou de campo magnético) em cada luva.

Os sensores de efeito de Hall estão colocados no metacarpo de todos os dedos, com exceção do polegar, e os respetivos imanes nas respetivas falanges proximais. Isto de modo a detetar o movimento da articulação entre estes, sem comprometer o conforto e liberdade do movimento natural.

Um dos IMUs está colocado nos corpos da mão, permitindo detetar o movimento geral da mão. O outro IMU está colocado na falange proximal do polegar, permitindo detetar o seu movimento relativamente ao resto da mão (e ao outro IMU). Não é possível utilizar um sensor de efeito de Hall neste caso devido à posição natural do polegar. Uma vez que essa articulação se movimenta pouco, é possível cablar o IMU sem comprometer o conforto durante a utilização.

PROCESSAMENTO

Numa das luvas, os dados dos sensores são lidos por um microcontrolador. Este tem a vantagem de ter menores dimensões e consumir menos energia pelo preço de ter menos poder computacional.

A outra luva está equipada com um microprocessador. Este suporta um sistema operativo e tem muito mais poder computacional apesar de utilizar mais energia e ter maiores dimensões. Por norma, estes não vêm equipados com um ADC (analog-digital converter), pelo que é necessário incluir um para conseguir ler os dados dos sensores de efeito de Hall.

Ambos leem os dados dos sensores separadamente e em paralelo. Posteriormente, os dados do microcontrolador são transmitidos para o microprocessador juntamente com um timestamp sem fios. O microprocessador sincroniza os dados e processa-os num modelo de aprendizagem computacional previamente treinado com todos os gestos necessários.

Os gestos processados são guardados numa fila até o utilizador terminar a sinalética. Este é apresentado num pequeno monitor no mesmo pulso do utilizador que o microprocessador. O utilizador tem o poder de ler a frase e verificar se está correta antes de carregar num botão, que fará com que esta seja reproduzida por uma coluna, ou apagá-la caso não esteja correta.

POWER MANAGEMENT

O dispositivo está equipado baterias recarregáveis e por um circuito gerenciador em ambas as luvas. Deste modo, é possível carregar as baterias de cada luva por um único cabo que pode ser ligado a um computador, ao carregador do telemóvel ou a qualquer outra fonte de eletricidade deste que seja 5V de corrente contínua.

Como as luvas têm exigências energéticas diferentes, o tamanho das baterias também é diferente. Para prolongar o tempo de ciclo do dispositivo, estão implementados algoritmos que detetam quando o utilizador não está a gesticular para além de interruptores físicos.

A Figura 1 representa, de forma esquemática, o funcionamento da luva.

                                                           Figura 1 - Diagrama de blocos acerca da descrição técnica da luva