poez

Real Life Motion Controls

  • 0 Raised
  • 21 Views
  • 0 Judges

Categories

  • This hackathon has categories available. Please select one if necessary.

Gallery

Description

Identificação do Problema
Nos tempos que correm o contacto entre pessoas e objetos tende a ser minimizado, pelo que a utilização de controlos hand-free podem ser a solução para alguns problemas com que nos deparamos no nosso dia-a-dia. Como tal, usando apenas a câmara de um computador ou smartphone, pretendemos desenvolver uma aplicação que converta os nossos gestos em funcionalidades dos nossos aparelhos.

Visão Geral

O poez (pronuncia-se como "pouse" em português) é uma aplicação para computador ou smartphone que permite a introdução de motion controls para executar funções de acessibilidade do sistema operativo.

Solução
Usamos uma biblioteca que contem um hand tracker pré-treinado em python para detectar a posição de vários pontos das mãos do utilizador, sendo que os diferentes gestos são posteriormente atribuídos às diversas funcionalidades. Com um simples movimento de mão será possível reproduzir/pausar media, aumentar o volume do computador, ou tirar uma foto sem recurso a um rato, teclado, ou toque no ecrã do smartphone.
Mais ainda, é possível imprimir alguns PDFs que contém desenhos que podem ser usados para interagir com o poez. O exemplo implementado é o de um simples teclado de piano que permite ao utilizador libertar a sua veia artística.

Tecnologias 
Todo o nosso código é desenvolvido em python com recurso às bibliotecas de OpenCV e MediaPipe. Usando esta linguagem, desenvolvemos um algoritmo que permite a detecção dos diferentes gestos. A versatilidade do OpenCV permite a exportação do código para outras plataformas como iOS e Android.

Apresentação
A nossa apresentação pode ser transferida através do WeTransfer com o link:
https://we.tl/t-MFabyxJWap

Attachments