Os pesquisadores usaram IA para transformar um smartwatch comum em um dispositivo de medição precisa dos movimentos da mão

Novos relógios‑assistentes da Universidade Cornell e do KAIST

Cientistas da Universidade Cornell (EUA) e do Instituto Coreano de Tecnologia Avançada (KAIST) criaram o sistema WatchHand, que transforma um smartwatch comum em um rastreador completo de movimentos da mão. O sistema usa apenas o alto-falante e o microfone embutidos no relógio, sem a necessidade de sensores externos.

Como funciona o WatchHand
1. Sinal acústico – o relógio emite ondas sonoras inaudíveis.
2. Recepção do eco – o microfone grava os sinais refletidos e forma um perfil de eco.
3. Processamento local – um algoritmo de aprendizado de máquina que roda no próprio dispositivo converte o perfil em coordenadas da mão nos três eixos.

Assim, o sistema processa os dados diretamente no relógio, garantindo privacidade e baixa latência.

Vantagens
IndicadorWatchHandSoluções tradicionaisNão requer sensores externos✔❌ (câmeras, sensores IMU)Adequado para uso diário✔❌Escalabilidade para milhões de dispositivos✔❌Processamento local de dados✔❌

Teste
- Participantes – 40 pessoas.
- Dados – cerca de 36 horas de gestos coletados em quatro experimentos independentes.
- Plataformas – vários modelos de smartwatches.
- Cenários – diferentes posições da mão e ambientes ruidosos.

Os resultados mostraram rastreamento confiável dos movimentos dos dedos e rotação do pulso mesmo em condições difíceis.

Perspectivas de aplicação
* Controle de computador e aplicativos por gestos.
* Interação com sistemas AR/VR.
* Ajuda a pessoas com mobilidade ou fala reduzida.

O estudante de pós‑graduação da KAIST, Jivan Kim, observa: “Se o dispositivo tem alto-falante e microfone, nossa abordagem é aplicável.”

Limitações e futuro
* Atualmente funciona apenas em dispositivos Android.
* A precisão diminui quando o usuário está em movimento (por exemplo, caminhando).

A equipe está desenvolvendo melhorias para cenários móveis.

Os resultados do estudo serão apresentados na conferência ACM CHI 2026 sobre fator humano em sistemas computacionais.

Ideia-chave

O professor adjunto da Universidade Cornell, Cheng Zhang, resumiu: “WatchHand demonstra como uma simples atualização de software pode transformar milhões de relógios existentes em plataformas inteligentes para rastreamento de comportamento. Isso abre caminho para novas formas de interação com dispositivos digitais sem teclados e mouses.”