Interatividade Ocular Multimodal:
Controle de Jogos Phaser via Webcam

Estabelece a fundação para extração de 468 marcos faciais em tempo real no navegador, permitindo delimitar os olhos com precisão sub-pixel usando apenas CPU.

Base teórica do algoritmo Dlib utilizado para detectar os 68 pontos faciais clássicos (incluindo os 6 pontos de cada olho) essenciais para o cálculo do EAR.

Demonstra como portar algoritmos pesados de OpenCV para WebAssembly, garantindo 60 FPS no navegador sem travar a thread principal do jogo Phaser.

Valida a premissa central do TCC: comprova que câmeras RGB baratas de desktop são suficientes para captura de marcos oculares com precisão aceitável para jogos.

Resolve o problema de baixa luminosidade no quarto do jogador, aplicando filtros de limiarização antes da extração de marcos faciais pela webcam.

O artigo fundamental que define a fórmula do Eye Aspect Ratio (EAR). Toda a lógica de detecção de piscadelas voluntárias no TCC baseia-se neste paper.

Apresenta o framework MPIIGaze, permitindo estimar o vetor do olhar 2D diretamente da imagem do olho via webcam, sem necessidade de hardware dedicado.

Descreve o algoritmo Starburst baseado em gradiente para rastrear o centro da pupila com precisão sub-pixel, essencial para mapear o olhar no canvas do Phaser.

Ensina a construir a matriz de transformação polinomial que mapeia as coordenadas da pupila do usuário para as coordenadas de tela do jogo.

Fornece os dados de tempo (em milissegundos) de duração de um piscar fisiológico vs. um piscar intencional, usado para configurar as janelas temporais do algoritmo EAR.

O artigo seminal que define o maior desafio de jogos por olhar: como diferenciar o olhar de inspecionar o ambiente de um comando de clique. Base teórica obrigatória do TCC.

Fornece a matemática do Filtro de Kalman aplicada ao olhar, reduzindo a oscilação do cursor sem introduzir latência perceptível ao jogador do Phaser.

Compara as duas principais abordagens de clique ocular. Justifica a escolha do piscar intencional (blink triggering) no TCC ao invés de apenas fixar o olhar por N segundos.

Trata especificamente do ruído gerado quando o olho se move rapidamente entre dois pontos da tela (sacada), garantindo que o cursor do jogo não "pule" causando cliques acidentais.

Propõe um modelo heurístico simples e leve que confirma o clique apenas se EAR fechou E o olhar estava fixo no botão por X ms, eliminando falsos positivos.

Guia arquitetural de como desacoplar algoritmos de visão da thread principal do JavaScript, garantindo que o Game Loop do Phaser rode sem quedas de FPS.

Demonstra como usar o backend WebGL do TensorFlow.js para rodar modelos faciais pesados a 60hz no navegador do jogador sem travar o computador.

Define os limites de latência aceitáveis (ms) para jogos interativos. O TCC usará este limiar para provar a viabilidade da jogabilidade no Phaser.

Ensina a transferir frames da câmera para o Web Worker sem duplicar memória RAM usando ArrayBuffers transferíveis, crucial para manter 60 FPS estável.

Modela o pipeline completo de dados desde a captura até a ação visual. A base teórica do diagrama de arquitetura do TCC.

Mostra como reduzir barreiras motoras em jogos web usando interfaces baseadas em olhar. Justifica a relevância social e de IHC do projeto de TCC.

Estrutura clássica para inserir o rastreador ocular dentro do loop de jogos interativos em tempo real sem atraso.

Demonstra como os dados do Web Worker são normalizados e invariância espacial é mantida ao mapear para o canvas 2D do jogo.

Mapeia os requisitos de tempo de resposta na engine de jogo. Alinha o projeto Phaser com o uso de jogos controlados por olhar para acessibilidade.

Implementação prática de um pipeline em JS puro que controla ponteiros na tela em tempo real, servindo de prova de conceito para integração com o Phaser.