O Kinect vem sendo muito utilizado em experimentos inovadores e até mesmo inusitados. Bem como dubstep, a trilha sonora mais clichê do momento, presente em muitos trailers de jogos. Mesmo correndo o risco de cair no clichê, Jeff Nusz e uma equipe criativa uniram o Kinect e o dubstep para criar o V Motion Project. A ideia é capturar movimentos e transformá-los em música por meio do Kinect, projetando tudo em uma grande parede.

O software consiste em projetar o corpo do usuário na tela com todos os controles musicais ao redor do jogador. Assim, basta ir se movimentando e “tocando” os diversos botões virtuais para começar a fazer um som.

O sucesso do V Motion Project dependeu de diversas ferramentas, inclusive uma combinação entre um PC Windows e um Mac, compartilhando pacotes JSON em uma conexão UDP. Foram desenvolvidas aplicações utilizando OpenFrameworks e Processing para obter a imagem e os dados de dois Kinects emparelhados, e processar a saída de vídeo em 3 Projetores. Tudo integrado a uma execução do Ableton Live, aplicativo de áudio que renderiza o conjunto de ações do usuário e gera a música. Podem ter certeza que isso deu muito trabalho.

Fonte: 3bits.net