Realidade aumentada para cegos: veja com seus ouvidos!
Veja com seus ouvidos! The vOICe for Android maps live camera views to soundscapes, offering augmented reality and unprecedented visual detail for the totally blind through sensory substitution and computer vision. Also includes live talking OCR, a talking color identifier, talking compass, talking face detector and a talking GPS locator, while Microsoft Seeing AI and Google Lookout object recognition can be launched from The vOICe for Android by tapping the left or right screen edge.
É um jogo de realidade aumentada ou uma ferramenta séria? Pode ser os dois, dependendo do que você quer que seja! O objetivo final é fornecer uma forma de visão sintética aos cegos, mas os usuários com visão podem simplesmente se divertir jogando o jogo da visão de visão. Os usuários com deficiência visual com visão severa do túnel podem tentar se o feedback auditivo os ajudar a perceber alterações na periferia visual. The vOICe for Android runs on smartphones and tablets, but is also compatible with most smart glasses, using the tiny camera in these glasses and a special user interface to generate a live sonic augmented reality overlay, hands-free! Você pode usar uma bateria externa conectada via cabo USB para impedir que a bateria de óculos inteligentes drene muito rapidamente. Você pode nos ajudar blogando e twittando sobre suas experiências, seus casos de uso e sobre como * você * aprende a ver com som.
Como funciona? A voz usa o tom de altura e volume para brilho em um segundo para a esquerda para a direita de qualquer vista: uma linha brilhante em ascensão soa como um tom subindo, um ponto brilhante como um bipe, um retângulo cheio de ruído, uma grade vertical como ritmo. Melhor usado com fones de ouvido estéreo para a experiência mais imersiva e a resolução auditiva mais detalhada.
Apenas experimente os padrões visuais simples primeiro, porque as imagens da vida real são extremamente complexas. Largue aleatoriamente um item brilhante, como um tijolo Duplo em uma tampa da mesa escura e aprenda a alcançá -lo sozinha (feche os olhos se tiver uma visão). Em seguida, tente explorar seu próprio ambiente doméstico seguro e aprender a associar os padrões de som complexos ao que você já sabe que está lá. Os usuários com visão também podem usar o aplicativo com dispositivos compatíveis com o Google Cardboard através de um deslizamento na tela principal para alternar a vista binocular.
Para usuários sérios: aprender a ver com som é como aprender uma língua estrangeira ou aprender a tocar um instrumento musical, realmente desafiando sua perseverança e plasticidade cerebral. Pode muito bem ser o sistema de treinamento cerebral final, preenchendo os sentidos através da sinestesia artificial. Um manual de treinamento geral para a voz (não específico para a versão Android) está disponível online em
https://www.seeingwithsound.com/manual/the_voice_training_manual.htm
e notas de uso para executar a voz para o Android Hands-Free em óculos inteligentes estão em
https://www.seeingwithsound.com/android-glasses.htm
Não se preocupe com as muitas opções da voz para o Android: os olhos humanos não têm botões ou opções, e a voz é projetada de maneira semelhante para desempenhar sua função principal pronta para uso, para que você não precise usar nenhuma opção para continuar. Algumas das opções mais comuns aparecem quando você desliza lentamente o dedo pela tela principal.
Por que a voz é livre? Porque nosso objetivo principal é fazer uma mudança real reduzindo as barreiras para usar o máximo que pudermos. Você descobrirá que as tecnologias concorrentes custam mais de US $ 10.000 e ainda terão especificações mais baixas. A resolução perceptiva oferecida pela voz é incomparável, mesmo por US $ 150.000, implantes retinianos "Bionic Eye" (PLOS One 7 (3): E33136).
The vOICe for Android supports English, Dutch, German, French, Spanish, Italian, Estonian, Hungarian, Polish, Slovak, Turkish, Russian, Chinese, Korean and Arabic (menu Options | Language).
Por favor, relate os bugs para [email protected] e visite a página da web http://www.seeingwithsound.com/android.htm para obter uma descrição e isenções de isenção detalhadas. Estamos no Twitter em @seeingwithsound.
Obrigado!
v2.73: Correção de bug para alguns botões gráficos posicionados incorretamente na tela principal do aplicativo.
Download