Realidad Aumentada en un gadget

ByDataArtin topicGadgets y trastos

Lo que normalmente llamamos una aplicación de realidad aumentada en un teléfono inteligente o un dispositivo de pantalla táctil se construyó la siguiente manera: se captura el flujo de vídeo proporcionada por la cámara integrada, lo transforma, y ??suministra la corriente de salida a la pantalla. El proceso de "transformación" en general, incluye la detección de un objeto conocido (marcador) en el flujo de entrada, calcular su posición en la geometría de la escena 3D, la superposición de la escena con un modelo 3D artificial, colocado en la posición y el ángulo correcto, y poniendo todo esto juntos. Dependiendo de la aplicación, el modelo puede ser estático o dinámico, interactivo o no, etc

El reto principal es que todo el proceso es muy deseable que ocurra en tiempo real, por lo que los objetos artificiales se fundieron en la escena real de un aspecto natural. Cuanto mayor sea la velocidad de fotogramas de vídeo que se acheived (fotogramas por segundo, FPS), los objetos se mueven más suaves, por lo tanto mejor será la experiencia del usuario es.

Modernos dispositivos portátiles de clase media suelen ser capaces de registrar y emitir una resolución VGA (640 x 480 píxeles) de vídeo, o incluso HD (1.080 x 720 píxeles) de calidad a una velocidad de 30 fotogramas por segundo. Sin embargo esta velocidad se refiere sólo a tiempo de procesamiento cero cuando el flujo de entrada está literalmente conectado a la pantalla de. Cuando se trata de procesar más o menos complicado flujo captado la velocidad de fotogramas se reduce drásticamente.

La causa de este descenso es que los dispositivos de mano todavía producen de manera significativa a sus hermanos de escritorio en el poder computacional a pesar de tener viva y sensible interfaz de usuario y los gráficos rápidos, video y procesamiento de sonido. Estas tareas se llevan a cabo en su mayoría por un hardware especial que implementa algoritmos estándar como codecs de audio / video y procesamiento de gráficos.

Pueden ser captura de objeto y escena reconstrucción 3D no se puede hacer únicamente en el hardware, todos los algoritmos de AR que se ejecutan en los gadgets se enfrentan a las limitaciones de rendimiento de CPU y velocidad de fotogramas inducida gotas en cualquier modelo aparato, excepto la reciente aparición de Apple iPhone 5.

Hay un montón de empresas que ofrecen paquetes de herramientas y SDKs de AR. Sin embargo ninguno de ellos puede evitar la falta de rendimiento necesario para procesar las tareas de AR en el verdadero tiempo real (sin caída FPS). La biblioteca AR, dirigido a ejecutar en condiciones estanco de recursos, es necesario ser el estado de la técnica de ingeniería y codificado para reducir al mínimo el tiempo de CPU requerido y la huella de la memoria. Perfilado de varios marcos AR populares muestra que utilizan diversos trucos de software a considerar, por ejemplo, el movimiento del dispositivo para obtener un mejor rendimiento.

DataArt Visión por Computador Competence Center ha comenzado recientemente la creación de su propio motor de AR totalmente personalizada como una respuesta a una necesidad RFP, donde la captura de una dinámica (de una forma constante, pero con un contenido variable) se requirió marcador. Tratando de lograr esto, varios motores de AR tercera parte hizo un intento, pero ninguno fue capaz de manejar los marcadores dinámicos.

Basado en el motor de encargo, DataArt está construyendo una solución AR-dirigido iOS que no sólo implementa tareas de aplicaciones AR típicos como reemplazar el marcador capturado por una artificial (opcionalmente animados y / o interactivos), sino que también captura el contenido interno de un marcador, lo decodifica, y actúa de acuerdo con el código obtenido.

El motor está escrito en C + + con el uso de una biblioteca de visión por ordenador de código abierto, el OpenCV. El motor soporta Collada como formato de animación 3D.

Los algoritmos de AR para el motor han sido modeladas, probada y pulida en Matlab antes de ser codificado para la plataforma de Apple iOS. Los desafíos que el equipo tuvo que hacer frente, además de las limitaciones de rendimiento fueron: inestabilidad 3D vectores espaciales, la pérdida de objeto seguido, trucos de tiempo marco y suavizado, etc Algunas de las cuestiones se abordan en la versión actualmente en libertad, algunos se modelan en un prototipo de Matlab, actualmente pendientes de entrega.

http://blog.dataart.com/augmented-reality-on-a-gadget/