Anonim

MIT y Google se unen para retocar fotos de teléfonos inteligentes en tiempo real

Cámaras digitales

Rich Haridy

3 de agosto de 2017

5 fotos

Antes (abajo a la izquierda) y después (arriba a la derecha) muestra cómo el algoritmo de retoque instantáneo puede ajustar las fotos automáticamente en tiempo real a través de un visor (Crédito: MIT)

Incluso los fotógrafos casuales hoy en día tienen algún conocimiento de los beneficios de un poco de retoque de imagen aquí y allá. Agregar un filtro, ajustar el contraste o aumentar los colores antes de colocar la foto en el mundo digital es casi parte del proceso de todos ahora. Una colaboración de investigación entre MIT y Google ha llevado la idea de la fotografía computacional a un nuevo nivel al crear un sistema que puede retocar automáticamente las imágenes en tiempo real, incluso antes de que se tome la foto.

Cuando New Atlas revisó el nuevo teléfono Google Pixel el año pasado, quedamos absolutamente asombrados de lo buenas que eran las fotografías que produjo. Esto se redujo a la obsesión de Google con la fotografía computacional. Específicamente, los algoritmos y el software que ha desarrollado la compañía mejoran dramáticamente las imágenes que captura su cámara.

Los algoritmos complejos de alto rango dinámico (HDR) de Google están a la cabeza del paquete, pero están limitados por el poder de procesamiento que un teléfono inteligente tiene a su disposición. Aquí es donde los investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT entran en escena.

En 2015, el estudiante graduado de MIT, Michael Gharbi, desarrolló una forma inteligente de agilizar el procesamiento de imágenes basado en servidores que redujo significativamente tanto el ancho de banda como el consumo de energía. Este sistema le permitió a un teléfono inteligente realizar un procesamiento complejo de imágenes en cortos períodos de tiempo sin agotar la batería.

"Google escuchó sobre el trabajo que hice en la receta de transformación", dice Gharbi. "Ellos mismos hicieron un seguimiento de eso, así que nos reunimos y fusionamos los dos enfoques. La idea era hacer todo lo que estábamos haciendo antes, pero, en lugar de tener que procesar todo en la nube, aprenderlo. Y la primera El objetivo de aprender era acelerarlo ".

Para lograr esto, el equipo usó versiones de baja resolución de una imagen dada para el procesamiento, pero el gran desafío fue encontrar una manera de volver a muestrear la imagen en una copia de alta resolución.

El aprendizaje automático de un sistema se capacitó en un conjunto de datos de 5, 000 imágenes, cada una con cinco variantes retocadas diferentes. En lugar de generar una imagen completa, el sistema genera una fórmula para modificar los colores de los píxeles de la imagen. A lo largo del proceso de aprendizaje, mejora su propio algoritmo al juzgar qué tan bien su salida puede aproximarse a la imagen original.

Antes de activar el procesamiento (Crédito: MIT)

Después del procesamiento se enciende (Crédito: MIT)

En última instancia, el sistema pudo replicar una imagen HDR de alta resolución 100 veces más rápido que el algoritmo HDR original. Esto permitió que las imágenes retocadas con HDR en tiempo real aparecieran en la pantalla de visualización de un teléfono inteligente usando muy poco procesamiento o energía de la batería.

"El uso del aprendizaje automático para la fotografía computacional es una perspectiva emocionante, pero está limitado por las severas restricciones computacionales y de potencia de los teléfonos móviles", dice Jon Barron de Google Research. "Este documento puede proporcionarnos una manera de eludir estos problemas y producir experiencias fotográficas nuevas, atractivas y en tiempo real, sin agotar la batería o darle una experiencia de visor lenta."

Con su compromiso de centrarse en el software sobre hardware, Google ya ha producido una de las mejores cámaras para teléfonos inteligentes en el mercado. No se sorprenda si encuentra este nuevo trabajo con MIT incorporado en un teléfono Pixel en el futuro.

El equipo de CSAIl / Google presentó el sistema en la conferencia de gráficos digitales de Siggraph esta semana. Eche un vistazo al sistema con más detalle en el video a continuación.

Fuente: MIT News

Antes (abajo a la izquierda) y después (arriba a la derecha) muestra cómo el algoritmo de retoque instantáneo puede ajustar las fotos automáticamente en tiempo real a través de un visor (Crédito: MIT)

Antes de activar el procesamiento (Crédito: MIT)

Después del procesamiento se enciende (Crédito: MIT)

Antes de activar el procesamiento (Crédito: MIT)

Después del procesamiento se enciende (Crédito: MIT)

Recomendado La Elección Del Editor