[Versión castellana][English version] Ramon Sangüesa DESISLAB, Laboratori d’innovació social Escola Elisava de Disseny i Enginyeria rsanguesa@elisava.net Una part important de la societat en què ens movem es troba en l’economia d’informació, una economia de dades i algoritmes. Perquè les dades si no es tracten no són res. Aquesta economia és … Llegiu més
Objectiu: determinar la maduresa dels sistemes de video-to-text per a la descripció automàtica d’imatges en un arxiu de televisió.
Metodologia: es fa una prova de concepte mitjançant un sistema de video-to-text desenvolupat ad hoc. La prova es va articular en tres fases o iteracions diferents entre juny de 2016 i gener de 2017. En les dues primeres iteracions el sistema va analitzar un nombre determinat de continguts procedents de l’arxiu de RTVE, les descripcions es van valorar per establir la taxa d’encert del sistema o, en altres paraules, com de propera era aquesta descripció a la que podia haver subministrat un ésser humà. En una tercera fase, i prèviament a l’anàlisi dels continguts, es va entrenar el sistema utilitzant tècniques d’aprenentatge profund amb l’objectiu de millorar els resultats.
Resultats: els resultats obtinguts posen de manifest que es tracta d’una tecnologia prometedora, si bé resulta fonamental aprofundir més en els mecanismes que serien necessaris per a la seva posada en producció en els arxius de televisió. — Objetivo: determinar la madurez de los sistemas de video-to-text para la descripción automática de imágenes en un archivo de televisión. Metodología: se realiza una prueba de concepto mediante un sistema de video-to-text desarrollado ad hoc. La prueba se articuló en tres fases o iteraciones distintas entre junio de 2016 y enero de 2017. En las dos primeras iteraciones el sistema analizó un número determinado de contenidos procedentes del archivo de RTVE, las descripciones se valoraron para establecer la tasa de acierto del sistema o, en otras palabras, cómo de cercana era dicha descripción a la que podía haber suministrado un ser humano. En una tercera fase, y previamente al análisis de los contenidos, se entrenó al sistema utilizando técnicas de aprendizaje profundo con el objetivo de mejorar los resultados.
Resultados: los resultados obtenidos ponen de manifiesto que se trata de una tecnología prometedora, si bien resulta fundamental profundizar más en los mecanismos que serían necesarios para su puesta en producción en los archivos de televisión. — Objective: To assess the deep learning capability of a video captioning model for automated image description in a television archive.
Methodology: Our proof of concept tested an ad hoc video-captioning model in three iterations between June 2016 and January 2017. In the first and second iterations the model was used to analyse a selection of content from the archives of the Spanish Radio and Television Corporation (RTVE) and the descriptions it generated were evaluated to determine the model’s success rate, i.e., how close it came to providing human-like image descriptions. In the third iteration and before the content was analysed, the model was trained using deep learning techniques to optimise the results.
Results: The results indicate that the model has potential, although further development will be required to customise its use in television archives.