Introducción

La noción de cultural analytics fue acuñada por Lev Manovich hace 15 años como una mirada al análisis de la cultura usando métodos de la ciencia de los datos y de la computación visual (Manovich: 2017). La “analítica cultural” implica:

1. el diseño de métodos exploratorios y modelos de visualización adecuados a diferentes tipos de datos culturales visuales;

2. el uso de dichos métodos en los corpus de datos que se tienen a la disposición; y,

3. la descripción e interpretación de los resultados.

En este artículo entendemos por “datos culturales” aquellos artefactos creativos producidos por profesionales o por el público en general —pensemos en el contenido generado por usuarios en sus cuentas Instagram—, y aquellos datos sobre eventos y procesos culturales —como fechas y ubicaciones de festivales musicales, exhibiciones de arte o semanas de la moda y del diseño—. Los proyectos resultantes combinan una nueva comprensión de los datos y un valor estético que viene acompañado de innovadoras organizaciones espaciales en 2D y 3D, y de técnicas interactivas. Mientras que un proyecto de analítica cultural puede ser considerado como un mapa analítico o una representación de conocimientos que ayuda a interrogar un tema y verlo desde diferentes ángulos, en este artículo nos enfocamos en los roles estéticos de las visualizaciones culturales, así como en su valor expresivo e interpretativo.

A través de una serie de proyectos, exhibiciones y talleres diseñados por nosotros mismos, discutimos las relaciones entre la visión subjetiva de los analistas culturales —quienes expresan de forma estética un juego de datos—, y las posibilidades y los límites de la representación con tecnologías computacionales. En general, resaltamos la importancia de presentar proyectos de analítica cultural en exhibiciones artísticas con el fin de establecer un vínculo con la audiencia y de brindar la oportunidad de descubrir procesos contemporáneos de la cultura digital de forma diferente.

Analítica cultural: Métodos y herramientas

En 2007, cuando inició la investigación en Cultural Analytics, el número de publicaciones generados por usuarios en los medios sociales ya se podía contar en millones; el software de medios ya se había afirmado plenamente; y, las tecnologías computacionales ya estaban siendo usadas en las ciencias sociales y humanidades. Al mismo tiempo, el análisis visual de datos culturales usando técnicas digitales estaba apenas dando sus primeros pasos. Primero, los repositorios de imágenes disponibles contenían principalmente muestras canónicas, dejando de lado el contenido generado por el público en general. Segundo, algunas técnicas de computación visual solamente eran accesibles con software especializado, fuera del ámbito de los medios, por ejemplo, en aplicaciones científicas. Y tercero, los modelos de visualización que se usaban para cartografiar colecciones de imágenes excluían precisamente a las imágenes y las reemplazaban por puntos, líneas y otros símbolos.

Desde 2007, el concepto de analítica cultural se ha consolidado como el programa de investigación de un laboratorio hospedado en el California Institute for Telecommunications and Information Technology (Calit2). Los miembros y colaboradores del laboratorio combinan habilidades y conocimientos en arte, humanidades, ciencias e informática. Juntos, hemos desarrollado más de 50 proyectos, varios de ellos financiados por la NSF, la NEH, el Ministerio de Educación de Singapur, y la Universidad de Tyumen (Rusia), entre otras instituciones internacionales. Desde su creación, uno de los objetivos centrales del laboratorio ha sido la elaboración de modelos visuales y el desarrollo de software libre, fácil de usar, y de juegos de datos para el análisis exploratorio de medios. En esta sección describimos los principios generales de algunos de nuestros softwares y ofrecemos ejemplos de visualizaciones aplicadas a colecciones de imágenes y artefactos de medios. Todo este trabajo, insistimos, ha sido posible gracias a la invaluable participación de numerosos miembros del laboratorio durante los últimos años.

Modelos visuales

Entre las técnicas elaboradas dentro del marco de la analítica cultural, contamos con varios modelos para el análisis de colecciones de imágenes. Les llamamos “visualización de medios” porque nos permiten analizar los medios mediante la construcción de nuevas imágenes visuales (Manovich, 2011 y Reyes-García, 2017). Estos modelos están ilustrados en la Imagen 1. Esta figura muestra una versión esquemática del pixelado de imágenes —o resumen de colores—, del promedio de imágenes —visualización sobre el eje z—, del montaje de imágenes —mosaicos de imágenes—, de rebanadas de imágenes —vistas ortogonales—, del diagramado de imágenes, del histograma de imágenes, del diagrama de entorno creciente y del diagrama radial de imágenes.

Marco técnico

El flujo de trabajo típico para producir una visualización de medios incluye métodos de la ciencia de datos y de la computación visual. Primero empezamos por la constitución de una colección de imágenes en formato bitmap. Esta etapa se puede lograr ya sea con la digitalización de materiales analógicos, la fragmentación de videos o películas en secuencias de imágenes, o la adquisición de imágenes digitales del acervo de instituciones culturales o de las redes sociales.

El siguiente paso consiste en estructurar un juego de datos usando los metadatos disponibles y enriquecidos con descriptores visuales de nivel más básico, tales como las propiedades cromáticas y las formas. Con fines de practicidad, esta parte toma provecho de la técnica de procesamiento en serie —batch processing— para extraer las propiedades de cada una de las imágenes de la colección. Dependiendo del tipo y tamaño de la colección, hemos escrito nuestros propios códigos para diferente software: MATLAB, Python, OpenCV o ImageJ. En lo que se refiere a los colores, estos son descritos como valores cromáticos cuantificados con base en los modelos de color más conocidos (RGB, HSL y HSV). En cuanto a las formas, éstas se cuantifican como propiedades geométricas —compactibilidad, proporción, angulosidad, circularidad— (Russ, 2011). Todas las propiedades que son extraídas se almacenadas en un archivo genérico CSV, TSV o JSON.

Para facilitar la ejecución de nuestro programa, hemos creado diálogos de interfaz gráfica de usuario en el software ImageJ, en particular para dos modelos visuales: el montaje de imágenes y el diagramado de imágenes. Para otros modelos, como los histogramas o el diagrama de entorno creciente, hemos adaptado los parámetros directamente en un ambiente de desarrollo, en este caso, un cuaderno de trabajo Jupyter Notebook. Otros nuevos modelos han sido implementados en el web usando bibliotecas JavaScript, combinando comúnmente jQuery, three.js, d3.js, p5.js, CSS3 y HTML5.

Proyectos y exhibiciones

Los medios visuales que han sido objeto de estudio de la analítica cultural incluyen a la pintura, la fotografía, el cine, los posters, las portadas y las páginas de revistas, los periódicos, los cómics, los sitios web , los gráficos animados y el video. Además, un juego de datos de imágenes puede ser construido en torno a un mismo tema —por ejemplo, todas las pinturas de un mismo artista, o todas las portadas de una sola revista—, pero también puede contener muestras heterogéneas —como en el caso de diversos periodos o contextos sociales—. En la Imagen 2a se muestran, por ejemplo, un millón de viñetas de manga en un diagrama bidimensional de imágenes — el eje horizontal representa la media de la desviación estándar de los valores de gris, y el eje vertical la media de la entropía calculada sobre todos los valores en la escala de grises—. La Imagen 2b es un diagrama radial que contiene 50 mil fotos de Instagram, y la Imagen 2c es un histograma cromático generado a partir de más de 2 millones de fragmentos de fotos Flickr que fueron etiquetadas con la palabra clave “otoño” entre 1994 y 2014.

En su tiempo de existencia, los proyectos del Cultural Analytics Lab ha sido parte de más de 25 exhibiciones internacionales en museos de arte y diseño, bienales de arquitectura y galerías como la New York Public Library, el Contemporary Art Center en Riga, el National Taiwan Museum of Fine Arts, la West Bund Biennial of Architecture and Art en Shanghai, la Somerset House en Londres, la Fondation EDF en París, y la exhibición en línea Designing Knowledge, curada por la ACM SIGGRAPH Digital Arts Community en 2018.

Trabajos relacionados

La representación gráfica de una serie de imágenes tiene una larga tradición en las ciencias y en las artes. En las últimas décadas del siglo XIX, Eadweard Muybridge y Étienne-Jules Marey fueron pioneros en el uso de técnicas fotográficas innovadoras como la “fotografía simultánea” y la “cronofotografía”, respectivamente. Otras contribuciones de gran importancia fueron hechas por modernistas como Lázló Moholy-Nagy, El Lissitzky, Dziga Vertov y el historiador de arte de inicios del siglo XX, Aby Warburg.

En años más recientes, los artistas digitales de finales de la década de 1990 y principios de los años 2 mil crearon trabajos que nos han sido de gran inspiración. Nuestro modelo de pixelado de imágenes está relacionado con el arte de píxeles —pixel art— que introdujeron Goldberg y Flegal en 1982; el modelo de promedio de imágenes está relacionado con proyectos como el de Sirovich y Kirby sobre Eigenfaces en 1987 o con la serie de momentos especiales de Jason Salavon en 1997. En lo que respecta a la visualización de movimiento y espacios 3D, nos podemos referir a los trabajos de Art+Com entre 1995 y 2006, Waliczky y Szepesi (1997), Camille Utterback (2000-2002), Masaki Fujihata (1992-2012) y Jeffrey Shaw (2006).

Hoy en día, un creciente número de obras y experimentos tecnológicos usan juegos de datos de imágenes como materia prima. Las imágenes que provee ImageNet, el contenido generado por usuarios en las redes sociales, y las colecciones digitales de museos y archivos, se han vuelto el campo de entrenamiento de los algoritmos de aprendizaje artificial. Los resultados visuales de colecciones de imágenes, basadas en redes neuronales, pueden ser vistas en obras de Trevor Paglen (2019), Mario Klingemann (2016), Héctor Rodríguez (2018) y Pilar Rosado (2019), y en varios laboratorios universitarios y plataformas como Google Arts & Culture.

Exploraciones de visualización cultural

Para ilustrar el valor expresivo e interpretativo de las visualizaciones culturales, en esta sección presentamos algunos proyectos que hemos desarrollado en los últimos años. Debemos resaltar que estos proyectos han sido parte de exhibiciones de arte y diseño, así como de talleres, seminarios y cursos para grado y posgrado que hemos diseñado y enseñado de forma presencial.

Video arte como estructura de movimiento

En 2011 dimos inicio al proyecto llamado “Estructuras de movimiento” con la intención de buscar nuevos modelos para la exploración visual y la interactividad con medios temporales, como el cine, el video y los gráficos animados. Nuestra idea era representar las transformaciones espaciales y temporales de una secuencia de imágenes en forma de un objeto 3D. Esta forma es entonces el resultado de los cambios visuales que los objetos dejan en pantalla, de sus movimientos en el plano y de sus relaciones espacio-temporales. El objeto que es generado consiste en un mallado de superficie que puede ser explorado virtualmente o incluso impreso en 3D.

Para este trabajo, creamos un script para el software ImageJ que aplica rutinas secuenciales de procesamiento de imágenes y genera el resultado en formato Java3D. El diagrama en la Imagen 3, a la izquierda, muestra el flujo de trabajo general de nuestro programa y, a la derecha, muestra con más detalle lo que sucede dentro del plugin 3D Viewer.

De manera experimental, hemos aplicado nuestro método a un número de piezas de videoarte consideradas como seminales, entre ellas obras de Charles Csuri, Bill Viola y Peter Weibel. Nuestra visión era proponer un desplazamiento de una estética de la contemplación a una estética de la exploración. La experiencia original contemplativa del videoarte se ve transformada en cualidades interactivas de nuestros objetos 3D. Estas estructuras muestran un ritmo que alterna entre simplicidad y complejidad. En diferentes momentos de una secuencia animada se ve que los elementos evolucionan en el tiempo, que aumentan en número y ocupan mayor o menor espacio en la superficie del plano. El estudio de transformaciones en el tiempo y espacio dentro de los límites de un plano también nos permite poner más atención en las propiedades plásticas de los medios visuales —patrones, ritmo, trazos y huellas de movimiento—, así como en las operaciones computacionales que normalmente pueden pasar desapercibidas.

Desde el inicio, nuestro programa ha estado disponible como código abierto y hemos invitado a los usuarios a que se lo apropien y lo modifiquen. Como parte de seminarios y talleres que hemos enseñado, hemos usado nuestro modelo de visualización con otros tipos de imágenes. La Imagen 4 muestra formas 3D generadas a partir de piezas de videoarte —arriba y abajo a la izquierda—, de video performance —arriba a la derecha— y de una serie de copias de pantalla de la página principal de Google.com, desvelando rasgos salientes en su evolución desde 1998 a 2015 —abajo a la derecha—.

Los colores de la cultura pop: Visualizando a Nirvana

En 2013 nos enfocamos en una serie de proyectos sobre la cultura musical pop-rock como punto de entrada para la búsqueda de nuevas formas de representación e interacción con imágenes. En comparación con las estructuras de movimiento, la principal propiedad visual que deseábamos explorar eran los valores cromáticos, debido a que estos usualmente evocan géneros musicales y son más notorios en corpus heterogéneos.

En el primer proyecto usamos como fuente la videografía completa del grupo de rock Nirvana para producir una serie de visualizaciones de rebanadas de imágenes. Procesamos cada video clip oficial de la banda que fue transmitido en los canales de televisión de los años 1990. La Imagen 5 muestra cada video según una organización unidimensional (1D) donde las rebanadas de imágenes siguen un orden de aparición cronológico. La visualización permite observar pasajes narrativos y ritmos de montaje, pero nuestro principal interés era privilegiar la experiencia estética sobre la funcional. Para nosotros, estas visualizaciones constituyen una estética de segundo orden, creadas usando otras imágenes como material de base.

Dentro de nuestras estrategias para la exploración de la estética de los medios digitales, hemos llamado “disrupciones visuales” a aquellas en donde alteramos la organización y representación de una información visual. Por ejemplo, la organización horizontal de las rebanadas de imágenes fue usada para generar una nueva visualización con base en transformaciones polares y cartesianas. Así, las subsecuentes representaciones no solamente evocan la técnica de la dendrocronología, sino que también recuerdan la forma circular de los discos vinil y discos compactos. Siguiendo una estrategia similar, en nuestro segundo proyecto aplicamos una disrupción visual a través de la alteración del algoritmo de las coordenadas polares, con el fin de investigar cómo las imágenes pueden ser visualizadas según diferentes figuras geométricas. Para esto, elaboramos diversas variaciones de la fórmula matemática usando el ambiente de desarrollo Processing, después adaptamos el algoritmo en un código GREL para Open Refine que nos ayudó a generar el resultado en HTML/CSS. Para este trabajo, obtuvimos 2 mil carátulas de álbumes rock-and-roll de la plataforma AllMusic.com calificados como los “más significativos” por los editores del sitio web en 2014. Los resultados muestran una serie de espacios visuales densos que forman agrupamientos cromáticos (Imagen 6). Mientras se pueden apreciar distintas tendencias cromáticas —como las tonalidades violetas y grises, los destellos de rojo y azul, o la delicada presencia del verde—, la organización de las imágenes implica una decisión subjetiva del diseñador, pero también de las calificaciones y evaluaciones de los editores a los álbumes. Las visualizaciones culturales sugieren así un espacio virtual y potencial al encuentro de múltiples decisiones técnicas y personales.

Recepción, interacción y perspectiva del público

Para nosotros, la presentación de visualizaciones culturales en exhibiciones artísticas nos permite brindar a la audiencia una oportunidad de ver de manera diferente los procesos contemporáneos de la cultura digital. Por ejemplo, nuestras visualizaciones de “estructuras de movimiento” son una abstracción de la estructura visual de varios géneros de video y cuestionan la manera estándar de organizar la información audiovisual. Mediante el uso de técnicas de procesamiento digital de imágenes, de la transformación de datos en nuevas visualizaciones y de la toma de decisiones estéticas, deseamos recordar a la audiencia sobre los retos que implican ser capaces de ver y de pensar las grandes cantidades de imágenes que nos rodean a diario.

Las obras y las exhibiciones de arte nos enseñan cómo los artistas, los diseñadores, los científicos y los curadores hacen conciencia sobre las características subyacentes de nuestro tiempo. Desde nuestro punto de vista, las visualizaciones artísticas y las exhibiciones son reflexiones sobre los géneros de los medios contemporáneos y sobre sus estructuras visuales —como los ritmos de edición, la composición, los movimientos, las paletas de color, entre otros—.

Las clases, las pláticas, las demostraciones y los talleres asociados a los eventos artísticos son instrumentos útiles para obtener ideas del público. En sentido práctico, ponemos atención especial en las relaciones entre representación visual y el software que fue usado en su producción. En este caso, las disrupciones visuales y los glitches desoftware funcionan como rupturas que necesitan un conocimiento de cómo funciona el software, no sólo a un nivel superficial sino también en sus nivelas más profundos, incluyendo formatos de archivo, código de programación, algoritmos y estructuras de datos.

En lo que respecta a los juegos de datos de medios y a los modelos visuales, nos interesa promover el reuso y el remix de las colecciones de imágenes a través de la experimentación de nuevas herramientas y flujos de trabajo. La intención es avanzar desde una serie de habilidades técnicas básicas hacia el diseño de modelos de visualización innovadores y reflexivos que actúen como artefactos culturales. Esta es una de las finalidades de nuestra estrategia disruptiva descrita anteriormente. Se trata de invitar a los usuarios a ver el software como una máquina estética para experimentar con las herramientas, más allá de sus funciones primarias. Por ejemplo, la exhibición Digital Insights of 20th Century Painting (Imagen 7) diseñada en 2017 por alumnos de maestría como parte de su proyecto final en la Winchester School of Art, fue dedicado en gran parte a nuestras técnicas de visualización cultural, y presentó nuevos modelos visuales concebidos como herramientas curatoriales para el arte digital. Para esa ocasión, organizamos talleres prácticos en donde los participantes pudieron trabajar en sus propias colecciones de imágenes. Tal como ha sucedido en otros talleres llevados a cabo en París y en Turín en 2019, notamos la enorme variedad de fuentes y temas que llaman la atención a los usuarios, desde el diseño de platillos de comida hasta grafiti, pasando por la moda y los cortometrajes de animación 3D.

Conclusiones y trabajo a futuro

Así como los artistas, los diseñadores y los arquitectos del modernismo investigaron nuevas formas relevantes a la revolución industrial, la analítica cultural es una oportunidad para investigar las características de la cultura contemporánea a través del análisis y visualización de datos, llevando a la creación de nuevas imágenes visuales. Como lo pudimos demostrar con los proyectos expuestos en este artículo, nuestros modelos de visualización pueden hacer visible la variabilidad de formas de los medios contemporáneos, y también pueden ayudar a ver de manera diferente aquellos elementos que normalmente pasan desapercibidos —patrones, ritmo, trazos de movimiento—.

Actualmente, estamos interesados en seguir explorando la cultura de los medios digitales usando una combinación de métodos analíticos en conjunto con prácticas artísticas y de diseño, reflexionando sobre la variedad de materiales, procesos, técnicas y contextos asociados a las producciones digitales. Estas características varían según las épocas y los lugares pero, al final, mantienen una relación indicial con la situación en la que fueron imaginadas.

En otro plano, deseamos seguir creando nuevos métodos de visualización cultural y mostrando nuevos trabajos en diferentes contextos y ambientes culturales. También nos interesa expandir nuestros métodos hacia lo que llamamos “categorización experimental”, que es nuestra manera de referirnos a aquellas dimensiones innovadoras y especulativas —numéricas o categóricas— para describir de nuevas maneras a los medios visuales. En particular, esta vía nos permite pensar en dimensiones más cualitativas que pueden ser añadidas a nuestros juegos de datos, como las emociones, las identidades sociales y los roles temáticos.

Para terminar, otra dirección a futuro que nos interesa investigar es el desarrollo de conceptos y métodos de “visualización profunda”. Ésta es nuestra noción para hacer evidentes los procesos subyacentes que ocurren a menudo en tiempo real pero que son dados por sentado por usuarios principiantes o no-especialistas. Entre otras operaciones, hablamos aquí de algoritmos de ordenamiento y filtraje, de la cuantificación de colores, de la lectura y escritura de los datos en formatos particulares, de las estructuras de bases de datos, de los algoritmos de visión por computadora y de las operaciones de redes neuronales.

Agradecimientos

El Cultural Analytics Lab fue establecido en 2007 en el California Institute for Telecommunications and Information Technology (Calit2), ubicado en el campus de la Universidad de California en San Diego —el laboratorio era originalmente llamado Software Studies Initiative—. En 2013, el laboratorio fue expandido a una segunda sede en el Graduate Center, City University of New York (CUNY). Agradecemos profundamente a todos los miembros y colaboradores del laboratorio, quienes han contribuido durante años a la investigación y desarrollo de proyectos, de software y de exhibiciones.

La primera versión de este artículo se publicó en inglés en el número especial de la revista Leonardo (MIT Press), dedicado a los art papers de la conferencia ACM SIGGRAPH en agosto 2020. ¶

Referencias

Art+Com (2006). The Invisible Shapes of Things Past. [Instalación multimedia]. Disponible en: www.artcom.de/en/project/the-invisible-shape-of-things-past [Consultado el 19 de marzo de 2021].

Clark, T. (2019). “Trevor Paglen: From ‘Apple’ to ‘Anomaly’”. En British Journal of Photography, núm. 7888. Disponible en: www.bjp-online.com/2019/10/trevor-paglen-barbican [Consultado el 19 de marzo de 2021].

Fujihata, M. (2012). Field-Works. Disponible en: www.field-works.net [Consultado el 19 de marzo de 2021].

Goldberg, A. y Flegal, R. (1982). “Pixel Art”. En Communications of the ACM 25, núm. 12.

Klingemann, M. (2016). Raster Fairy. Disponible en: www.underdestruction.com/2016/02/25/raster-fairy-2016 [Consultado el 19 de marzo de 2021].

Manovich, L. (2011). “What Is Visualization?”. En Visual Studies, vol. 26, núm. 1, pp. 36–49.

Manovich, L. (2017). “Cultural Analytics, Social Computing and Digital Humanities”. En The Datafied Society: Studying Culture Through Data. Amsterdam University Press.

Reyes-Garcia, E. (2017). The image-interface: graphical supports for visual information. Hoboken, NJ, John Wiley & Sons.

Rodríguez, H. (2018). Errant: The Kinetic Propensity of Images. Disponible en: www.concept-script.com/w_errant.html [Consultado el 19 de marzo de 2021].

Rosado, P. (2019). AlgoRitmes Firals. Disponible en: www.pilarrosado.eu/portfolio/firatarrega [Consultado el 19 de marzo de 2021].

Russ, J. (2011). The Image Processing Handbook. Boca Raton, FL: CRC.

Salavon, J. (2004). 100 Special Moments, series of digital C-prints. Disponible en: www.salavon.com/work/SpecialMoments [Consultado el 19 de marzo de 2021].

Shaw, J., et al. (2006). T_Visionarium II. Disponible en: www.jeffreyshawcompendium.com/portfolio/t_visionarium-ii [Consultado el 19 de marzo de 2021].

Sirovich, L. y Kirby, M. (1987). “Low-Dimensional Procedure for the Characterization of Human Faces”. En Journal of the Optical Society of America 4, núm. 3, pp. 519–524.

Utterback, C. (2002). Liquid Time Series, interactive installation. Disponible en: www.camilleutterback.com/projects/liquid-time-series [Consultado el 19 de marzo de 2021].

Waliczky, T. y Szepesi, A. (1997). Sculptures (Time Crystals). Disponible en: www.waliczky.net/pages/waliczky_sculptures-HTML5.htm [Consultado el 19 de marzo de 2021].