Éléments pour une analyse sémiotique du design numérique : le cas des « cultural analytics »

Everardo Reyes

MOTS-CLÉS : Analytiques culturelles, esthétique, pédagogie, web

Dans cet article nous étudions les relations entre design et communication à partir d’une approche sémiotique. Le type d’objet d’étude qui nous intéresse ici ce sont les réalisations en « cultural analytics » telles qu’elles ont été envisagées par Manovich depuis 2005. Tout d’abord nous décrivons le plan de l’expression de ces productions pour ensuite les situer dans un plan lié à des pratiques, principalement l’esthétique et la didactique. Le rôle du design dans cette démarche nous permettra d’encadrer le processus communicationnel en prenant en compte les acteurs humains, techniques et culturels associés à la conception et production d’objets interactifs, principalement sur le web.

Le domaine de « cultural analytics »

L’expression « cultural analytics » a été conçue par Lev Manovich en 2005. Chercheur essentiellement pluridisciplinaire avec un bagage en histoire de l’art, théorie du film, littérature, programmation par ordinateur et animation 3D, Manovich a apporté des contributions dans plusieurs disciplines telles que les « media studies », l’art numérique, les humanités numériques, la visualisation de données, et les « software studies », ce terme ayant été introduit également par lui en 2001 (Manovich, 2001 : 48). Actuellement, 11 ans après, la recherche en « cultural analytics » se profile plutôt comme une discipline, avec une revue dédiée1, une équipe de recherche internationale2, des programmes académiques3, des projets et réalisations interactives4, des conférences, journées d’études5, expositions de projets 6 et un livre à paraître prochainement7.

Pour expliquer le domaine des cultural analytics, la proposition fondamentale a été, dès le début, celle de « penser la culture comme des données pouvant être explorées et visualisées, y compris les contenus des médias et les activités créatives et sociales des personnes autour de ces contenus » (Manovich 2007 : 3). Afin d’esquisser les principaux traits du programme, nous résumons :

– Sensibilisation à l’augmentation massive de données. Ce constat s’observe non seulement au niveau de la numérisation des médias, mais aussi de la quantité d’informations créées directement en format numérique : photographies prises avec des téléphones portables, vidéos postées sur YouTube, images, liens et commentaires échangés sur Flickr, Pinterest, Facebook, Twitter, Instagram et bien d’autres réseaux sociaux sur Internet, etc.

– Introduction et adoption des méthodes informatiques, mathématiques et statistiques dans les sciences humaines et sociales. Par exemple, en ce qui concerne le traitement numérique d’images, les représentations graphiques exploitant exclusivement les méta-données des images peuvent être amplifiées en considérant leurs propriétés visuelles intrinsèques : couleurs, formes, textures.

– Observation de plusieurs types d’images et types de producteurs. Ceci implique d’utiliser, adapter et repenser les techniques en cultural analytics non seulement à l’étude d’œuvres et de manifestations canoniques, exemplaires ou professionnelles, mais aussi à des images créées par des amateurs, non-professionnels et par le public en général.

Les premiers exemples concrets en cultural analytics ont été réalisés à partir de corpus d’images : peintures, vidéos, photos, BD, jeux vidéo. Aujourd’hui nous dirons que les objectifs se sont élargis et, en réalité, c’est la description des phénomènes culturels qui conduit souvent à la création de corpus hétérogènes : images, données géographiques, données textuelles (discussions, romans, journaux, textes académiques et historiques) et données générées par les logiciels et les objets connectés (types de session, durées de connexion, actions effectuées).

Mais si les premiers résultats ont été présentés dans un espace technologique spécialisé8, les développements récents prennent en compte la variété de types d’écran et les développements informatiques disponibles de nos jours (par exemple les API et services web). De fait, les projets en cultural analytics ne sont pas astreints à un matériel donné car, au contraire, ce sont les objectifs de recherche qui régissent l’élaboration de nouveaux concepts, théories, méthodes, technologies et techniques informatiques (des nouveaux logiciels, algorithmes et interfaces graphiques).

Au sens large, cultural analytics s’intéresse à la représentation et à la description de la complexité, de la diversité, de la variabilité et des propriétés des processus culturels contemporains. À ce titre, l’expérimentation d’outils par les communautés des chercheurs en sciences humaines et sociales informe davantage sur les pratiques de description de phénomènes sociaux et communicationnels. La question centrale est celle de l’inclusion, par le biais d’outils et des méthodes, d’une grande variété d’interprétations tout en considérant des changements d’échelle qui s’y rapportent : allant du global au local (des villages aux continents, par exemple) ou d’une courte à une longue durée dans le temps (des secondes à des années).

Plan de signification et description des images numériques

Nos contributions dans le domaine des cultural analytics portent essentiellement sur trois axes : 1) l’étude de l’image numérique en tant qu’objet technique et sémiotique ; 2) les relations entre les propriétés techniques des images et leur manipulation à travers des interfaces graphiques sur le web ; 3) les effets esthétiques et didactiques des réalisations et des méthodes des cultural analytics.

Concernant les images numériques, nous avons déjà rappelé qu’elles étaient le type de média favorisé au début des démarches en cultural analytics. L’introduction des techniques en traitement d’images a facilité la quantification et la description des propriétés visuelles. Ces techniques, utilisées notamment dans les domaines scientifiques comme la biologie, la médecine et la physique, peuvent également servir à analyser un corpus d’images culturelles. Il est intéressant de noter que, comme toute description et représentation, le résultat est une formalisation des valeurs quantitatives (par exemple, la description des couleurs RVB comprend des valeurs du 0 à 255, mais la description de dominantes chromatiques en HSL va de 0 à 360). De plus, les descriptions résultent du travail des communautés de spécialistes et déterminent en grande mesure la couche visible d’un logiciel ou langage de programmation : nous pensons à la manière dont on peut accéder et manipuler les valeurs, souvent utilisant différentes terminologies ou interfaces utilisateur.

La sémiotique structurale offre ici un cadre théorique pour comprendre les niveaux d’articulation d’éléments de signification. À proprement parler, c’est le développement des travaux du linguiste Louis Hjelmslev qui, en amplifiant les catégories du signifiant et signifié proposées par Ferdinand de Saussure, a distingué le plan de l’expression et le plan du contenu, respectivement. D’une part, le plan de contenu a constitué l’un de sujets majeurs du fondateur de l’école française de sémiotique, Algirdas Julien Greimas, néanmoins le plan de l’expression avait manqué sa description rigoureuse. Ce n’est que récemment que nous disposons d’une articulation élaborée pour le plan de l’expression, à travers les travaux de Jacques Fontanille (Fontanille, 2008) et que nous pouvons également aborder des recherches en sémiotique visuelle, notamment la sémiotique plastique (Groupe Mu, 1992).

Le plan de l’expression représente l’aspect matériel d’un phénomène de signification. Sous forme de parcours génératif, ce plan distingue des niveaux de pertinence (signes, textes, objets, pratiques, stratégies, et formes de vie) où chacun de ces niveaux contient théoriquement deux faces : l’une qui est formelle car constitue les règles et formalisations dont l’autre face, qui est matérielle ou substantielle, retrouve sa manifestation ou énonciation. Nous avons discuté ailleurs l’adaptation du parcours à un objet d’étude comme les images numériques et nous résumons les résultats dans la figure 1 (Dondero & Reyes, 2016).

Fig. 1. Fragment du parcours du plan de l’expression appliqué aux images numériques

Fig. 1. Fragment du parcours du plan de l’expression appliqué aux images numériques

À travers ce schéma, notre objectif est de contribuer à une clarification des niveaux imbriqués sous-jacents à la restitution et manipulation des images à l’écran. Ainsi, nous localisons les différentes formes de quantification de propriétés visuelles dans un niveau profond mais qui vont déterminer l’existence des niveaux supérieurs. Un algorithme, par exemple, est souvent conçu en prenant en compte la manière dont l’information est formalisée : si les propriétés visuelles sont décrites sous forme de données, nous parlons des valeurs de pixels qui s’organisent la plupart du temps dans une structure informatique connue comme tableau (ou « array ») permettant des opérations et manipulations. L’algorithme est donc accessible par l’interface graphique, ou le langage de programmation, afin d’exécuter les opérations qu’il est censé réaliser. De cette manière, la retouche de couleurs, le redimensionnement, la rotation, la séparation de couches RVB ou la compression d’images sont les noms que l’on donne à la suite des étapes d’un algorithme (ou plusieurs algorithmes) sur une structure de données.

À ce stade nous retrouvons un point en commun avec la sémiotique visuelle. En termes de sémiotique plastique, le Groupe Mu a apporté une classification d’unités basiques de signification au sein des images. On distingue trois catégories : 1) chromatiques (la teinte ou dominante chromatique, la saturation et la luminosité) ; 2) eidétiques (les configurations spatiales par direction, dimension et position) ; 3) textures (les unités et règles de répétition des patterns). Les analyses en sémiotique visuelle emploient ces catégories afin de décrire les aspects plastiques des images, une situation qui a prouvé son utilité surtout lorsqu’on s’intéresse à des manifestations ayant une pictorialité faible, comme l’art abstrait ou même les images scientifiques. Souvent aussi, afin de trouver d’autres éléments de signification, le parcours de l’expression rappelle qu’on peut les chercher à des niveaux inférieurs ou supérieurs, c’est-à-dire en allant des « objets » aux « textes » ou des « objets » aux « pratiques ».

Toutefois, en termes de cultural analytics les catégories plastiques s’associent à des propriétés visuelles. Étant donné qu’il s’agit d’informations quantitatives, il est possible d’effectuer des opérations statistiques, par exemple : moyenne de la luminosité, déviation standard des couleurs, tri par densité de formes dans une image, graphiques de valeurs de saturation en barres ou en secteurs, etc. Mais l’intérêt pour les cultural analytics porte à extraire les attributs visuels pour les représenter dans une nouvelle totalité signifiante. De ce point de vue, il est déterminant que la visualisation d’informations visuelles soit également sous forme graphique. Cette méthode a été nommée « média visualisation ». En s’inspirant de travaux en art et design numérique, les nouveaux types de totalités incluent : moyenne d’images (« image averaging »), mosaïque d’images (« image mosaicing »), découpage d’image (« image slicing ») et graphe d’images (« image plotting ») (Reyes, 2015). Nous parlons de « totalités » car ces techniques résument dans une seule image les traits visuels d’une multiplicité ou collection d’images. Le principal changement qui s’opère est au niveau de l’échelle : alors qu’en sémiotique visuelle nous sommes habitués à analyser ou comparer peu d’images, en média visualisation nous sommes devant une image non-figurative mais avec une indexicalité élevée car les patterns qui se distinguent renvoient aux propriétés visuelles quantifiées.

Pratiques d’appropriation

Revenons à la figure 1. Le passage des objets à des pratiques met en relation la face substantielle du support matériel avec la face formelle des thématiques des pratiques. Nous avons listé dans le schéma « retoucher, dessiner, designer, expérimenter », mais nous pouvons compléter avec « enseigner, former, manipuler, explorer ». Cette face répertorie théoriquement les activités des différents types d’utilisateurs. Ensuite, les thématiques de pratiques retrouvent leur face substantielle dans des processus d’accommodation qui peuvent découler, par exemple, en pratique à des buts précis. Dans le cas des images numériques nous pouvons identifier des objectifs courants : obtenir un diplôme (une Licence ou un Master en design, communication, etc. qui systématise les pratiques) ; une certification (comme celles délivrées par Adobe, Autodesk et autres compagnies de logiciels qui forment à l’usage d’un environnement donné) ; ou bien entamer une démarche plus personnelle (artistique, auto-didactique, activiste, « hacktiviste », etc.).

Dans un cadre didactique et pédagogique, les réalisations et productions en cultural analytics exigent une posture expérimentale. En effet, les étudiants expriment un degré de satisfaction et stimulation lorsqu’ils sont capables d’arriver à des résultats visibles par eux-mêmes et avec leurs propres corpus de données. Notre approche pour introduire des techniques en cultural analytics se réalise idéalement sur plusieurs années d’études, en commençant par la découverte d’outils et la réplication de techniques de base (Reyes, 2014a). Dans ce premier niveau, le type d’interface graphique préconisé pour les manipulations et visualisations doit offrir peu de choix et de paramètres de personnalisation afin de favoriser la simplicité. Dans un second temps, les étudiants doivent proposer des nouvelles configurations interactives et c’est ici que la pratique de design devient centrale.

Nous pensons le design comme une posture critique qui permet de questionner nos objets et interfaces graphiques quotidiennes. À travers la pratique du design, on peut proposer de nouvelles manières d’agir et de se questionner soi-même. Il s’agit essentiellement de construire et confectionner non seulement des outils, mais aussi des visions, des expériences, des espaces et des moments. Pour nous, les méthodes des cultural analytics telles que la quantification d’informations visuelles, leur description dans un langage adapté au web (comme JSON, XML, CSV, HTML) et la création de nouvelles totalités, permettent de revoir les conventions et modèles de communication que nous menons avec les objets techniques (images numériques, navigateurs web, conventions d’interface homme-machine). De plus, en construisant des prototypes d’outils, ces artefacts servent aussi d’objet de réflexion ou de théorisation (Bogost, 2012). Par exemple, comment repenser la manière d’agir d’un bouton ? Ou comment le scrolling d’une page web peut-il devenir un élément d’interface lui-même ?

À titre d’exemple, la figure 2 montre deux images qui constituent la représentation d’une collection de 2000 images différentes. À gauche, la technique de mosaïque est utilisée pour visualiser les images et pour ensuite les trier par dominante chromatique (selon le modèle HSL). À droite, les mêmes images sont réorganisées selon deux paramètres : 1 la réduction de couleurs (en résumant en une seule tonalité toutes les couleurs d’une image), et 2) l’organisation polaire (une transformation cartésienne à 360 degrés). La figure 3, pour sa part, montre le résultat d’un devoir simple fait dans un cadre pédagogique. Les étudiants répliquent l’extraction et la quantification de propriétés visuelles mais ils conçoivent une nouvelle organisation selon les possibilités de l’espace web. L’image résume 600 couvertures de bandes dessinées. Tout comme la figure 2, les cartes de couleur sont des indices des images mais dans la figure 3 nous voyons également un résumé dans le temps, trié par saisons (printemps, été, automne, hiver). En outre, la version en ligne de la figure 3 est interactive en ce qu’elle permet d’interagir avec les barres de couleurs, copier le code couleur (en format hexadécimal) et se déplacer pour découvrir les dix tonalités les plus utilisées. Notons en passant que la figure 3 essaie de ne pas utiliser les conventions classiques d’interface web, c’est-à-dire que les fonctions des boutons sont substituées par les touches de clavier (au lieu de cliquer, on appuie sur les flèches du clavier).

Nous pouvons dire que, dans le design, les nouvelles totalités émergeantes possèdent une signification encore instable, manquant de conventions de lecture. Si le risque est alors la non-signification, nous croyons que ces productions engendrent leur validité à un autre niveau. Si une réalisation est uniquement compréhensible par le concepteur lui-même, cela pourrait, si c’est l’intention finale, reconduire à la boucle du design cherchant une stabilité de signification (en faisant des tests d’« usabilité », en permettant à d’autres individus sa réception et son utilisation, en ajoutant des annotations ou instructions pour ancrer le sens). Par ailleurs, sous un angle de vue distinct, nous employons la notion d’« esthétique du logiciel » pour faire référence à la capacité d’exprimer un sentiment complexe et abstrait à travers un code informatique ou une interface graphique, et aussi à l’expérience d’acquérir une nouvelle connaissance et d’aller au-delà de la simple compréhension de l’interface en parcourant vers le haut ou vers le bas le plan de l’expression de la signification (Reyes, 2014b).

Fig. 2. Deux représentations graphiques à partir de 2000 pochettes de disques. Faites par E. Reyes, 2014, afin d’explorer des organisations visuelles. Fig. 2. Deux représentations graphiques à partir de 2000 pochettes de disques. Faites par E. Reyes, 2014, afin d’explorer des organisations visuelles.

Fig. 2. Deux représentations graphiques à partir de 2000 pochettes de disques. Faites par E. Reyes, 2014, afin d’explorer des organisations visuelles.
http://ereyes.net/rockViz/

fig02-300dpi

Fig. 3. Interface d’exploration de 609 couvertures des BD de Marvel. Faite par Claire Blumenfeld, Claire Mauchin et Ingrid Lenoir, 2015, dans un cadre pédagogique sous la supervision de D. Guido et E. Reyes.
http://m2dimi.github.io/marvel-colors/#Home

Pour finaliser, soulevons l’observation de Roman Jakobson à propos des échanges entre les langues qui peuvent être de nature « interlinguistique » (quand on traduit un texte ou quand on inclut une partie d’un texte dans un autre comme les citations, les métatextes, les intertextes) ou bien « intralinguistique » (quand on substitue un mot par un autre dans une même phrase ou paragraphe). De manière similaire, Göran Sonesson a noté que les échanges entre les images peuvent suivre un schéma semblable. On pourrait parler d’échange « inter-pictorial » quand une image appartenant à un certain genre ou style en remplace une autre (comme les collages ou les photos-romans), ou d’« inter-pictorial » : quand une image prend la place d’une autre à l’intérieur du même discours visuel (Sonesson, 2012). Ainsi nous pouvons proposer la locution échanges « inter-interfaciques » pour les situations où un objet ou une forme d’interaction bien connue dans un domaine vient remplacer un élément d’interface graphique d’un autre domaine (ce serait le cas de conversions de logiciels scientifiques vers des logiciels culturels). Et les relations « intra-interfaciques » poseraient la question de la pertinence des choix entre les éléments appartenant au même répertoire des possibles : les conventions IHM spécifiques à un support donné ou les éléments d’interaction inclus dans un logiciel ou langage de programmation.

Le territoire des pratiques, s’approchant de niveaux plus vastes comme les stratégies et les formes de vies (vers le haut du parcours du plan de l’expression), demanderait une révision des cultures et interprétations que celles-ci confèrent aux objets techniques numériques. Dans ce sens, la communication médiée par les interfaces pourrait distinguer des messages provenant des cultures (ou des domaines disciplinaires) jouant le rôle de destinataires, tandis que d’autres seraient dans le rôle de destinateurs. Ces aspects relancent le débat sur les métaphores des interfaces comme des objets éthiques et politiques (Galloway, 2012), un sujet qui mérite une discussion plus ample dans le programme des cultural analytics.

Références

Bogost, I. (2012). Alien phenomenology, or what it’s like to be a thing. Minneapolis : University of Minnesota Press.

Dondero, M.G. & Reyes, E. (2016). Les supports des images : de la photographie à l’image numérique. Revue Française des sciences de l’information et de la communication (RFSIC), No. 9, Juillet 2016. Repéré le 03 octobre 2016 à https://rfsic.revues.org/2124

Fontanille, J (2008). Pratiques sémiotiques. Paris : PUF.

Galloway, A. (2012). The interface effect. Cambridge, UK : Polity.

Groupe Mu (1992). Traite du signe visuel. Paris : Seuil.

Manovich, L. (2001). The language of new media. Cambridge, MA : MIT Press.

Manovich, L. (2007). Cultural analytics : analysis and visualization of large cultural data sets. Software Studies Initiative. Repéré le 03 octobre 2016 à http://tinyurl.com/cultural-analytics-20
07

Reyes, E. (2014a). Introducing digital humanities through the analysis of cultural productions, Digital Humanities 2014, Lausanne, Juillet 7-12, 2014.

Reyes, E. (2014b). On media art software, Computer art and design for all: proceedings of the 4th computer art congress, Rio de Janeiro, Septembre 1-3, 2014.

Reyes, E. (2015). La data visualisation comme image-interface. Revue Documentaliste - Sciences de l’Information, 38-40.

Sonesson, G. (2012). Translation as a double act of communication. A perspective from the semiotics of culture, 11th World Congress of Semiotics of IASS, Nanjing, October 5 – 9, 2012.

Notes de bas de page

1
« Journal of Cultural Analytics ». http://culturalanalytics.org/

2
« Software Studies Initiative ». http://softwarestudies.com/

3
Comme le programme de longue durée « Culture Analytics » à l’University of California à Los Angeles, de mars à juin 2016. https://www.ipam.ucla.edu/programs/long-programs/culture-analytics/

4
OnBroadway (http://on-broadway.nyc/), Phototrails (http://phototrails.net/), Selfiecity (http://selfiecity.net), 144 hours in Kiev (http://www.the-everyday.net)

5
Comme la journée « Cultural analytics et pratiques patrimoniales », organisé par Nicolas Thély et Clarisse Bardiot à la MESHS, Lille. https://www.meshs.fr/page/cultural_analytics_et_pratiques_patrimoniales

6
Comme le festival « Data Drift », à Riga, du 10 octobre au 22 novembre 2015. http://rixc.org/en/festival/DATA%20DRIFT/

7
« Cultural analytics » de Lev Manovich, à paraitre chez The MIT Press

8
Comme le HIPerSpace au CalTech, comprenant 9,7 x 3,2 mètres pour afficher 35 mille x 8 mille pixels

Everardo Reyes

Maître de Conférence à l’Université Paris 8,
ereyes-garcia@univ-paris8.fr

Article précédent

« Du design d’interaction au « textile social » : approches communicationnelle et sémiotique d’un média tangible »
Marie-Julie Catoir-Brisson
Retour au sommaire