Depuis le printemps 2017, l’équipe d’Artl@s travaille à intégrer réellement les images dans ses travaux sur l’histoire mondiale des circulations artistiques, grâce à une collaboration avec Mathieu Aubry et son équipe en vision par ordinateur à l’École des Ponts-Paris Tech, LIGM Lab. Nous automatisons en même temps notre collecte de données, en récupérant automatiquement les images à partir de sources numérisées.
Le projet EnHerit (Enhancing Heritage Image Databases), financé par l’Agence nationale pour la Recherche (ANR-Jeunes), développe de nouvelles approches et de nouveaux outils basés sur le deep learning et en particulier les réseaux de neurones convolutionnels (CNN), pour répondre aux besoins spécifiques des historiens et des chercheurs sur les images, et notamment exploiter de grandes bases de données visuelles avec un travail d’annotations minimal. Les outils d’EnHerit permettent d’identifier des motifs récurrents dans des bases de données d’images hétérogènes, en particulier des parties d’œuvres qui ont été copiées d’autres artistes. Ces outils créent également des graphiques qui montrent l’influence entre les différentes œuvres d’art et les peintres. L’identification manuelle de ces parallèles et emprunts est un processus extrêmement ardu et long, même à petite échelle. Avec les outils développés par EnHerit, il est possible d’effectuer une telle identification en très peu de temps et sur de vastes corpus.
Plus d’informations sur le projet : http://imagine.enpc.fr/~shenx/ArtMiner/
La collaboration entre Artl@s et EnHerit, intitulée ImageContagion, vise à regrouper les images non seulement en fonction de leur proximité visuelle entre elles, mais aussi en fonction de leurs proximités spatio-temporelles et sémantiques.
Exemple de détection de motifs avec ‘EnHerit, sur un ensemble de données de Brueghel. Sont ici affichées les 4 premières correspondances (en vert) pour un exemple de requête de chacune des 4 catégories annotées. Les styles de correspondance peuvent être différents de celui de la requête. Source : SHEN, Xi, and AUBRY, Mathieu, « Discovering Visusal Patterns in Art Collections with Spatially-consistent Feature Learning », Paper submitted to CVPR2019 (Thirtieth IEEE/CVF Conference on Computer Vision and Pattern Recognition).