Bilan de la pré-opération de recherche Re-Typographe Diplomatique
Dans ce projet, nous explorons les limites de l’état de l’art en caractérisation (OCR, segmentation de contenus, description typographique) de documents de la Renaissance numérisés. Ces documents demandent des approches nouvelles qui ne sont pas couvertes par les outils existants. L’objectif est d’établir ce que l’état de l’art actuel en analyse d’images de documents peut apporter à l’étude et la caractérisation de ce type de documents particuliers en termes d’analyse, d’indexation et de recherche d’information. À l’issue du projet nous disposerons d’une maquette logicielle pour la formalisation de projets de recherche amont ciblés.
par Bart Lamiroy, Université de Lorraine, Loria (UMR 7503) & MSH Lorraine (USR 3261)

1. Rappel des objectifs
Les objectifs du projet « Re-Typographe Diplomatique » consistaient à étudier l’apport que peuvent fournir les techniques d’analyse d’images et d’approximation de formes graphiques à la reconstruction des polices de caractères de la Renaissance en combinant les expertises du LORIA, de l’ANRT et du CESR pour aboutir à des outils automatiques ou semi-automatiques qui permettront d’obtenir une transcription diplomatique de documents historiques. À partir d’exemplaires en haute résolution de textes imprimés, on cherche à étudier et développer les algorithmes d’analyse graphique les plus pertinents pour permettre les différentes mesures nécessaires à la rétro-conversion et la reconstruction de modèles typographiques anciens. Ceci est obtenu en abordant la caractérisation typographique, et en étudiant les impacts que des outils numériques d’analyse d’images et de documents peuvent avoir dans ses champs d’application. Il s’agit d’étudier les modalités pour obtenir un OCR qui préserve la forme typographique du document original, en reconstruisant automatiquement la fonte utilisée. Les outils numériques actuels, et l’état de l’art en général, ont toujours privilégié une approche consistant à considérer la variabilité et les caractéristiques de formes comme un « bruit » à filtrer pour atteindre la reconnaissance des lettres. Notre projet se place dans une approche orthogonale, où il s’agit justement de détecter et de caractériser ces paramètres, afin d’être capable de reconstituer des représentations fidèles.

2. État de l’avancée des connaissances par rapport aux enjeux théoriques et à l’état du savoir dans le domaine au plan national et international
Le projet s’appuie sur un état de l’art dans le domaine de l’analyse d’images pour le document est riche. Les travaux se concentrant sur les documents anciens et la préservation du patrimoine y sont très présents : par exemple à travers les ateliers HIP tenus en conjonction avec ICDAR ou plus encore à travers les projets européens tels Impact, ou le programme de financement DigiCult du FP7. En revanche, très peu de travaux sur l’analyse automatique de la typographie de documents imprimés historiques n’existent. Les travaux et projets de recherche en analyse d’images pour le document se cantonnent à la reconnaissance du contenu et à sa restitution syntaxique (par la transcription du texte, la restauration ou le nettoyage d’artéfacts nuisant à la lecture, la recherche de patrons répétitifs, etc.). Les rares travaux intégrant de l’information typographique le font d’ailleurs dans l’unique optique d’améliorer les moteurs de transcription de type OCR, afin de produire une transcription graphiquement normalisée, réduisant chaque variante graphique à un seul et même caractère. La réutilisation des informations graphiques est pourtant pertinente dans certains contextes.

Par ailleurs, les historiens des textes ont défini plusieurs « niveaux de transcription » des sources historiques. Par exemple, Marc Smith définit cinq modes de restitution des textes manuscrits : traduction, transcription modernisée, transcription conservatrice, transcription imitative ou diplomatique et fac simile. À l’heure actuelle, la numérisation de documents anciens propose deux solutions, aux extrémités de cet axe : un fac simile en mode image, statique, respectant la forme du document d’origine, ou un mode texte, dynamique, respectant le texte mais à l’aspect fort éloigné de sa source.

L’établissement de transcriptions diplomatiques de documents imprimés anciens présente pourtant un grand intérêt pour la recherche en humanités : elle permet de procéder à des analyses « paléo-typographiques » qui viendront nourrir une large histoire du signe située à la croisée de la linguistique et de l’analyse des cultures graphique.

Les initiatives existantes connexes (tels, par exemple, le projet BaTyR des Bibliothèques Humanistes Virtuelles du CESR, qui se concentre sur les éléments ornementaux d’un texte) proposent des catalogues de formes à partir de bitmaps, où les seules interactions d’indexation ne peuvent se faire que sur la base de la ressemblance globale des formes. En rendant la fonte vectorielle et éditable, on vise à apporter de nouvelles capacités de transcription des textes.

3. Méthodologie mise en œuvre et calendrier des tâches de recherche

Tâches réalisées
– Janvier-Mai 2015 : développement d’outils permettant d’affiner l’extraction et la caractérisation typogra-phique de caractères (Loria – ANRT avec Télécom Nancy).
– Avril-Juin 2015 : accueil du Prof. E. Barney Smith, dans le cadre du programme Chercheur d’Excellence de la Région Lorraine, travail sur la classification de glyphes extraits d’un document brut dans un but de leur caractérisation en termes de proximité de forme.
– Juin-Septembre 2015 : intégration des résultats obtenus précédemment dans une maquette complète ; la maquette effectuera les tâches suivantes :

1. à partir d’un document scanné, extraire les glyphes individuels ;
2. classifier les glyphes selon leurs formes et leur attribuer des étiquettes abstraites ;
3. pour chaque classe de glyphes, extraire les caractérisations typographiques ;
4. à l’aide d’un modèle de langage basé sur des n-grammes, transformer les étiquettes abstraites en lettres effectives (tâche partiellement réalisée) ;
5. générer une description numérique de la police des caractères ;
6. produire une transcription diplomatique du texte initial, dans la police ainsi générée (tâches reportée en 2016).

Reporté en 2016 :
– Septembre-Décembre 2015 : organiser un atelier de travail avec des partenaires potentiels pour l’élaboration de projets approfondissant les résultats obtenus ou entrevus à travers la maquette.
Le report de cette partie est principalement dû aux changements de fonctions des partenaires du CESR (cf. point suivant)

4. Mode d’organisation de l’activité, rôle des partenaires et des chercheurs
– B. Lamiroy (Loria) encadrement scientifique ; recherche sur les modalités d’analyse d’image ; encadrement des stagiaires ; réalisation logicielle
– E. Barney Smith recherche sur les techniques de classification et de filtrage des images
– T. Huot-Marchand & D. Vallance ; contributions sur les métriques d’évaluation de classification d’images de glyphes, explicitation des modèles typographiques, validation de la maquette logicielle
– Présentation de la maquette pour retours et commentaires à la Bibliothèque Municipale de Nancy, en août 2015.
– Les partenaires du CESR ayant obtenu des affectations nouvelles (École Nationale des Chartes pour C. Benevent et ATER pour R. Jimenes) leur temps disponible s’en est trouvé fortement réduit et, de fait, leur implication dans le projet s’est retrouvée temporairement réduite, et s’est limitée aux suivi et conseils sur le projet par e-mail.

5. Liens avec la formation
Une grande partie des réalisations logicielles ont été réalisé dans le cadre de projets d’étudiants de Télécom Nancy (projet PIDR de J. Beck et D. Duchamp) et Mines Nancy (stage d’été de B. Ben Belkacem et  E. Doucet), la poursuite des travaux dans le cadre de projets technologiques de 2ème année Mines Nancy (G. Naudion et A. Zirmi).

6. Description détaillée des résultats de l’opération
Les résultats principaux relèvent de la réalisation des points préalablement annoncés dans le plan de travail (cf. ci-dessus). Il s’agit principalement :

– d’une maquette logicielle entièrement fonctionnelle, avec publication du code source ; la maquette réalise l’ensemble des fonctionnalités décrites dans le plan de travail, à l’exception du point 4. (identification automatique des glyphes à partir de modèles de langage) et une partie du point 6. (la police de caractères est crée et permet une retranscription diplomatique, mais la transcription automatique du texte initial n’est pas fournie. Le texte doit être ressaisi à la main et les glyphes manquants ne sont pas inférés. La police de caractères produite n’est donc pas complète)

– d’études d’évaluation de qualité d’extraction de données typographiques (à la fois mathématiques et humaines) ; lors de la phase de classification des glyphes (cf. Figure 3 ci-dessous) plusieurs options de mise en œuvre sont possibles. Nous avons engagé à la fois une recherche des métriques optimales de qualité de la classification au sens mathématique du terme (cf. référence « Effects of Clustering Algorithms on Typographic Reconstruction » publiée dans ICDAR ci-dessous) et commencé en parallèle une série d’évaluations d’évaluation des résultats basée sur des appréciations de spécialistes humains (travail en cours et non publié)

– la formalisation de modèles typographiques ; un travail préliminaire (intégré dans la maquette logicielle) de formalisation de différents éléments typographiques (hauteur et position des lignes de support, normalisation des tailles des glyphes) et leur liens avec les observations dans les images et les algorithmes d’exctraction.

7. Indicateurs
– 4 équipes de recherche impliquées et 1 partenaire non académique :
QGar – Loria (UMR 7503) – Lorraine
ANRT – Atelier National de Recherche en Typographie – Lorraine
Boise State University, USA – International
CESR (Centre d’études supérieures de la Renaissance, UMR 7323) – France
Bibliothèque Municipale de Nancy – Lorraine

– Communications dans des colloques
Elisa H. Barney Smith, Bart Lamiroy. Effects of Clustering Algorithms on Typographic Reconstruction. 13th International Conference on Document Analysis and Recognition, Aug 2015, Nancy, France.

– Retombées en termes d’internationalisation
Collaboration avec prof. E. Barney Smith, Boise State University
Présentation à 2 colloques/conférences à audience internationale
Dépôt et proposition d’un projet PICS CNRS (PICS07234, en cours d’évaluation)
Invitation et rencontre du Prof. Seiichi Ushida (Kyushu, Japon) travaillant sur l’interpolation de caractéristiques typographiques.

8. Autres éléments :
– L’ensemble des informations relatives au projet Re-Typographe (au-délà de la pré-opération MSH « Re-Typographe Diplomatique » dont il est question ici) est disponible en ligne ici. Ce site contient notamment la liste des contributeurs, des liens vers des publications et du code source.

– La maquette logicielle développée dans le cadre de la pré-opération « Re-Typographe Diplomatique » offre plusieurs fonctionnalités automatiques et interactives pour extraire des descriptions typographiques à partir de documents scannés.

Les phases de traitement consistent en :
1.     Extraction des lignes de base (hauteur de casse, ligne d’appui, hauteur en x – respectivement les lignes rouges, oranges et jaunes dans la Figure 1)
2.     Extraction des glyphes (cf. Figure 2)
3.     Regroupement des glyphes identiques et vectorisation
4.     Attribution des noms aux glyphes
5.     Export en .ufo et retranscription (cf. Figure 4)

Figure 1. Extraction des lignes de base	Figure 2. Segmentation des glyphes
Figure 3. Groupes de glyphes et attribution des lettres	Figure 4. Retranscription diplomatique et export .ufo

9. Perspectives
La poursuite du travail consistera principalement à une mise en situation et utilisation « en conditions réelles » de la maquette logicielle afin de pouvoir répondre aux interrogations suivantes :
– Comment les données typographiques extraites peuvent-elles contribuer à la recherche en typographie ? Quelles fonctionnalités supplémentaires sont nécessaires ? Est-ce que la précision d’extraction et la robustesse de traitement sont suffisantes ?
– Extension de la maquette logicielle sur une plateforme mobille type tablette pour faire des démonstrations in situ, sans équipement lourd de numérisation.
– Quels usages pour une recherche en histoire de l’imprimerie ou de la typographie ? Est-ce que les observations et biais de classification des formes mettent en exergue des phénomènes significatifs pour l’histoirien ? Quels outils supplémentaires seront nécessaires ?
– Est-ce que l’outil et sont usage passent à l’échelle pour des tâches de numérisation d’ouvrages à grande échelle ? Est-ce que son fonctionnement est suffisamment robuste ?

Une poursuite de la pré-opération est envisagée (en cours de concertation entre les partenaires) par :
– le dépôt de PICS CNRS 2015
– un éventuel dépôt PEPS MSH 2016

—

---

---