Nous lançons aujourd'hui Annotation Studio, une plateforme en ligne où une communauté de contributeurs crée, phrase après phrase, les données dont l'intelligence artificielle a besoin pour comprendre le shikomori. C'est, à notre connaissance, la première plateforme d'annotation NER et POS conçue pour cette langue. Elle s'adresse aux locuteurs, aux linguistes, aux étudiants, aux chercheurs et aux développeurs, et elle est gratuite, sur inscription. Nous pensons que c'est une étape nécessaire : sans données, il n'y a pas d'outils numériques pour une langue.
Pourquoi le shikomori a besoin de données
Le shikomori est la langue des Comores. Il se décline en quatre variétés, une par île : le shingazidja (Grande Comore), le shindzuani (Anjouan), le shimwali (Mohéli) et le shimaore (Mayotte). C'est une langue bantoue, de la même famille que le swahili.
Aujourd'hui, le shikomori est presque absent des outils numériques. Les traducteurs automatiques, les correcteurs d'orthographe et les assistants vocaux le connaissent peu, ou pas du tout. La raison n'a rien de mystérieux : ces outils apprennent à partir d'exemples annotés, c'est-à-dire de textes déjà analysés et étiquetés par des humains. Pour les grandes langues, ces exemples se comptent par millions. Pour le shikomori, ils n'existent quasiment pas, on parle alors de langue « peu dotée ».
Annotation Studio s'attaque à ce problème à la racine, en donnant aux locuteurs eux-mêmes les moyens de créer ces données, de façon organisée et vérifiable.
Ce que permet Annotation Studio
Annoter, c'est ajouter des étiquettes à un texte pour expliquer à une machine ce qu'il contient, un peu comme on surligne un cours avec une couleur par type d'information. Sur Annotation Studio, cela commence en shingazidja, la première variété couverte par le projet.
Reconnaissance d'entités nommées (NER)
La reconnaissance d'entités nommées, ou NER, consiste à repérer dans un texte les noms de personnes, de lieux ou d'organisations. Prenons une phrase en shingazidja :
« Azali nd'erais wah'ekomori. » (« Azali est le président des Comores. »)
Un contributeur y identifie Azali comme une personne et ekomori (les Comores) comme un lieu. Répétée sur des milliers de phrases, cette annotation rendra possible, à terme, un outil capable de repérer automatiquement qui fait quoi, et où, dans un article de presse comorienne.
Étiquetage grammatical (POS)
L'étiquetage grammatical, ou POS (part-of-speech), consiste à indiquer la nature de chaque mot : nom, verbe, préposition, etc. Sur la même phrase, cela donne :
| Mot | Sens | Étiquette |
|---|---|---|
| Azali | Azali | Nom propre |
| erais | le président | Nom |
| wah' | de, des | Préposition |
| ekomori | les Comores | Nom propre |
Ce type d'annotation est la base de presque tous les outils linguistiques : correcteurs, traducteurs, analyseurs de texte. Chaque phrase ainsi traitée est une petite leçon pour la machine. Des milliers de phrases forment un corpus, une bibliothèque d'exemples sur laquelle on entraîne les modèles d'intelligence artificielle.
Pensée pour la langue comorienne
Les outils d'annotation existants sont, pour la plupart, conçus pour l'anglais ou le français. Nous avons adapté Annotation Studio aux particularités de l'écriture du shikomori.
Ses lettres propres — ɓ, ɗ ou â, sont reconnues comme de vraies lettres, jamais comme des erreurs de saisie. Les mots contractés sont séparés automatiquement : dans wah'ekomori (« des Comores »), la plateforme distingue wah' (« des ») de ekomori (« les Comores »), afin que chaque partie puisse être étiquetée séparément. Les noms propres collés à d'autres mots sont eux aussi isolés : dans hoMoroni (« à Moroni »), Annotation Studio repère Moroni comme un lieu distinct.
Ces règles de découpage ont été conçues spécifiquement pour le shingazidja et testées sur un corpus réel de 1 423 phrases. Les étiquettes grammaticales, elles, suivent le standard international Universal Dependencies, utilisé par plus de 100 langues. Les données s'exportent dans des formats reconnus par la communauté du traitement automatique des langues, comme JSONL ou CoNLL, ce qui les rend directement exploitables par les chercheurs et comparables avec celles d'autres langues bantoues, comme le swahili.
Comment ça marche
Participer ne demande aucune compétence technique, seulement de connaître la langue. Le parcours d'un contributeur compte cinq étapes : s'inscrire sur studio.komor-ia.com avec un compte Google ou une adresse e-mail ; être validé par un administrateur, qui vérifie chaque nouveau compte avant de l'activer ; rejoindre un projet, auquel un responsable l'ajoute ; annoter, phrase après phrase, avec des consignes accessibles à tout moment ; et suivre sa progression sur un tableau de bord personnel.
L'annotation se fait aussi bien sur ordinateur que sur smartphone, avec des raccourcis clavier pour aller vite. De leur côté, les responsables de projet importent les textes à annoter, définissent les étiquettes utilisées et récupèrent les données finales, dans un espace d'administration qui centralise la gestion des comptes, des projets et des annotations.
Des données ouvertes et respectueuses
Les jeux de données rendus publics seront diffusés sous licence Creative Commons BY-NC 4.0 : réutilisables librement pour la recherche et les usages non commerciaux, avec mention de la source. Cette licence exclut en revanche les usages commerciaux par des tiers. Les contributeurs qui le souhaitent peuvent demander à être crédités nommément.
Nous protégeons aussi la vie privée des contributeurs : leurs données personnelles ne sont jamais vendues, et si un compte est supprimé, ses annotations restent dans le corpus mais deviennent anonymes.
Et ensuite
Les données produites par Annotation Studio sont la matière première d'outils qui pourront, à terme, servir directement les Comoriens : correcteurs d'orthographe et de grammaire, traduction automatique entre le shikomori, le français, l'arabe et d'autres langues, moteurs de recherche capables de comprendre des textes en shikomori, assistants vocaux et outils éducatifs dans la langue, ou encore travaux de recherche linguistique pour mieux documenter ses variétés. Ces outils n'existent pas encore : c'est l'objectif que nous poursuivons, pas un résultat déjà disponible aujourd'hui.
Annotation Studio est une brique d'un effort plus large que nous menons chez Komor-IA, jeune entreprise qui développe des solutions adaptées au contexte comorien et africain, aux côtés d'autres travaux : collecte de textes et d'enregistrements, ressources linguistiques, outils d'analyse du shikomori.
Contribuez dès aujourd'hui
Le shikomori mérite sa place dans le numérique, et cela commence par des données. Si vous parlez shikomori, vous avez déjà la compétence nécessaire pour contribuer à ce projet comorien, fait par et pour la communauté.
Rejoignez Annotation Studio : studio.komor-ia.com