Réactions de la presse internationale aux nouvelles mesures de Kaïs Saïed    Semaine Boursière : La BH consolide avec succès ses assises financières    Tunisie – Non lieu pour Mohamed Hentati    Les loueurs de voiture invités d'Alpha Hyundai Motor    Tunisie – Hausse de 185% de la redevance du passage du gaz algérien    Tunisie - Reprise des activités dans tous les espaces culturels    Ultra Mirage, le challenge se poursuit avec le soutien d'Assurances BIAT    AS Kasserine : Seif Ghezal, nouvel entraîneur    Ministère des Affaires Sociales: 620 000 familles ont profité de l'aide de 300 dinars    Carthage, patrimoine culturel ... en détresse    Vie et mort d'un fondateur de dynastie: Husseïn Bey 1er (1675-1740)    Chakchouk et Girardin la coopération tuniso-française en matière d'infrastructures portuaires    Djerba Music Land 2021 a enchanté les âmes et les yeux des festivaliers    Club Africain : Mehdi Ouedherfi prêté à Al-Akhdhar libyen    Dernière minute- Du nouveau sur le couvre-feu    UGTT : Non au marchandage entre liberté et monopolisation des pouvoirs !    JCC 2021 : Listes des films sélectionnés dans le cadre de Chabaka et Takmil    Finale de la Super Coupe de Tunisie 2020 – 2021 : EST vs CSS où regarder le match du 25 septembre    Appel à participation: Lancement de la 4e édition du Prix Orange du Livre en Afrique    Le point sur l'épidémie du coronavirus : Mise à jour du 24 Septembre 2021 à 11H00    La FTF approuve la liste internationale des arbitres    Des décisions du CSM annulées par le Tribunal administratif    Envirofest à Bizerte en marge du Forum Mondial de la Mer (Programme)    Covid-19 : 41% de la population tunisienne primo-vaccinés    Abir Moussi s'exprime sur l'arrêt des primes octroyées aux députés    Kalthoum Kannou future Ministre de la Femme?- La magistrate s'exprime sur le sujet    Hatem Boubakri salue les mesures prises par le président de la République    Abir Moussi : Le président veut barrer la route au PDL !    Tunisie : Le ministère de l'Enseignement supérieur recrute 1 130 chercheurs    Le ministère de l'Education invite ses affiliés à la vaccination    La Ligue des Etats arabes doit jouer un rôle important dans la résolution des conflits    « Meilleur Service Client de l'année 2021 » pour Ennakl Automobiles pour la deuxième année de suite    Flat6Labs Tunisie organise le Hub Day du premier cycle du projet Ignite Tunisia    LG lance un téléviseur géant DVLED 8K de 325 pouces    Livres et auteurs de langue française en états généraux à Tunis depuis ce jeudi (Album Photo)    Démarrage à Tunis des Etats généraux du livre en langue française dans le monde    Football : Programme TV de ce Jeudi 23 Septembre 2021    Le point sur l'épidémie du coronavirus : Mise à jour du 23 Septembre 2021 à 11H00    Monde- Daily brief du 22 septembre 2021: Le chef du gouvernement libyen rejette le retrait de confiance    Deux femmes héroïnes d'un évènement qui unit l'art et la littérature: Azza Filali et Chiara Montenero    Libye: Dbaïba rejette le retrait de confiance    Art'cot organise une exposition grand format à la Médina de Tunis    Egypte : Décès du maréchal Mohamed Hussein Tantaoui    Abu al-Bara al-Tounsi tué dans un raid à Idleb    Crise des sous-marins: Quelques leçons pour les Arabes    Pêcheurs tunisiens interpellés par les garde-côtes libyens : Le ministère de la Défense rappelle la réglementation    Comment comprendre les prochaines élections en Allemagne et quel impact sur la Tunisie du départ d'Angela Merkel    Cinq enseignements à tirer de l'abominable gestion américaine de la tragédie afghane    







Merci d'avoir signalé!
Cette image sera automatiquement bloquée après qu'elle soit signalée par plusieurs personnes.



Open source : InstaDeep et iCompass offrent le premier modèle de langage d'IA en dialecte tunisien
Publié dans WMC actualités le 22 - 06 - 2021

Mettre TunBERT à la disposition de la communauté technologique en Tunisie encourage davantage l'innovation, la créativité et les avancées techniques et scientifiques.
InstaDeep et iCompass ont annoncé ce Mardi que les deux startups spécialisées en IA offriraient TunBERT, le premier modèle de traitement du langage naturel (NLP) au monde pour le dialecte tunisien, gratuitement et en open source pour stimuler davantage l'innovation dans un écosystème de technologie AI Tunisien en pleine croissance. Cet écosystème est devenu un phénomène économique et technologique en Afrique du Nord au cours de la dernière décennie. TunBERT est un modèle linguistique pour le dialecte tunisien qui, en appliquant les dernières avancées en matière d'intelligence artificielle (IA) et d'apprentissage automatique (ML), a été entraîné pour évaluer plusieurs tâches telles que l'analyse des sentiments, la classification des dialectes et les questions-réponses pour la compréhension écrite.
En rendant TunBERT disponible gratuitement à l'écosystème, InstaDeep et iCompass visent à ouvrir la voie à de nouvelles percées en recherche et développement sur multiples secteurs, accélérant ainsi l'innovation en fournissant une base sur laquelle d'autres peuvent s'appuyer pour construire des applications sur tous les domaine d'expertise.
"Nous sommes ravis de dévoiler TunBERT, un projet de recherche né d'une collaboration étroite entre iCompass et InstaDeep qui offre au dialecte tunisien une technologie de pointe. Ce travail illustre également le niveau d'excellence auquel peut aspirer l'écosystème technologique tunisien grâce à des collaborations entre les startups leaders en IA", dit Karim Beguir, PDG et cofondateur d'InstaDeep.
Surmonter les variations dialectales et la mauvaise interprétation
« Nous sommes ravis de mettre nos résultats à la disposition de la communauté au sens large sachant que très peu de recherches ont été effectuées sur les langues sous-représentées dans le passé. Notamment, la mauvaise interprétation des variations dialectales représente un grand défi aujourd'hui puisque l'arabe parlé compte une large variété de dialectes régionaux, ce qui rend la NLP pour les dialectes particulièrement difficile, et il en va de même pour la langue tunisienne », explique Dr Hatem Haddad, CTO et Cofondateur d'iCompass.
Améliorer la diversité et assurer une meilleure représentation pour tous les peuples – et leur langues – est critique pour développer équitablement l'intelligence artificielle dans le futur.
TunBERT a suscité beaucoup d'intérêt à travers la Tunisie et au-delà depuis qu'InstaDeep et iCompass ont annoncé leur collaboration. En effet, le résultat de cet effort a été dévoilé lors d'une session dédiée co-présentée par Hatem Haddad, Cofondateur et CTO d'iCompass, et Nourchene Ferchichi, ingénieur IA chez InstaDeep, lors de la GPU Technology Conference (GTC) de NVIDIA en avril.
Parlé par 12 millions de personnes, le dialecte Tunisien est étroitement lié aux dialectes nord-africains qui sont parlés par environ 105 millions de personnes. Le plus grand défi en ce qui concerne le dialecte tunisien est qu'il s'agit d'une langue non standard car elle n'a pas de règles grammaticales. Le Tunisien est également considéré comme une langue sous-financée par rapport à d'autres langues (par exemple l'anglais), en raison de la rareté des bases de données publiques en dialecte Tunisien. Avec de nombreuses variations et interprétations, la traduction linguistique peut facilement être mal comprise et créer des réactions négatives de la part des autres arabophones. Par exemple:
Pour surmonter ces défis, les équipes de recherche d'InstaDeep et d'iCompass ont créé un ensemble de données de 67,2 Mo extrait des réseaux sociaux. La taille de l'ensemble de données peut sembler petite, mais combinée aux percées technologiques de l'IA en apprentissage profond, elle s'est avérée suffisante pour obtenir d'excellents résultats avec un modèle performant. De plus, l'équipe a utilisé le toolkit NeMo de NVIDIA, tirant parti d'une version optimisée du modèle BERT par NVIDIA pour adapter et affiner le réseau de neurones sous-jacent et enfin obtenir un modèle de langage (NLP) pré-entraîné sur un large corpus du dialecte tunisien.
Pour évaluer les performances du modèle, l'équipe a mené des expériences de référence approfondies avec six ensembles de données pour trois tâches en aval: affiner TunBERT sur l'analyse des sentiments, l'identification du dialecte et les tâches de questions-réponses.
Examinons chaque tâche et les résultats obtenus par l'équipe de recherche.

TunBERT arrive à donner des résultats qui surpassent l'état de l'art sur le sujet quand il est utilisé avec plusieurs jeux de données labellisés. Comparé à des modèles plus larges tels que m-BERT, GigaBERT et AraBERT, TunBERT montre une meilleure représentation du dialecte tunisien et donne de meilleures performances tout en étant moins coûteux en calcul au moment de l'inférence.
Analyse des Sentiments:
Pour l'analyse des sentiments, l'équipe a comparé les performances de TunBERT avec plusieurs modèles, notamment Word2Vec, Doc2Vec et des modèles basés sur BERT tels que multilingual-BERT, GigaBERT et AraBERT. Les résultats montrent que TunBERT a surpassé ces modèles de manière significative sur des métriques comme l'exactitude (ou "accuracy") et le F1 macro score.
Les exemples dans ce tableau montrent les prédictions du modèle sur les ensembles de tests d'analyse des sentiments. Cela montre que le modèle est capable de distinguer correctement les commentaires positifs des commentaires négatifs.
Identification Dialectale
Pour travailler sur l'identification du dialecte, l'équipe a créé deux nouveaux ensembles de données (TAD) et (TADI), et a comparé les performances de TunBERT par rapport au multilingual-BERT, GigaBERT et AraBERT sur ces jeux de données. Les résultats montrent que TunBERT a nettement surpassé la performance de ces modèles sur la base de l'exactitude (ou "accuracy") et le F1 macro score. Ceci montre clairement l'impact positif d'un modèle linguistique basé sur le dialecte sur une tâche aussi spécifique. De plus, le passage par un pré-entraînement avec des « données bruitées » au lieu de « données uniformes » s'est avéré utile dans ce cas spécifique.
Le tableau suivant démontre la capacité de TunBERT à reconnaître le dialecte tunisien du dialecte égyptien, même si les deux dialectes nord-africains s'écrivent quasiment de la même manière.
Réponse aux Questions
En ce qui concerne la tâche de réponse aux questions, l'équipe a créé un jeu de donnée appelé TRCD (pour Tunisian Reading Comprehension Dataset), et a comparé les performances de TunBERT par rapport à BERT multilingues, GigaBERT et AraBERT, après avoir ajouté un pré-entrainement sur un jeu de donnée d'arabe moderne standard (MSA) à tous les modèles mentionnés précédemment.
L'exemple ci-dessous présente les résultats des tests du modèle TunBERT sur des questions d'une version dialectale de la constitution tunisienne. Les réponses prédites attestent la compréhension de la question et du contexte du paragraphe par le modèle
Les résultats obtenus par TunBERT surpassent les recherches précédentes dans le domaine. Les résultats expérimentaux indiquent que le modèle TunBERT pré-entraîné apporte de réelles améliorations par rapport à d'autres modèles de langage basés sur BERT entraînés sur de larges jeux de données.
En rendant le modèle disponible en open source, ainsi que les jeux de données utilisés, InstaDeep et iCompass sont impatients de voir ce que la communauté africaine de recherche en IA pourra réaliser en utilisant TunBERT comme modèle de référence.
A propos d'InstaDeep
Fondé en 2014, InstaDeep est aujourd'hui un leader EMEA dans les produits d'IA d'aide à la décision pour l'entreprise, avec son siège à Londres et des bureaux à Paris, Tunis, Lagos, Dubaï et Le Cap. Avec une expertise à la fois dans la recherche en intelligence artificielle et dans les déploiements commerciaux concrets, la société offre un avantage concurrentiel à ses partenaires dans un monde axé sur l'IA. Tirant parti de son vaste savoir-faire en matière de calcul accéléré par carte graphique, d'apprentissage de réseaux de neurones et d'apprentissage par renforcement, InstaDeep a développé des produits, tels que sa plateforme de conception de protéines DeepChainTM, qui relèvent les défis les plus complexes dans une gamme diversifiée d'industries. InstaDeep a également développé des collaborations avec des leaders mondiaux de l'intelligence artificielle, tels que Google DeepMind, Nvidia et Intel.
www.InstaDeep.com.
A propos d'iCompass
iCompass est une startup tunisienne fondée en 2019 spécialisée dans les produits de traitement automatique des langues (NLP). iCompass utilise les dernières avancées dans l'apprentissage en profondeur (Deep Learning) et par renforcement (Reinforcement Learning) pour développer des chatbots ainsi que des services d'analyse numérique de réputation et d'assistance vocale. iCompass est aussi un leader de la région Moyen-Orient et Afrique grâce à son innovation dans la recherche et le développement dans le domaine du traitement automatique des langues (NLP). Les barrières linguistiques ne sont plus un obstacle et les nouveaux programmes développés par iCompass rendent possible l'application de ces technologies même aux dialectes Arabes et Africains.
www.icompass.tn/


Cliquez ici pour lire l'article depuis sa source.