Pourquoi les ordinateurs n’ont pas le don des langues

Chez Nalantis, nous ne connaissons que trop bien les défis liés au développement des technologies linguistiques. L’entreprise anversoise travaille depuis des années sur des outils qui permettent aux ordinateurs de traiter le langage humain, tant à partir de documents écrits que de fichiers audio et vidéo. « L’un des principaux obstacles est qu’il est très difficile pour un ordinateur de donner une « signification » aux mots. », explique Jan Van Sas, Chief Technology Officer. « Un ordinateur ne se représente pas notre monde. Il ne dispose pas de la connexion avec notre environnement qui est stockée dans le cerveau humain. » 

Des tentatives acharnées sont en cours pour utiliser des techniques d’IA telles que le deep learning et des technologies comme le vector spacing pour amener les ordinateurs à reconnaître ces analogies, mais on est encore loin de la façon dont notre cerveau fonctionne. Selon Jan Van Sas, les scientifiques n’ont pas encore trouvé la bonne manière d’établir ce lien mathématique. 

C’est donc principalement la sémantique ou « étude du sens » qui est difficile à maîtriser pour les systèmes d’IA. Il ne suffit pas d’extraire le sens d’un mot d’un dictionnaire quelconque, il faut aussi examiner ce mot dans son contexte. Autrement dit, il faut une compréhension du texte. Jan Van Sas donne un exemple : « Si vous me dites que vous « lisez votre canard », il y a de fortes chances que je puisse déduire de notre conversation que vous êtes en train de lire votre journal. Et non pas que vous regardez dans le blanc des yeux d’un animal de votre basse-cour (rires). Toutefois, pour un système d’IA, cela n’est pas du tout  aussi trivial. Et l’on n’a même pas encore abordé la façon de dire les choses. Qui elle aussi peut ajouter une toute nouvelle couche de signification qu’un ordinateur ne peut pas reconnaître. » 

Le caractère infini du langage

La raison pour laquelle les systèmes d’IA ont tant de mal avec le langage, le contexte et le sens est qu’ils sont généralement basés sur le big data, le deep learning et le machine learning. Ils traitent donc des données existantes (par exemple, des millions de pages web) pour devenir plus intelligents et « apprendre ». Souvent, ces systèmes peuvent même le faire avec des données non structurées, sans aucune intervention humaine. C’est ce que l’on appelle « unsupervised learning ». Le langage est néanmoins une sorte d’objet « infini ». Même si les systèmes d’IA excellent dans les opérations basées sur les mathématiques, comme la reconnaissance et la reproduction de modèles existants, ils ne sont pas très bons pour donner un sens aux mots. « L’inconvénient du deep learning est qu’il n’a pas de compréhension explicite de ce qui se passe dans une conversation. », explique Jan Van Sas. « Le deep learning est une sorte de jeu statistique, avec des calculs de probabilité et des seuils, mais il ne peut pas nommer exactement ce qui est dit ou évoqué. 

Néanmoins, cela ne signifie pas que le deep learning soit totalement sans valeur dans le domaine des technologies linguistiques. », souligne Jan Van Sas. « Que du conrtraire, et nous l’utilisons aussi quand nous le trouvons utile. Ainsi, le deep learning est relativement efficace pour prédire le mot qui va suivre, lorsque votre phrase est déjà très avancée. Si vous avez une phrase de cinq mots, un système de deep learning sera capable de raisonnablement bien deviner le sixième mot. Mais en même temps, c’est aussi son point faible. Parfois, des billions de paramètres apparaissent dans ce type de prédiction, de telle sorte que les modèles deviennent tout simplement trop complexes. » 

NLP/NLU

Et c’est la raison pour laquelle l’avenir des technologies linguistiques est hybride, affirme Jan Van Sas. Parier uniquement sur le deep learning en tant que technique d’IA ne nous permettra pas d’y arriver. Cela doit être complété par d’autres techniques, telles que le NLP/NLU (Natural Language Processing et Natural Language Understanding). L’idée est de diviser le langage naturel en parties plus petites et plus faciles à manipuler, et d’utiliser des algorithmes spéciaux pour analyser ces parties. Cela permet d’identifier les connexions, les dépendances et le contexte entre les différentes parties. Le langage naturel est ainsi traité et converti en une sorte de structure standardisée. Au sein de cette structure, la compréhension du texte peut ensuite être trouvée en dérivant le contenu, en recherchant le contexte et en générant des perspectives. En d’autres termes, on procède à une extraction de sens. 

« On peut comparer cela à la façon dont une personne apprend une langue. », explique Jan Van Sas. « Nous n’avons pas besoin de lire la moitié d’Internet pour pouvoir communiquer parfaitement par le langage. Nous en recevons une quantité limitée, nous y réfléchissons et nous construisons ainsi un système linguistique dans notre tête, via l’analyse et la génération sémantiques. C’est donc complètement différent de la façon dont les systèmes de deep learning abordent la chose. » 

Jan Van Sas fait la comparaison avec les théories du célèbre psychologue Daniel Kahneman. « Connaissez-vous son livre « Thinking, Fast and Slow » ? Il y explique qu’il existe en fait deux systèmes concurrents dans notre cerveau. Le modèle « Fast » apprend les choses très rapidement et intuitivement, en particulier des choses dont nous avons besoin en tant qu’êtres humains pour survivre. Mais d’un autre côté, la connaissance est également générée dans un modèle « Slow », dans lequel nous réfléchissons à tout de manière rationnelle et raisonnée. La technologie linguistique est similaire. Nous devrons nous appuyer en partie sur des solutions statistiques, mais aussi sur des solutions raisonnées. » 

Niches

Nalantis met cette théorie en pratique avec son propre moteur qu’elle a développé et baptisé SAGE. « SAGE est l’acronyme de Semantic Analysis and Generation Engine. », explique Jan Van Sas. « Il s’agit d’un système hybride qui combine des techniques de NLP et des modèles de deep learning. Il décompose les phrases en paragraphes et en mots, et examine la syntaxe. Il en découle une analyse sémantique, c’est-à-dire que nous essayons de comprendre ce que signifie un certain texte. Le travail sur SAGE a commencé il y a plus de dix ans. Une première version a été construite en Java. Nous avons entièrement reprogrammé une seconde incarnation en Python, le langage standard désormais utilisé pour les applications d’IA. » 

« La technologie linguistique de SAGE est actuellement déjà implémentée pour certaines niches très spécifiques. » indique Jan Van Sas. « Par exemple, nos innovations sont utilisées pour convertir des enregistrements de conseils communaux en données compréhensibles sur ce qui y a été décidé. Ces données peuvent ensuite être consultées par les employés communaux et les citoyens qui se posent des questions sur certaines décisions : qui a reçu tel ou tel permis ? Quand a-t-il été délivré ? De cette façon, nous contribuons à la transparence de l’administration. La ville de Gand travaille déjà avec cette technologie. »

Pour le SPF Finances, Nalantis a développé un proof of concept qui permet de déterminer quels contrevenants doivent être convoqués au tribunal. « Quels sont les paramètres qui font qu’il vaut la peine de poursuivre quelqu’un et quelles sont les chances de succès ? Pour ce faire, nous avons procédé à une analyse linguistique de toutes les procédures, des arguments des avocats et des jugements. Certains mots comme « indépendant », « voiture » ou « notes de frais » ont orienté les recommandations pour les fonctionnaires dans une certaine direction. »

Les ressources humaines constituent un autre domaine de travail important pour Nalantis. « SAGE peut faire correspondre automatiquement les CV reçus par une entreprise avec les postes vacants. », explique Jan Van Sas. « Il reconnaît l’expérience d’un candidat donné, les endroits où il a travaillé précédemment et ses études. Le système connaît également toutes les descriptions de poste et peut donc suggérer les candidats les plus appropriés pour un poste particulier. Vous imaginez bien qu’une telle première sélection peut faire gagner énormément de temps et de tracas aux départements RH des entreprises. » 

Pas de boîte noire 

Enfin, un aspect très important du fonctionnement de Nalantis est son approche « no black box ». De quoi s’agit-il exactement ? « Avec un grand nombre de modèles de deep learning, nous ne savons pas vraiment ce qui se passe en coulisses. », explique Jan Van Sas. « C’est comme une boîte noire scellée. L’algorithme utilise des millions de points de données comme entrée, établit des corrélations entre des caractéristiques de données spécifiques et génère ainsi un certain résultat. Il s’agit d’un processus largement autogéré qui est très souvent difficile à interpréter pour les spécialistes des données, les programmeurs et les utilisateurs finaux. Nous connaissons les algorithmes qui sont utilisés, mais il n’est plus possible de tracer exactement la concordance statistique qui s’est opérée. » 

Et c’est un problème. Parce que cela engendre, par exemple, un « biais » ou un parti pris. Les biais sont des erreurs dans les résultats des systèmes d’IA parce que l’algorithme a été alimenté par des hypothèses préconçues. Supposons que l’on vous demande, en tant que spécialiste IA, de concevoir un système capable de rechercher des photos à partir d’un mot clé. Aujourd’hui, nous vivons dans un monde où 90 % des CEO sont des hommes blancs. Concevez-vous alors votre système de manière à refléter cette réalité ? De sorte que lorsque quelqu’un tape « CEO », seuls les hommes blancs sont affichés ? Ou bien créez-vous un moteur de recherche qui montre un mélange plus équilibré, même si ce n’est pas le mélange qui correspond à la réalité d’aujourd’hui ? 

« Nous voulons contrebalancer ce genre de problèmes. », déclare Jan Van Sas. « Nalantis ne fonctionne jamais selon le principe black box. Nous avons toujours la possibilité de demander à nos linguistes d’ajuster les « règles » internes du système. Tout ce que le système fait peut être expliqué et suivi. Nous pouvons donc toujours plonger sous le capot et savoir où regarder si nous voulons changer quelque chose. »