Tout a commencé par une demande en apparence anodine :
– « Nous avons un projet potentiel où nous devrons coder des centaines de milliers de réponses ouvertes annuellement! As-tu une solution pour cela? ».
J’évite de paniquer, et j’essaie d’évaluer les coûts et le personnel requis pour traiter des textes qui, bout à bout, reviennent à coder l’œuvre littéraire complète de Stephen King chaque jour. Les méthodes traditionnelles de codification s’essouffleraient en quelques instants devant une telle charge de travail. C’est le début de la grande recherche d’une solution de Text Analytics.
Au départ cela devait se dérouler en 2 étapes faciles : 1) essayer les logiciels les mieux cotés et 2) choisir celui qui offre les meilleurs résultats pour l’ajouter à notre arsenal d’outils. J’ai essayé un premier logiciel. Mes attentes étaient élevées, on m’avait promis une machine intelligente. Je croyais qu’elle allait me résumer en Alexandrins les principaux constats et utiliser des algorithmes Einsteiniens pour faire des découvertes surhumaines. Eh bien non, peut-être dans 3 ou 4 ans, mais pas encore.
C’est ici que commence véritablement la quête du Graal. Des centaines de fournisseurs ont développé des applications de Text Analytics (j’en ai essayé une vingtaine) et des milliers de clients potentiels tentent de trouver le logiciel qui révolutionnera l’analyse du texte.
Premier constat : une machine qui analyse 35 000 commentaires vous donnera moins d’informations utiles qu’un humain qui en analyse 1 000. Comprenons-nous bien, les logiciels nous donnent un tas d’informations, mais souvent trop générales ou trop disparates pour être utiles. Par exemple :
– Un logiciel me dit que les commentaires parlent « d’alimentation »… Si on considère qu’il s’agit d’une étude sur la nutrition est-ce que je peux en tirer une réelle conclusion?
– Un logiciel m’indique qu’« Il y a » est le thème le plus important pour mes répondants.
Deuxième constat : la marge d’erreur de la machine est beaucoup plus élevée que celle d’un humain. Pour l’analyse de sentiment (positif ou négatif), le taux de succès tourne autour de 80 %, c’est-à-dire que sur 35 000 commentaires au moins 7 000 se verront allouer le sentiment contraire à celui exprimé. Accepteriez-vous un tel rendement d’un humain?
Je ne vous dis pas d’enduire les solutions de Text Analytics de goudron, de les orner de plumes et de les défiler honteusement jusqu’aux oubliettes. Mais on doit savoir quand et comment les utiliser.
Dans des circonstances optimales, ces outils peuvent permettre de sauver de 50% à 80% de temps par rapport à la codification traditionnelle et de réaliser des tâches autrement impossibles en raison des délais ou de la quantité de textes à traiter. Il est toutefois impératif d’y intégrer une dimension humaine pour pallier à leurs faiblesses, les logiciels ont besoin d’une intervention humaine.
En résumé, les logiciels de Text Analytics s’avèrent être des outils efficaces dans les contextes suivants :
1) Un nombre élevé de commentaires à coder. Quand je dis élevé… je veux dire élevé. En montrant la quantité de textes à votre codificateur humain, celui-ci doit vous menacer de partir en burnout.
2) Des délais très courts. Par exemple, si on évalue le temps de codification à 240 heures, mais que tout doit être livré dans une semaine.
3) Vous souhaitez obtenir un maximum de 10 codes. Même avec l’aide d’un humain, il est difficile d’apposer une grande diversité de codes précis aux textes avec un taux de succès satisfaisant.
4) Votre codification est simple et répétitive. Si les textes sont très petits (2 ou 3 mots, 1 adjectif, des marques de commerce, des couleurs) alors les logiciels pourront faire des miracles pour vous.
5) Vous ne voulez pas coder, mais tagger. Si vous voulez mettre un flag sur certains éléments sans procéder à de la codification traditionnelle (en taguant les noms, les emails, les lieux, ceux qui parlent du « prix » (bon ou mauvais).
6) Vous voulez seulement une idée générale. Un feeling ou une représentation graphique qui met en relation chaque mot avec d’autres questions du sondage. Par exemple, les répondants ayant le mot « Service » dans leur commentaire donnent une note de satisfaction de 9/10 et ceux ayant le mot « Prix » donnent 3/10.
Il y a donc des applications très utiles à l’analyse de texte, mais ce n’est pas encore une panacée. Alors, je reste vigilant, à l’affût de l’apparition du logiciel rare qui alliera la fine compréhension du langage humain et la rapidité exceptionnelle de la machine. Tel Lancelot à la recherche du Graal (sauf la partie sur le triangle amoureux avec Guenièvre et le roi Artur).