Le cabinet BCG s’est « amusé » à mesurer l’effet de l’I.A. en utilisant ses propres salariés au sein d’une étude censé mesurer grandeur nature l'impact des modèles d'intelligence artificielle générative (GenAI) sur les travailleurs dans le cadre de tâches techniques dépassant leurs compétences habituelles.
Dans cette expérience, 480 consultants de BCG ont été soumis à des tâches relevant de la science des données, bien que ce ne soit pas leur domaine d’expertise habituel. Ces consultants ont été répartis en deux groupes : un groupe ayant accès à un modèle GenAI (ChatGPT-4 avec des fonctionnalités d’analyse de données avancée) et un groupe de contrôle ne disposant pas de cette assistance technologique. Leurs performances ont ensuite été comparées à celles de 44 spécialistes des données du BCG, qui ont agi comme référence.
Qu’en est-il ressorti ?
1. Les travailleurs ont pu instantanément élargir leurs compétences grâce à l'utilisation de GenAI. Par exemple, dans des tâches de codage, les participants ayant accès à l'IA ont atteint une performance équivalente à 86 % des spécialistes des données, même sans expérience préalable en codage. Ces gains montrent que GenAI permet aux employés de traiter des tâches techniques qui, autrement, seraient hors de leur portée.
2. Pour des tâches plus complexes, telles que la modélisation prédictive, l'IA n’a pas toujours permis une exécution parfaite. Cependant, elle s'est avérée être un excellent outil de réflexion, aidant les participants à découvrir de nouvelles approches pour résoudre des problèmes. L'IA a ainsi permis de combiner l'intelligence humaine et la puissance de traitement de l'IA pour générer des solutions innovantes.
3. Bien que GenAI ait permis une expansion des capacités, les résultats montrent que les travailleurs doivent avoir un minimum de connaissance du domaine pour superviser et valider les résultats générés par l’IA. Sans cette supervision humaine, les erreurs générées par l’IA peuvent passer inaperçues, entraînant des résultats incorrects
Le côté positif que la GenAI est de montrer que grâce à ces technologies, les entreprises peuvent envisager d’élargir leur vivier de talents à des personnes qui, auparavant, n’auraient pas eu les compétences requises pour certains postes. Pour autant, les entreprises doivent se montrer vigilantes dans la permanence de la formation continue de ceux-ci car l’utilisation de GenAI seule ne garantit pas un véritable apprentissage et d’autre part une lacune dans leurs connaissances de base ne leurs permettraient pas de détecter les erreurs dans les résultats issus de l’I.A.
Si l'expérience peut être intéressante par les avantages et risques observés, il faut garder à l'esprit que la population soumise au test est hors norme constituée de consultants de haut vol à la tête bien faite non représentatifs d'une population d'une entreprise classique !
