Article connexe : IA, Données, Équipes et Innovation

Il existe de nombreuses publications accessibles qui expliquent ce que sont les grands modèles de langue¹ (LLM), comment ils sont construits et ce qu’ils peuvent et ne peuvent pas accomplir. Consultez celui-ci² pour un aperçu acceptable destiné à un public non technique mais intéressé. Comme pour toute innovation importante, les implications des technologies basées sur les LLM ont fait couler beaucoup d’encre. Les points de vue populaires se situent quelque part entre l’apocalypse imminente de l’IA et l’IA qui mange tous les logiciels. La seule chose sur laquelle tout le monde semble s’accorder est que les LLM sont une technologie importante et transformatrice. Le moment dans lequel nous nous trouvons actuellement est considéré comme le prochain «changement de plateforme», analogue aux développements du microprocesseur, de l’interface graphique, du PC, du navigateur, du smartphone et du cloud. Mais malgré toute la ferveur des médias et de l’industrie technologique, nos flux de travail quotidiens n’ont connu que des transformations progressives, les produits logiciels que nous utilisons restent relativement inchangés, nos boîtes de réception continuent de déborder et notre travail de bureau n’a pas encore été automatisé. La nouveauté de l’interface de chat s’estompe et les gens ne savent plus quelles sont les applications pratiques des LLM. Pour tenter de donner une vision claire de ce qui se passe actuellement, nous partageons un bref aperçu de nos perspectives actuelles en tant qu’investisseurs actifs dans cette nouvelle vague technologique. Les prévisions seront obsolètes dès le moment où nous les écrirons, mais c’est ce qui les rend amusantes.

Nous tenons également à reconnaître que cet article représente la synthèse de nombreuses sources, idées et opinions des membres de notre équipe, tout en étant fortement influencé par nos opinions et expériences personnelles. Attribuer les bons coups à l’équipe et les malentendus, déformations ou informations manquantes aux auteurs.

L’IA générative représente-t-elle un risque existentiel ?

Malgré le tourbillon médiatique fréquent et aigu qui s’essouffle et promeut souvent des «préoccupations» intéressées concernant l’émergence de l’intelligence artificielle générale (AGI), il est important de préciser que ces modèles sont dépourvus de capacités cognitives humaines, de modèles du monde, de compréhension et de conscience de soi. Plus précisément, ces modèles sont prédictifs et sont fondamentalement limités par les énormes volumes de contenu avec lesquels ils ont été formés – voir examples³. Les LLM ne «raisonnent» pas, ne «déduisent» pas et n’offrent pas d’« aperçus » fiables en dehors de leurs domaines de formation. Comme toujours, il convient de prêter attention aux incitations financières et aux préjugés philosophiques préexistants de toute affirmation non vérifiable, y compris les nôtres.

Ce que ces systèmes font bien, c’est générer des résumés lisibles par l’homme, faire des suggestions utiles basées sur d’énormes quantités d’informations ingérées, et former la base pour synthétiser l’expertise et les observations afin de simplifier grandement le travail répétitif. Notre observation favorite est que ces systèmes sont potentiellement «une révolution dans l’utilité», en particulier lorsqu’ils sont associés à des utilisateurs humains experts⁴.

Comme d’autres approches d’apprentissage automatique statistique, les LLM sont dépourvus de limites éthiques innées. Ce sont des outils à utiliser par les humains dans des contextes spécifiques, à des fins spécifiques et avec des limites spécifiques. En tant qu’investisseur éthique, Inovia s’engage à investir intentionnellement et à soutenir les fondateurs qui créent des produits et des services utiles à la société tout en gardant à l’esprit la protection de la vie privé et la sécurité⁵. Comme pour toute nouvelle technologie, nous devons constamment examiner nos investissements potentiels à la lumière de ces critères et d’autres. Plus les approches techniques de résolution des problèmes sont nouvelles, plus nous avons l’intention d’être intentionnels dans nos engagements d’investissement.

Réaction des chefs d’entreprise et des responsables technologiques

Les principaux fournisseurs de technologies se démènent pour rester au fait des dernières avancées et de ce que l’IA générative signifie pour leurs produits, leurs entreprises, leurs employés et leurs clients respectifs.

Les membres des conseils d’administration, les PDG et les investisseurs attendent de leurs leaders technologiques qu’ils «IA-ifient» leurs entreprises pour différentes raisons. L’application la plus répandue, à court terme, évidente et accessible dans les entreprises existantes est la possibilité de réduire les coûts humains dans les flux de travail. Comme le dit Nicholas Frosst de Cohere, «les problèmes les plus excitants actuellement résolus sont très souvent les plus ennuyeux». Cela inclut une gamme de solutions allant de la catégorisation, du résumé et du reformatage des documents à l’automatisation des tâches de traitement de l’information par l’homme.

Aussi ennuyeuses que ces tâches puissent paraître, ces catégories de problèmes peuvent être très coûteuses à l’échelle, et réduire leurs coûts tout en maintenant une haute qualité de production peut avoir un impact très important pour les entreprises dans un délai relativement court. La réalisation de ces types de résultats dans une grande entreprise nécessite un processus d’expérimentation réfléchi et une compréhension détaillée des problèmes, des flux de travail et des données de vos clients. Les LLM constituent une nouvelle catégorie d’outils à ajouter à l’ensemble des outils de traitement de l’information existants, et non une panacée qui remplace instantanément le travail à forte intensité humaine.

Ce qui est peut-être le plus important pour les entreprises dans un paysage concurrentiel en évolution rapide, c’est qu’il ne faut pas ignorer la possibilité d’offrir une valeur nouvelle et augmentée aux clients. Il est essentiel que tous ceux qui se concentrent sur les applications de réduction des coûts de la nouvelle IA se souviennent que les grandes entreprises technologiques et les concurrents agiles et futés poursuivent un rythme significatif d’innovation et d’expansion des produits, parallèlement aux entrepreneurs bien capitalisés. Tous tirent parti de la vitesse, de l’agilité et de l’expérimentation pour apporter une nouvelle valeur dans des flux de travail spécialisés mais importants.

Réflexions et observations

Au cours des 24 derniers mois, nous avons constitué une équipe d’experts internes et externes à Inovia pour conseiller la firme et guider notre réflexion sur les implications des LLM dans la création, l’exploitation et l’expansion des entreprises. En combinant ces informations avec ce que nous observons et apprenons de nos investissements et efforts d’accompagnement des entreprises de notre portefeuille, nous sommes parvenus à quelques observations que nous jugeons utiles pour réfléchir à ce qui se passe aujourd’hui :

Les grands modèles transformateurs sont généralement plus performants que les petits modèles spécifiques à un domaine qui ne comportent que quelques spécialisations et stratégies simples (par exemple, l’ingénierie rapide⁶). Cette surperformance est le résultat d’investissements très importants dans le talent, les données et le calcul de la part d’un petit nombre d’entreprises. Le coût de création d’une couche de base ou d’un LLM fondamental à partir de zéro doit être mesuré en milliards de dollars et en années d’expérience et de formation à l’heure actuelle.

L’orchestration de petits modèles au-dessus des LLM a de la valeur. Les approches visant à construire des solutions hiérarchisées ou segmentées avec plusieurs modèles où chacun est optimisé pour des catégories plus étroites de contenu ou de cas d’utilisation sont en concurrence avec les solutions qui utilisent simplement un modèle général. Cela dépend de la décomposition réfléchie des grands problèmes en problèmes plus petits et de la gestion des flux de travail à travers plusieurs modèles dans différentes itérations. Nous constatons que cela conduit à des solutions très puissantes, rapides et rentables.

Les premières victoires ont été remportées par les entreprises en place. Bien que nous ayons assisté à un afflux important de fonds de capital-risque (et à des valorisations correspondantes importantes) dans l’écosystème des startups, les exemples de réussite pour les nouvelles startups sont moins nombreux. Seule une poignée d’entre elles ont trouvé une véritable adéquation produit-marché, la plupart étant tournées vers le consommateur (comme ChatGPT), tandis que beaucoup sont au début de leur parcours de monétisation. Les premiers exemples de réussite avec des outils d’IA générative sont plus fréquents dans les organisations sophistiquées avec une forte ingénierie, une hygiène des données, une distribution et des relations avec les clients (par exemple Adobe Firefly, GitHub Co-Pilot, Zendesk, Intercom, etc.)

L’adoption des technologies basées sur le LLM est en cours et s’accélère. Quelque 92 % des développeurs basés aux États-Unis utilisent déjà des outils de codage alimentés par l’IA dans le cadre de leur travail, avec une dextérité croissante⁷. Des conversations avec des professionnels du logiciel de niveau 1 nous amènent à penser que les améliorations de la productivité par le biais d’outils tels que CoPilot et GPT4 directement sont actuellement orientées vers les développeurs les plus performants. Nous pensons qu’il en sera de même pour les analystes, les créateurs, les chercheurs et de nombreux autres travailleurs du savoir, en particulier pour les tâches de résolution de problèmes complexes. Ce qui n’est pas si évident, c’est que si ces outils permettent aux experts d’être encore meilleurs, les moins performants peuvent parfois produire rapidement des choses complexes qui sont fausses ou incorrectes sans avoir une bonne base de compréhension de ce qui leur est suggéré, ce qui crée beaucoup de risques.

Bien que personne ne se soit encore prononcé sur le retour sur investissement mesurable des outils de développement, les premiers signes sont prometteurs. La mesure de la productivité des logiciels est toujours sujette à débat. Plus de code est souvent synonyme de mauvais. Un code fait rapidement est souvent dépourvu d’attributs clés. Donner à un novice un code rapidement utilisable qu’il ne comprend pas est potentiellement dangereux pour l’intégrité des systèmes. Des contre-arguments apparaissent⁸ au sujet de la valeur générée par les outils de développement de type CoPilot et des bénéficiaires de cette valeur. La réalité reste que les tâches hautement répétitives telles que la rédaction de tests unitaires, la documentation et les suggestions de type auto-complétion sont utiles, mais qu’il n’y a pas encore de remplacement de l’expertise humaine dans les tâches complexes d’analyse et de résolution de problèmes qu’on connaît aujourd’hui. Cela est important car la plus grande partie du temps investi dans le développement de logiciels n’est pas consacrée au codage, mais plutôt à la conception, à la lecture, à la réflexion, à l’intuition et à la collaboration interpersonnelle. Un domaine dans lequel nous avons obtenu des résultats intéressants est l’intégration des capacités de LLM dans un processus d’analyse des systèmes et de suggestion proactive de code pour examen et débogage potentiel. On assiste à l’émergence de systèmes qui combinent les erreurs avec l’état du programme et les journaux pour créer un ensemble très utile de pointeurs que les développeurs peuvent étudier et qui commencent même à suggérer des améliorations possibles à envisager.

Le tourisme de l’IA est une réalité. Les startups et les grandes entreprises dont le nombre d’utilisateurs augmente rapidement mais dont la monétisation est limitée sont courantes. Acheter et bâtir sont des activités qui se déroulent en parallèle dans toutes les entreprises, souvent sans les ressources nécessaires à l’apprentissage, l’expérimentation et la hiérarchisation appropriés. Dans de nombreux cas, on ne sait pas quand l’activité se transformera en revenus significatifs et durables.

Il existe une asymétrie entre les risques et les bénéfices pour les entreprises existantes qui adoptent une approche proactive de l’innovation. Les entrepreneurs qui comprennent leur domaine, leurs clients, leurs flux de travail et leurs données peuvent tirer parti de ces avancées technologiques pour alimenter la prochaine phase de leur croissance. Un exemple que nous avons vu est celui d’une entreprise qui a mis près d’une décennie pour atteindre un chiffre d’affaires de 10 millions de dollars, qui a intégré les LLM dans ses flux de travail appropriés au domaine et qui, en moins de trois mois, a plus que doublé son chiffre d’affaires. Ce modèle de compréhension intime d’un domaine et des besoins en matière de flux de travail, de compréhension du potentiel d’une nouvelle technologie et d’expérimentation agressive est une condition essentielle pour être compétitif dans de nombreux domaines aujourd’hui. À mesure que de nouvelles capacités apparaissent, l’équipe expérimentale préparée sera en mesure de tirer pleinement parti de l’élan donné par l’amélioration de la valeur pour les clients.

L’hygiène des données et de l’information est un avantage concurrentiel et une nécessité. Les entreprises qui disposent d’une excellente documentation, d’informations bien organisées sur les produits, les clients, les cas d’utilisation, les analyses et les connaissances générales de l’entreprise sont très bien placées pour obtenir un avantage décuplé en matière de synthèse, de résumé et de génération d’informations. Les LLM sont utilisés non seulement pour générer, mais aussi pour structurer de grandes quantités de données afin d’obtenir des informations commerciales précieuses. En plus de la génération de contenu, les entreprises de toute taille trouvent les LLM utiles pour le traitement, la structuration et l’analyse des données.

Les LLM et les Chatbots sont loin d’être la panacée à tous les travaux lourds d’informations. La conception de produits et d’interfaces utilisateur est plus importante que jamais. Donner aux travailleurs des données les moyens d’utiliser ces outils et les guider dans le processus de travail selon de nouvelles méthodes sera un élément très important pour apporter de la valeur tout en masquant la complexité.

La modélisation est plus un art qu’une science, composée d’essais et d’erreurs techniques coûteux. C’est un peu comme si un chef cuisinier créait une recette, et non un exercice d’ingénierie traditionnel. On soumet un ensemble de données à un algorithme avec un certain nombre de paramètres clés, on paie pour une série d’entraînements coûteux et on évalue les résultats. Parfois, cela «marche», parfois non. Modifiez quelques paramètres, entraînez le modèle à nouveau et ainsi de suite.

Prévisions à court terme

Nous avons esquissé les grandes lignes de ce que nous avons vu jusqu’ici. Passons maintenant à quelques prédictions clés sur ce qui pourrait se produire dans un avenir proche, moyen et lointain. Il convient de répéter que ces prévisions seront obsolètes au moment où elles seront écrites et qu’elles seront très probablement erronées à mesure qu’elles seront formulées, mais faisons-les quand même.

Les modèles de base vont continuer à s’améliorer. Les modèles de base plus grands, plus coûteux et plus performants continueront d’afficher des changements progressifs en termes de capacités. Des milliards de dollars continueront d’être investis dans l’expérimentation des modèles de base jusqu’à ce que l’on constate une baisse évidente du rendement des modèles plus grands. Les prochaines itérations ne seront probablement pas simplement des LLM plus grands, mais elles seront complétées par des technologies supplémentaires telles que Retrieval Augmented Generation⁹ (RAG), etc. afin d’améliorer la capacité d’explication et de remédier à certaines faiblesses des LLM. Au fur et à mesure que ces itérations progressent, les outils qui permettent aux LLM d’être ancrés dans les faits et les données internes (c’est-à-dire les graphes de connaissances et les bases de données vectorielles) seront intégrés en tant qu’élément central de la pile technologique de l’IA générative, les graphes de connaissances gagnant en importance à mesure que les utilisateurs se tournent vers les solutions basées sur les LLM pour répondre à des requêtes plus complexes. Ces améliorations incluront également des techniques permettant d’élaborer des stratégies de service moins coûteuses et plus rapides, tant au niveau du matériel destiné à servir les modèles qu’au niveau des stratégies d’optimisation ou de compilation des modèles.

La confiance dans les résultats s’améliorera avec le temps et commencera dans des cas d’utilisation verticaux spécifiques. L’explication globale des très grands modèles est une question de recherche approfondie, sans percée claire à l’horizon. Cela dit, beaucoup peut être fait dans des domaines d’application spécifiques pour passer d’une direction correcte à des résultats fiables. Aujourd’hui, nous avons constaté que cela était possible grâce à des méthodes telles que le RAG et d’autres techniques d’ancrage, parfois associées à une attribution par clic qui permet au lecteur de savoir exactement d’où proviennent les informations qu’il lit. Même dans ce cas, la barre de la «confiance» est souvent difficile à définir. Sur de nombreuses mesures mathématiques objectives, les modèles sont déjà plus performants que les humains lorsque l’on compare les taux d’erreur sur des tâches spécifiques telles que la catégorisation des documents. La subtilité ici est que nous attribuons souvent à la prise de décision un autre attribut propre à la conscience humaine qui ne peut être saisi par des comparaisons statistiques des résultats. Un éminent chercheur nous a récemment suggéré d’imaginer un avenir où l’on vous donnerait deux recommandations alternatives pour un plan d’action médical. L’une d’entre elles est parfaitement comprise et explicable par la pratique médicale courante, vous est proposée par un médecin et fonctionne dans 50 % des cas. L’autre est moins explicable et générée par un modèle, mais fonctionne dans 90 % des cas. C’est vous qui choisissez le conseil et le plan d’action que vous suivez. Comme dans le cas des voitures à conduite autonome par rapport aux conducteurs humains, nous avons tendance à être moins indulgents envers les erreurs générées par les machines, même si elles sont moins fréquentes.

Les mesures comparatives continueront à poser des problèmes. Les mesures comparatives générales souvent citées parmi les LLM sont pour la plupart inadéquates pour prédéterminer l’applicabilité d’un modèle spécifique à un problème particulier. De meilleures mesures spécifiques à une catégorie, basées sur des données de clients potentiels, apparaîtront à mesure que les entreprises se rendront compte que les mesures génériques générales sont des indicateurs inutiles pour créer des stratégies LLM spécifiques à leurs propres problèmes.

De nouvelles techniques apparaîtront pour former les modèles. Aujourd’hui, le deuxième goulot d’étranglement dans l’amélioration des performances des modèles (après le calcul) est l’accès à des données d’entraînement annotées de haute qualité pour «piloter» les modèles. Les modèles d’IA ont besoin d’ensembles de données de plus en plus uniques pour améliorer leurs performances. Les données Web ne sont «plus suffisantes» et deviennent «extrêmement coûteuses¹⁰» . Les entreprises continueront à utiliser davantage de données synthétiques (données générées par un autre modèle) pour générer des données d’entraînement étiquetées de haute qualité. De nouveaux fournisseurs de données synthétiques deviendront des entreprises importantes dans ces écosystèmes. Les entreprises de modélisation recrutent aujourd’hui leurs propres annotateurs de données en interne. Cette industrie artisanale autour des LLM continuera à se développer, faisant de l’étiquetage des données de formation une carrière lucrative à plein temps.

Des changements dans l’industrie sont imminents. Lorsque des changements radicaux interviennent dans la technologie, la pile de solutions est remaniée de différentes manières, les entreprises se disputant la possibilité d’ajouter plus de valeur à leurs propres solutions. On le voit déjà, les fournisseurs d’informatique en nuage hébergent leurs propres modèles et services juste à côté des modèles et services de tiers dans le cadre d’une coopération. Les fournisseurs de modèles lancent des environnements de développement et les rendent accessibles aux non-développeurs, et les sociétés de bases de données lancent des fonctions alimentées par LLM parallèlement à leurs services existants, ce qui permet d’obtenir plus de valeur à partir des données de leurs clients à un coût supplémentaire minime. Tous les acteurs construisent vers le bas, vers le haut et latéralement pour essayer de capturer une plus grande part de ce marché émergent et nous continuerons à voir de grands paris dans l’espace avant que la poussière ne retombe.

Tout va devenir hyper personnel. Nous assistons déjà à une hyperpersonnalisation relativement bon marché des messages, du marketing, des descriptions et des rapports. Cette évolution se poursuivra à mesure que le contenu que vous consommez deviendra plus personnel et que les moteurs de recommandation s’amélioreront considérablement, car les modèles que nous activons sont alimentés par davantage d’informations sur nos activités. La synthèse de vastes corpus de contenu en conseils précis et exploitables est déjà là et continuera de s’améliorer. Il convient de souligner que¹¹, comme dans toutes les technologies, les applications ne sont positives qu’au sens subjectif pour les utilisateurs. S’il est possible aujourd’hui d’adapter des articles, des publicités, des pages, des livres audio, et des livres à des individus ou à des catégories d’individus, ce sera désormais beaucoup moins cher, avec toutes sortes d’incidences en cascade au fil du temps. Toutes ces conséquences ne seront pas universellement positives. Il restera important pour ceux qui intègrent des capacités dans les flux de travail de disposer d’une connaissance de niveau expert pour tester et évaluer les différences entre un texte convaincant et un texte adapté à la tâche.

Tous les outils que nous utilisons pour traiter l’information vont s’améliorer. Les outils (Google Workspace, Microsoft Office, Slack) qui vous aident à accomplir vos tâches quotidiennes s’amélioreront rapidement. La recherche élastique est un pilier des produits que nous connaissons et aimons tous depuis plus d’une décennie et elle est rapidement remplacée par la recherche vectorielle. Cette approche prend en compte le contexte encodé dans le langage et fournit des questions, des réponses et des capacités d’itération plus puissantes. Nous verrons cela de plus en plus souvent.

On assiste à une course vers le bas en matière de tarification, car le «suffisamment bon» est en concurrence avec l’ « excellent ». Pratiquement tous les cas d’utilisation d’une fonction unique ou d’une solution de pointe pour laquelle de vastes données structurées sont largement disponibles, ce qui permet de construire des modèles très performants pour fournir ce service, feront partie de la course au moins-disant. Des services tels que la création de contenu, la traduction, l’édition de photos/vidéos et le service à la clientèle seront probablement inclus dans cette liste. Ce phénomène s’accélérera au fur et à mesure que les entreprises offriront des services gratuitement ou avec des rabais massifs dans le cadre d’offres de services groupés afin de gagner des parts de marché.

Il n’y a pas d’allègement à court terme des contraintes de calcul. La capacité de calcul restera une barrière à l’entrée et un avantage concurrentiel. Les entreprises qui n’ont pas accès à de grands clusters de pointe exploiteront à rebours le matériel qui n’est pas de pointe afin d’augmenter la capacité de calcul globale pour la formation et l’utilisation de modèles à grande échelle. C’est probablement ce qui se passe le plus souvent dans le monde des modèles open source finement réglés, tandis que les LLM privés continuent à signer de grands accords de calcul pour effectuer des changements progressifs pendant un certain temps. Les services d’hygiène des données et d’optimisation des modèles s’efforceront de tirer parti de cette opportunité.

Nous verrons les informations produites d’une manière compatible avec la façon dont les LLM sont formés/optimisés. Les LLM sont étonnants dans le domaine du langage humain, car ils en ont ingéré une grande quantité. Il en va de même pour les langages informatiques. Nous observons déjà de nouvelles approches pour coder des informations telles que les API de manière à permettre aux LLM de refléter ce contenu dans leur génération et leurs résumés. Imaginez que l’on donne à un LLM l’accès à d’anciens langages de programmation (Cobal) pour qu’il les utilise ensuite afin d’en améliorer de nouveaux. Cette tendance va se poursuivre et s’accélérer.

Des fenêtres contextuelles plus larges permettront le prochain cas d’utilisation qui fera fureur. Des services moins coûteux associés à une fenêtre contextuelle plus longue dans les modèles de base permettront de nouvelles applications qui ne sont pas encore possibles ou pratiques.

La création de systèmes fiables à grande échelle va devenir beaucoup plus complexe. Imaginez un monde avec des millions de modèles optimisés à partir de dizaines de modèles fondamentaux. Chacun de ces modèles est optimisé sur chaque sous-ensemble de données changeant et avec des recettes et des approches qui évoluent au fil du temps. La reproduction de résultats identiques est probablement impossible, et le retour en arrière est tout aussi difficile. À cela s’ajoute un monde de résultats génératifs allant du code aux conseils basés sur des instructions en constante évolution et, dans de nombreux cas, sur des ensembles superposés d’instructions avec différents conseils de base. Comparé aux logiciels (dont l’exploitation à grande échelle avec des changements constants constitue déjà un défi majeur), le nouveau monde est chaotique. Des approches nouvelles et très différentes de la gestion des systèmes à grande échelle devront émerger, couvrant des éléments tels que les essais, les outils, l’organisation, les contrôles.

Prévisions à moyen et long terme

Si nous ne nous sommes pas trompés avant, nous sommes presque certains de nous tromper maintenant…

Les algorithmes basés sur les transformateurs seront probablement remplacés par de nouvelles approches produisant des modèles plus performants. Il est probable que ces modèles resteront propriétaires pendant un certain temps, compte tenu de la tendance actuelle à ne pas les publier. Les réseaux de neurones liquides¹² sont un exemple récent de ce qui pourrait advenir prochainement.

La cohérence augmentera considérablement. Les mathématiques, le raisonnement et la sémantique seront utilisés avec succès, parallèlement aux MLD, pour créer des systèmes plus complexes dans lesquels il sera possible de répondre de manière cohérente à un plus grand nombre de questions dans un éventail de domaines de plus en plus large. Cela permettra de remédier à bon nombre des lacunes évidentes que présentent aujourd’hui les seuls LLM.

Prouver que vous n’êtes pas un robot en ligne va devenir beaucoup plus difficile. Les modèles vocaux qui sont presque impossibles à distinguer d’une voix humaine réussissent déjà le test de Turing lorsqu’ils sont combinés à des LLM. De nouveaux tests et de nouveaux moyens de vérifier si quelqu’un est une personne réelle seront nécessaires pour distinguer les énoncés, les documents, les images et les vidéos humains des non humains.

La vidéo entièrement générée s’imposera d’abord dans le domaine de l’animation. Personne n’a résolu le problème de la vidéo générative. On ne sait pas exactement quand ni comment cela se produira. Il faut d’abord s’intéresser à l’animation.

Les LLM de jeu vont considérablement élargir les univers de jeu déterministes. Les développeurs et les utilisateurs créeront des expériences de jeu à l’aide de quelques instructions dans certains de vos jeux préférés. Des personnages non-joueurs alimentés par les LLM apparaissent, offrant des expériences plus riches et plus personnalisées dans un premier temps. Le concept de «battre» un jeu déterministe en tant qu’objectif final sera mis à l’épreuve. Les studios de jeux devront déterminer dans quelle mesure la répétabilité est importante dans un jeu.

Le langage créé par l’IA va devenir une réalité. Les LLM sont formés sur d’énormes quantités d’exemples de textes humains et sont optimisés pour produire des textes semblables à ceux des humains. De même, lorsqu’ils sont formés à d’autres langues humaines ou à des traductions entre langues, ils sont capables de générer des textes qui correspondent à ces cas d’utilisation. La formation sur des exemples de langage informatique permet de créer des modèles capables de créer des codes prédictifs. Une évolution intéressante est que des langues peuvent maintenant être créées et des exemples trouvés ou générés pour aider à former les modèles dans cette nouvelle langue. Par exemple, demandez à un modèle de créer une mini-base. Il définira le langage de programmation, générera un exemple, l’exécutera et créera un interprète. Les choses continueront à devenir de plus en plus bizarres.

L’IA interagira avec votre environnement par le biais de la réalité augmentée (RA). L’intersection de la RA et de l’IA est très rudimentaire à l’heure actuelle (prendre une photo, la télécharger sur GPT4). Avec une puissance de calcul suffisante et un traitement local, la capacité d’interroger des images pourrait être rendue possible dans un contexte de RA ou, disons, par l’intermédiaire de caméras situées dans le monde réel.

De nouvelles interfaces verront le jour. L’évolution des interfaces sera intéressante et fera l’objet d’innovations parallèles, car les experts se verront offrir davantage de possibilités et de flexibilité au-delà des messages textuels. Il est probable que la nouvelle interface la plus populaire des cinq prochaines années ne sera pas les pages web et la recherche. Cela dit, l’interface purement textuelle ou vocale ne sera pas universellement adoptée du jour au lendemain. Les interfaces hybrides sont historiquement très difficiles. Les interfaces vocales sont souvent épeurantes ou agaçantes¹³.

Qu’est-ce que cela signifie pour l’investissement en capital-risque dans les startups d’IA générative ?

Que fait donc un investisseur de toutes ces réflexions sur le présent et l’avenir ? Nous trouvons des entreprises qui confirment ou infirment nos prédictions, et nous les soutenons dans leur démarche. L’avènement d’un accès généralisé aux LLM a donné naissance à des catégories entièrement nouvelles de startups, dont beaucoup ont déjà attiré des valorisations de type «licorne». Ce n’est pas surprenant, car les progrès technologiques profonds élargissent les possibilités offertes aux entrepreneurs, non seulement pour révolutionner les industries existantes, mais aussi pour définir de nouvelles catégories de produits que l’on croyait impossibles à créer auparavant. Voici quelques éléments que nous recherchons dans les investissements. Aucune entreprise ne réunit toutes ces caractéristiques, mais cela vous donne une idée de la façon dont nous envisageons les choses.

Une compréhension approfondie du texte et des flux de travail à forte intensité de données où les LLM peuvent être exploités pour changer radicalement la perspective coût-valeur des services et des produits que l’entreprise construit. Nous avons vu des entreprises qui remplacent 90 % du coût de la classification humaine des documents, à titre d’exemple.

Une capacité à construire, itérer et livrer des produits rapidement avec un avantage spécifique sur l’expérimentation, la mesure et l’adaptabilité. Un exemple simple pourrait être l’utilisation des LLM pour augmenter considérablement la couverture des tests et la documentation afin d’améliorer radicalement la vitesse et la qualité des déploiements.

Un produit adapté au marché, mais offrant la possibilité d’évoluer rapidement pour s’étendre à des domaines adjacents et apporter plus de valeur aux clients existants avec des données et des flux de travail qu’ils connaissent très bien. C’est ce que nous constatons dans les entreprises de bases de données qui adoptent les formulaires vectoriels en même temps que tous les autres types de données pris en charge dans une base de données unique.

Des entreprises en phase d’amorçage au début de leur parcours de création d’entreprise avec des talents de niveau 1, une compréhension de la ML, une capacité d’ingénierie produit pour une itération rapide, et un engagement à perturber le statu quo. Dans certains cas, nous avons vu des équipes créer leur prototype de produit en moins d’une heure.

L’émergence d’une nouvelle infrastructure pour une itération et une livraison de valeur rapides et des coûts raisonnables à l’échelle. Les possibilités de rendre les choses moins chères, plus rapides et optimisées sont nombreuses.

Les données sont le moteur de l’innovation. Les équipes qui ont accès à des ensembles de données uniques ont un énorme potentiel de valeur et d’application. De nouvelles façons d’exploiter les données publiques existantes sont également intéressantes, mais potentiellement moins durables.

Risques évidents et évolution des circonstances

Des entreprises et des groupes de toutes sortes s’efforcent de comprendre ce qu’il est possible de faire et ce qu’il convient de faire ou de ne pas faire avec les nouvelles technologies dans leur propre contexte. De nombreux sujets de préoccupation existent en ce qui concerne l’utilisation légale du contenu dans la production de modèles, la manière dont les modèles encodent et reflètent des préjugés de toutes sortes, la synthèse d’informations à caractère humain et potentiellement incorrectes ou, pire encore, conçues pour induire en erreur. L’écart entre un contenu marketing bien conçu et un contenu politique intentionnellement trompeur est depuis longtemps un sujet de discorde dans les démocraties et ce potentiel est clairement plus élevé avec les outils de création de contenu avancés que les LLM rendent possibles.

Droits existants. Des batailles juridiques sont menées sur de nombreux fronts en ce qui concerne l’utilisation de données privées (livres), de données accessibles au public (sites web, articles de presse, médias, etc.) et de contenus de médias sociaux (Reddit) dans la création de LLM. Au fur et à mesure que les pays décident de ce que signifie pour eux l’utilisation équitable, on peut s’attendre à des changements dans la manière dont les modèles sont construits et entraînés. Les modèles sont déjà construits avec différentes hypothèses à l’esprit.

Nouvelle réglementation. Les gouvernements en sont à différents stades de réaction excessive au sujet de l’utilisation des LLM. Dans de nombreux cas, la législation existante couvre déjà l’utilisation des données dans des contextes assez bien explorés. Les variations nationales étant inévitables, cela affectera le lieu et la manière dont les entreprises bâtissent et déploient des modèles – et dans de nombreux cas, les réglementations suggèrent que les travaux dérivés ou l’utilisation des API créent également des responsabilités juridiques.

Affaires internationales. La grande majorité du matériel nécessaire pour construire et servir les LLM est faite à Taïwan et d’autres ressources sont actuellement limitées dans des contextes nationaux, en particulier entre la Chine et les États-Unis. Ces risques sont non négligeables si les tendances actuelles de la demande se maintiennent. Les efforts déployés au Canada pour créer une infrastructure informatique nationale afin d’avantager les entreprises canadiennes pourraient constituer une énorme tendance à moyen terme à l’échelle mondiale – en particulier si le coût global est avantageux pour les entreprises basées dans le pays. Il convient de noter que de nouveaux défis sont à prévoir dans ce type de situation sur le front des accords commerciaux entre pays.

Conclusion

Et voilà. Un large éventail de réflexions, d’observations et de prédictions sur ce que nous, chez Inovia, voyons en tant qu’investisseurs actifs dans le monde de l’IA générative. Nous avons passé beaucoup de temps pour en arriver là aujourd’hui, mais nous avons encore un long chemin à parcourir et beaucoup à apprendre. Nous cherchons à entrer en contact avec des fondateurs, des investisseurs et d’autres experts qui souhaitent s’engager, discuter et débattre sur les sujets que vous avez lus ci-dessus. N’hésitez donc pas à contacter les auteurs à l’adresse [email protected] ou [email protected].

Perspectives d’Inovia sur l’IA générative : Un moment dans le temps