Le développement récent de l'industrie de l'IA est considéré par certains comme la quatrième révolution industrielle. L'émergence de grands modèles a considérablement amélioré l'efficacité de divers secteurs, et le Boston Consulting Group estime que le GPT a augmenté l'efficacité du travail aux États-Unis d'environ 20 %. En même temps, la capacité de généralisation apportée par les grands modèles est considérée comme un nouveau paradigme de conception logicielle ; auparavant, la conception logicielle était basée sur un code précis, tandis que la conception logicielle actuelle intègre des cadres de grands modèles plus généralisés dans les logiciels, permettant à ces derniers d'avoir de meilleures performances et de supporter des entrées et sorties de modalités plus larges. La technologie d'apprentissage profond a en effet apporté une quatrième prospérité à l'industrie de l'IA, et cette tendance s'est également étendue à l'industrie Crypto.
Ce rapport explorera en détail l'histoire du développement de l'industrie de l'IA, les classifications technologiques et l'impact de l'invention des technologies d'apprentissage profond sur le secteur. Ensuite, nous analyserons en profondeur la chaîne de valeur en amont et en aval de l'apprentissage profond, y compris les GPU, le cloud computing, les sources de données, les dispositifs périphériques, ainsi que l'état de développement et les tendances de cette industrie. Par la suite, nous examinerons en détail la relation essentielle entre les secteurs de la Crypto et de l'IA, en révisant la structure de la chaîne de valeur de l'IA liée à la Crypto.
Histoire du développement de l'industrie de l'IA
L'industrie de l'IA a commencé dans les années 1950. Pour réaliser la vision de l'intelligence artificielle, le monde académique et l'industrie ont développé de nombreuses écoles de pensée pour réaliser l'intelligence artificielle, dans des contextes de différentes époques et de différentes disciplines.
Les principales technologies d'intelligence artificielle modernes utilisent le terme "apprentissage automatique", dont le concept est de permettre aux machines d'itérer à plusieurs reprises sur des tâches en s'appuyant sur des données pour améliorer les performances du système. Les étapes principales consistent à envoyer des données à l'algorithme, à utiliser ces données pour entraîner le modèle, à tester et déployer le modèle, puis à utiliser le modèle pour accomplir des tâches de prédiction automatisées.
Actuellement, l'apprentissage automatique se divise en trois grandes écoles, à savoir le connexionnisme, le symbolisme et le comportementalisme, qui imitent respectivement le système nerveux, la pensée et le comportement humains.
Actuellement, le connexionnisme représenté par les réseaux neuronaux domine (, également connu sous le nom d'apprentissage profond ). La principale raison en est que cette architecture a une couche d'entrée, une couche de sortie, mais plusieurs couches cachées. Une fois que le nombre de couches et le nombre de neurones ( ainsi que les paramètres ) deviennent suffisamment nombreux, il y a suffisamment d'opportunités pour modéliser des tâches complexes et générales. Grâce à l'entrée de données, il est possible d'ajuster continuellement les paramètres des neurones, et après avoir traité de nombreuses données, ce neurone atteindra un état optimal ( des paramètres ). C'est ce que nous appelons un grand effort produisant des miracles, et c'est aussi l'origine du mot "profondeur" - un nombre suffisant de couches et de neurones.
Prenons un exemple, on peut comprendre simplement qu'une fonction a été construite, où lorsque nous entrons X=2, Y=3 ; et lorsque X=3, Y=5. Si nous voulons que cette fonction réponde à tous les X, il faut continuer à ajouter le degré de cette fonction et ses paramètres. Par exemple, à ce moment, je peux construire une fonction qui satisfait cette condition, Y = 2X -1. Cependant, s'il y a une donnée où X=2, Y=11, il faut reconstruire une fonction adaptée à ces trois points de données. En utilisant un GPU pour un brute force, on découvre que Y = X2 -3X +5 est assez approprié, mais il n'est pas nécessaire que cela corresponde exactement aux données, il suffit de respecter l'équilibre et d'avoir une sortie globalement similaire. Dans cela, X2, X et X0 représentent différents neurones, tandis que 1, -3 et 5 sont leurs paramètres.
À ce moment-là, si nous introduisons une grande quantité de données dans le réseau de neurones, nous pouvons augmenter le nombre de neurones et itérer les paramètres pour ajuster les nouvelles données. Cela nous permettra d'ajuster toutes les données.
La technologie d'apprentissage profond basée sur les réseaux de neurones a également connu plusieurs itérations et évolutions techniques, comme les tout premiers réseaux de neurones de la figure ci-dessus, le réseau de neurones à propagation avant, le RNN, le CNN, le GAN, qui ont finalement évolué vers les grands modèles modernes tels que la technologie Transformer utilisée par GPT, etc. La technologie Transformer n'est qu'une direction d'évolution des réseaux de neurones, ajoutant un convertisseur ( Transformer ), utilisé pour coder les données de tous les modes ( tels que l'audio, la vidéo, les images, etc. ) en valeurs numériques correspondantes pour les représenter. Ensuite, ces données sont entrées dans le réseau de neurones, permettant ainsi au réseau de neurones d'ajuster n'importe quel type de données, réalisant ainsi le multimodal.
Le développement de l'IA a traversé trois vagues technologiques. La première vague a eu lieu dans les années 1960, une décennie après la proposition de la technologie de l'IA. Cette vague a été provoquée par le développement de la technologie symbolique, qui a résolu des problèmes de traitement du langage naturel général et de dialogue homme-machine. À la même époque, les systèmes experts ont vu le jour, comme le système expert DENRAL réalisé par l'Université de Stanford. Ce système possède des connaissances chimiques très fortes et déduit des réponses similaires à celles d'un expert chimiste en fonction des questions posées. Ce système expert en chimie peut être considéré comme une combinaison d'une base de connaissances chimiques et d'un système d'inférence.
Après les systèmes experts, dans les années 1990, Judea Pearl ( a proposé le réseau bayésien, également connu sous le nom de réseau de croyance. Pendant la même période, Brooks a proposé la robotique basée sur le comportement, marquant la naissance du béhaviorisme.
En 1997, IBM Deep Blue a battu le champion d'échecs Garry Kasparov avec un score de 3,5 contre 2,5, cette victoire étant considérée comme un jalon pour l'intelligence artificielle, marquant le début d'un second apogée du développement des technologies IA.
La troisième vague de la technologie AI a eu lieu en 2006. Les trois géants de l'apprentissage profond, Yann LeCun, Geoffrey Hinton et Yoshua Bengio, ont proposé le concept d'apprentissage profond, un algorithme basé sur des réseaux de neurones artificiels pour l'apprentissage de représentations à partir de données. Par la suite, les algorithmes d'apprentissage profond ont progressivement évolué, passant de RNN, GAN à Transformer et Stable Diffusion, ces deux algorithmes ayant façonné cette troisième vague technologique, qui est également l'apogée du connexionnisme.
De nombreux événements emblématiques ont également émergé progressivement avec l'exploration et l'évolution des technologies d'apprentissage en profondeur, notamment :
En 2011, le Watson d'IBM ) a remporté le championnat du jeu télévisé Jeopardy ( en battant des humains.
En 2014, Goodfellow a proposé le GAN) Réseau de Génération Antagoniste, Generative Adversarial Network(, qui apprend en permettant à deux réseaux de neurones de s'affronter, capable de générer des photos d'une réalisme troublant. En même temps, Goodfellow a également écrit un livre intitulé « Deep Learning », surnommé le livre des fleurs, qui est l'un des ouvrages d'introduction importants dans le domaine de l'apprentissage profond.
En 2015, Hinton et al. ont proposé un algorithme d'apprentissage profond dans la revue Nature, et cette méthode d'apprentissage profond a immédiatement suscité un grand émoi dans le milieu académique ainsi que dans l'industrie.
En 2015, OpenAI a été créé, Musk, le président de Y Combinator Altman, l'investisseur angel Peter Thiel) et d'autres ont annoncé un investissement commun de 1 milliard de dollars.
En 2016, AlphaGo, basé sur la technologie d'apprentissage profond, a affronté le champion du monde de Go et joueur professionnel de niveau 9 dan, Lee Sedol, et a remporté la victoire avec un score total de 4 à 1.
En 2017, le robot humanoïde Sophia développé par Hanson Robotics(, une entreprise de technologie robotique, a été qualifié de premier robot au monde à obtenir le statut de citoyen de premier ordre, possédant une grande variété d'expressions faciales et la capacité de comprendre le langage humain.
En 2017, Google a publié un article intitulé « Attention is all you need » présentant l'algorithme Transformer, marquant le début de l'émergence des modèles linguistiques à grande échelle.
En 2018, OpenAI a publié le GPT), un modèle de langage génératif pré-entraîné basé sur l'algorithme Transformer(, qui était l'un des plus grands modèles de langage à l'époque.
En 2018, l'équipe de Google Deepmind a publié AlphaGo basé sur l'apprentissage profond, capable de prédire la structure des protéines, considéré comme un grand signe de progrès dans le domaine de l'intelligence artificielle.
En 2019, OpenAI a publié GPT-2, ce modèle possède 1,5 milliard de paramètres.
En 2020, OpenAI a développé GPT-3, qui possède 175 milliards de paramètres, soit 100 fois plus que la version précédente GPT-2. Ce modèle a été entraîné sur 570 Go de texte et peut atteindre des performances de pointe sur plusieurs tâches de traitement du langage naturel), y compris la réponse aux questions, la traduction et la rédaction d'articles(.
En 2021, OpenAI a publié GPT-4, un modèle doté de 1,76 trillion de paramètres, soit 10 fois plus que GPT-3.
En janvier 2023, l'application ChatGPT basée sur le modèle GPT-4 a été lancée, et en mars, ChatGPT a atteint 100 millions d'utilisateurs, devenant ainsi l'application à atteindre le plus rapidement 100 millions d'utilisateurs dans l'histoire.
En 2024, OpenAI lancera GPT-4 omni.
Remarque : En raison du grand nombre de papiers sur l'intelligence artificielle, de la diversité des écoles de pensée et de l'évolution des technologies, nous allons principalement suivre l'histoire du développement de l'apprentissage profond ou du connexionnisme ici, tandis que d'autres écoles et technologies sont encore en pleine évolution.
![Nouveau guide丨IA x Crypto : De zéro au sommet])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Chaîne de l'industrie de l'apprentissage profond
Les grands modèles de langage actuels utilisent tous des méthodes d'apprentissage profond basées sur des réseaux de neurones. Avec GPT à la tête, ces grands modèles ont engendré une vague d'engouement pour l'intelligence artificielle, attirant de nombreux acteurs dans ce domaine. Nous avons également constaté une explosion de la demande du marché pour les données et la puissance de calcul. Par conséquent, dans cette partie du rapport, nous explorons principalement la chaîne de valeur des algorithmes d'apprentissage profond. Dans l'industrie de l'IA dominée par les algorithmes d'apprentissage profond, comment les chaînes amont et aval sont-elles composées, et quelle est la situation actuelle des chaînes amont et aval ainsi que la relation entre l'offre et la demande et le développement futur.
Tout d'abord, il est important de clarifier que lors de l'entraînement des grands modèles LLMs dirigés par GPT basés sur la technologie Transformer, il y a en tout trois étapes.
Avant l'entraînement, en raison de la base Transformer, le convertisseur doit transformer l'entrée textuelle en valeurs numériques, ce processus est appelé "Tokenization", après quoi ces valeurs sont appelées Tokens. Selon la règle empirique générale, un mot ou un caractère anglais peut être grossièrement considéré comme un Token, tandis que chaque caractère chinois peut être grossièrement considéré comme deux Tokens. C'est également l'unité de base utilisée pour la tarification de GPT.
Première étape, pré-entraînement. En fournissant suffisamment de paires de données à la couche d'entrée, comme celles citées dans la première partie du rapport, )X,Y(, pour trouver les meilleurs paramètres de chaque neurone sous ce modèle, il faut beaucoup de données à ce moment-là, et ce processus est également le plus gourmand en puissance de calcul, car il nécessite de répéter les itérations des neurones en essayant divers paramètres. Après qu'un lot de paires de données a été entraîné, il est généralement utilisé le même lot de données pour un second entraînement afin d'itérer les paramètres.
Deuxième étape, ajustement fin. L'ajustement fin consiste à fournir un petit lot de données, mais de très haute qualité, pour l'entraînement. Ce changement permettra d'améliorer la qualité des sorties du modèle, car le pré-entraînement nécessite une grande quantité de données, mais de nombreuses données peuvent contenir des erreurs ou être de faible qualité. L'étape d'ajustement fin peut améliorer la qualité du modèle grâce à des données de qualité.
La troisième étape, l'apprentissage par renforcement. Tout d'abord, un tout nouveau modèle sera établi, que nous appelons "modèle de récompense", dont l'objectif est très simple : classer les résultats de sortie. Par conséquent, la création de ce modèle sera relativement simple, car le scénario métier est assez vertical. Ensuite, nous utiliserons ce modèle pour déterminer si la sortie de notre grand modèle est de haute qualité, ce qui nous permettra d'utiliser un modèle de récompense pour itérer automatiquement les paramètres du grand modèle. ) Cependant, il est parfois nécessaire d'intervenir humainement pour évaluer la qualité de la sortie du modèle (.
En résumé, durant le processus d'entraînement des grands modèles, la pré-formation exige une très grande quantité de données et nécessite également la plus grande puissance de calcul GPU, tandis que le réglage fin nécessite des données de meilleure qualité pour améliorer les paramètres. L'apprentissage par renforcement peut itérer les paramètres à plusieurs reprises à l'aide d'un modèle de récompense pour produire des résultats de meilleure qualité.
Au cours du processus d'entraînement, plus il y a de paramètres, plus le plafond de sa capacité de généralisation est élevé. Par exemple, dans l'exemple de la fonction Y = aX + b, il y a en réalité deux neurones, X et X0. Ainsi, peu importe comment les paramètres varient, les données qu'il peut modéliser sont extrêmement limitées, car sa nature reste une ligne droite. Si le nombre de neurones augmente, alors il est possible d'itérer sur un plus grand nombre de paramètres, ce qui permet de modéliser plus de données. C'est pourquoi les grands modèles produisent des miracles, et c'est aussi la raison pour laquelle on les appelle communément de grands modèles : leur essence réside dans un nombre massif de neurones et de paramètres, ainsi qu'une grande quantité de données, tout en nécessitant une puissance de calcul énorme.
Ainsi, la performance des grands modèles est principalement déterminée par trois aspects : le nombre de paramètres, la quantité et la qualité des données, et la puissance de calcul. Ces trois éléments influencent ensemble la qualité des résultats et la capacité de généralisation des grands modèles. Supposons que le nombre de paramètres soit p, la quantité de données soit n) calculée en fonction du nombre de tokens(, nous pouvons alors estimer la quantité de calcul requise en utilisant des règles empiriques générales, ce qui nous permet d'estimer la puissance de calcul que nous devons acheter et le temps d'entraînement nécessaire.
La puissance de calcul est généralement mesurée en Flops.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
5 J'aime
Récompense
5
7
Partager
Commentaire
0/400
GateUser-43d6d1b5
· Il y a 5h
1000x Vibes 🤑
Répondre0
AirdropLicker
· Il y a 7h
Ne restez pas à attendre l'Airdrop lors du prochain bull run.
Voir l'originalRépondre0
PumpDoctrine
· Il y a 7h
bull souffle si fort, la clé est de savoir si le jeton va hausser.
Voir l'originalRépondre0
LayerHopper
· Il y a 7h
La folie de la Blockchain est passée, le Mining sur disque dur est enfin intéressant.
Voir l'originalRépondre0
AirdropHunterXiao
· Il y a 7h
À peine 20 % ? L'augmentation de l'efficacité est vraiment trop faible.
Voir l'originalRépondre0
StablecoinAnxiety
· Il y a 7h
L'IA n'a pas assez d'efficacité, ce n'est pas suffisant.
Fusion intersectorielle de l'IA et des cryptoactifs : comment l'apprentissage profond redéfinit le paysage industriel
IA et Crypto : de zéro au sommet
Le développement récent de l'industrie de l'IA est considéré par certains comme la quatrième révolution industrielle. L'émergence de grands modèles a considérablement amélioré l'efficacité de divers secteurs, et le Boston Consulting Group estime que le GPT a augmenté l'efficacité du travail aux États-Unis d'environ 20 %. En même temps, la capacité de généralisation apportée par les grands modèles est considérée comme un nouveau paradigme de conception logicielle ; auparavant, la conception logicielle était basée sur un code précis, tandis que la conception logicielle actuelle intègre des cadres de grands modèles plus généralisés dans les logiciels, permettant à ces derniers d'avoir de meilleures performances et de supporter des entrées et sorties de modalités plus larges. La technologie d'apprentissage profond a en effet apporté une quatrième prospérité à l'industrie de l'IA, et cette tendance s'est également étendue à l'industrie Crypto.
Ce rapport explorera en détail l'histoire du développement de l'industrie de l'IA, les classifications technologiques et l'impact de l'invention des technologies d'apprentissage profond sur le secteur. Ensuite, nous analyserons en profondeur la chaîne de valeur en amont et en aval de l'apprentissage profond, y compris les GPU, le cloud computing, les sources de données, les dispositifs périphériques, ainsi que l'état de développement et les tendances de cette industrie. Par la suite, nous examinerons en détail la relation essentielle entre les secteurs de la Crypto et de l'IA, en révisant la structure de la chaîne de valeur de l'IA liée à la Crypto.
Histoire du développement de l'industrie de l'IA
L'industrie de l'IA a commencé dans les années 1950. Pour réaliser la vision de l'intelligence artificielle, le monde académique et l'industrie ont développé de nombreuses écoles de pensée pour réaliser l'intelligence artificielle, dans des contextes de différentes époques et de différentes disciplines.
Les principales technologies d'intelligence artificielle modernes utilisent le terme "apprentissage automatique", dont le concept est de permettre aux machines d'itérer à plusieurs reprises sur des tâches en s'appuyant sur des données pour améliorer les performances du système. Les étapes principales consistent à envoyer des données à l'algorithme, à utiliser ces données pour entraîner le modèle, à tester et déployer le modèle, puis à utiliser le modèle pour accomplir des tâches de prédiction automatisées.
Actuellement, l'apprentissage automatique se divise en trois grandes écoles, à savoir le connexionnisme, le symbolisme et le comportementalisme, qui imitent respectivement le système nerveux, la pensée et le comportement humains.
Actuellement, le connexionnisme représenté par les réseaux neuronaux domine (, également connu sous le nom d'apprentissage profond ). La principale raison en est que cette architecture a une couche d'entrée, une couche de sortie, mais plusieurs couches cachées. Une fois que le nombre de couches et le nombre de neurones ( ainsi que les paramètres ) deviennent suffisamment nombreux, il y a suffisamment d'opportunités pour modéliser des tâches complexes et générales. Grâce à l'entrée de données, il est possible d'ajuster continuellement les paramètres des neurones, et après avoir traité de nombreuses données, ce neurone atteindra un état optimal ( des paramètres ). C'est ce que nous appelons un grand effort produisant des miracles, et c'est aussi l'origine du mot "profondeur" - un nombre suffisant de couches et de neurones.
Prenons un exemple, on peut comprendre simplement qu'une fonction a été construite, où lorsque nous entrons X=2, Y=3 ; et lorsque X=3, Y=5. Si nous voulons que cette fonction réponde à tous les X, il faut continuer à ajouter le degré de cette fonction et ses paramètres. Par exemple, à ce moment, je peux construire une fonction qui satisfait cette condition, Y = 2X -1. Cependant, s'il y a une donnée où X=2, Y=11, il faut reconstruire une fonction adaptée à ces trois points de données. En utilisant un GPU pour un brute force, on découvre que Y = X2 -3X +5 est assez approprié, mais il n'est pas nécessaire que cela corresponde exactement aux données, il suffit de respecter l'équilibre et d'avoir une sortie globalement similaire. Dans cela, X2, X et X0 représentent différents neurones, tandis que 1, -3 et 5 sont leurs paramètres.
À ce moment-là, si nous introduisons une grande quantité de données dans le réseau de neurones, nous pouvons augmenter le nombre de neurones et itérer les paramètres pour ajuster les nouvelles données. Cela nous permettra d'ajuster toutes les données.
La technologie d'apprentissage profond basée sur les réseaux de neurones a également connu plusieurs itérations et évolutions techniques, comme les tout premiers réseaux de neurones de la figure ci-dessus, le réseau de neurones à propagation avant, le RNN, le CNN, le GAN, qui ont finalement évolué vers les grands modèles modernes tels que la technologie Transformer utilisée par GPT, etc. La technologie Transformer n'est qu'une direction d'évolution des réseaux de neurones, ajoutant un convertisseur ( Transformer ), utilisé pour coder les données de tous les modes ( tels que l'audio, la vidéo, les images, etc. ) en valeurs numériques correspondantes pour les représenter. Ensuite, ces données sont entrées dans le réseau de neurones, permettant ainsi au réseau de neurones d'ajuster n'importe quel type de données, réalisant ainsi le multimodal.
Le développement de l'IA a traversé trois vagues technologiques. La première vague a eu lieu dans les années 1960, une décennie après la proposition de la technologie de l'IA. Cette vague a été provoquée par le développement de la technologie symbolique, qui a résolu des problèmes de traitement du langage naturel général et de dialogue homme-machine. À la même époque, les systèmes experts ont vu le jour, comme le système expert DENRAL réalisé par l'Université de Stanford. Ce système possède des connaissances chimiques très fortes et déduit des réponses similaires à celles d'un expert chimiste en fonction des questions posées. Ce système expert en chimie peut être considéré comme une combinaison d'une base de connaissances chimiques et d'un système d'inférence.
Après les systèmes experts, dans les années 1990, Judea Pearl ( a proposé le réseau bayésien, également connu sous le nom de réseau de croyance. Pendant la même période, Brooks a proposé la robotique basée sur le comportement, marquant la naissance du béhaviorisme.
En 1997, IBM Deep Blue a battu le champion d'échecs Garry Kasparov avec un score de 3,5 contre 2,5, cette victoire étant considérée comme un jalon pour l'intelligence artificielle, marquant le début d'un second apogée du développement des technologies IA.
La troisième vague de la technologie AI a eu lieu en 2006. Les trois géants de l'apprentissage profond, Yann LeCun, Geoffrey Hinton et Yoshua Bengio, ont proposé le concept d'apprentissage profond, un algorithme basé sur des réseaux de neurones artificiels pour l'apprentissage de représentations à partir de données. Par la suite, les algorithmes d'apprentissage profond ont progressivement évolué, passant de RNN, GAN à Transformer et Stable Diffusion, ces deux algorithmes ayant façonné cette troisième vague technologique, qui est également l'apogée du connexionnisme.
De nombreux événements emblématiques ont également émergé progressivement avec l'exploration et l'évolution des technologies d'apprentissage en profondeur, notamment :
En 2011, le Watson d'IBM ) a remporté le championnat du jeu télévisé Jeopardy ( en battant des humains.
En 2014, Goodfellow a proposé le GAN) Réseau de Génération Antagoniste, Generative Adversarial Network(, qui apprend en permettant à deux réseaux de neurones de s'affronter, capable de générer des photos d'une réalisme troublant. En même temps, Goodfellow a également écrit un livre intitulé « Deep Learning », surnommé le livre des fleurs, qui est l'un des ouvrages d'introduction importants dans le domaine de l'apprentissage profond.
En 2015, Hinton et al. ont proposé un algorithme d'apprentissage profond dans la revue Nature, et cette méthode d'apprentissage profond a immédiatement suscité un grand émoi dans le milieu académique ainsi que dans l'industrie.
En 2015, OpenAI a été créé, Musk, le président de Y Combinator Altman, l'investisseur angel Peter Thiel) et d'autres ont annoncé un investissement commun de 1 milliard de dollars.
En 2016, AlphaGo, basé sur la technologie d'apprentissage profond, a affronté le champion du monde de Go et joueur professionnel de niveau 9 dan, Lee Sedol, et a remporté la victoire avec un score total de 4 à 1.
En 2017, le robot humanoïde Sophia développé par Hanson Robotics(, une entreprise de technologie robotique, a été qualifié de premier robot au monde à obtenir le statut de citoyen de premier ordre, possédant une grande variété d'expressions faciales et la capacité de comprendre le langage humain.
En 2017, Google a publié un article intitulé « Attention is all you need » présentant l'algorithme Transformer, marquant le début de l'émergence des modèles linguistiques à grande échelle.
En 2018, OpenAI a publié le GPT), un modèle de langage génératif pré-entraîné basé sur l'algorithme Transformer(, qui était l'un des plus grands modèles de langage à l'époque.
En 2018, l'équipe de Google Deepmind a publié AlphaGo basé sur l'apprentissage profond, capable de prédire la structure des protéines, considéré comme un grand signe de progrès dans le domaine de l'intelligence artificielle.
En 2019, OpenAI a publié GPT-2, ce modèle possède 1,5 milliard de paramètres.
En 2020, OpenAI a développé GPT-3, qui possède 175 milliards de paramètres, soit 100 fois plus que la version précédente GPT-2. Ce modèle a été entraîné sur 570 Go de texte et peut atteindre des performances de pointe sur plusieurs tâches de traitement du langage naturel), y compris la réponse aux questions, la traduction et la rédaction d'articles(.
En 2021, OpenAI a publié GPT-4, un modèle doté de 1,76 trillion de paramètres, soit 10 fois plus que GPT-3.
En janvier 2023, l'application ChatGPT basée sur le modèle GPT-4 a été lancée, et en mars, ChatGPT a atteint 100 millions d'utilisateurs, devenant ainsi l'application à atteindre le plus rapidement 100 millions d'utilisateurs dans l'histoire.
En 2024, OpenAI lancera GPT-4 omni.
Remarque : En raison du grand nombre de papiers sur l'intelligence artificielle, de la diversité des écoles de pensée et de l'évolution des technologies, nous allons principalement suivre l'histoire du développement de l'apprentissage profond ou du connexionnisme ici, tandis que d'autres écoles et technologies sont encore en pleine évolution.
![Nouveau guide丨IA x Crypto : De zéro au sommet])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Chaîne de l'industrie de l'apprentissage profond
Les grands modèles de langage actuels utilisent tous des méthodes d'apprentissage profond basées sur des réseaux de neurones. Avec GPT à la tête, ces grands modèles ont engendré une vague d'engouement pour l'intelligence artificielle, attirant de nombreux acteurs dans ce domaine. Nous avons également constaté une explosion de la demande du marché pour les données et la puissance de calcul. Par conséquent, dans cette partie du rapport, nous explorons principalement la chaîne de valeur des algorithmes d'apprentissage profond. Dans l'industrie de l'IA dominée par les algorithmes d'apprentissage profond, comment les chaînes amont et aval sont-elles composées, et quelle est la situation actuelle des chaînes amont et aval ainsi que la relation entre l'offre et la demande et le développement futur.
Tout d'abord, il est important de clarifier que lors de l'entraînement des grands modèles LLMs dirigés par GPT basés sur la technologie Transformer, il y a en tout trois étapes.
Avant l'entraînement, en raison de la base Transformer, le convertisseur doit transformer l'entrée textuelle en valeurs numériques, ce processus est appelé "Tokenization", après quoi ces valeurs sont appelées Tokens. Selon la règle empirique générale, un mot ou un caractère anglais peut être grossièrement considéré comme un Token, tandis que chaque caractère chinois peut être grossièrement considéré comme deux Tokens. C'est également l'unité de base utilisée pour la tarification de GPT.
Première étape, pré-entraînement. En fournissant suffisamment de paires de données à la couche d'entrée, comme celles citées dans la première partie du rapport, )X,Y(, pour trouver les meilleurs paramètres de chaque neurone sous ce modèle, il faut beaucoup de données à ce moment-là, et ce processus est également le plus gourmand en puissance de calcul, car il nécessite de répéter les itérations des neurones en essayant divers paramètres. Après qu'un lot de paires de données a été entraîné, il est généralement utilisé le même lot de données pour un second entraînement afin d'itérer les paramètres.
Deuxième étape, ajustement fin. L'ajustement fin consiste à fournir un petit lot de données, mais de très haute qualité, pour l'entraînement. Ce changement permettra d'améliorer la qualité des sorties du modèle, car le pré-entraînement nécessite une grande quantité de données, mais de nombreuses données peuvent contenir des erreurs ou être de faible qualité. L'étape d'ajustement fin peut améliorer la qualité du modèle grâce à des données de qualité.
La troisième étape, l'apprentissage par renforcement. Tout d'abord, un tout nouveau modèle sera établi, que nous appelons "modèle de récompense", dont l'objectif est très simple : classer les résultats de sortie. Par conséquent, la création de ce modèle sera relativement simple, car le scénario métier est assez vertical. Ensuite, nous utiliserons ce modèle pour déterminer si la sortie de notre grand modèle est de haute qualité, ce qui nous permettra d'utiliser un modèle de récompense pour itérer automatiquement les paramètres du grand modèle. ) Cependant, il est parfois nécessaire d'intervenir humainement pour évaluer la qualité de la sortie du modèle (.
En résumé, durant le processus d'entraînement des grands modèles, la pré-formation exige une très grande quantité de données et nécessite également la plus grande puissance de calcul GPU, tandis que le réglage fin nécessite des données de meilleure qualité pour améliorer les paramètres. L'apprentissage par renforcement peut itérer les paramètres à plusieurs reprises à l'aide d'un modèle de récompense pour produire des résultats de meilleure qualité.
Au cours du processus d'entraînement, plus il y a de paramètres, plus le plafond de sa capacité de généralisation est élevé. Par exemple, dans l'exemple de la fonction Y = aX + b, il y a en réalité deux neurones, X et X0. Ainsi, peu importe comment les paramètres varient, les données qu'il peut modéliser sont extrêmement limitées, car sa nature reste une ligne droite. Si le nombre de neurones augmente, alors il est possible d'itérer sur un plus grand nombre de paramètres, ce qui permet de modéliser plus de données. C'est pourquoi les grands modèles produisent des miracles, et c'est aussi la raison pour laquelle on les appelle communément de grands modèles : leur essence réside dans un nombre massif de neurones et de paramètres, ainsi qu'une grande quantité de données, tout en nécessitant une puissance de calcul énorme.
Ainsi, la performance des grands modèles est principalement déterminée par trois aspects : le nombre de paramètres, la quantité et la qualité des données, et la puissance de calcul. Ces trois éléments influencent ensemble la qualité des résultats et la capacité de généralisation des grands modèles. Supposons que le nombre de paramètres soit p, la quantité de données soit n) calculée en fonction du nombre de tokens(, nous pouvons alors estimer la quantité de calcul requise en utilisant des règles empiriques générales, ce qui nous permet d'estimer la puissance de calcul que nous devons acheter et le temps d'entraînement nécessaire.
La puissance de calcul est généralement mesurée en Flops.