Au cours des six derniers mois, OpenAI a étonné tout le monde avec GPT.
Les gens croient généralement que la naissance du GPT est le moment "iPhone" de la nouvelle ère, il deviendra la porte clé de la nouvelle ère des grands modèles d'IA tout comme l'iPhone a amené les gens à l'ère de l'Internet mobile.
Cependant, dans le processus en plein essor de l'Internet mobile **, non seulement les réalisations de l'iPhone, mais aussi les réalisations d'Android et des principaux fabricants de téléphones mobiles du camp Android derrière lui. **
Même, du seul point de vue des livraisons, la contribution du camp Android à l'ère de l'Internet mobile semble plus importante.
**Et maintenant, le "moment Android" appartenant au grand modèle de langage de l'IA arrive. **
Le 18 juillet, heure locale, au petit matin de l'heure de Pékin, Meta a publié la dernière génération de grand modèle open source Llama 2.
Selon les données publiques sur le site officiel de Meta, la série de modèles Llama 2 publiée cette fois comprend des variantes de modèles avec trois paramètres de 7 milliards, 13 milliards et 70 milliards.
Llama 2 a été formé avec 2 billions de jetons et possède plus d'un million de données annotées manuellement. Comparé à Llama 1, Llama 2 a 40% de données d'entraînement en plus et deux fois la longueur du contexte.
Après cette mise à niveau, selon les articles publiés de Meta, bien que Llama 2 soit toujours inférieur à GPT-3.5 dans divers tests de modèles à grande échelle, en comparaison avec les scores courants du modèle à grande échelle open source actuel, il a déjà atteint un niveau qui est généralement abattu.
Comparaison des scores de course de Llama 2 avec GPT et PaLM
Comparaison de Llama 2 et d'autres scores d'exécution de grands modèles open source
Peut-être vous sentirez-vous méprisant en voyant que Llama 2 est inférieur à GPT-3.5, après tout, ce dernier a évolué vers la version 4.0.
Cependant, vous devez comprendre que lorsque Android a été lancé pour la première fois, il était également très ouvert, et l'open source a permis au camp Android de rivaliser avec l'iPhone maintenant. **
Par conséquent, le plus gros point fort de la sortie de Llama 2 est en fait :
** Meta va encore plus loin sur la base de l'open source, permettant au modèle d'être librement utilisé dans le commerce. ** (Les produits avec plus de 700 millions d'utilisateurs actifs mensuels doivent demander une autorisation commerciale séparément, mais peu d'entreprises peuvent respecter cette norme)
Yang Likun, lauréat du prix Turing et scientifique en chef de Meta, a également déclaré sur Twitter que cela allait changer le modèle du grand marché des modèles linguistiques :
Le service éditorial de Zhiwei a également contacté le Zhiyuan AI Research Institute, qui est assez influent tant dans le milieu académique que dans la communauté open source.Leur évaluation est la suivante :
** L'open source est le seul moyen. Il n'est pas déraisonnable de dire que la sortie de Llama 2 est le "moment Android". Utiliser l'open source pour occuper le marché est une stratégie concurrentielle. **
Correspondant à l'open source commercial de Llama 2, l'attitude d'OpenAI envers l'open source a toujours été ambiguë.
L'open source, ou le mouvement open source, a officiellement commencé à la fin des années 1990. Les participants croyaient au code open source, au partage d'informations et à l'utilisation gratuite des logiciels.
L'essor d'Android et la popularité de GitHub sont indissociables de l'open source. Le système Linux est également né de cette vague de mouvement. Les routeurs, commutateurs, machines à laver intelligentes, cuiseurs à riz intelligents, commutateurs, serveurs et autres appareils d'aujourd'hui sont équipés de presque tous les types de systèmes Linux.
En incluant l'atterrissage réussi du rover américain sur Mars il y a quelques années, il symbolise aussi que Mars est devenue la deuxième planète où le nombre d'ordinateurs Linux dépasse celui de Windows.
Il n'est pas exagéré de dire qu'aujourd'hui l'open source a changé le modèle de collaboration et d'innovation des logiciels et a changé le paysage technologique.
Mais dans le domaine des grands modèles de langage, le leader OpenAI semble aller à l'encontre de l'Open in the name.
Même si le fondateur d'OpenAI, Sam Altman, a mentionné à plusieurs reprises en public qu'il ouvrirait le code source de GPT-3 et GPT-4 à l'avenir, ** il s'agit toujours d'un chèque en blanc jusqu'à présent. **
Même après que Musk se soit retiré d'OpenAI, il a également bombardé publiquement OpenAI à plusieurs reprises, mécontent des énormes profits d'OpenAI et fermant progressivement la source.
Sutskever, le scientifique en chef d'OpenAI, a répondu que l'open source ferait perdre prématurément à OpenAI sa position de leader dans la technologie, et que la puissance des grands modèles de langage est énorme, et que l'open source peut présenter des risques de sécurité.
Musk s'est demandé si OpenAI n'était pas ouvert
Contrairement à la timidité d'OpenAI face à l'open source, Meta est un fervent partisan de l'open source et a, dans une certaine mesure, promu le processus historique de l'IA.
Et la décision de Meta aujourd'hui doit avoir quelque chose à voir avec le scientifique en chef de Meta, Yang Likun.
Dès 2014, Zuckerberg a réalisé la perspective de l'IA. Après l'acquisition définitive de DeepMind par Google, Zuckerberg a fait volte-face et a trouvé Yang Likun, un gros bonnet dans le domaine universitaire de l'IA.
Yang Likun, qui avait travaillé dans les célèbres Bell Labs, était l'un des développeurs du "Convolutional Neural Network".A cette époque, il enseignait à New York.
Selon les rapports de VOX, afin d'obtenir Yang Likun, un grand cheval, Zuckerberg a promis que les résultats de la recherche scientifique doivent être open source, que le laboratoire doit être construit à New York et que l'équipe expérimentale n'a pas besoin de prendre en compte la rentabilité.
Yang Likun a accompli beaucoup de choses au cours de son mandat, comme le développement du framework d'IA de renommée mondiale Pytorch, l'amélioration du GAN (réseau de confrontation générative), le lancement du grand modèle de langage Llama et du modèle d'image d'IA SAM, etc.
**Comme convenu au cours de ces années, ces projets ont tous été open source. **
Sous la vague des grands modèles de langage, le grand modèle de langage Llama est également très populaire dans la communauté open source.
Dans les communautés open source telles que Hugging Face, il existe toutes sortes d'alpagas magiquement modifiés (la traduction chinoise de Llama est alpaga).
Dont l'alpaga de Stanford, la vigogne d'UCB... Divers modèles modifiés basés sur LlamA ont vu le jour.
Dans de nombreuses grandes listes de scores en cours d'exécution, sous GPT-3.5 et GPT-4, presque toutes les listes d'abattage de la famille des alpagas.
De plus, Yang Likun n'est pas d'accord avec les raisons de source fermée d'OpenAI pour des raisons de sécurité.
Selon lui, la seule façon de rendre une plate-forme d'IA sûre, bonne et utile est de l'ouvrir. **
En d'autres termes, il est dangereux que la technologie soit entre les mains de quelques personnes et ce n'est qu'en permettant au pouvoir de superviser l'IA d'évoluer en même temps que l'IA peut être contrôlée autant que possible.
À l'heure actuelle, seul l'open source peut le faire pour le moment.
En général, dans la vague de grands modèles de langage menée par OpenAI, l'armée open source dirigée par Meta attaque follement les villes et les terres de la communauté open source.
D'autre part, le conflit entre source ouverte et source fermée se réchauffe progressivement.
En mai de cette année, une note de service "accidentellement" divulguée par un chercheur de Google a mis la bataille sur la table.
La rédaction de Zhiwei résume brièvement les points clés évoqués par les chercheurs de Google dans ce mémo :
① L'IA open source empiète sur le territoire de Google et de l'Open AI ;
②Les petits modèles sont plus compétitifs que les grands modèles ;
③ La qualité des données est bien plus importante que la quantité de données ;
④Google ne peut pas battre l'open source ;
⑤ Google a plus besoin d'un écosystème open source que l'open source n'a besoin de Google.
Pour le dire brièvement, cet article éloquent avec des milliers de mots révèle un message central :
** Face à l'open source, ni Google ni OpenAI n'ont de fossé. **
Donc, en repensant au Llama 2 sorti cette fois, Meta a directement supprimé les restrictions à l'utilisation commerciale, ce qui est vraiment une autre armée pour le camp à source fermée.
L'open source Llama2 est non seulement gratuit, mais permet également aux développeurs de l'ajuster par eux-mêmes, afin de répondre aux besoins peu coûteux et personnalisés de la plupart des entreprises commerciales.
Cependant, à la fin, qui est le gagnant entre l'open source et la source fermée, la rédaction de Zhiwei estime qu'il n'est pas facile de tirer une conclusion.
Après tout, l'open source n'est pas une panacée, il y a de bons et de mauvais développeurs, et certains risques de sécurité publique, etc., sont autant de problèmes que l'open source rencontre souvent.
Au final, la concurrence entre open source et open source relève d'une stratégie concurrentielle différente : l'un accorde plus d'attention à l'expansion du marché et à l'établissement de normes, et l'autre accorde plus d'attention à la rentabilité et à la technologie de pointe.
Par exemple, Android et iOS, Linux et Windows peuvent ne pas vraiment gagner ou perdre à la fin, mais trouver leur propre positionnement raisonnable selon des besoins différents.
Cependant, il ne fait aucun doute que Llama 2 a remué tout le marché et a provoqué de subtils changements dans l'écologie :
① Microsoft, l'un des actionnaires d'OpenAI, est devenu cette fois le partenaire privilégié de Llama 2, et Microsoft semble miser sur les deux côtés.
② Meta a annoncé que Llama 2 pourra fonctionner sur des puces Qualcomm, ce qui sera forcément un défi pour Nvidia, le seigneur des puces AI.
Bref, le drame dans le grand cercle des modèles linguistiques devient de plus en plus compliqué et intéressant.
Si l'eau boueuse causée par Llama 2 fait venir l'ère de l'IA plus tôt, rappelez-vous que ce n'est pas seulement le crédit de Meta, mais aussi le crédit de la communauté open source.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Face à l'open source, OpenAI n'a pas de douves : Aujourd'hui, le moment Android du grand modèle est là
Source originale : Zhiwei
Au cours des six derniers mois, OpenAI a étonné tout le monde avec GPT.
Les gens croient généralement que la naissance du GPT est le moment "iPhone" de la nouvelle ère, il deviendra la porte clé de la nouvelle ère des grands modèles d'IA tout comme l'iPhone a amené les gens à l'ère de l'Internet mobile.
Cependant, dans le processus en plein essor de l'Internet mobile **, non seulement les réalisations de l'iPhone, mais aussi les réalisations d'Android et des principaux fabricants de téléphones mobiles du camp Android derrière lui. **
Même, du seul point de vue des livraisons, la contribution du camp Android à l'ère de l'Internet mobile semble plus importante.
**Et maintenant, le "moment Android" appartenant au grand modèle de langage de l'IA arrive. **
Le 18 juillet, heure locale, au petit matin de l'heure de Pékin, Meta a publié la dernière génération de grand modèle open source Llama 2.
Selon les données publiques sur le site officiel de Meta, la série de modèles Llama 2 publiée cette fois comprend des variantes de modèles avec trois paramètres de 7 milliards, 13 milliards et 70 milliards.
Llama 2 a été formé avec 2 billions de jetons et possède plus d'un million de données annotées manuellement. Comparé à Llama 1, Llama 2 a 40% de données d'entraînement en plus et deux fois la longueur du contexte.
Peut-être vous sentirez-vous méprisant en voyant que Llama 2 est inférieur à GPT-3.5, après tout, ce dernier a évolué vers la version 4.0.
Cependant, vous devez comprendre que lorsque Android a été lancé pour la première fois, il était également très ouvert, et l'open source a permis au camp Android de rivaliser avec l'iPhone maintenant. **
Par conséquent, le plus gros point fort de la sortie de Llama 2 est en fait :
** Meta va encore plus loin sur la base de l'open source, permettant au modèle d'être librement utilisé dans le commerce. ** (Les produits avec plus de 700 millions d'utilisateurs actifs mensuels doivent demander une autorisation commerciale séparément, mais peu d'entreprises peuvent respecter cette norme)
Yang Likun, lauréat du prix Turing et scientifique en chef de Meta, a également déclaré sur Twitter que cela allait changer le modèle du grand marché des modèles linguistiques :
** L'open source est le seul moyen. Il n'est pas déraisonnable de dire que la sortie de Llama 2 est le "moment Android". Utiliser l'open source pour occuper le marché est une stratégie concurrentielle. **
Correspondant à l'open source commercial de Llama 2, l'attitude d'OpenAI envers l'open source a toujours été ambiguë.
L'open source, ou le mouvement open source, a officiellement commencé à la fin des années 1990. Les participants croyaient au code open source, au partage d'informations et à l'utilisation gratuite des logiciels.
L'essor d'Android et la popularité de GitHub sont indissociables de l'open source. Le système Linux est également né de cette vague de mouvement. Les routeurs, commutateurs, machines à laver intelligentes, cuiseurs à riz intelligents, commutateurs, serveurs et autres appareils d'aujourd'hui sont équipés de presque tous les types de systèmes Linux.
En incluant l'atterrissage réussi du rover américain sur Mars il y a quelques années, il symbolise aussi que Mars est devenue la deuxième planète où le nombre d'ordinateurs Linux dépasse celui de Windows.
Mais dans le domaine des grands modèles de langage, le leader OpenAI semble aller à l'encontre de l'Open in the name.
Même si le fondateur d'OpenAI, Sam Altman, a mentionné à plusieurs reprises en public qu'il ouvrirait le code source de GPT-3 et GPT-4 à l'avenir, ** il s'agit toujours d'un chèque en blanc jusqu'à présent. **
Même après que Musk se soit retiré d'OpenAI, il a également bombardé publiquement OpenAI à plusieurs reprises, mécontent des énormes profits d'OpenAI et fermant progressivement la source.
Sutskever, le scientifique en chef d'OpenAI, a répondu que l'open source ferait perdre prématurément à OpenAI sa position de leader dans la technologie, et que la puissance des grands modèles de langage est énorme, et que l'open source peut présenter des risques de sécurité.
Contrairement à la timidité d'OpenAI face à l'open source, Meta est un fervent partisan de l'open source et a, dans une certaine mesure, promu le processus historique de l'IA.
Et la décision de Meta aujourd'hui doit avoir quelque chose à voir avec le scientifique en chef de Meta, Yang Likun.
Dès 2014, Zuckerberg a réalisé la perspective de l'IA. Après l'acquisition définitive de DeepMind par Google, Zuckerberg a fait volte-face et a trouvé Yang Likun, un gros bonnet dans le domaine universitaire de l'IA.
Yang Likun, qui avait travaillé dans les célèbres Bell Labs, était l'un des développeurs du "Convolutional Neural Network".A cette époque, il enseignait à New York.
Yang Likun a accompli beaucoup de choses au cours de son mandat, comme le développement du framework d'IA de renommée mondiale Pytorch, l'amélioration du GAN (réseau de confrontation générative), le lancement du grand modèle de langage Llama et du modèle d'image d'IA SAM, etc.
**Comme convenu au cours de ces années, ces projets ont tous été open source. **
Sous la vague des grands modèles de langage, le grand modèle de langage Llama est également très populaire dans la communauté open source.
Dans les communautés open source telles que Hugging Face, il existe toutes sortes d'alpagas magiquement modifiés (la traduction chinoise de Llama est alpaga).
Dont l'alpaga de Stanford, la vigogne d'UCB... Divers modèles modifiés basés sur LlamA ont vu le jour.
Selon lui, la seule façon de rendre une plate-forme d'IA sûre, bonne et utile est de l'ouvrir. **
En d'autres termes, il est dangereux que la technologie soit entre les mains de quelques personnes et ce n'est qu'en permettant au pouvoir de superviser l'IA d'évoluer en même temps que l'IA peut être contrôlée autant que possible.
À l'heure actuelle, seul l'open source peut le faire pour le moment.
En général, dans la vague de grands modèles de langage menée par OpenAI, l'armée open source dirigée par Meta attaque follement les villes et les terres de la communauté open source.
D'autre part, le conflit entre source ouverte et source fermée se réchauffe progressivement.
En mai de cette année, une note de service "accidentellement" divulguée par un chercheur de Google a mis la bataille sur la table.
① L'IA open source empiète sur le territoire de Google et de l'Open AI ;
②Les petits modèles sont plus compétitifs que les grands modèles ;
③ La qualité des données est bien plus importante que la quantité de données ;
④Google ne peut pas battre l'open source ;
⑤ Google a plus besoin d'un écosystème open source que l'open source n'a besoin de Google.
Pour le dire brièvement, cet article éloquent avec des milliers de mots révèle un message central :
** Face à l'open source, ni Google ni OpenAI n'ont de fossé. **
Donc, en repensant au Llama 2 sorti cette fois, Meta a directement supprimé les restrictions à l'utilisation commerciale, ce qui est vraiment une autre armée pour le camp à source fermée.
L'open source Llama2 est non seulement gratuit, mais permet également aux développeurs de l'ajuster par eux-mêmes, afin de répondre aux besoins peu coûteux et personnalisés de la plupart des entreprises commerciales.
Cependant, à la fin, qui est le gagnant entre l'open source et la source fermée, la rédaction de Zhiwei estime qu'il n'est pas facile de tirer une conclusion.
Après tout, l'open source n'est pas une panacée, il y a de bons et de mauvais développeurs, et certains risques de sécurité publique, etc., sont autant de problèmes que l'open source rencontre souvent.
Au final, la concurrence entre open source et open source relève d'une stratégie concurrentielle différente : l'un accorde plus d'attention à l'expansion du marché et à l'établissement de normes, et l'autre accorde plus d'attention à la rentabilité et à la technologie de pointe.
Par exemple, Android et iOS, Linux et Windows peuvent ne pas vraiment gagner ou perdre à la fin, mais trouver leur propre positionnement raisonnable selon des besoins différents.
Cependant, il ne fait aucun doute que Llama 2 a remué tout le marché et a provoqué de subtils changements dans l'écologie :
① Microsoft, l'un des actionnaires d'OpenAI, est devenu cette fois le partenaire privilégié de Llama 2, et Microsoft semble miser sur les deux côtés.
② Meta a annoncé que Llama 2 pourra fonctionner sur des puces Qualcomm, ce qui sera forcément un défi pour Nvidia, le seigneur des puces AI.
Bref, le drame dans le grand cercle des modèles linguistiques devient de plus en plus compliqué et intéressant.
Si l'eau boueuse causée par Llama 2 fait venir l'ère de l'IA plus tôt, rappelez-vous que ce n'est pas seulement le crédit de Meta, mais aussi le crédit de la communauté open source.