En los últimos seis meses, OpenAI ha sorprendido a todos con GPT.
La gente generalmente cree que el nacimiento de GPT es el momento "iPhone" de la nueva era, se convertirá en la llave de la puerta de la nueva era de los modelos grandes de IA al igual que el iPhone llevó a las personas a la era de Internet móvil.
Sin embargo, en el proceso de auge de Internet móvil **, no solo los logros del iPhone, sino también los logros de Android y los principales fabricantes de teléfonos móviles con Android detrás de él. **
Incluso, solo desde la perspectiva de los envíos, la contribución del campo de Android a la era de Internet móvil parece ser mayor.
**Y ahora, se acerca el "momento Android" perteneciente al modelo de lenguaje grande de la IA. **
El 18 de julio, hora local, temprano en la mañana, hora de Beijing, Meta lanzó la última generación del modelo grande de código abierto Llama 2.
Según los datos públicos del sitio web oficial de Meta, la serie de modelos Llama 2 lanzada esta vez incluye modelos variantes con tres parámetros de 7 mil millones, 13 mil millones y 70 mil millones.
Llama 2 ha sido entrenado con 2 billones de tokens y tiene más de 1 millón de datos anotados manualmente. En comparación con Llama 1, Llama 2 tiene un 40 % más de datos de entrenamiento y el doble de longitud de contexto.
Después de esta actualización, según los artículos publicados de Meta, aunque Llama 2 sigue siendo inferior a GPT-3.5 en varias pruebas de modelos a gran escala, en comparación con los puntajes de ejecución del modelo a gran escala de código abierto actual, ya ha alcanzó un nivel que generalmente se sacrifica.
Comparación de puntuaciones de carrera de Llama 2 con GPT y PaLM
Comparación de Llama 2 y otros puntajes de ejecución de modelos grandes de código abierto
Quizás te sientas despreciado cuando veas que Llama 2 es inferior a GPT-3.5, después de todo, este último ha evolucionado a la versión 4.0.
Sin embargo, debe comprender que cuando se lanzó Android por primera vez, también era muy abierto, y el código abierto ha permitido que Android compita con el iPhone ahora. **
Por lo tanto, lo más destacado del lanzamiento de Llama 2 es en realidad:
**Meta va un paso más allá sobre la base de código abierto, lo que permite que el modelo se use libremente comercialmente. ** (Los productos con más de 700 millones de usuarios activos mensuales deben solicitar un permiso comercial por separado, pero pocas empresas pueden cumplir con este estándar)
Yang Likun, ganador del Premio Turing y científico jefe de Meta, también dijo en Twitter que esto cambiará el patrón del gran mercado de modelos lingüísticos:
El departamento editorial de Zhiwei también se puso en contacto con el Zhiyuan AI Research Institute, que es bastante influyente tanto en el círculo académico como en la comunidad de código abierto. Su evaluación es:
**El código abierto es la única manera. No es descabellado decir que el lanzamiento de Llama 2 es el "momento Android". Usar el código abierto para ocupar el mercado es una estrategia competitiva. **
En correspondencia con el código abierto comercial de Llama 2, la actitud de OpenAI hacia el código abierto siempre ha sido ambigua.
El código abierto, o el movimiento de código abierto, comenzó oficialmente a fines de la década de 1990. Los participantes creían en el código fuente abierto, el intercambio de información y el uso gratuito del software.
El auge de Android y la popularidad de GitHub son inseparables del código abierto. El sistema Linux también nació en esta ola de movimiento. Los enrutadores, conmutadores, lavadoras inteligentes, ollas arroceras inteligentes, conmutadores, servidores y otros dispositivos de hoy en día están equipados con casi todo tipo de sistemas Linux.
Incluyendo el aterrizaje exitoso del rover estadounidense Mars hace unos años, también simboliza que Marte se ha convertido en el segundo planeta donde la cantidad de computadoras con Linux supera a la de Windows.
No es exagerado decir que el código abierto actual ha cambiado el modelo de colaboración e innovación del software y ha cambiado el panorama tecnológico.
Pero en el campo de los grandes modelos de lenguaje, el líder OpenAI parece ir en contra del Open en el nombre.
A pesar de que el fundador de OpenAI, Sam Altman, ha mencionado repetidamente en público que abrirá el código fuente de GPT-3 y GPT-4 en el futuro**, hasta el momento sigue siendo un cheque en blanco. **
Incluso después de que Musk se retiró de OpenAI, también bombardeó públicamente a OpenAI muchas veces, insatisfecho con las enormes ganancias de OpenAI y cerrando gradualmente la fuente.
Sutskever, el científico jefe de OpenAI, respondió que el código abierto prematuro hará que OpenAI pierda su posición de liderazgo en tecnología, y que el poder del modelo de lenguaje grande es enorme y que el código abierto puede tener riesgos de seguridad.
Musk cuestionó si OpenAI no es Open
A diferencia de la timidez de OpenAI frente al código abierto, Meta es un firme partidario del código abierto y ha promovido el proceso histórico de la IA hasta cierto punto.
Y la decisión de Meta hoy debe tener algo que ver con el científico jefe de Meta, Yang Likun.
Zuckerberg se dio cuenta de la perspectiva de la IA en 2014. Después de que Google finalmente adquirió DeepMind, Zuckerberg se dio la vuelta y encontró a Yang Likun, un pez gordo en el campo académico de la IA.
Yang Likun, quien había trabajado en los famosos Laboratorios Bell, fue uno de los desarrolladores de la "Red Neural Convolucional" En ese momento, estaba enseñando en Nueva York.
Según informa VOX, para conseguir a Yang Likun, un gran caballo, Zuckerberg prometió que los resultados de la investigación científica deben ser de código abierto, el laboratorio debe construirse en Nueva York y el equipo experimental no necesita considerar la rentabilidad.
Yang Likun ha logrado mucho durante su mandato, como el desarrollo del marco de trabajo de IA de renombre mundial Pytorch, la mejora de GAN (red de confrontación generativa), el lanzamiento del modelo de lenguaje grande Llama y el modelo de imagen de IA SAM, etc.
**Como se acordó en esos años, estos proyectos han sido todos de código abierto. **
Bajo la ola de modelos de lenguaje grande, el modelo de lenguaje grande Llama también es muy popular en la comunidad de código abierto.
En comunidades de código abierto como Hugging Face, hay todo tipo de alpacas modificadas mágicamente (la traducción al chino de Llama es alpaca).
Incluyendo Stanford's Alpaca, UCB's Vicuna... Han surgido varios modelos modificados basados en LlamA.
En muchas listas de puntuación de ejecución de modelos grandes, bajo GPT-3.5 y GPT-4, casi todas las listas de matanza familiar de alpaca.
Además, Yang Likun no está de acuerdo con las razones de código cerrado de OpenAI por motivos de seguridad.
En su opinión, la única forma de hacer que una plataforma de IA sea segura, buena y útil es abrirla. **
En otras palabras, es peligroso que la tecnología esté en manos de unas pocas personas, solo permitiendo que el poder de supervisión de la IA evolucione al mismo tiempo se puede controlar la IA tanto como sea posible.
En la actualidad, solo el código abierto puede hacerlo por el momento.
En general, en la ola de grandes modelos de lenguaje liderados por OpenAI, el ejército de código abierto liderado por Meta está atacando locamente ciudades y tierras en la comunidad de código abierto.
Por otro lado, el conflicto entre código abierto y código cerrado se está calentando gradualmente.
En mayo de este año, un memorándum filtrado "accidentalmente" por un investigador de Google puso la batalla sobre la mesa.
El departamento editorial de Zhiwei resumió brevemente los puntos clave mencionados por los investigadores de Google en este memorando:
① La IA de código abierto está invadiendo el territorio de Google y la IA abierta;
②Los modelos pequeños son más competitivos que los modelos grandes;
③ La calidad de los datos es mucho más importante que la cantidad de datos;
④Google no puede vencer al código abierto;
⑤ Google necesita un ecosistema de código abierto más de lo que el código abierto necesita a Google.
Para decirlo brevemente, este elocuente artículo con miles de palabras revela un mensaje central:
** Frente al código abierto, ni Google ni OpenAI tienen foso. **
Entonces, mirando hacia atrás al Llama 2 lanzado esta vez, Meta eliminó directamente las restricciones sobre el uso comercial, que es realmente otro ejército para el campamento de código cerrado.
El código abierto Llama2 no solo es gratuito, sino que también permite a los desarrolladores ajustarlo por sí mismos, para satisfacer las necesidades personalizadas y de bajo costo de la mayoría de las empresas comerciales.
Sin embargo, al final, quién es el ganador entre código abierto y código cerrado, el departamento editorial de Zhiwei siente que no es fácil sacar una conclusión.
Después de todo, el código abierto no es una panacea. Hay desarrolladores buenos y malos, y algunos riesgos de seguridad pública, etc., son todos problemas con los que se encuentra a menudo el código abierto.
En última instancia, la competencia entre el código abierto y el código cerrado es una estrategia de competencia diferente. Uno presta más atención a expandir el mercado y establecer estándares, y el otro presta más atención a la rentabilidad y la tecnología líder.
Por ejemplo, es posible que Android e iOS, Linux y Windows realmente no ganen o pierdan al final, pero encuentran su propio posicionamiento razonable bajo diferentes necesidades.
Sin embargo, no hay duda de que Llama 2 ha alborotado todo el mercado y ha provocado cambios sutiles en la ecología:
① Microsoft, uno de los accionistas de OpenAI, se ha convertido esta vez en el socio preferente de Llama 2, y Microsoft parece apostar por ambos lados.
② Meta anunció que Llama 2 podrá ejecutarse en chips Qualcomm, lo que seguramente será un desafío para Nvidia, el señor supremo de los chips de IA.
En resumen, el drama en el círculo del gran modelo lingüístico se está volviendo cada vez más complicado e interesante.
Si el agua turbia causada por Llama 2 hace que la era de la IA llegue antes, recuerde que esto no es solo el crédito de Meta, sino también el crédito de la comunidad de código abierto.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Frente al código abierto, OpenAI no tiene foso: hoy, el momento Android del gran modelo está aquí
Fuente original: Zhiwei
En los últimos seis meses, OpenAI ha sorprendido a todos con GPT.
La gente generalmente cree que el nacimiento de GPT es el momento "iPhone" de la nueva era, se convertirá en la llave de la puerta de la nueva era de los modelos grandes de IA al igual que el iPhone llevó a las personas a la era de Internet móvil.
Sin embargo, en el proceso de auge de Internet móvil **, no solo los logros del iPhone, sino también los logros de Android y los principales fabricantes de teléfonos móviles con Android detrás de él. **
Incluso, solo desde la perspectiva de los envíos, la contribución del campo de Android a la era de Internet móvil parece ser mayor.
**Y ahora, se acerca el "momento Android" perteneciente al modelo de lenguaje grande de la IA. **
El 18 de julio, hora local, temprano en la mañana, hora de Beijing, Meta lanzó la última generación del modelo grande de código abierto Llama 2.
Según los datos públicos del sitio web oficial de Meta, la serie de modelos Llama 2 lanzada esta vez incluye modelos variantes con tres parámetros de 7 mil millones, 13 mil millones y 70 mil millones.
Llama 2 ha sido entrenado con 2 billones de tokens y tiene más de 1 millón de datos anotados manualmente. En comparación con Llama 1, Llama 2 tiene un 40 % más de datos de entrenamiento y el doble de longitud de contexto.
Quizás te sientas despreciado cuando veas que Llama 2 es inferior a GPT-3.5, después de todo, este último ha evolucionado a la versión 4.0.
Sin embargo, debe comprender que cuando se lanzó Android por primera vez, también era muy abierto, y el código abierto ha permitido que Android compita con el iPhone ahora. **
Por lo tanto, lo más destacado del lanzamiento de Llama 2 es en realidad:
**Meta va un paso más allá sobre la base de código abierto, lo que permite que el modelo se use libremente comercialmente. ** (Los productos con más de 700 millones de usuarios activos mensuales deben solicitar un permiso comercial por separado, pero pocas empresas pueden cumplir con este estándar)
Yang Likun, ganador del Premio Turing y científico jefe de Meta, también dijo en Twitter que esto cambiará el patrón del gran mercado de modelos lingüísticos:
**El código abierto es la única manera. No es descabellado decir que el lanzamiento de Llama 2 es el "momento Android". Usar el código abierto para ocupar el mercado es una estrategia competitiva. **
En correspondencia con el código abierto comercial de Llama 2, la actitud de OpenAI hacia el código abierto siempre ha sido ambigua.
El código abierto, o el movimiento de código abierto, comenzó oficialmente a fines de la década de 1990. Los participantes creían en el código fuente abierto, el intercambio de información y el uso gratuito del software.
El auge de Android y la popularidad de GitHub son inseparables del código abierto. El sistema Linux también nació en esta ola de movimiento. Los enrutadores, conmutadores, lavadoras inteligentes, ollas arroceras inteligentes, conmutadores, servidores y otros dispositivos de hoy en día están equipados con casi todo tipo de sistemas Linux.
Incluyendo el aterrizaje exitoso del rover estadounidense Mars hace unos años, también simboliza que Marte se ha convertido en el segundo planeta donde la cantidad de computadoras con Linux supera a la de Windows.
Pero en el campo de los grandes modelos de lenguaje, el líder OpenAI parece ir en contra del Open en el nombre.
A pesar de que el fundador de OpenAI, Sam Altman, ha mencionado repetidamente en público que abrirá el código fuente de GPT-3 y GPT-4 en el futuro**, hasta el momento sigue siendo un cheque en blanco. **
Incluso después de que Musk se retiró de OpenAI, también bombardeó públicamente a OpenAI muchas veces, insatisfecho con las enormes ganancias de OpenAI y cerrando gradualmente la fuente.
Sutskever, el científico jefe de OpenAI, respondió que el código abierto prematuro hará que OpenAI pierda su posición de liderazgo en tecnología, y que el poder del modelo de lenguaje grande es enorme y que el código abierto puede tener riesgos de seguridad.
A diferencia de la timidez de OpenAI frente al código abierto, Meta es un firme partidario del código abierto y ha promovido el proceso histórico de la IA hasta cierto punto.
Y la decisión de Meta hoy debe tener algo que ver con el científico jefe de Meta, Yang Likun.
Zuckerberg se dio cuenta de la perspectiva de la IA en 2014. Después de que Google finalmente adquirió DeepMind, Zuckerberg se dio la vuelta y encontró a Yang Likun, un pez gordo en el campo académico de la IA.
Yang Likun, quien había trabajado en los famosos Laboratorios Bell, fue uno de los desarrolladores de la "Red Neural Convolucional" En ese momento, estaba enseñando en Nueva York.
Yang Likun ha logrado mucho durante su mandato, como el desarrollo del marco de trabajo de IA de renombre mundial Pytorch, la mejora de GAN (red de confrontación generativa), el lanzamiento del modelo de lenguaje grande Llama y el modelo de imagen de IA SAM, etc.
**Como se acordó en esos años, estos proyectos han sido todos de código abierto. **
Bajo la ola de modelos de lenguaje grande, el modelo de lenguaje grande Llama también es muy popular en la comunidad de código abierto.
En comunidades de código abierto como Hugging Face, hay todo tipo de alpacas modificadas mágicamente (la traducción al chino de Llama es alpaca).
Incluyendo Stanford's Alpaca, UCB's Vicuna... Han surgido varios modelos modificados basados en LlamA.
En su opinión, la única forma de hacer que una plataforma de IA sea segura, buena y útil es abrirla. **
En otras palabras, es peligroso que la tecnología esté en manos de unas pocas personas, solo permitiendo que el poder de supervisión de la IA evolucione al mismo tiempo se puede controlar la IA tanto como sea posible.
En la actualidad, solo el código abierto puede hacerlo por el momento.
En general, en la ola de grandes modelos de lenguaje liderados por OpenAI, el ejército de código abierto liderado por Meta está atacando locamente ciudades y tierras en la comunidad de código abierto.
Por otro lado, el conflicto entre código abierto y código cerrado se está calentando gradualmente.
En mayo de este año, un memorándum filtrado "accidentalmente" por un investigador de Google puso la batalla sobre la mesa.
① La IA de código abierto está invadiendo el territorio de Google y la IA abierta;
②Los modelos pequeños son más competitivos que los modelos grandes;
③ La calidad de los datos es mucho más importante que la cantidad de datos;
④Google no puede vencer al código abierto;
⑤ Google necesita un ecosistema de código abierto más de lo que el código abierto necesita a Google.
Para decirlo brevemente, este elocuente artículo con miles de palabras revela un mensaje central:
** Frente al código abierto, ni Google ni OpenAI tienen foso. **
Entonces, mirando hacia atrás al Llama 2 lanzado esta vez, Meta eliminó directamente las restricciones sobre el uso comercial, que es realmente otro ejército para el campamento de código cerrado.
El código abierto Llama2 no solo es gratuito, sino que también permite a los desarrolladores ajustarlo por sí mismos, para satisfacer las necesidades personalizadas y de bajo costo de la mayoría de las empresas comerciales.
Sin embargo, al final, quién es el ganador entre código abierto y código cerrado, el departamento editorial de Zhiwei siente que no es fácil sacar una conclusión.
Después de todo, el código abierto no es una panacea. Hay desarrolladores buenos y malos, y algunos riesgos de seguridad pública, etc., son todos problemas con los que se encuentra a menudo el código abierto.
En última instancia, la competencia entre el código abierto y el código cerrado es una estrategia de competencia diferente. Uno presta más atención a expandir el mercado y establecer estándares, y el otro presta más atención a la rentabilidad y la tecnología líder.
Por ejemplo, es posible que Android e iOS, Linux y Windows realmente no ganen o pierdan al final, pero encuentran su propio posicionamiento razonable bajo diferentes necesidades.
Sin embargo, no hay duda de que Llama 2 ha alborotado todo el mercado y ha provocado cambios sutiles en la ecología:
① Microsoft, uno de los accionistas de OpenAI, se ha convertido esta vez en el socio preferente de Llama 2, y Microsoft parece apostar por ambos lados.
② Meta anunció que Llama 2 podrá ejecutarse en chips Qualcomm, lo que seguramente será un desafío para Nvidia, el señor supremo de los chips de IA.
En resumen, el drama en el círculo del gran modelo lingüístico se está volviendo cada vez más complicado e interesante.
Si el agua turbia causada por Llama 2 hace que la era de la IA llegue antes, recuerde que esto no es solo el crédito de Meta, sino también el crédito de la comunidad de código abierto.