Nos últimos seis meses, a OpenAI surpreendeu a todos com o GPT.
As pessoas geralmente acreditam que o nascimento do GPT é o momento "iPhone" da nova era, ele se tornará a chave da porta da nova era de modelos grandes de IA, assim como o iPhone trouxe as pessoas para a era da Internet móvel.
No entanto, no processo de expansão da ** Internet móvel, não apenas as conquistas do iPhone, mas também as conquistas do Android e os principais fabricantes de celulares do Android Camp estão por trás dele. **
Mesmo, apenas do ponto de vista das remessas, a contribuição do Android camp para a era da Internet móvel parece ser maior.
**E agora, o "momento Android" pertencente ao modelo de linguagem grande da IA está chegando. **
Em 18 de julho, horário local, no início da manhã do horário de Pequim, a Meta lançou a última geração do modelo grande de código aberto Llama 2.
De acordo com os dados públicos no site oficial da Meta, a série de modelos Llama 2 lançada desta vez inclui modelos variantes com três parâmetros de 7 bilhões, 13 bilhões e 70 bilhões.
O Llama 2 foi treinado com 2 trilhões de tokens e possui mais de 1 milhão de dados anotados manualmente. Comparado com o Llama 1, o Llama 2 tem 40% mais dados de treinamento e o dobro do comprimento do contexto.
Após esta atualização, de acordo com os artigos publicados da Meta, embora o Llama 2 ainda seja inferior ao GPT-3.5 em vários testes de modelo em grande escala, em comparação com as pontuações do atual modelo de grande escala de código aberto, ele já atingiu um nível que geralmente é abatido.
Comparação das pontuações de corrida do Llama 2 com GPT e PaLM
Comparação do Llama 2 e outras pontuações de execução de modelo grande de código aberto
Talvez você sinta desprezo ao ver que o Llama 2 é inferior ao GPT-3.5, afinal, este último evoluiu para a versão 4.0.
No entanto, você deve entender que quando o Android foi lançado pela primeira vez, também era muito simples, e o código aberto permitiu que o campo do Android competisse com o iPhone agora. **
Portanto, o maior destaque do lançamento do Llama 2 é, na verdade:
**Meta vai um passo além na base de código aberto, permitindo que o modelo seja livremente usado comercialmente. ** (Produtos com mais de 700 milhões de usuários ativos mensais precisam solicitar permissão comercial separadamente, mas poucas empresas conseguem atender a esse padrão)
Yang Likun, vencedor do Prêmio Turing e cientista-chefe da Meta, também disse no Twitter que isso mudará o padrão do grande mercado de modelos de linguagem:
O departamento editorial de Zhiwei também contatou o Zhiyuan AI Research Institute, que é bastante influente tanto no círculo acadêmico quanto na comunidade de código aberto. Sua avaliação é:
**O código aberto é o único caminho. Não é absurdo dizer que o lançamento do Llama 2 é o "momento Android". Usar o código aberto para ocupar o mercado é uma estratégia competitiva. **
Correspondendo ao código aberto comercial do Llama 2, a atitude da OpenAI em relação ao código aberto sempre foi ambígua.
O código aberto, ou o movimento do código aberto, começou oficialmente no final da década de 1990. Os participantes acreditavam no código-fonte aberto, no compartilhamento de informações e no uso livre de software.
A ascensão do Android e a popularidade do GitHub são inseparáveis do código aberto. O sistema Linux também nasceu nessa onda de movimento.Roteadores, switches, máquinas de lavar inteligentes, panelas de arroz inteligentes, switches, servidores e outros dispositivos de hoje são equipados com quase todos os tipos de sistemas Linux.
Incluindo o pouso bem-sucedido do rover americano Mars há alguns anos, também simboliza que Marte se tornou o segundo planeta onde o número de computadores Linux excede o do Windows.
Não é exagero dizer que o código aberto hoje mudou o modelo de colaboração e inovação do software e mudou o cenário da tecnologia.
Mas no campo dos grandes modelos de linguagem, o líder OpenAI parece contrariar o Open no nome.
Embora o fundador da OpenAI, Sam Altman, tenha mencionado repetidamente em público que abrirá o código-fonte do GPT-3 e do GPT-4 no futuro,** isso ainda é um cheque em branco até agora. **
Mesmo depois que Musk se retirou da OpenAI, ele também bombardeou publicamente a OpenAI muitas vezes, insatisfeito com os enormes lucros da OpenAI e gradualmente fechando a fonte.
Sutskever, o cientista-chefe da OpenAI, respondeu que o código aberto prematuro fará com que o OpenAI perca sua posição de liderança em tecnologia, e o poder do grande modelo de linguagem é enorme, e o código aberto pode ter riscos de segurança.
Musk questionou se OpenAI não é Open
Ao contrário da timidez da OpenAI em relação ao código aberto, Meta é um firme defensor do código aberto e promoveu o processo histórico da IA até certo ponto.
E a decisão da Meta hoje deve ter algo a ver com o cientista-chefe da Meta, Yang Likun.
Já em 2014, Zuckerberg percebeu a perspectiva da IA. Depois que a DeepMind foi finalmente adquirida pelo Google, Zuckerberg se virou e encontrou Yang Likun, um figurão no campo acadêmico da IA.
Yang Likun, que havia trabalhado nos famosos Laboratórios Bell, foi um dos desenvolvedores da "Rede Neural Convolucional", na época ele lecionava em Nova York.
De acordo com relatórios da VOX, para obter Yang Likun, um grande cavalo, Zuckerberg prometeu que os resultados da pesquisa científica devem ser de código aberto, o laboratório deve ser construído em Nova York e a equipe experimental não precisa considerar a lucratividade.
Yang Likun conquistou muito durante seu mandato, como o desenvolvimento da estrutura de AI de renome mundial Pytorch, melhorando a GAN (rede de confrontação generativa), lançando o modelo de linguagem grande Llama e o modelo de imagem AI SAM e assim por diante.
**Conforme acordado naqueles anos, esses projetos foram todos de código aberto. **
Sob a onda de modelos de linguagem grande, o modelo de linguagem grande Llama também é muito popular na comunidade de código aberto.
Em comunidades de código aberto, como Hugging Face, existem todos os tipos de alpacas modificadas magicamente (a tradução chinesa de Llama é alpaca).
Incluindo a Alpaca de Stanford, a Vicunha de UCB... Vários modelos modificados baseados em LlamA surgiram.
Em muitas listas de pontuação de modelo grande, sob GPT-3.5 e GPT-4, quase todas as listas de abate da família alpaca.
Além disso, Yang Likun não concorda com os motivos de código fechado da OpenAI por motivos de segurança.
Em sua opinião, a única maneira de tornar uma plataforma de IA segura, boa e útil é abrir o código dela. **
Em outras palavras, é perigoso que a tecnologia esteja nas mãos de poucas pessoas. Somente permitindo que o poder de supervisionar a IA evolua ao mesmo tempo, a IA pode ser controlada o máximo possível.
No momento, apenas o código aberto pode fazer isso por enquanto.
Em geral, na onda de grandes modelos de linguagem liderados por OpenAI, o exército de código aberto liderado por Meta está atacando loucamente cidades e terrenos na comunidade de código aberto.
Por outro lado, o conflito entre código aberto e código fechado está esquentando gradualmente.
Em maio deste ano, um memorando "acidentalmente" vazado por um pesquisador do Google colocou a batalha na mesa.
O departamento editorial da Zhiwei resumiu brevemente os pontos-chave mencionados pelos pesquisadores do Google neste memorando:
① A IA de código aberto está invadindo o território do Google e da IA aberta;
②Os modelos pequenos são mais competitivos que os modelos grandes;
③ A qualidade dos dados é muito mais importante do que a quantidade de dados;
④O Google não pode vencer o código aberto;
⑤ O Google precisa de um ecossistema de código aberto mais do que o código aberto precisa do Google.
Para ser breve, este artigo eloquente com milhares de palavras revela uma mensagem central:
** Diante do código aberto, nem o Google nem o OpenAI têm um fosso. **
Então, olhando para o Llama 2 lançado desta vez, a Meta removeu diretamente as restrições ao uso comercial, que é realmente outro exército para o campo de código fechado.
O Llama2 de código aberto não é apenas gratuito, mas também permite que os desenvolvedores o ajustem por conta própria, de modo a atender às necessidades personalizadas e de baixo custo da maioria das empresas comerciais.
No entanto, no final, quem é o vencedor entre o código aberto e o código fechado, o departamento editorial de Zhiwei sente que não é fácil tirar uma conclusão.
Afinal, o código aberto não é uma panacéia.Existem bons e maus desenvolvedores, alguns riscos de segurança pública, etc., são todos problemas que o código aberto costuma encontrar.
Em última análise, a competição entre código aberto e código fechado é uma estratégia de competição diferente: um está mais atento à expansão do mercado e ao estabelecimento de padrões, e o outro está mais atento à lucratividade e à tecnologia de ponta.
Por exemplo, Android e iOS, Linux e Windows podem não ganhar ou perder no final, mas encontram seu próprio posicionamento razoável sob diferentes necessidades.
No entanto, não há dúvida de que o Llama 2 agitou todo o mercado e provocou mudanças sutis na ecologia:
① A Microsoft, uma das acionistas da OpenAI, tornou-se a parceira preferencial da Llama 2 desta vez, e a Microsoft parece estar apostando nos dois lados.
② A Meta anunciou que o Llama 2 será capaz de rodar em chips Qualcomm, o que deve ser um desafio para a Nvidia, o senhor dos chips AI.
Resumindo, o drama no grande círculo de modelos de linguagem está ficando cada vez mais complicado e interessante.
Se a água barrenta causada pelo Llama 2 faz com que a era da IA chegue mais cedo, lembre-se de que esse não é apenas o crédito da Meta, mas também da comunidade de código aberto.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Diante do código aberto, o OpenAI não tem fosso: hoje, o momento Android do grande modelo está aqui
Fonte original: Zhiwei
Nos últimos seis meses, a OpenAI surpreendeu a todos com o GPT.
As pessoas geralmente acreditam que o nascimento do GPT é o momento "iPhone" da nova era, ele se tornará a chave da porta da nova era de modelos grandes de IA, assim como o iPhone trouxe as pessoas para a era da Internet móvel.
No entanto, no processo de expansão da ** Internet móvel, não apenas as conquistas do iPhone, mas também as conquistas do Android e os principais fabricantes de celulares do Android Camp estão por trás dele. **
Mesmo, apenas do ponto de vista das remessas, a contribuição do Android camp para a era da Internet móvel parece ser maior.
**E agora, o "momento Android" pertencente ao modelo de linguagem grande da IA está chegando. **
Em 18 de julho, horário local, no início da manhã do horário de Pequim, a Meta lançou a última geração do modelo grande de código aberto Llama 2.
De acordo com os dados públicos no site oficial da Meta, a série de modelos Llama 2 lançada desta vez inclui modelos variantes com três parâmetros de 7 bilhões, 13 bilhões e 70 bilhões.
O Llama 2 foi treinado com 2 trilhões de tokens e possui mais de 1 milhão de dados anotados manualmente. Comparado com o Llama 1, o Llama 2 tem 40% mais dados de treinamento e o dobro do comprimento do contexto.
Talvez você sinta desprezo ao ver que o Llama 2 é inferior ao GPT-3.5, afinal, este último evoluiu para a versão 4.0.
No entanto, você deve entender que quando o Android foi lançado pela primeira vez, também era muito simples, e o código aberto permitiu que o campo do Android competisse com o iPhone agora. **
Portanto, o maior destaque do lançamento do Llama 2 é, na verdade:
**Meta vai um passo além na base de código aberto, permitindo que o modelo seja livremente usado comercialmente. ** (Produtos com mais de 700 milhões de usuários ativos mensais precisam solicitar permissão comercial separadamente, mas poucas empresas conseguem atender a esse padrão)
Yang Likun, vencedor do Prêmio Turing e cientista-chefe da Meta, também disse no Twitter que isso mudará o padrão do grande mercado de modelos de linguagem:
**O código aberto é o único caminho. Não é absurdo dizer que o lançamento do Llama 2 é o "momento Android". Usar o código aberto para ocupar o mercado é uma estratégia competitiva. **
Correspondendo ao código aberto comercial do Llama 2, a atitude da OpenAI em relação ao código aberto sempre foi ambígua.
O código aberto, ou o movimento do código aberto, começou oficialmente no final da década de 1990. Os participantes acreditavam no código-fonte aberto, no compartilhamento de informações e no uso livre de software.
A ascensão do Android e a popularidade do GitHub são inseparáveis do código aberto. O sistema Linux também nasceu nessa onda de movimento.Roteadores, switches, máquinas de lavar inteligentes, panelas de arroz inteligentes, switches, servidores e outros dispositivos de hoje são equipados com quase todos os tipos de sistemas Linux.
Incluindo o pouso bem-sucedido do rover americano Mars há alguns anos, também simboliza que Marte se tornou o segundo planeta onde o número de computadores Linux excede o do Windows.
Mas no campo dos grandes modelos de linguagem, o líder OpenAI parece contrariar o Open no nome.
Embora o fundador da OpenAI, Sam Altman, tenha mencionado repetidamente em público que abrirá o código-fonte do GPT-3 e do GPT-4 no futuro,** isso ainda é um cheque em branco até agora. **
Mesmo depois que Musk se retirou da OpenAI, ele também bombardeou publicamente a OpenAI muitas vezes, insatisfeito com os enormes lucros da OpenAI e gradualmente fechando a fonte.
Sutskever, o cientista-chefe da OpenAI, respondeu que o código aberto prematuro fará com que o OpenAI perca sua posição de liderança em tecnologia, e o poder do grande modelo de linguagem é enorme, e o código aberto pode ter riscos de segurança.
Ao contrário da timidez da OpenAI em relação ao código aberto, Meta é um firme defensor do código aberto e promoveu o processo histórico da IA até certo ponto.
E a decisão da Meta hoje deve ter algo a ver com o cientista-chefe da Meta, Yang Likun.
Já em 2014, Zuckerberg percebeu a perspectiva da IA. Depois que a DeepMind foi finalmente adquirida pelo Google, Zuckerberg se virou e encontrou Yang Likun, um figurão no campo acadêmico da IA.
Yang Likun, que havia trabalhado nos famosos Laboratórios Bell, foi um dos desenvolvedores da "Rede Neural Convolucional", na época ele lecionava em Nova York.
Yang Likun conquistou muito durante seu mandato, como o desenvolvimento da estrutura de AI de renome mundial Pytorch, melhorando a GAN (rede de confrontação generativa), lançando o modelo de linguagem grande Llama e o modelo de imagem AI SAM e assim por diante.
**Conforme acordado naqueles anos, esses projetos foram todos de código aberto. **
Sob a onda de modelos de linguagem grande, o modelo de linguagem grande Llama também é muito popular na comunidade de código aberto.
Em comunidades de código aberto, como Hugging Face, existem todos os tipos de alpacas modificadas magicamente (a tradução chinesa de Llama é alpaca).
Incluindo a Alpaca de Stanford, a Vicunha de UCB... Vários modelos modificados baseados em LlamA surgiram.
Em sua opinião, a única maneira de tornar uma plataforma de IA segura, boa e útil é abrir o código dela. **
Em outras palavras, é perigoso que a tecnologia esteja nas mãos de poucas pessoas. Somente permitindo que o poder de supervisionar a IA evolua ao mesmo tempo, a IA pode ser controlada o máximo possível.
No momento, apenas o código aberto pode fazer isso por enquanto.
Em geral, na onda de grandes modelos de linguagem liderados por OpenAI, o exército de código aberto liderado por Meta está atacando loucamente cidades e terrenos na comunidade de código aberto.
Por outro lado, o conflito entre código aberto e código fechado está esquentando gradualmente.
Em maio deste ano, um memorando "acidentalmente" vazado por um pesquisador do Google colocou a batalha na mesa.
① A IA de código aberto está invadindo o território do Google e da IA aberta;
②Os modelos pequenos são mais competitivos que os modelos grandes;
③ A qualidade dos dados é muito mais importante do que a quantidade de dados;
④O Google não pode vencer o código aberto;
⑤ O Google precisa de um ecossistema de código aberto mais do que o código aberto precisa do Google.
Para ser breve, este artigo eloquente com milhares de palavras revela uma mensagem central:
** Diante do código aberto, nem o Google nem o OpenAI têm um fosso. **
Então, olhando para o Llama 2 lançado desta vez, a Meta removeu diretamente as restrições ao uso comercial, que é realmente outro exército para o campo de código fechado.
O Llama2 de código aberto não é apenas gratuito, mas também permite que os desenvolvedores o ajustem por conta própria, de modo a atender às necessidades personalizadas e de baixo custo da maioria das empresas comerciais.
No entanto, no final, quem é o vencedor entre o código aberto e o código fechado, o departamento editorial de Zhiwei sente que não é fácil tirar uma conclusão.
Afinal, o código aberto não é uma panacéia.Existem bons e maus desenvolvedores, alguns riscos de segurança pública, etc., são todos problemas que o código aberto costuma encontrar.
Em última análise, a competição entre código aberto e código fechado é uma estratégia de competição diferente: um está mais atento à expansão do mercado e ao estabelecimento de padrões, e o outro está mais atento à lucratividade e à tecnologia de ponta.
Por exemplo, Android e iOS, Linux e Windows podem não ganhar ou perder no final, mas encontram seu próprio posicionamento razoável sob diferentes necessidades.
No entanto, não há dúvida de que o Llama 2 agitou todo o mercado e provocou mudanças sutis na ecologia:
① A Microsoft, uma das acionistas da OpenAI, tornou-se a parceira preferencial da Llama 2 desta vez, e a Microsoft parece estar apostando nos dois lados.
② A Meta anunciou que o Llama 2 será capaz de rodar em chips Qualcomm, o que deve ser um desafio para a Nvidia, o senhor dos chips AI.
Resumindo, o drama no grande círculo de modelos de linguagem está ficando cada vez mais complicado e interessante.
Se a água barrenta causada pelo Llama 2 faz com que a era da IA chegue mais cedo, lembre-se de que esse não é apenas o crédito da Meta, mas também da comunidade de código aberto.