Люди загалом вважають, що народження GPT — це момент «iPhone» нової ери, він стане ключем до нової ери великих моделей штучного інтелекту, так само як iPhone привів людей в еру мобільного Інтернету.
Однак у бурхливому процесі ** мобільного Інтернету важливі не лише досягнення iPhone, але й досягнення Android та основних виробників мобільних телефонів Android, які стоять за ним. **
Навіть з точки зору лише поставок, внесок Android-табору в еру мобільного Інтернету здається більшим.
**А тепер настає «момент Android», який належить до великої мовної моделі ШІ. **
18 липня за місцевим часом, рано вранці за пекінським часом, Meta випустила останнє покоління великої моделі Llama 2 з відкритим кодом.
Згідно з публічними даними на офіційному веб-сайті Meta, модельний ряд Llama 2, випущений цього разу, включає варіанти моделей з трьома параметрами 7 мільярдів, 13 мільярдів і 70 мільярдів.
Llama 2 був навчений за допомогою 2 трильйонів токенів і має понад 1 мільйон анотованих вручну даних. Порівняно з Llama 1, Llama 2 має на 40% більше навчальних даних і вдвічі більшу довжину контексту.
Після цього оновлення, згідно з опублікованими документами Meta, хоча Llama 2 все ще поступається GPT-3.5 у різних тестах великомасштабних моделей, у порівнянні з поточними результатами поточних великомасштабних моделей з відкритим кодом, вона вже досяг того ж рівня, що й різанина.
Порівняння результатів роботи Llama 2 з GPT і PaLM
Порівняння результатів роботи Llama 2 та інших великих моделей з відкритим кодом
Можливо, ви відчуєте презирство, коли побачите, що Llama 2 поступається GPT-3.5, адже остання еволюціонувала до версії 4.0.
Однак ви повинні розуміти, що коли Android був запущений вперше, він також був дуже скромним, і відкритий код дозволив табору Android зараз конкурувати з iPhone. **
Тому найбільшою родзинкою випуску Llama 2 є:
**Meta йде далі на основі відкритого коду, дозволяючи вільно використовувати модель у комерційних цілях. ** (Продукти з понад 700 мільйонами активних користувачів щомісяця повинні подавати заявку на комерційний дозвіл окремо, але лише деякі компанії можуть відповідати цьому стандарту)
Ян Лікунь, лауреат премії Тюрінга та головний науковий співробітник Meta, також зазначив у Twitter, що це змінить структуру ринку великої мовної моделі:
Редакційний відділ Zhiwei також зв’язався з Zhiyuan AI Research Institute, який є досить впливовим як в академічному колі, так і в спільноті відкритих програм. Їхня оцінка така:
**Відкритий вихідний код — це єдиний шлях. Можна сказати, що випуск Llama 2 — це «момент Android». Використання відкритого коду для зайняття ринку є конкурентною стратегією. **
Відповідно до комерційного відкритого коду Llama 2, ставлення OpenAI до відкритого коду завжди було неоднозначним.
Відкритий код, або рух за відкритий код, офіційно розпочався наприкінці 1990-х рр. Учасники вірили у відкритий код, обмін інформацією та вільне використання програмного забезпечення.
Зростання Android і популярність GitHub невіддільні від відкритого коду. Система Linux також народилася на цій хвилі руху.Сучасні маршрутизатори, комутатори, розумні пральні машини, розумні рисоварки, комутатори, сервери та інші пристрої оснащені майже всіма типами систем Linux.
Включно з успішною посадкою американського марсохода кілька років тому це також символізує те, що Марс став другою планетою, де кількість комп’ютерів Linux перевищує кількість комп’ютерів Windows.
Без перебільшення можна сказати, що відкрите програмне забезпечення сьогодні змінило модель співпраці та інновацій у програмному забезпеченні та змінило технологічний ландшафт.
Але в області великих мовних моделей лідер OpenAI, здається, суперечить Open в назві.
Незважаючи на те, що засновник OpenAI, Сем Альтман, неодноразово публічно зазначав, що він відкриє вихідний код GPT-3 і GPT-4 у майбутньому,** поки що це порожній чек. **
Навіть після того, як Маск вийшов з OpenAI, він також багато разів публічно бомбардував OpenAI, незадоволений величезними прибутками OpenAI і поступово закриваючи джерело.
Суцкевер, головний науковий співробітник OpenAI, відповів, що передчасне відкриття вихідного коду призведе до того, що OpenAI втратить лідируючі позиції в технологіях, а потужність великої мовної моделі величезна, і відкритий код може мати ризики для безпеки.
Маск поставив під сумнів, чи OpenAI не є Open
На відміну від боязкості OpenAI перед обличчям відкритого коду, Meta є рішучим прихильником відкритого коду та певною мірою сприяла історичному процесу ШІ.
І сьогоднішнє рішення Meta має бути пов’язане з головним науковим співробітником Meta Ян Лікунем.
Ще в 2014 році Цукерберг зрозумів перспективи штучного інтелекту.Після того, як DeepMind нарешті придбала Google, Цукерберг розвернувся і знайшов Ян Лікуна, відомого лідера в галузі ШІ.
Ян Лікунь, який працював у знаменитій Bell Labs, був одним із розробників «згорткової нейронної мережі», на той час він викладав у Нью-Йорку.
Згідно з повідомленнями VOX, щоб отримати Ян Лікуня, чудового коня, Цукерберг пообіцяв, що результати наукових досліджень мають бути відкритими, лабораторія має бути побудована в Нью-Йорку, а експериментальній команді не потрібно думати про прибутковість.
Ян Лікун багато чого досяг за час свого перебування на посаді, наприклад, розробив всесвітньо відомий фреймворк ШІ Pytorch, покращив GAN (мережа генеративної конфронтації), запустив велику мовну модель Llama та модель зображення ШІ SAM тощо.
**Як було домовлено в ті роки, усі ці проекти були відкритими. **
На хвилі великих мовних моделей велика мовна модель Llama також дуже популярна в спільноті з відкритим кодом.
У спільнотах із відкритим кодом, таких як Hugging Face, є всілякі магічно модифіковані альпаки (переклад Llama на китайську — альпака).
У тому числі альпака Стенфорда, вікуна UCB... З’явилися різні модифіковані моделі на основі LlamA.
У багатьох великих моделях поточних списків оцінок під GPT-3.5 і GPT-4 майже всі списки забою сімейства альпака.
Крім того, Ян Лікунь не погоджується з причинами закритості OpenAI з міркувань безпеки.
На його думку, єдиний спосіб зробити платформу штучного інтелекту безпечною, хорошою та корисною — відкрити для неї код. **
Іншими словами, для технологій небезпечно перебувати в руках небагатьох людей. Лише якщо дозволити владі нагляду за ШІ розвиватися одночасно, ШІ можна максимально контролювати.
На даний момент це може зробити лише відкритий код.
Загалом, на хвилі великих мовних моделей на чолі з OpenAI, армія з відкритим кодом на чолі з Meta шалено атакує міста та землі в спільноті з відкритим кодом.
З іншого боку, конфлікт між відкритим і закритим кодами поступово розгорається.
У травні цього року меморандум, який «випадково» оприлюднив дослідник Google, поставив початок битві.
Редакційний відділ Zhiwei коротко резюмував ключові моменти, згадані дослідниками Google у цій записці:
① AI з відкритим кодом зазіхає на територію Google і Open AI;
②Малі моделі більш конкурентоспроможні, ніж великі моделі;
③ Якість даних набагато важливіша, ніж їх кількість;
④Google не може перемогти відкритий код;
⑤ Google більше потребує екосистеми з відкритим кодом, ніж Google з відкритим кодом.
Коротко кажучи, ця промовиста стаття з тисячами слів розкриває основне повідомлення:
** Перед обличчям відкритого вихідного коду ні Google, ні OpenAI не мають рову. **
Отже, оглядаючись на Llama 2, випущену цього разу, Meta безпосередньо зняла обмеження на комерційне використання, що насправді є ще однією армією для табору із закритим кодом.
Llama2 з відкритим кодом не тільки безкоштовний, але й дозволяє розробникам самостійно налаштовувати його, щоб задовольнити недорогі та персоналізовані потреби більшості комерційних компаній.
Однак, зрештою, хто є переможцем між відкритим і закритим кодом, редакція Zhiwei вважає, що зробити висновок нелегко.
Зрештою, відкритий вихідний код — це не панацея. Є хороші та погані розробники, а також певні ризики для громадської безпеки тощо — все це проблеми, з якими часто стикається відкритий код.
Зрештою, конкуренція між відкритим кодом і закритим кодом є різною стратегією конкуренції: одна приділяє більше уваги розширенню ринку та встановленню стандартів, а інша приділяє більше уваги прибутковості та провідним технологіям.
Наприклад, Android і iOS, Linux і Windows можуть не виграти чи програти врешті-решт, але знайти власне розумне позиціонування під різні потреби.
Проте немає сумніву, що Llama 2 сколихнула весь ринок і спричинила незначні зміни в екології:
① Корпорація Майкрософт, один із акціонерів OpenAI, цього разу стала кращим партнером Llama 2, і Microsoft, здається, робить ставку на обидві сторони.
② Meta оголосила, що Llama 2 зможе працювати на чіпах Qualcomm, що неминуче стане викликом для Nvidia, володаря чіпів ШІ.
Одним словом, драма у колі великої мовної моделі стає дедалі заплутанішою та цікавішою.
Якщо каламутна вода, спричинена Llama 2, пришвидшить настання ери штучного інтелекту, будь ласка, пам’ятайте, що це заслуга не лише Meta, а й спільноти з відкритим кодом.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
З огляду на відкритий вихідний код, OpenAI не має рову: сьогодні настав момент великої моделі Android
Перше джерело: Zhiwei
За останні шість місяців OpenAI вразив усіх GPT.
Люди загалом вважають, що народження GPT — це момент «iPhone» нової ери, він стане ключем до нової ери великих моделей штучного інтелекту, так само як iPhone привів людей в еру мобільного Інтернету.
Однак у бурхливому процесі ** мобільного Інтернету важливі не лише досягнення iPhone, але й досягнення Android та основних виробників мобільних телефонів Android, які стоять за ним. **
Навіть з точки зору лише поставок, внесок Android-табору в еру мобільного Інтернету здається більшим.
**А тепер настає «момент Android», який належить до великої мовної моделі ШІ. **
18 липня за місцевим часом, рано вранці за пекінським часом, Meta випустила останнє покоління великої моделі Llama 2 з відкритим кодом.
Згідно з публічними даними на офіційному веб-сайті Meta, модельний ряд Llama 2, випущений цього разу, включає варіанти моделей з трьома параметрами 7 мільярдів, 13 мільярдів і 70 мільярдів.
Llama 2 був навчений за допомогою 2 трильйонів токенів і має понад 1 мільйон анотованих вручну даних. Порівняно з Llama 1, Llama 2 має на 40% більше навчальних даних і вдвічі більшу довжину контексту.
Можливо, ви відчуєте презирство, коли побачите, що Llama 2 поступається GPT-3.5, адже остання еволюціонувала до версії 4.0.
Однак ви повинні розуміти, що коли Android був запущений вперше, він також був дуже скромним, і відкритий код дозволив табору Android зараз конкурувати з iPhone. **
Тому найбільшою родзинкою випуску Llama 2 є:
**Meta йде далі на основі відкритого коду, дозволяючи вільно використовувати модель у комерційних цілях. ** (Продукти з понад 700 мільйонами активних користувачів щомісяця повинні подавати заявку на комерційний дозвіл окремо, але лише деякі компанії можуть відповідати цьому стандарту)
Ян Лікунь, лауреат премії Тюрінга та головний науковий співробітник Meta, також зазначив у Twitter, що це змінить структуру ринку великої мовної моделі:
**Відкритий вихідний код — це єдиний шлях. Можна сказати, що випуск Llama 2 — це «момент Android». Використання відкритого коду для зайняття ринку є конкурентною стратегією. **
Відповідно до комерційного відкритого коду Llama 2, ставлення OpenAI до відкритого коду завжди було неоднозначним.
Відкритий код, або рух за відкритий код, офіційно розпочався наприкінці 1990-х рр. Учасники вірили у відкритий код, обмін інформацією та вільне використання програмного забезпечення.
Зростання Android і популярність GitHub невіддільні від відкритого коду. Система Linux також народилася на цій хвилі руху.Сучасні маршрутизатори, комутатори, розумні пральні машини, розумні рисоварки, комутатори, сервери та інші пристрої оснащені майже всіма типами систем Linux.
Включно з успішною посадкою американського марсохода кілька років тому це також символізує те, що Марс став другою планетою, де кількість комп’ютерів Linux перевищує кількість комп’ютерів Windows.
Але в області великих мовних моделей лідер OpenAI, здається, суперечить Open в назві.
Незважаючи на те, що засновник OpenAI, Сем Альтман, неодноразово публічно зазначав, що він відкриє вихідний код GPT-3 і GPT-4 у майбутньому,** поки що це порожній чек. **
Навіть після того, як Маск вийшов з OpenAI, він також багато разів публічно бомбардував OpenAI, незадоволений величезними прибутками OpenAI і поступово закриваючи джерело.
Суцкевер, головний науковий співробітник OpenAI, відповів, що передчасне відкриття вихідного коду призведе до того, що OpenAI втратить лідируючі позиції в технологіях, а потужність великої мовної моделі величезна, і відкритий код може мати ризики для безпеки.
На відміну від боязкості OpenAI перед обличчям відкритого коду, Meta є рішучим прихильником відкритого коду та певною мірою сприяла історичному процесу ШІ.
І сьогоднішнє рішення Meta має бути пов’язане з головним науковим співробітником Meta Ян Лікунем.
Ще в 2014 році Цукерберг зрозумів перспективи штучного інтелекту.Після того, як DeepMind нарешті придбала Google, Цукерберг розвернувся і знайшов Ян Лікуна, відомого лідера в галузі ШІ.
Ян Лікунь, який працював у знаменитій Bell Labs, був одним із розробників «згорткової нейронної мережі», на той час він викладав у Нью-Йорку.
Ян Лікун багато чого досяг за час свого перебування на посаді, наприклад, розробив всесвітньо відомий фреймворк ШІ Pytorch, покращив GAN (мережа генеративної конфронтації), запустив велику мовну модель Llama та модель зображення ШІ SAM тощо.
**Як було домовлено в ті роки, усі ці проекти були відкритими. **
На хвилі великих мовних моделей велика мовна модель Llama також дуже популярна в спільноті з відкритим кодом.
У спільнотах із відкритим кодом, таких як Hugging Face, є всілякі магічно модифіковані альпаки (переклад Llama на китайську — альпака).
У тому числі альпака Стенфорда, вікуна UCB... З’явилися різні модифіковані моделі на основі LlamA.
На його думку, єдиний спосіб зробити платформу штучного інтелекту безпечною, хорошою та корисною — відкрити для неї код. **
Іншими словами, для технологій небезпечно перебувати в руках небагатьох людей. Лише якщо дозволити владі нагляду за ШІ розвиватися одночасно, ШІ можна максимально контролювати.
На даний момент це може зробити лише відкритий код.
Загалом, на хвилі великих мовних моделей на чолі з OpenAI, армія з відкритим кодом на чолі з Meta шалено атакує міста та землі в спільноті з відкритим кодом.
З іншого боку, конфлікт між відкритим і закритим кодами поступово розгорається.
У травні цього року меморандум, який «випадково» оприлюднив дослідник Google, поставив початок битві.
① AI з відкритим кодом зазіхає на територію Google і Open AI;
②Малі моделі більш конкурентоспроможні, ніж великі моделі;
③ Якість даних набагато важливіша, ніж їх кількість;
④Google не може перемогти відкритий код;
⑤ Google більше потребує екосистеми з відкритим кодом, ніж Google з відкритим кодом.
Коротко кажучи, ця промовиста стаття з тисячами слів розкриває основне повідомлення:
** Перед обличчям відкритого вихідного коду ні Google, ні OpenAI не мають рову. **
Отже, оглядаючись на Llama 2, випущену цього разу, Meta безпосередньо зняла обмеження на комерційне використання, що насправді є ще однією армією для табору із закритим кодом.
Llama2 з відкритим кодом не тільки безкоштовний, але й дозволяє розробникам самостійно налаштовувати його, щоб задовольнити недорогі та персоналізовані потреби більшості комерційних компаній.
Однак, зрештою, хто є переможцем між відкритим і закритим кодом, редакція Zhiwei вважає, що зробити висновок нелегко.
Зрештою, відкритий вихідний код — це не панацея. Є хороші та погані розробники, а також певні ризики для громадської безпеки тощо — все це проблеми, з якими часто стикається відкритий код.
Зрештою, конкуренція між відкритим кодом і закритим кодом є різною стратегією конкуренції: одна приділяє більше уваги розширенню ринку та встановленню стандартів, а інша приділяє більше уваги прибутковості та провідним технологіям.
Наприклад, Android і iOS, Linux і Windows можуть не виграти чи програти врешті-решт, але знайти власне розумне позиціонування під різні потреби.
Проте немає сумніву, що Llama 2 сколихнула весь ринок і спричинила незначні зміни в екології:
① Корпорація Майкрософт, один із акціонерів OpenAI, цього разу стала кращим партнером Llama 2, і Microsoft, здається, робить ставку на обидві сторони.
② Meta оголосила, що Llama 2 зможе працювати на чіпах Qualcomm, що неминуче стане викликом для Nvidia, володаря чіпів ШІ.
Одним словом, драма у колі великої мовної моделі стає дедалі заплутанішою та цікавішою.
Якщо каламутна вода, спричинена Llama 2, пришвидшить настання ери штучного інтелекту, будь ласка, пам’ятайте, що це заслуга не лише Meta, а й спільноти з відкритим кодом.