Математичні здібності перевищують ChatGPT, велика модель 70B з відкритим кодом у вогні: точне налаштування штучного інтелекту за допомогою штучного інтелекту, створене Microsoft All-China Class
Використовуйте інструкції, створені штучним інтелектом, щоб налаштувати велику модель альпаки, і математичні здібності перевищують ChatGPT——
Остання модель Microsoft з відкритим кодом WizardMath тут.
Як показано на малюнку нижче, після тестування на наборі даних GSM8k математичні здібності WizardMath безпосередньо перемогли багато великих моделей, таких як ChatGPT, Claude Instant 1 і PaLM 2-540B——
І це за умови, що ключові параметри становлять лише 70 мільярдів, що значно менше, ніж останні три.
HuggingFace запустив 3 онлайн-ігрові версії (параметри 7B, 13B і 70B відповідно), і різні математичні задачі можна спробувати.
Наприклад, розв’яжіть наступне рівняння полінома четвертої частини:
Або просте обчислення:
Або трохи модифіковане виведення рівняння Лагранжа:
Все правильно (і процес не повинен довго чекати).
Деякі користувачі мережі сказали автору:
Ефект дійсно приголомшливий, дякую за ваш внесок у LLM з відкритим кодом.
Наразі відповідні коди, методи відтворення та документи також є відкритими або в Інтернеті, а GitHub отримав 4,8 тисячі зірок лише за кілька днів.
Отже, як саме WizardMath це робить?
Розширення можливостей великих моделей за допомогою інструкцій, створених ШІ
Великі моделі OpenAI (InstructGPT, GPT-4 тощо) змогли з великим успіхом виконувати низку складних і різноманітних завдань, частково завдяки тонкому налаштуванню з використанням даних інструкцій відкритого домену, створених реальними користувачами.
Однак не всі мають доступ до таких наборів даних команд, як ця компанія.
Одна з них полягає в тому, що весь процес анотації надзвичайно дорогий і трудомісткий, а інша полягає в тому, що людям важко створити достатню кількість складних інструкцій.
Таким чином, розробка відносно недорогого широкомасштабного методу автоматичного виробництва інструкцій у відкритому домені стала ключем до поточної моделі мови налаштування інструкцій.
Тут автори називають свій метод Evol Instruction.
Це новий метод використання штучного інтелекту замість людей для автоматичного створення інструкцій у відкритому полі, що охоплюють різні рівні складності.
Зокрема, Evol Instruction поділяється на Instruction Evolver і Instruction Eliminator.
Серед них програма для розвитку інструкцій може оновити просту інструкцію до більш складної або створити нову інструкцію двома шляхами глибокої еволюції (синя лінія) або екстенсивної еволюції (червона лінія).
Який з них слід реалізувати? Просто виберіть навмання.
Серед них специфічний «метод еволюції» поглибленої еволюції завершується за допомогою п’яти типів операцій, зокрема:
Додайте обмеження, поглиблення, конкретизацію, збільшення кроків міркування та ускладнення введення.
Оскільки всі інструкції виконуються ШІ, інколи помилки неминучі. Таким чином, елімінатор інструкцій використовується для фільтрації невдалих інструкцій.
Ось конкретний приклад методу, який починається з «1+1=?» і закінчується автоматичним створенням кількох нових інструкцій за допомогою описаних вище кроків.
Повторюючи цей процес генерації, ми нарешті можемо отримати достатньо інструкцій, а потім об’єднати їх і випадковим чином перекодувати, щоб сформувати набір інструкцій з рівнем складності рівномірного розподілу, а потім ми зможемо точно налаштувати базову велику модель.
Тут автор вибирає навчальні дані Альпаки (генеровані лише 175 штучно створеними початковими інструкціями) як початковий набір даних, а потім використовує API ChatGPT для виконання чотирьох еволюційних циклів і, нарешті, отримує 250 000 інструкцій.
Щоб провести чесне порівняння з 70 тисячами реальних даних користувача Vicuna (ShareGPT), автор витягнув однакову кількість зразків із 250 000 фрагментів даних, навчив модель LLaMA 7B і, нарешті, отримав WizardLM. У результаті продуктивність WizardLM був значно кращим за Vicuna.
(Альпака: налаштована Стенфордська модель на основі LLaMa-7B; Вікуна, UC Berkeley налаштована на основі LLaMa-13B)
Крім того, люди віддають перевагу виводу WizardLM перед ChatGPT під більш складними тестовими інструкціями, що свідчить про те, що цей метод може значно покращити здатність LLM обробляти складні інструкції.
Виходячи з цього, автор використав Evol Instruction для створення багатьох інструкцій, пов’язаних із полем математики, а потім налаштував велику модель альпаки, щоб отримати WizardMath.
Його ефект такий, як показано на початку. Його математичні здібності вимірюються на наборі даних GSM8k, він перевершує багато великих моделей, включаючи ChatGPT, Claude Instant 1, PaLM 2-540B тощо, займаючи п’яте місце, поступаючись лише GPT-4 і Claud1 3 і 2.0, а після Flan-PaLM 2 з 540 мільярдами параметрів.
За аналогією автор отримав і WizardCoder, який спеціалізується на можливостях кодування на альпаці, а ефект перевершує Клода і Барда (детальніше дивіться за адресою в кінці статті).
представлення команди
У цій статті 9 авторів, усі китайці.
В одному творі 3 персонажі:
Can Xu, старший науковий спеціаліст із застосування, S+D NLP Group, Microsoft Asia Internet Engineering Academy, раніше працював над системами чат-роботів у Microsoft Xiaoice Research Group та Microsoft Asia Research Institute;
Qingfeng Sun, науковий співробітник Microsoft Research, напрямок досліджень – обробка природної мови та пошук інформації, досвідчений у створенні ефективних пошукових систем, внесок основних глибоких моделей у Microsoft Bing і Office 365;
Кай Чжен, науковий співробітник Microsoft Research, напрямок досліджень — обробка природної мови, пошук і рейтинг рекомендацій, також зробив внесок у базову глибоку модель для Microsoft Bing і Office 365.
Відповідний автор — Цзян Дасінь, глобальний партнер і віце-президент Microsoft, а також колишній головний науковий співробітник Microsoft Research Asia.Він працював у Microsoft більше 16 років і був відповідальним за розуміння природної мови Microsoft Пошукова система Bing і інтелектуальний помічник Cortana. Було виявлено, що він залишив роботу і присвятив себе запуску великого модельного бізнесу.
Інший автор, Jiazhan Feng, студент Пекінського університету. Цю статтю у співавторстві було написано під час його стажування в Microsoft.
Домашня сторінка проекту:
Адреса паперу:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Математичні здібності перевищують ChatGPT, велика модель 70B з відкритим кодом у вогні: точне налаштування штучного інтелекту за допомогою штучного інтелекту, створене Microsoft All-China Class
Джерело: «Qubit» (ID: QbitAI), автор: Feng Se
Використовуйте інструкції, створені штучним інтелектом, щоб налаштувати велику модель альпаки, і математичні здібності перевищують ChatGPT——
Остання модель Microsoft з відкритим кодом WizardMath тут.
І це за умови, що ключові параметри становлять лише 70 мільярдів, що значно менше, ніж останні три.
Наприклад, розв’яжіть наступне рівняння полінома четвертої частини:
Деякі користувачі мережі сказали автору:
Розширення можливостей великих моделей за допомогою інструкцій, створених ШІ
Великі моделі OpenAI (InstructGPT, GPT-4 тощо) змогли з великим успіхом виконувати низку складних і різноманітних завдань, частково завдяки тонкому налаштуванню з використанням даних інструкцій відкритого домену, створених реальними користувачами.
Однак не всі мають доступ до таких наборів даних команд, як ця компанія.
Одна з них полягає в тому, що весь процес анотації надзвичайно дорогий і трудомісткий, а інша полягає в тому, що людям важко створити достатню кількість складних інструкцій.
Таким чином, розробка відносно недорогого широкомасштабного методу автоматичного виробництва інструкцій у відкритому домені стала ключем до поточної моделі мови налаштування інструкцій.
Тут автори називають свій метод Evol Instruction.
Це новий метод використання штучного інтелекту замість людей для автоматичного створення інструкцій у відкритому полі, що охоплюють різні рівні складності.
Зокрема, Evol Instruction поділяється на Instruction Evolver і Instruction Eliminator.
Серед них програма для розвитку інструкцій може оновити просту інструкцію до більш складної або створити нову інструкцію двома шляхами глибокої еволюції (синя лінія) або екстенсивної еволюції (червона лінія).
Який з них слід реалізувати? Просто виберіть навмання.
Додайте обмеження, поглиблення, конкретизацію, збільшення кроків міркування та ускладнення введення.
Оскільки всі інструкції виконуються ШІ, інколи помилки неминучі. Таким чином, елімінатор інструкцій використовується для фільтрації невдалих інструкцій.
Ось конкретний приклад методу, який починається з «1+1=?» і закінчується автоматичним створенням кількох нових інструкцій за допомогою описаних вище кроків.
Тут автор вибирає навчальні дані Альпаки (генеровані лише 175 штучно створеними початковими інструкціями) як початковий набір даних, а потім використовує API ChatGPT для виконання чотирьох еволюційних циклів і, нарешті, отримує 250 000 інструкцій.
Щоб провести чесне порівняння з 70 тисячами реальних даних користувача Vicuna (ShareGPT), автор витягнув однакову кількість зразків із 250 000 фрагментів даних, навчив модель LLaMA 7B і, нарешті, отримав WizardLM. У результаті продуктивність WizardLM був значно кращим за Vicuna.
(Альпака: налаштована Стенфордська модель на основі LLaMa-7B; Вікуна, UC Berkeley налаштована на основі LLaMa-13B)
Крім того, люди віддають перевагу виводу WizardLM перед ChatGPT під більш складними тестовими інструкціями, що свідчить про те, що цей метод може значно покращити здатність LLM обробляти складні інструкції.
Виходячи з цього, автор використав Evol Instruction для створення багатьох інструкцій, пов’язаних із полем математики, а потім налаштував велику модель альпаки, щоб отримати WizardMath.
Його ефект такий, як показано на початку. Його математичні здібності вимірюються на наборі даних GSM8k, він перевершує багато великих моделей, включаючи ChatGPT, Claude Instant 1, PaLM 2-540B тощо, займаючи п’яте місце, поступаючись лише GPT-4 і Claud1 3 і 2.0, а після Flan-PaLM 2 з 540 мільярдами параметрів.
За аналогією автор отримав і WizardCoder, який спеціалізується на можливостях кодування на альпаці, а ефект перевершує Клода і Барда (детальніше дивіться за адресою в кінці статті).
представлення команди
У цій статті 9 авторів, усі китайці.
В одному творі 3 персонажі:
Can Xu, старший науковий спеціаліст із застосування, S+D NLP Group, Microsoft Asia Internet Engineering Academy, раніше працював над системами чат-роботів у Microsoft Xiaoice Research Group та Microsoft Asia Research Institute;
Qingfeng Sun, науковий співробітник Microsoft Research, напрямок досліджень – обробка природної мови та пошук інформації, досвідчений у створенні ефективних пошукових систем, внесок основних глибоких моделей у Microsoft Bing і Office 365;
Кай Чжен, науковий співробітник Microsoft Research, напрямок досліджень — обробка природної мови, пошук і рейтинг рекомендацій, також зробив внесок у базову глибоку модель для Microsoft Bing і Office 365.
Інший автор, Jiazhan Feng, студент Пекінського університету. Цю статтю у співавторстві було написано під час його стажування в Microsoft.
Домашня сторінка проекту:
Адреса паперу: