出典: 知偉 画像ソース: Unbounded AI によって生成過去 6 か月間、OpenAI は GPT で誰もを驚かせてきました。**GPT の誕生は新時代の「iPhone」の瞬間であると一般に信じられています**。iPhone が人々にモバイル インターネットの時代をもたらしたのと同じように、GPT は AI 大型モデルの新時代の扉の鍵となるでしょう。しかし、** モバイル インターネットの隆盛の過程には、iPhone の成果だけでなく、Android とその背後にある主要な Android 陣営の携帯電話メーカーの成果も含まれています。 **出荷台数だけの観点から見ても、モバイル インターネット時代に対する Android 陣営の貢献の方が大きいように思えます。**そして今、AI ビッグ言語モデルに属する「Android の瞬間」がやって来ます。 **現地時間7月18日、北京時間の早朝、Metaは最新世代のオープンソース大型モデル「Llama 2」をリリースした。Metaの公式ウェブサイトの公開データによると、今回リリースされたLlama 2モデルシリーズには、70億、130億、700億の3つのパラメータを持つバリアントモデルが含まれています。Llama 2 は 2 兆のトークンを使用してトレーニングされており、手動で注釈が付けられたデータは 100 万以上あります。 Llama 1 と比較して、Llama 2 には 40% 多くのトレーニング データと 2 倍のコンテキスト長があります。 Meta の公開論文によると、このアップグレード後、Llama 2 はさまざまな大規模モデル テストにおいて GPT-3.5 よりもまだ劣っていますが、現在のオープンソースの大規模モデルの実行スコアと比較すると、すでに一般的に殺されるレベルに達しました。 Llama 2 の GPT および PaLM とのランニングスコアの比較 Llama 2 と他のオープンソース大規模モデルの実行スコアの比較おそらく、Llama 2 が GPT-3.5 よりも劣っているのを見ると軽蔑されるかもしれません。結局のところ、GPT-3.5 はバージョン 4.0 に進化しているからです。ただし、Android が最初に発売されたときは、非常に股間が狭かったこと、そしてオープンソースのおかげで、現在では Android 陣営が iPhone と競争できるようになったということを理解する必要があります。 **したがって、Llama 2 リリースの最大のハイライトは実際には次のとおりです。**Meta はオープンソース ベースでさらに一歩進んで、モデルを自由に商業的に使用できるようにします。 ** (月間アクティブ ユーザー数が 7 億人を超える製品は別途商業許可を申請する必要がありますが、この基準を満たせる企業はほとんどありません)チューリング賞受賞者でメタ社の主任科学者であるヤン・リークン氏も、これによって大きな言語モデル市場のパターンが変わるだろうとツイッターで次のように述べた。 Zhiwei の編集部は、学界とオープンソース コミュニティの両方で大きな影響力を持つ Zhiyuan AI Research Institute にも連絡を取り、その評価は次のとおりです。**オープンソースが唯一の方法です。Llama 2 のリリースが「Android の瞬間」であると言っても過言ではありません。オープンソースを使用して市場を占有することは、競争戦略です。 **Llama 2 の商用オープンソースに対応して、OpenAI のオープンソースに対する態度は常に曖昧でした。オープン ソース (オープン ソース運動) は 1990 年代後半に正式に始まり、参加者はオープン ソース コード、情報共有、ソフトウェアの自由な使用を信じていました。Android の台頭と GitHub の人気はすべてオープンソースと切り離せないものです。 Linux システムもこの流れの中で誕生し、現在ではルーター、スイッチ、スマート洗濯機、スマート炊飯器、スイッチ、サーバーなど、ほぼすべての機器に Linux システムが搭載されています。数年前にアメリカの火星探査機が着陸に成功したことも含め、これは火星が Linux コンピューターの数が Windows を上回る 2 番目の惑星になったことを象徴しています。 今日のオープンソースはソフトウェアのコラボレーションとイノベーションのモデルを変え、テクノロジーの展望を変えたと言っても過言ではありません。しかし、大規模な言語モデルの分野では、リーダーである OpenAI は、名前からして Open に反するように思えます。OpenAI の創設者であるサム アルトマンは、将来 GPT-3 と GPT-4 のソース コードを公開すると繰り返し公の場で述べていますが、** 現時点ではまだ白紙の状態です。 **マスク氏はOpenAIから撤退した後も、OpenAIの莫大な利益に不満を抱き、徐々に情報源を閉鎖して公然とOpenAIを何度も攻撃した。OpenAIの首席科学者Sutskever氏は、時期尚早なオープンソースはOpenAIが技術分野での主導的な地位を失うだろうし、大規模な言語モデルの力は巨大であり、オープンソースにはセキュリティ上のリスクがある可能性があると答えた。 マスク氏はOpenAIがオープンではないのではないかと疑問を呈したオープンソースに対して臆病な OpenAI とは異なり、Meta はオープンソースの熱心な支持者であり、AI の歴史的プロセスをある程度推進してきました。そして今日のメタの決定は、メタの主任科学者であるヤン・リクンと何らかの関係があるに違いない。ザッカーバーグ氏は 2014 年の時点で AI の可能性を認識しており、DeepMind が最終的に Google に買収された後、ザッカーバーグ氏は方向転換し、AI 学術分野の重鎮である楊立坤氏を見つけました。有名なベル研究所で働いていたヤン・リークンは、「畳み込みニューラル・ネットワーク」の開発者の一人で、当時ニューヨークで教鞭をとっていた。 VOXの報道によると、ザッカーバーグ氏は楊立坤という名馬を獲得するために、科学研究の成果をオープンソースにし、実験室をニューヨークに建て、実験チームは採算を考慮する必要がないことを約束したという。Yang Likun 氏は、世界的に有名な AI フレームワーク Pytorch の開発、GAN (生成対立ネットワーク) の改善、大規模言語モデル Llama と AI 画像モデル SAM の立ち上げなど、在職中に多くの成果を上げました。**当時の合意に従って、これらのプロジェクトはすべてオープンソースになりました。 **大規模言語モデルの波を受けて、Llama 大規模言語モデルもオープンソース コミュニティで非常に人気があります。Hugging Face などのオープンソース コミュニティには、魔法で改造されたあらゆる種類のアルパカ (ラマの中国語訳はアルパカ) が存在します。StanfordのAlpacaをはじめ、UCBのVicuna…LlamAをベースにした様々な改造モデルが登場しています。 多くの大規模モデルでは、GPT-3.5 および GPT-4 に基づいて、ほぼすべてのアルパカ家族の屠殺リストのスコア リストが実行されます。 さらに、Yang Likun 氏は、セキュリティ上の理由から OpenAI のクローズドソースの理由に同意しません。彼の見解では、AI プラットフォームを安全で優れた有用なものにする唯一の方法は、AI プラットフォームをオープンソースにすることです。 **つまり、テクノロジーが少数の人間の手に渡ることは危険であり、AIを監督する権限も同時に進化させることで初めて、AIを最大限に制御することができるのです。現時点では、当面はオープンソースのみがそれを実行できます。一般に、OpenAI が主導する大規模な言語モデルの波の中で、Meta が率いるオープンソース軍団は、オープンソース コミュニティの都市や土地を狂ったように攻撃しています。一方で、オープンソースとクローズドソースの対立は徐々に激化している。今年5月、グーグルの研究者が「偶然」漏洩したメモにより、この戦いは議論の俎上に上がった。 Zhiwei 編集部は、Google 研究者がこのメモで述べた重要な点を簡単に要約しました。① オープンソース AI は Google と Open AI の領域を侵食しています。②小型モデルは大型モデルよりも競争力が高い。③ データの量よりもデータの質の方がはるかに重要です。④Googleはオープンソースに勝てない。⑤ オープンソースがGoogleを必要とする以上に、Googleはオープンソースエコシステムを必要としている。簡単に言うと、何千もの言葉を含むこの雄弁な記事は、核となるメッセージを明らかにしています。** オープンソースを前にすると、Google も OpenAI も外堀がありません。 **そこで、今回リリースされた Llama 2 を振り返ると、Meta は商用利用の制限を直接削除しました。これはまさにクローズドソース陣営の別の軍隊です。オープンソースの Llama2 は無料であるだけでなく、ほとんどの営利企業の低コストで個別化されたニーズを満たすために、開発者が自分で調整することもできます。しかし、最終的にはオープンソースとクローズドソースのどちらが勝者になるのか、結論を出すのは簡単ではないとZhiwei編集部は感じています。結局のところ、オープンソースは万能薬ではなく、良い開発者も悪い開発者も存在し、公共のセキュリティ上のリスクなど、オープンソースがよく遭遇する問題です。結局のところ、オープンソースとクローズドソースの競争は異なる競争戦略であり、一方は市場の拡大と標準の設定に重点を置き、もう一方は収益性と最先端の技術に重点を置いています。たとえば、Android と iOS、Linux と Windows は、最終的に実際には勝ち負けはないかもしれませんが、異なるニーズの下で独自の合理的なポジショニングを見つけます。しかし、ラマ 2 が市場全体を刺激し、生態系に微妙な変化を引き起こしたことは疑いの余地がありません。① 今回、OpenAI の株主の 1 つである Microsoft が Llama 2 の優先パートナーとなり、Microsoft は双方に賭けているようです。② Meta は、Llama 2 が Qualcomm チップ上で実行できるようになると発表しましたが、これは AI チップの覇者である Nvidia にとって必ず課題となるでしょう。つまり、大きな言語モデル界のドラマはますます複雑かつ興味深いものになっているのです。Llama 2 によって引き起こされた泥水によって AI 時代の到来が早まるとしたら、それは Meta の功績であるだけでなく、オープンソース コミュニティの功績でもあることを覚えておいてください。
オープンソースに直面しても、OpenAI には外壕がありません: 今日、Android のビッグモデルの瞬間がここにあります
出典: 知偉
過去 6 か月間、OpenAI は GPT で誰もを驚かせてきました。
GPT の誕生は新時代の「iPhone」の瞬間であると一般に信じられています。iPhone が人々にモバイル インターネットの時代をもたらしたのと同じように、GPT は AI 大型モデルの新時代の扉の鍵となるでしょう。
しかし、** モバイル インターネットの隆盛の過程には、iPhone の成果だけでなく、Android とその背後にある主要な Android 陣営の携帯電話メーカーの成果も含まれています。 **
出荷台数だけの観点から見ても、モバイル インターネット時代に対する Android 陣営の貢献の方が大きいように思えます。
**そして今、AI ビッグ言語モデルに属する「Android の瞬間」がやって来ます。 **
現地時間7月18日、北京時間の早朝、Metaは最新世代のオープンソース大型モデル「Llama 2」をリリースした。
Metaの公式ウェブサイトの公開データによると、今回リリースされたLlama 2モデルシリーズには、70億、130億、700億の3つのパラメータを持つバリアントモデルが含まれています。
Llama 2 は 2 兆のトークンを使用してトレーニングされており、手動で注釈が付けられたデータは 100 万以上あります。 Llama 1 と比較して、Llama 2 には 40% 多くのトレーニング データと 2 倍のコンテキスト長があります。
おそらく、Llama 2 が GPT-3.5 よりも劣っているのを見ると軽蔑されるかもしれません。結局のところ、GPT-3.5 はバージョン 4.0 に進化しているからです。
ただし、Android が最初に発売されたときは、非常に股間が狭かったこと、そしてオープンソースのおかげで、現在では Android 陣営が iPhone と競争できるようになったということを理解する必要があります。 **
したがって、Llama 2 リリースの最大のハイライトは実際には次のとおりです。
**Meta はオープンソース ベースでさらに一歩進んで、モデルを自由に商業的に使用できるようにします。 ** (月間アクティブ ユーザー数が 7 億人を超える製品は別途商業許可を申請する必要がありますが、この基準を満たせる企業はほとんどありません)
チューリング賞受賞者でメタ社の主任科学者であるヤン・リークン氏も、これによって大きな言語モデル市場のパターンが変わるだろうとツイッターで次のように述べた。
**オープンソースが唯一の方法です。Llama 2 のリリースが「Android の瞬間」であると言っても過言ではありません。オープンソースを使用して市場を占有することは、競争戦略です。 **
Llama 2 の商用オープンソースに対応して、OpenAI のオープンソースに対する態度は常に曖昧でした。
オープン ソース (オープン ソース運動) は 1990 年代後半に正式に始まり、参加者はオープン ソース コード、情報共有、ソフトウェアの自由な使用を信じていました。
Android の台頭と GitHub の人気はすべてオープンソースと切り離せないものです。 Linux システムもこの流れの中で誕生し、現在ではルーター、スイッチ、スマート洗濯機、スマート炊飯器、スイッチ、サーバーなど、ほぼすべての機器に Linux システムが搭載されています。
数年前にアメリカの火星探査機が着陸に成功したことも含め、これは火星が Linux コンピューターの数が Windows を上回る 2 番目の惑星になったことを象徴しています。
しかし、大規模な言語モデルの分野では、リーダーである OpenAI は、名前からして Open に反するように思えます。
OpenAI の創設者であるサム アルトマンは、将来 GPT-3 と GPT-4 のソース コードを公開すると繰り返し公の場で述べていますが、** 現時点ではまだ白紙の状態です。 **
マスク氏はOpenAIから撤退した後も、OpenAIの莫大な利益に不満を抱き、徐々に情報源を閉鎖して公然とOpenAIを何度も攻撃した。
OpenAIの首席科学者Sutskever氏は、時期尚早なオープンソースはOpenAIが技術分野での主導的な地位を失うだろうし、大規模な言語モデルの力は巨大であり、オープンソースにはセキュリティ上のリスクがある可能性があると答えた。
オープンソースに対して臆病な OpenAI とは異なり、Meta はオープンソースの熱心な支持者であり、AI の歴史的プロセスをある程度推進してきました。
そして今日のメタの決定は、メタの主任科学者であるヤン・リクンと何らかの関係があるに違いない。
ザッカーバーグ氏は 2014 年の時点で AI の可能性を認識しており、DeepMind が最終的に Google に買収された後、ザッカーバーグ氏は方向転換し、AI 学術分野の重鎮である楊立坤氏を見つけました。
有名なベル研究所で働いていたヤン・リークンは、「畳み込みニューラル・ネットワーク」の開発者の一人で、当時ニューヨークで教鞭をとっていた。
Yang Likun 氏は、世界的に有名な AI フレームワーク Pytorch の開発、GAN (生成対立ネットワーク) の改善、大規模言語モデル Llama と AI 画像モデル SAM の立ち上げなど、在職中に多くの成果を上げました。
**当時の合意に従って、これらのプロジェクトはすべてオープンソースになりました。 **
大規模言語モデルの波を受けて、Llama 大規模言語モデルもオープンソース コミュニティで非常に人気があります。
Hugging Face などのオープンソース コミュニティには、魔法で改造されたあらゆる種類のアルパカ (ラマの中国語訳はアルパカ) が存在します。
StanfordのAlpacaをはじめ、UCBのVicuna…LlamAをベースにした様々な改造モデルが登場しています。
彼の見解では、AI プラットフォームを安全で優れた有用なものにする唯一の方法は、AI プラットフォームをオープンソースにすることです。 **
つまり、テクノロジーが少数の人間の手に渡ることは危険であり、AIを監督する権限も同時に進化させることで初めて、AIを最大限に制御することができるのです。
現時点では、当面はオープンソースのみがそれを実行できます。
一般に、OpenAI が主導する大規模な言語モデルの波の中で、Meta が率いるオープンソース軍団は、オープンソース コミュニティの都市や土地を狂ったように攻撃しています。
一方で、オープンソースとクローズドソースの対立は徐々に激化している。
今年5月、グーグルの研究者が「偶然」漏洩したメモにより、この戦いは議論の俎上に上がった。
① オープンソース AI は Google と Open AI の領域を侵食しています。
②小型モデルは大型モデルよりも競争力が高い。
③ データの量よりもデータの質の方がはるかに重要です。
④Googleはオープンソースに勝てない。
⑤ オープンソースがGoogleを必要とする以上に、Googleはオープンソースエコシステムを必要としている。
簡単に言うと、何千もの言葉を含むこの雄弁な記事は、核となるメッセージを明らかにしています。
** オープンソースを前にすると、Google も OpenAI も外堀がありません。 **
そこで、今回リリースされた Llama 2 を振り返ると、Meta は商用利用の制限を直接削除しました。これはまさにクローズドソース陣営の別の軍隊です。
オープンソースの Llama2 は無料であるだけでなく、ほとんどの営利企業の低コストで個別化されたニーズを満たすために、開発者が自分で調整することもできます。
しかし、最終的にはオープンソースとクローズドソースのどちらが勝者になるのか、結論を出すのは簡単ではないとZhiwei編集部は感じています。
結局のところ、オープンソースは万能薬ではなく、良い開発者も悪い開発者も存在し、公共のセキュリティ上のリスクなど、オープンソースがよく遭遇する問題です。
結局のところ、オープンソースとクローズドソースの競争は異なる競争戦略であり、一方は市場の拡大と標準の設定に重点を置き、もう一方は収益性と最先端の技術に重点を置いています。
たとえば、Android と iOS、Linux と Windows は、最終的に実際には勝ち負けはないかもしれませんが、異なるニーズの下で独自の合理的なポジショニングを見つけます。
しかし、ラマ 2 が市場全体を刺激し、生態系に微妙な変化を引き起こしたことは疑いの余地がありません。
① 今回、OpenAI の株主の 1 つである Microsoft が Llama 2 の優先パートナーとなり、Microsoft は双方に賭けているようです。
② Meta は、Llama 2 が Qualcomm チップ上で実行できるようになると発表しましたが、これは AI チップの覇者である Nvidia にとって必ず課題となるでしょう。
つまり、大きな言語モデル界のドラマはますます複雑かつ興味深いものになっているのです。
Llama 2 によって引き起こされた泥水によって AI 時代の到来が早まるとしたら、それは Meta の功績であるだけでなく、オープンソース コミュニティの功績でもあることを覚えておいてください。