Dalam enam bulan terakhir, OpenAI membuat kagum semua orang dengan GPT.
** Orang umumnya percaya bahwa kelahiran GPT adalah momen "iPhone" di era baru**, itu akan menjadi kunci pintu era baru AI model besar seperti iPhone yang membawa orang ke era Internet seluler.
Namun, dalam proses booming ** Internet seluler, tidak hanya pencapaian iPhone, tetapi juga pencapaian Android dan pabrikan ponsel kubu Android utama di belakangnya. **
Bahkan, dari sisi pengapalan saja, kontribusi kubu Android terhadap era internet seluler terlihat lebih besar.
**Dan sekarang, "momen Android" milik model bahasa besar AI akan datang. **
Pada 18 Juli waktu setempat, dini hari waktu Beijing, Meta merilis generasi terbaru model besar open source Llama 2.
Menurut data publik di situs resmi Meta, seri model Llama 2 yang dirilis kali ini mencakup varian model dengan tiga parameter yakni 7 miliar, 13 miliar, dan 70 miliar.
Llama 2 telah dilatih dengan 2 triliun token dan memiliki lebih dari 1 juta data yang dianotasi secara manual. Dibandingkan dengan Llama 1, Llama 2 memiliki data pelatihan 40% lebih banyak dan panjang konteks dua kali lipat.
Setelah pemutakhiran ini, menurut makalah Meta yang diterbitkan, meskipun Llama 2 masih kalah dengan GPT-3.5 dalam berbagai pengujian model skala besar, dibandingkan dengan skor lari model skala besar sumber terbuka saat ini, ia sudah mencapai tingkat yang umumnya disembelih.Kinerja.
Perbandingan skor lari Llama 2 dengan GPT dan PaLM
Perbandingan Llama 2 dan skor lari model besar sumber terbuka lainnya
Mungkin Anda akan merasa cibiran saat melihat Llama 2 kalah dengan GPT-3.5, toh yang terakhir telah berevolusi ke versi 4.0.
Namun, Anda harus memahami bahwa ketika Android pertama kali diluncurkan, itu juga sangat tidak beraturan, dan open source memungkinkan kubu Android untuk bersaing dengan iPhone sekarang. **
Oleh karena itu, sorotan terbesar dari rilis Llama 2 sebenarnya adalah:
**Meta selangkah lebih maju berbasis open source, memungkinkan model untuk digunakan secara bebas secara komersial. ** (Produk dengan lebih dari 700 juta pengguna aktif bulanan perlu mengajukan izin komersial secara terpisah, tetapi hanya sedikit perusahaan yang dapat memenuhi standar ini)
Yang Likun, pemenang Penghargaan Turing dan kepala ilmuwan Meta, juga mengatakan di Twitter bahwa ini akan mengubah pola pasar model bahasa besar:
Departemen editorial Zhiwei juga menghubungi Zhiyuan AI Research Institute, yang cukup berpengaruh baik di kalangan akademisi maupun komunitas open source.Evaluasi mereka adalah:
** Open source adalah satu-satunya cara. Tidaklah beralasan untuk mengatakan bahwa rilis Llama 2 adalah "momen Android". Menggunakan open source untuk menguasai pasar adalah strategi kompetitif. **
Sesuai dengan open source komersial Llama 2, sikap OpenAI terhadap open source selalu ambigu.
Open source, atau gerakan open source, secara resmi dimulai pada akhir 1990. Peserta percaya pada kode sumber terbuka, berbagi informasi, dan penggunaan perangkat lunak secara gratis.
Kebangkitan Android dan popularitas GitHub tidak dapat dipisahkan dari open source. Sistem Linux juga lahir dalam gelombang pergerakan ini, router, sakelar, mesin cuci pintar, penanak nasi pintar, sakelar, server, dan perangkat lain saat ini dilengkapi dengan hampir semua jenis sistem Linux.
Termasuk keberhasilan pendaratan penjelajah Mars Amerika beberapa tahun lalu, juga melambangkan bahwa Mars telah menjadi planet kedua di mana jumlah komputer Linux melebihi jumlah Windows.
Tidaklah berlebihan untuk mengatakan bahwa open source saat ini telah mengubah model kolaborasi dan inovasi perangkat lunak dan mengubah lanskap teknologi.
Namun di bidang model bahasa besar, pemimpin OpenAI tampaknya berlawanan dengan Open dalam namanya.
Meskipun pendiri OpenAI, Sam Altman, telah berulang kali menyebutkan di depan umum bahwa dia akan membuka kode sumber GPT-3 dan GPT-4 di masa mendatang,** sejauh ini masih cek kosong. **
Bahkan setelah Musk menarik diri dari OpenAI, dia juga secara terbuka membombardir OpenAI berkali-kali, tidak puas dengan keuntungan besar OpenAI dan secara bertahap menutup sumbernya.
Sutskever, kepala ilmuwan OpenAI, menjawab bahwa open source yang prematur akan membuat OpenAI kehilangan posisi terdepan dalam teknologi, dan kekuatan model bahasa besar sangat besar, dan open source mungkin memiliki risiko keamanan.
Musk mempertanyakan apakah OpenAI tidak Terbuka
Tidak seperti rasa takut OpenAI dalam menghadapi open source, Meta adalah pendukung setia open source, dan telah mempromosikan proses sejarah AI sampai batas tertentu.
Dan keputusan Meta hari ini pasti ada kaitannya dengan kepala ilmuwan Meta, Yang Likun.
Zuckerberg menyadari prospek AI pada awal 2014. Setelah DeepMind akhirnya diakuisisi oleh Google, Zuckerberg berbalik dan menemukan Yang Likun, seorang tokoh besar di bidang akademik AI.
Yang Likun, yang pernah bekerja di Bell Labs yang terkenal, adalah salah satu pengembang "Jaringan Syaraf Konvolusional" (Convolutional Neural Network) yang saat itu mengajar di New York.
Menurut laporan VOX, untuk mendapatkan Yang Likun, seekor kuda hebat, Zuckerberg berjanji bahwa hasil penelitian ilmiah harus open source, laboratorium harus dibangun di New York, dan tim eksperimen tidak perlu mempertimbangkan profitabilitas.
Yang Likun telah mencapai banyak hal selama masa jabatannya, seperti mengembangkan kerangka kerja AI Pytorch yang terkenal di dunia, meningkatkan GAN (jaringan konfrontasi generatif), meluncurkan model bahasa besar Llama dan model gambar AI SAM, dll.
**Seperti yang disepakati pada tahun-tahun itu, proyek-proyek ini semuanya open source. **
Di bawah gelombang model bahasa besar, model bahasa besar Llama juga sangat populer di komunitas open source.
Dalam komunitas open source seperti Hugging Face, ada semua jenis alpaka yang dimodifikasi secara ajaib (terjemahan Cina Llama adalah alpaka).
Termasuk Alpaca Stanford, Vicuna UCB... Berbagai model modifikasi berdasarkan LlamA telah muncul.
Dalam banyak daftar skor lari model besar, di bawah GPT-3.5 dan GPT-4, hampir semua daftar pembantaian keluarga alpaka.
Selain itu, Yang Likun tidak setuju dengan alasan closed-source OpenAI untuk alasan keamanan.
Dalam pandangannya, satu-satunya cara untuk membuat platform AI aman, bagus, dan bermanfaat adalah dengan membuatnya menjadi open source. **
Dengan kata lain, berbahaya jika teknologi berada di tangan segelintir orang, hanya dengan membiarkan kekuatan untuk mengawasi AI berevolusi pada saat yang sama, AI dapat dikendalikan sebanyak mungkin.
Saat ini, hanya open source yang dapat melakukannya untuk saat ini.
Secara umum, dalam gelombang model bahasa besar yang dipimpin oleh OpenAI, pasukan open source yang dipimpin oleh Meta dengan gila-gilaan menyerang kota dan daratan di komunitas open source.
Di sisi lain, konflik antara open source dan closed source semakin memanas.
Pada bulan Mei tahun ini, sebuah memo "secara tidak sengaja" dibocorkan oleh seorang peneliti Google menempatkan pertempuran di atas meja.
Departemen editorial Zhiwei secara singkat merangkum poin-poin penting yang disebutkan oleh para peneliti Google dalam memo ini:
① AI sumber terbuka melanggar batas wilayah Google dan AI Terbuka;
②Model kecil lebih kompetitif daripada model besar;
③ Kualitas data jauh lebih penting daripada kuantitas data;
④Google tidak dapat mengalahkan sumber terbuka;
⑤ Google membutuhkan ekosistem open source lebih dari open source membutuhkan Google.
Singkatnya, artikel fasih dengan ribuan kata ini mengungkapkan pesan inti:
** Di hadapan open source, baik Google maupun OpenAI tidak memiliki parit. **
Jadi, melihat kembali Llama 2 yang dirilis kali ini, Meta langsung menghapus batasan penggunaan komersial, yang sebenarnya merupakan pasukan lain untuk kubu sumber tertutup.
Llama2 open source tidak hanya gratis, tetapi juga memungkinkan pengembang untuk menyesuaikannya sendiri, untuk memenuhi kebutuhan biaya rendah dan personalisasi sebagian besar perusahaan komersial.
Namun, pada akhirnya, siapa pemenang antara open source dan closed source, departemen redaksi Zhiwei merasa tidak mudah untuk menarik kesimpulan.
Lagi pula, open source bukanlah obat mujarab, ada pengembang yang baik dan buruk, dan beberapa risiko keamanan publik, dll., Semua masalah yang sering dihadapi open source.
Dalam analisis terakhir, persaingan antara open source dan closed source adalah strategi persaingan yang berbeda, yang satu lebih memperhatikan perluasan pasar dan menetapkan standar, dan yang lain lebih memperhatikan profitabilitas dan teknologi terdepan.
Misalnya, Android dan iOS, Linux dan Windows mungkin tidak benar-benar menang atau kalah pada akhirnya, tetapi menemukan posisi wajar mereka sendiri di bawah kebutuhan yang berbeda.
Namun, tidak diragukan lagi bahwa Llama 2 telah menggemparkan seluruh pasar dan menyebabkan perubahan halus pada ekologi:
① Microsoft, salah satu pemegang saham OpenAI, telah menjadi mitra pilihan Llama 2 kali ini, dan Microsoft tampaknya bertaruh di kedua sisi.
② Meta mengumumkan bahwa Llama 2 akan dapat dijalankan pada chip Qualcomm, yang pasti akan menjadi tantangan bagi Nvidia, penguasa chip AI.
Singkatnya, drama dalam lingkaran model bahasa besar semakin rumit dan menarik.
Jika air keruh yang disebabkan oleh Llama 2 membuat era AI datang lebih cepat, harap diingat bahwa ini bukan hanya kredit Meta, tetapi juga kredit komunitas open source.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Di hadapan open source, OpenAI tidak memiliki parit: Hari ini, momen model besar Android ada di sini
Sumber asli: Zhiwei
Dalam enam bulan terakhir, OpenAI membuat kagum semua orang dengan GPT.
** Orang umumnya percaya bahwa kelahiran GPT adalah momen "iPhone" di era baru**, itu akan menjadi kunci pintu era baru AI model besar seperti iPhone yang membawa orang ke era Internet seluler.
Namun, dalam proses booming ** Internet seluler, tidak hanya pencapaian iPhone, tetapi juga pencapaian Android dan pabrikan ponsel kubu Android utama di belakangnya. **
Bahkan, dari sisi pengapalan saja, kontribusi kubu Android terhadap era internet seluler terlihat lebih besar.
**Dan sekarang, "momen Android" milik model bahasa besar AI akan datang. **
Pada 18 Juli waktu setempat, dini hari waktu Beijing, Meta merilis generasi terbaru model besar open source Llama 2.
Menurut data publik di situs resmi Meta, seri model Llama 2 yang dirilis kali ini mencakup varian model dengan tiga parameter yakni 7 miliar, 13 miliar, dan 70 miliar.
Llama 2 telah dilatih dengan 2 triliun token dan memiliki lebih dari 1 juta data yang dianotasi secara manual. Dibandingkan dengan Llama 1, Llama 2 memiliki data pelatihan 40% lebih banyak dan panjang konteks dua kali lipat.
Mungkin Anda akan merasa cibiran saat melihat Llama 2 kalah dengan GPT-3.5, toh yang terakhir telah berevolusi ke versi 4.0.
Namun, Anda harus memahami bahwa ketika Android pertama kali diluncurkan, itu juga sangat tidak beraturan, dan open source memungkinkan kubu Android untuk bersaing dengan iPhone sekarang. **
Oleh karena itu, sorotan terbesar dari rilis Llama 2 sebenarnya adalah:
**Meta selangkah lebih maju berbasis open source, memungkinkan model untuk digunakan secara bebas secara komersial. ** (Produk dengan lebih dari 700 juta pengguna aktif bulanan perlu mengajukan izin komersial secara terpisah, tetapi hanya sedikit perusahaan yang dapat memenuhi standar ini)
Yang Likun, pemenang Penghargaan Turing dan kepala ilmuwan Meta, juga mengatakan di Twitter bahwa ini akan mengubah pola pasar model bahasa besar:
** Open source adalah satu-satunya cara. Tidaklah beralasan untuk mengatakan bahwa rilis Llama 2 adalah "momen Android". Menggunakan open source untuk menguasai pasar adalah strategi kompetitif. **
Sesuai dengan open source komersial Llama 2, sikap OpenAI terhadap open source selalu ambigu.
Open source, atau gerakan open source, secara resmi dimulai pada akhir 1990. Peserta percaya pada kode sumber terbuka, berbagi informasi, dan penggunaan perangkat lunak secara gratis.
Kebangkitan Android dan popularitas GitHub tidak dapat dipisahkan dari open source. Sistem Linux juga lahir dalam gelombang pergerakan ini, router, sakelar, mesin cuci pintar, penanak nasi pintar, sakelar, server, dan perangkat lain saat ini dilengkapi dengan hampir semua jenis sistem Linux.
Termasuk keberhasilan pendaratan penjelajah Mars Amerika beberapa tahun lalu, juga melambangkan bahwa Mars telah menjadi planet kedua di mana jumlah komputer Linux melebihi jumlah Windows.
Namun di bidang model bahasa besar, pemimpin OpenAI tampaknya berlawanan dengan Open dalam namanya.
Meskipun pendiri OpenAI, Sam Altman, telah berulang kali menyebutkan di depan umum bahwa dia akan membuka kode sumber GPT-3 dan GPT-4 di masa mendatang,** sejauh ini masih cek kosong. **
Bahkan setelah Musk menarik diri dari OpenAI, dia juga secara terbuka membombardir OpenAI berkali-kali, tidak puas dengan keuntungan besar OpenAI dan secara bertahap menutup sumbernya.
Sutskever, kepala ilmuwan OpenAI, menjawab bahwa open source yang prematur akan membuat OpenAI kehilangan posisi terdepan dalam teknologi, dan kekuatan model bahasa besar sangat besar, dan open source mungkin memiliki risiko keamanan.
Tidak seperti rasa takut OpenAI dalam menghadapi open source, Meta adalah pendukung setia open source, dan telah mempromosikan proses sejarah AI sampai batas tertentu.
Dan keputusan Meta hari ini pasti ada kaitannya dengan kepala ilmuwan Meta, Yang Likun.
Zuckerberg menyadari prospek AI pada awal 2014. Setelah DeepMind akhirnya diakuisisi oleh Google, Zuckerberg berbalik dan menemukan Yang Likun, seorang tokoh besar di bidang akademik AI.
Yang Likun, yang pernah bekerja di Bell Labs yang terkenal, adalah salah satu pengembang "Jaringan Syaraf Konvolusional" (Convolutional Neural Network) yang saat itu mengajar di New York.
Yang Likun telah mencapai banyak hal selama masa jabatannya, seperti mengembangkan kerangka kerja AI Pytorch yang terkenal di dunia, meningkatkan GAN (jaringan konfrontasi generatif), meluncurkan model bahasa besar Llama dan model gambar AI SAM, dll.
**Seperti yang disepakati pada tahun-tahun itu, proyek-proyek ini semuanya open source. **
Di bawah gelombang model bahasa besar, model bahasa besar Llama juga sangat populer di komunitas open source.
Dalam komunitas open source seperti Hugging Face, ada semua jenis alpaka yang dimodifikasi secara ajaib (terjemahan Cina Llama adalah alpaka).
Termasuk Alpaca Stanford, Vicuna UCB... Berbagai model modifikasi berdasarkan LlamA telah muncul.
Dalam pandangannya, satu-satunya cara untuk membuat platform AI aman, bagus, dan bermanfaat adalah dengan membuatnya menjadi open source. **
Dengan kata lain, berbahaya jika teknologi berada di tangan segelintir orang, hanya dengan membiarkan kekuatan untuk mengawasi AI berevolusi pada saat yang sama, AI dapat dikendalikan sebanyak mungkin.
Saat ini, hanya open source yang dapat melakukannya untuk saat ini.
Secara umum, dalam gelombang model bahasa besar yang dipimpin oleh OpenAI, pasukan open source yang dipimpin oleh Meta dengan gila-gilaan menyerang kota dan daratan di komunitas open source.
Di sisi lain, konflik antara open source dan closed source semakin memanas.
Pada bulan Mei tahun ini, sebuah memo "secara tidak sengaja" dibocorkan oleh seorang peneliti Google menempatkan pertempuran di atas meja.
① AI sumber terbuka melanggar batas wilayah Google dan AI Terbuka;
②Model kecil lebih kompetitif daripada model besar;
③ Kualitas data jauh lebih penting daripada kuantitas data;
④Google tidak dapat mengalahkan sumber terbuka;
⑤ Google membutuhkan ekosistem open source lebih dari open source membutuhkan Google.
Singkatnya, artikel fasih dengan ribuan kata ini mengungkapkan pesan inti:
** Di hadapan open source, baik Google maupun OpenAI tidak memiliki parit. **
Jadi, melihat kembali Llama 2 yang dirilis kali ini, Meta langsung menghapus batasan penggunaan komersial, yang sebenarnya merupakan pasukan lain untuk kubu sumber tertutup.
Llama2 open source tidak hanya gratis, tetapi juga memungkinkan pengembang untuk menyesuaikannya sendiri, untuk memenuhi kebutuhan biaya rendah dan personalisasi sebagian besar perusahaan komersial.
Namun, pada akhirnya, siapa pemenang antara open source dan closed source, departemen redaksi Zhiwei merasa tidak mudah untuk menarik kesimpulan.
Lagi pula, open source bukanlah obat mujarab, ada pengembang yang baik dan buruk, dan beberapa risiko keamanan publik, dll., Semua masalah yang sering dihadapi open source.
Dalam analisis terakhir, persaingan antara open source dan closed source adalah strategi persaingan yang berbeda, yang satu lebih memperhatikan perluasan pasar dan menetapkan standar, dan yang lain lebih memperhatikan profitabilitas dan teknologi terdepan.
Misalnya, Android dan iOS, Linux dan Windows mungkin tidak benar-benar menang atau kalah pada akhirnya, tetapi menemukan posisi wajar mereka sendiri di bawah kebutuhan yang berbeda.
Namun, tidak diragukan lagi bahwa Llama 2 telah menggemparkan seluruh pasar dan menyebabkan perubahan halus pada ekologi:
① Microsoft, salah satu pemegang saham OpenAI, telah menjadi mitra pilihan Llama 2 kali ini, dan Microsoft tampaknya bertaruh di kedua sisi.
② Meta mengumumkan bahwa Llama 2 akan dapat dijalankan pada chip Qualcomm, yang pasti akan menjadi tantangan bagi Nvidia, penguasa chip AI.
Singkatnya, drama dalam lingkaran model bahasa besar semakin rumit dan menarik.
Jika air keruh yang disebabkan oleh Llama 2 membuat era AI datang lebih cepat, harap diingat bahwa ini bukan hanya kredit Meta, tetapi juga kredit komunitas open source.