Trong sáu tháng qua, OpenAI đã khiến mọi người kinh ngạc với GPT.
Mọi người thường cho rằng sự ra đời của GPT là thời khắc "iPhone" của thời đại mới, nó sẽ trở thành chìa khóa mở ra thời đại mới của các mẫu máy lớn AI giống như iPhone đã đưa con người đến với thời đại Internet di động.
Tuy nhiên, trong quá trình bùng nổ của ** Internet di động, không chỉ có thành tựu của iPhone mà còn có thành tựu của Android và các nhà sản xuất điện thoại di động trại Android lớn đứng sau nó. **
Thậm chí, chỉ xét từ góc độ doanh số, sự đóng góp của trại Android cho kỷ nguyên Internet di động dường như còn lớn hơn.
**Và giờ đây, "Khoảnh khắc Android" thuộc mô hình ngôn ngữ lớn AI sắp ra mắt. **
Vào ngày 18 tháng 7 theo giờ địa phương, vào sáng sớm giờ Bắc Kinh, Meta đã phát hành thế hệ mô hình lớn mã nguồn mở mới nhất Llama 2.
Theo dữ liệu được công khai trên trang web chính thức của Meta, loạt mô hình Llama 2 được phát hành lần này bao gồm các mô hình biến thể với ba thông số là 7 tỷ, 13 tỷ và 70 tỷ.
Llama 2 đã được đào tạo với 2 nghìn tỷ mã thông báo và có hơn 1 triệu dữ liệu được chú thích thủ công. So với Llama 1, Llama 2 có thêm 40% dữ liệu huấn luyện và gấp đôi độ dài ngữ cảnh.
Sau lần nâng cấp này, theo các bài báo đã xuất bản của Meta, mặc dù Llama 2 vẫn thua kém GPT-3.5 trong các thử nghiệm mô hình quy mô lớn khác nhau, nhưng so với điểm chạy của các mô hình quy mô lớn mã nguồn mở hiện tại, nó đã đạt được mức độ tương tự như vụ thảm sát.
So sánh điểm chạy của Llama 2 với GPT và PaLM
So sánh điểm số của Llama 2 và các mô hình lớn mã nguồn mở khác
Có lẽ bạn sẽ cảm thấy khinh bỉ khi thấy Llama 2 thua kém GPT-3.5, dù sao thì cái sau cũng đã phát triển lên phiên bản 4.0.
Tuy nhiên, bạn phải hiểu rằng khi Android lần đầu tiên ra mắt, nó cũng rất sơ sài và nguồn mở đã cho phép trại Android cạnh tranh với iPhone bây giờ. **
Do đó, điểm nổi bật lớn nhất của việc phát hành Llama 2 thực sự là:
**Meta tiến thêm một bước trên cơ sở nguồn mở, cho phép mô hình được sử dụng tự do về mặt thương mại. ** (Các sản phẩm có hơn 700 triệu người dùng hoạt động hàng tháng cần xin phép thương mại riêng, nhưng ít công ty có thể đáp ứng tiêu chuẩn này)
Yang Likun, người chiến thắng giải thưởng Turing và là nhà khoa học trưởng của Meta, cũng cho biết trên Twitter rằng điều này sẽ thay đổi mô hình của thị trường mô hình ngôn ngữ lớn:
Bộ phận biên tập của Zhiwei cũng đã liên hệ với Viện nghiên cứu trí tuệ nhân tạo Zhiyuan, một tổ chức khá có ảnh hưởng trong giới học thuật và cộng đồng nguồn mở.
**Mã nguồn mở là con đường duy nhất, không ngoa khi nói Llama 2 là "thời điểm Android", sử dụng mã nguồn mở để chiếm lĩnh thị trường là một chiến lược cạnh tranh. **
Tương ứng với nguồn mở thương mại của Llama 2, thái độ của OpenAI đối với nguồn mở luôn mơ hồ.
Mã nguồn mở, hay phong trào mã nguồn mở, chính thức bắt đầu vào cuối những năm 1990. Những người tham gia tin tưởng vào mã nguồn mở, chia sẻ thông tin và sử dụng miễn phí phần mềm.
Sự trỗi dậy của Android và sự phổ biến của GitHub đều không thể tách rời khỏi nguồn mở. Hệ thống Linux cũng ra đời trong làn sóng chuyển động này, ngày nay các bộ định tuyến, bộ chuyển mạch, máy giặt thông minh, nồi cơm điện thông minh, bộ chuyển mạch, máy chủ và các thiết bị khác đều được trang bị trên hầu hết các loại hệ thống Linux.
Bao gồm cả việc hạ cánh thành công của tàu thám hiểm sao Hỏa của Mỹ vài năm trước, nó cũng tượng trưng rằng sao Hỏa đã trở thành hành tinh thứ hai có số lượng máy tính Linux vượt quá số lượng máy tính Windows.
Không ngoa khi nói rằng nguồn mở ngày nay đã thay đổi mô hình hợp tác và đổi mới của phần mềm và thay đổi bối cảnh công nghệ.
Nhưng trong lĩnh vực mô hình ngôn ngữ lớn, OpenAI dẫn đầu dường như chạy ngược lại với Open trong tên.
Mặc dù người sáng lập OpenAI, Sam Altman, đã nhiều lần đề cập trước công chúng rằng ông sẽ mở mã nguồn của GPT-3 và GPT-4 trong tương lai,** cho đến nay đây vẫn là một sự kiểm tra trống. **
Ngay cả sau khi Musk rút khỏi OpenAI, ông cũng nhiều lần công khai đả kích OpenAI, tỏ ra không hài lòng với lợi nhuận khổng lồ của OpenAI và dần dần đóng nguồn.
Sutskever, nhà khoa học trưởng của OpenAI, trả lời rằng nguồn mở quá sớm sẽ khiến OpenAI mất đi vị trí dẫn đầu về công nghệ, sức mạnh của mô hình ngôn ngữ lớn là rất lớn và nguồn mở có thể tiềm ẩn rủi ro về bảo mật.
Musk đặt câu hỏi liệu OpenAI không phải là Open
Không giống như sự rụt rè của OpenAI đối với mã nguồn mở, Meta là người ủng hộ nhiệt tình cho mã nguồn mở và đã thúc đẩy quá trình lịch sử của AI ở một mức độ nhất định.
Và quyết định của Meta ngày hôm nay chắc hẳn có liên quan đến nhà khoa học trưởng của Meta, Yang Likun.
Ngay từ năm 2014, Zuckerberg đã nhận ra triển vọng của AI, sau khi DeepMind cuối cùng được Google mua lại, Zuckerberg đã quay lại và tìm thấy Yang Likun, một ông lớn trong lĩnh vực học thuật AI.
Yang Likun, người từng làm việc tại Bell Labs nổi tiếng, là một trong những người phát triển "Mạng thần kinh chuyển đổi", lúc đó ông đang giảng dạy ở New York.
Theo báo cáo của VOX, để có được ngựa lớn Yang Likun, Zuckerberg đã hứa rằng kết quả nghiên cứu khoa học phải là nguồn mở, phòng thí nghiệm phải được xây dựng ở New York và nhóm thử nghiệm không cần tính đến lợi nhuận.
Yang Likun đã đạt được rất nhiều thành tựu trong nhiệm kỳ của mình, chẳng hạn như phát triển khung AI nổi tiếng thế giới Pytorch, cải thiện GAN (mạng đối đầu chung), ra mắt mô hình ngôn ngữ lớn Llama và mô hình hình ảnh AI SAM, v.v.
** Như đã thỏa thuận trong những năm đó, tất cả các dự án này đều là nguồn mở. **
Dưới làn sóng của các mô hình ngôn ngữ lớn, mô hình ngôn ngữ lớn Llama cũng rất phổ biến trong cộng đồng mã nguồn mở.
Trong các cộng đồng nguồn mở như Ôm mặt, có đủ loại lạc đà không bướu được biến đổi một cách kỳ diệu (bản dịch tiếng Trung của Llama là lạc đà không bướu).
Bao gồm Alpaca của Stanford, Vicuna của UCB... Nhiều mô hình sửa đổi khác nhau dựa trên LlamA đã xuất hiện.
Trong nhiều danh sách điểm chạy mô hình lớn, theo GPT-3.5 và GPT-4, hầu hết tất cả các danh sách giết mổ gia đình alpaca.
Ngoài ra, Yang Likun không đồng ý với lý do mã nguồn đóng của OpenAI vì lý do bảo mật.
Theo quan điểm của ông, cách duy nhất để làm cho một nền tảng AI trở nên an toàn, tốt và hữu ích là mã nguồn mở cho nó. **
Nói cách khác, công nghệ nằm trong tay một số ít người là rất nguy hiểm, chỉ bằng cách cho phép quyền giám sát AI phát triển đồng thời, AI mới có thể được kiểm soát nhiều nhất có thể.
Hiện tại, chỉ có nguồn mở có thể làm điều đó trong thời điểm hiện tại.
Nhìn chung, trong làn sóng các mô hình ngôn ngữ lớn do OpenAI dẫn đầu, đội quân nguồn mở do Meta dẫn đầu đang tấn công điên cuồng vào các thành phố và đất đai trong cộng đồng nguồn mở.
Mặt khác, xung đột giữa nguồn mở và nguồn đóng đang dần nóng lên.
Vào tháng 5 năm nay, một bản ghi nhớ "vô tình" bị rò rỉ bởi một nhà nghiên cứu của Google đã đặt cuộc chiến lên bàn cân.
Bộ phận biên tập của Zhiwei đã tóm tắt ngắn gọn những điểm chính được các nhà nghiên cứu của Google đề cập trong bản ghi nhớ này:
① AI mã nguồn mở đang lấn chiếm lãnh thổ của Google và Open AI;
②Mô hình nhỏ cạnh tranh hơn mô hình lớn;
③ Chất lượng dữ liệu quan trọng hơn nhiều so với số lượng dữ liệu;
④Google không thể đánh bại nguồn mở;
⑤ Google cần một hệ sinh thái nguồn mở hơn là nguồn mở cần Google.
Tóm lại, bài báo hùng hồn với hàng ngàn từ này tiết lộ một thông điệp cốt lõi:
** Đối mặt với mã nguồn mở, cả Google và OpenAI đều không có lợi thế. **
Vì vậy, nhìn lại Llama 2 được phát hành lần này, Meta đã trực tiếp loại bỏ các hạn chế đối với mục đích sử dụng thương mại, đây thực sự là một đội quân khác dành cho trại mã nguồn đóng.
Mã nguồn mở Llama2 không chỉ miễn phí mà còn cho phép các nhà phát triển tự điều chỉnh nó, để đáp ứng nhu cầu cá nhân hóa và chi phí thấp của hầu hết các công ty thương mại.
Tuy nhiên, cuối cùng ai là người chiến thắng giữa nguồn mở và nguồn đóng, ban biên tập Zhiwei cảm thấy không dễ để đưa ra kết luận.
Xét cho cùng, nguồn mở không phải là thuốc chữa bách bệnh, có nhà phát triển tốt và xấu, và một số rủi ro bảo mật công cộng, v.v., đều là những vấn đề mà nguồn mở thường gặp phải.
Trong phân tích cuối cùng, sự cạnh tranh giữa nguồn mở và nguồn đóng là một chiến lược cạnh tranh khác nhau, một bên quan tâm nhiều hơn đến việc mở rộng thị trường và thiết lập các tiêu chuẩn, còn bên kia quan tâm nhiều hơn đến lợi nhuận và dẫn đầu về công nghệ của chính mình.
Ví dụ: Android và iOS, Linux và Windows có thể không thực sự thắng hay thua cuối cùng, nhưng tìm thấy vị trí hợp lý của riêng mình theo các nhu cầu khác nhau.
Tuy nhiên, không còn nghi ngờ gì nữa, Llama 2 đã khuấy động toàn bộ thị trường và gây ra những thay đổi tinh tế trong hệ sinh thái:
① Microsoft, một trong những cổ đông của OpenAI, lần này đã trở thành đối tác ưu tiên của Llama 2 và Microsoft dường như đang đặt cược vào cả hai bên.
② Meta đã thông báo rằng Llama 2 sẽ có thể chạy trên chip Qualcomm, đây chắc chắn sẽ là một thách thức đối với Nvidia, chúa tể của chip AI.
Nói tóm lại, bộ phim trong giới người mẫu ngôn ngữ lớn ngày càng phức tạp và thú vị hơn.
Nếu nước đục ngầu do Llama 2 gây ra khiến kỷ nguyên AI đến sớm hơn, xin hãy nhớ rằng đây không chỉ là công lao của Meta mà còn là công lao của cộng đồng mã nguồn mở.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Đối mặt với nguồn mở, OpenAI không có lợi thế: Hôm nay, khoảnh khắc Android của mô hình lớn là đây
Nguồn gốc: Zhiwei
Trong sáu tháng qua, OpenAI đã khiến mọi người kinh ngạc với GPT.
Mọi người thường cho rằng sự ra đời của GPT là thời khắc "iPhone" của thời đại mới, nó sẽ trở thành chìa khóa mở ra thời đại mới của các mẫu máy lớn AI giống như iPhone đã đưa con người đến với thời đại Internet di động.
Tuy nhiên, trong quá trình bùng nổ của ** Internet di động, không chỉ có thành tựu của iPhone mà còn có thành tựu của Android và các nhà sản xuất điện thoại di động trại Android lớn đứng sau nó. **
Thậm chí, chỉ xét từ góc độ doanh số, sự đóng góp của trại Android cho kỷ nguyên Internet di động dường như còn lớn hơn.
**Và giờ đây, "Khoảnh khắc Android" thuộc mô hình ngôn ngữ lớn AI sắp ra mắt. **
Vào ngày 18 tháng 7 theo giờ địa phương, vào sáng sớm giờ Bắc Kinh, Meta đã phát hành thế hệ mô hình lớn mã nguồn mở mới nhất Llama 2.
Theo dữ liệu được công khai trên trang web chính thức của Meta, loạt mô hình Llama 2 được phát hành lần này bao gồm các mô hình biến thể với ba thông số là 7 tỷ, 13 tỷ và 70 tỷ.
Llama 2 đã được đào tạo với 2 nghìn tỷ mã thông báo và có hơn 1 triệu dữ liệu được chú thích thủ công. So với Llama 1, Llama 2 có thêm 40% dữ liệu huấn luyện và gấp đôi độ dài ngữ cảnh.
Có lẽ bạn sẽ cảm thấy khinh bỉ khi thấy Llama 2 thua kém GPT-3.5, dù sao thì cái sau cũng đã phát triển lên phiên bản 4.0.
Tuy nhiên, bạn phải hiểu rằng khi Android lần đầu tiên ra mắt, nó cũng rất sơ sài và nguồn mở đã cho phép trại Android cạnh tranh với iPhone bây giờ. **
Do đó, điểm nổi bật lớn nhất của việc phát hành Llama 2 thực sự là:
**Meta tiến thêm một bước trên cơ sở nguồn mở, cho phép mô hình được sử dụng tự do về mặt thương mại. ** (Các sản phẩm có hơn 700 triệu người dùng hoạt động hàng tháng cần xin phép thương mại riêng, nhưng ít công ty có thể đáp ứng tiêu chuẩn này)
Yang Likun, người chiến thắng giải thưởng Turing và là nhà khoa học trưởng của Meta, cũng cho biết trên Twitter rằng điều này sẽ thay đổi mô hình của thị trường mô hình ngôn ngữ lớn:
**Mã nguồn mở là con đường duy nhất, không ngoa khi nói Llama 2 là "thời điểm Android", sử dụng mã nguồn mở để chiếm lĩnh thị trường là một chiến lược cạnh tranh. **
Tương ứng với nguồn mở thương mại của Llama 2, thái độ của OpenAI đối với nguồn mở luôn mơ hồ.
Mã nguồn mở, hay phong trào mã nguồn mở, chính thức bắt đầu vào cuối những năm 1990. Những người tham gia tin tưởng vào mã nguồn mở, chia sẻ thông tin và sử dụng miễn phí phần mềm.
Sự trỗi dậy của Android và sự phổ biến của GitHub đều không thể tách rời khỏi nguồn mở. Hệ thống Linux cũng ra đời trong làn sóng chuyển động này, ngày nay các bộ định tuyến, bộ chuyển mạch, máy giặt thông minh, nồi cơm điện thông minh, bộ chuyển mạch, máy chủ và các thiết bị khác đều được trang bị trên hầu hết các loại hệ thống Linux.
Bao gồm cả việc hạ cánh thành công của tàu thám hiểm sao Hỏa của Mỹ vài năm trước, nó cũng tượng trưng rằng sao Hỏa đã trở thành hành tinh thứ hai có số lượng máy tính Linux vượt quá số lượng máy tính Windows.
Nhưng trong lĩnh vực mô hình ngôn ngữ lớn, OpenAI dẫn đầu dường như chạy ngược lại với Open trong tên.
Mặc dù người sáng lập OpenAI, Sam Altman, đã nhiều lần đề cập trước công chúng rằng ông sẽ mở mã nguồn của GPT-3 và GPT-4 trong tương lai,** cho đến nay đây vẫn là một sự kiểm tra trống. **
Ngay cả sau khi Musk rút khỏi OpenAI, ông cũng nhiều lần công khai đả kích OpenAI, tỏ ra không hài lòng với lợi nhuận khổng lồ của OpenAI và dần dần đóng nguồn.
Sutskever, nhà khoa học trưởng của OpenAI, trả lời rằng nguồn mở quá sớm sẽ khiến OpenAI mất đi vị trí dẫn đầu về công nghệ, sức mạnh của mô hình ngôn ngữ lớn là rất lớn và nguồn mở có thể tiềm ẩn rủi ro về bảo mật.
Không giống như sự rụt rè của OpenAI đối với mã nguồn mở, Meta là người ủng hộ nhiệt tình cho mã nguồn mở và đã thúc đẩy quá trình lịch sử của AI ở một mức độ nhất định.
Và quyết định của Meta ngày hôm nay chắc hẳn có liên quan đến nhà khoa học trưởng của Meta, Yang Likun.
Ngay từ năm 2014, Zuckerberg đã nhận ra triển vọng của AI, sau khi DeepMind cuối cùng được Google mua lại, Zuckerberg đã quay lại và tìm thấy Yang Likun, một ông lớn trong lĩnh vực học thuật AI.
Yang Likun, người từng làm việc tại Bell Labs nổi tiếng, là một trong những người phát triển "Mạng thần kinh chuyển đổi", lúc đó ông đang giảng dạy ở New York.
Yang Likun đã đạt được rất nhiều thành tựu trong nhiệm kỳ của mình, chẳng hạn như phát triển khung AI nổi tiếng thế giới Pytorch, cải thiện GAN (mạng đối đầu chung), ra mắt mô hình ngôn ngữ lớn Llama và mô hình hình ảnh AI SAM, v.v.
** Như đã thỏa thuận trong những năm đó, tất cả các dự án này đều là nguồn mở. **
Dưới làn sóng của các mô hình ngôn ngữ lớn, mô hình ngôn ngữ lớn Llama cũng rất phổ biến trong cộng đồng mã nguồn mở.
Trong các cộng đồng nguồn mở như Ôm mặt, có đủ loại lạc đà không bướu được biến đổi một cách kỳ diệu (bản dịch tiếng Trung của Llama là lạc đà không bướu).
Bao gồm Alpaca của Stanford, Vicuna của UCB... Nhiều mô hình sửa đổi khác nhau dựa trên LlamA đã xuất hiện.
Theo quan điểm của ông, cách duy nhất để làm cho một nền tảng AI trở nên an toàn, tốt và hữu ích là mã nguồn mở cho nó. **
Nói cách khác, công nghệ nằm trong tay một số ít người là rất nguy hiểm, chỉ bằng cách cho phép quyền giám sát AI phát triển đồng thời, AI mới có thể được kiểm soát nhiều nhất có thể.
Hiện tại, chỉ có nguồn mở có thể làm điều đó trong thời điểm hiện tại.
Nhìn chung, trong làn sóng các mô hình ngôn ngữ lớn do OpenAI dẫn đầu, đội quân nguồn mở do Meta dẫn đầu đang tấn công điên cuồng vào các thành phố và đất đai trong cộng đồng nguồn mở.
Mặt khác, xung đột giữa nguồn mở và nguồn đóng đang dần nóng lên.
Vào tháng 5 năm nay, một bản ghi nhớ "vô tình" bị rò rỉ bởi một nhà nghiên cứu của Google đã đặt cuộc chiến lên bàn cân.
① AI mã nguồn mở đang lấn chiếm lãnh thổ của Google và Open AI;
②Mô hình nhỏ cạnh tranh hơn mô hình lớn;
③ Chất lượng dữ liệu quan trọng hơn nhiều so với số lượng dữ liệu;
④Google không thể đánh bại nguồn mở;
⑤ Google cần một hệ sinh thái nguồn mở hơn là nguồn mở cần Google.
Tóm lại, bài báo hùng hồn với hàng ngàn từ này tiết lộ một thông điệp cốt lõi:
** Đối mặt với mã nguồn mở, cả Google và OpenAI đều không có lợi thế. **
Vì vậy, nhìn lại Llama 2 được phát hành lần này, Meta đã trực tiếp loại bỏ các hạn chế đối với mục đích sử dụng thương mại, đây thực sự là một đội quân khác dành cho trại mã nguồn đóng.
Mã nguồn mở Llama2 không chỉ miễn phí mà còn cho phép các nhà phát triển tự điều chỉnh nó, để đáp ứng nhu cầu cá nhân hóa và chi phí thấp của hầu hết các công ty thương mại.
Tuy nhiên, cuối cùng ai là người chiến thắng giữa nguồn mở và nguồn đóng, ban biên tập Zhiwei cảm thấy không dễ để đưa ra kết luận.
Xét cho cùng, nguồn mở không phải là thuốc chữa bách bệnh, có nhà phát triển tốt và xấu, và một số rủi ro bảo mật công cộng, v.v., đều là những vấn đề mà nguồn mở thường gặp phải.
Trong phân tích cuối cùng, sự cạnh tranh giữa nguồn mở và nguồn đóng là một chiến lược cạnh tranh khác nhau, một bên quan tâm nhiều hơn đến việc mở rộng thị trường và thiết lập các tiêu chuẩn, còn bên kia quan tâm nhiều hơn đến lợi nhuận và dẫn đầu về công nghệ của chính mình.
Ví dụ: Android và iOS, Linux và Windows có thể không thực sự thắng hay thua cuối cùng, nhưng tìm thấy vị trí hợp lý của riêng mình theo các nhu cầu khác nhau.
Tuy nhiên, không còn nghi ngờ gì nữa, Llama 2 đã khuấy động toàn bộ thị trường và gây ra những thay đổi tinh tế trong hệ sinh thái:
① Microsoft, một trong những cổ đông của OpenAI, lần này đã trở thành đối tác ưu tiên của Llama 2 và Microsoft dường như đang đặt cược vào cả hai bên.
② Meta đã thông báo rằng Llama 2 sẽ có thể chạy trên chip Qualcomm, đây chắc chắn sẽ là một thách thức đối với Nvidia, chúa tể của chip AI.
Nói tóm lại, bộ phim trong giới người mẫu ngôn ngữ lớn ngày càng phức tạp và thú vị hơn.
Nếu nước đục ngầu do Llama 2 gây ra khiến kỷ nguyên AI đến sớm hơn, xin hãy nhớ rằng đây không chỉ là công lao của Meta mà còn là công lao của cộng đồng mã nguồn mở.