- 話題
23k 熱度
217k 熱度
37k 熱度
175k 熱度
5k 熱度
- 置頂
- 🎤 爲偶像應援 · Gate送你直達 Token of Love！ 🎶
家人們，現在在Gate廣場爲 打 Token of Love CALL，20 張音樂節門票等你來瓜分！🔥
泫雅 / SUECO / DJ KAKA / CLICK#15 —— 你最期待誰？快來一起應援吧！
📌 參與方式（任選，參與越多中獎幾率越高！）
1️⃣ 本帖互動
點讚 & 轉發本帖 + 投票你最愛的藝人
評論區打出 “我在 Gate 廣場爲 Token of Love 打 Call ！”
2️⃣ 廣場發帖爲 TA 打 Call
帶上 #歌手名字# + #TokenOfLove#
發帖內容任選：
🎵 最想現場聽到的歌 + 心情宣言
📣 應援口號（例：泫雅女王衝鴨！Gate廣場全員打 Call！）
😎 自制表情包/海報/短視頻（加分項，更容易中獎！）
3️⃣ 推特 / 小紅書發帖打 Call
同樣帶上 #歌手名字# + #TokenOfLove#
內容同上，記得回鏈到表單 👉️ https://www.gate.com/questionnaire/7008
🎟️ 獎勵安排
廣場優質發帖用戶：8張門票
廣場幸運互動用戶：2張門票
Twitter 優質發帖用戶：5張門票
小紅書優質發帖用戶：5張門票
📌 優質帖文將根據文章豐富度、熱度、創意度綜合評分，禁止小號水貼，原創發帖更易獲獎！
🕒 8 - ✈️ Gate 廣場【Gate Travel 旅行分享官召集令】
廣場家人們注意啦！Gate Travel 已經上線～ 機票+酒店一站式預訂，還能用加密貨幣直接付款 💸
所以說，你的錢包和你的旅行夢終於可以談戀愛了 😎 💕
現在廣場開啓 #GateTravel旅行分享官# 活動，邀你來秀旅行靈感 & 使用體驗！💡
🌴 參與方式：
1️⃣ 在【廣場】帶話題 #Gate Travel 旅行分享官# 發帖
2️⃣ 你可以：
你最想用 Gate Travel 去的目的地（私藏小島 or 網紅打卡點都行）
講講用 Gate Travel 訂票/訂酒店的奇妙體驗
放放省錢/使用攻略，讓大家省到笑出聲
或者直接寫一篇輕鬆的 Gate Travel 旅行小故事
📦 獎勵安排，走起：
🏆 優秀分享官（1 名）：Gate 旅行露營套裝
🎖️ 熱門分享官（3 名）：Gate 旅行速乾套裝
🎉 幸運參與獎（5 名）：Gate 國際米蘭旅行小夜燈
*海外用戶 旅行露營套裝 以 $100 合約體驗券，旅行速乾套裝 以 $50 合約體驗券折算，國際米蘭旅行小夜燈以 $30合約體驗券折算。
📌 優質內容將有機會得到官方帳號轉發翻牌提升社區曝光！
📌 帖文將綜合互動量、內容豐富度和創意評分。禁止小號刷貼，原創分享更容易脫穎而出！
🕒 8月20 18:00 - 8月28日 24:00 UTC+
Stability AI 進軍編程領域，發布上下文窗口可達1.6 萬token 的工具StableCode
撰文：Sean Michael Kerner
來源：VentureBeat
Stability AI 因其Stable Diffusion 文本到圖像生成模型而聞名，但這並不是這家生成式人工智能初創公司有興趣開發的全部。 Stability AI 正在涉足代碼生成領域。
8 月8 日，Stability AI 宣布首次公開發布StableCode，這是其新的開放式大型語言模型（LLM），旨在幫助用戶生成編程語言代碼。 StableCode 有三個不同級別：適用於一般用例的基礎模型、指令模型和可支持多達16000 個token 的長上下文窗口模型。
StableCode 模型得益於來自開源BigCode 項目的初始編程語言數據集，以及Stability AI 提供的額外過濾和微調。最初，StableCode 將支持Python、Go、Java、Java、C、Markdown 和C++ 編程語言的開發。
Stability AI 研究主管Christian Laforte 在接受VentureBeat 獨家採訪時說：“我們希望利用這種模型做與Stable Diffusion 類似的事情，而後者旨在幫助世界上的每個人成為藝術家。”“我們想用StableCode 模式做同樣的事情：基本上讓任何有好想法的人都能寫出一個程序來解決這個問題。”
StableCode：建立在BigCode 和大創意之上
任何LLM 的訓練都依賴於數據，而對於StableCode 來說，這些數據來自BigCode 項目。使用BigCode 作為LLM 生成式人工智能代碼工具的基礎並不是一個新想法。 HuggingFace 和ServiceNow 早在今年5 月就推出了開放式StarCoder LLM，其基礎就是BigCode。
Stability AI 首席研究科學家Nathan Cooper 在接受VentureBeat 獨家採訪時解釋說，StableCode 的訓練涉及對BigCode 數據的大量過濾和清理。
“我們很喜歡BigCode，他們在數據治理、模型治理和模型訓練方面做了很多了不起的工作，“Cooper 說。 ”我們採用了他們的數據集，並應用了額外的質量過濾器，還構建了大上下文窗口版本的模型，然後在我們的集群上進行了訓練。”
Cooper 說，除了BigCode 核心模型之外，Stability AI 還執行了許多訓練步驟。這些步驟包括對特定編程語言的連續訓練。根據官網描述，StableCode 在其高性能計算集群上，用5600 億代碼token 對模型進行了訓練。
“它採用了一種與自然語言領域非常相似的方法，即首先對通用模型進行預訓練，然後在一組特殊的任務上對其進行微調，在這種情況下就是對語言進行微調。” Cooper 說。
StableCode 更長的token 長度將改變代碼生成的遊戲規則
除了BigCode 基礎之外，StableCode 的長上下文版本還能為用戶帶來帶來顯著的好處。
StableCode 的長上下文窗口版本具有16,000 個token 的上下文窗口，Stability AI 稱這比其他任何模型都要大。 Cooper 解釋說，較長的上下文窗口可以使用更專業、更複雜的代碼生成提示。這也意味著用戶可以讓StableCode 查看包含多個文件的中等規模代碼庫，以幫助理解和生成新代碼。
Cooper 說：“你可以使用這個較長的上下文窗口，讓模型更多地了解你的代碼庫，以及其他文件中定義了哪些功能。”“這樣，當它提出代碼建議時，就能更符合你的代碼庫和需求。”
利用RoPE 更好地生成代碼
與所有現代人工智能生成模型一樣，StableCode 也是基於transformer 神經網絡。
StableCode 沒有使用ALiBi（Attention with Linear Biases）方法來定位transformer 模型中的輸出（StarCoder 在其開放式生成式人工智能編碼模型中使用了這種方法），而是使用了一種稱為RoPE 的方法。
Cooper 說，transformer 模型中的ALiBi 方法傾向於更多地權衡當前的token，而不是過去的token。在他看來，這對代碼來說並不是一種理想的方法，因為與自然語言不同，代碼並沒有一個具有開頭、中間和結尾的固定敘事結構。代碼功能可以為應用流程中的任何一點進行定義。
“我認為，代碼本身並不適合這種權衡現在比過去更重要的想法，所以我們使用……RoPE，[它] 不存在這種偏見。”
目前，StableCode 還處於早期階段，首次發布的目標是了解開發人員將如何接受和使用該模型。
Cooper 說：“我們將與社區進行互動和合作，看看他們會提出哪些很酷的方向，並探索生成式開發者空間。”