国产中文字幕一区二区三区_青青久久av_久久精品国产99国产精品_欧美日韩国产亚洲一区

優設問答你的職場經驗書

大白(●—●) 邀你回答

2024/04/25

蘋果也加入AI革新浪潮了,OpenELM 大模型開源,大模型領域會迎來新風向嗎?

4月24日,蘋果開源了大語言模型OpenELM。這與微軟剛開源的Phi-3 Mini類似,是一款專門針對手機等移動設備的模型。

以下是一些重點信息的摘要: 1. 開源OpenELM: 蘋果公司開源了一個名為OpenELM的大語言模型,這與微軟開源的Phi-3 Mini類似,是專為移動設備設計的模型。 2. 模型參數: OpenELM提供了四種不同參數規模的模型,分別是2.7億、4.5億、11億和30億參數。 3. 功能: 該模型能夠執行生成文本、代碼、翻譯、總結摘要等功能。 4. 預訓練數據: 盡管最小的模型只有2.7億參數,但蘋果使用了1.8萬億tokens的數據進行預訓練,這是其小參數下仍能表現出色的原因之一。 5. 深度神經網絡庫CoreNet: 蘋果同時開源了用于訓練OpenELM的深度神經網絡庫CoreNet,該庫在開源后不久就在GitHub上獲得了超過1100個星標。 6. 蘋果的開源策略: 蘋果通常在手機領域采取閉源策略,但此次開源可能是為了吸引用戶,未來可能會推出閉源產品實現商業化。 7. 技術貢獻: 蘋果不僅發布了模型權重和推理代碼,還發布了完整的訓練和評估框架,包括數據準備、模型訓練、微調和評估流程,以及多個預訓練檢查點和訓練日志。 8. OpenELM架構: OpenELM的架構,包括其技術創新點,如無編碼器的transformer架構、層級縮放策略、不使用全連接層中的可學習偏置參數等。 9. 訓練流程與數據集: 蘋果使用CoreNet作為訓練框架,Adam優化算法,以及動態分詞和數據過濾的方法。

開源地址:https://huggingface.co/collections/apple/openelm-instruct-models-6619ad295d7ae9f868b759ca?ref=maginative.com CoreNet地址:https://github.com/apple/corenet?ref=maginative.com 論文地址:https://arxiv.org/abs/2404.14619

點贊 9 回答 2

大白(●—●) 邀你回答

2024/04/19

開源大模型 Llama 3 發布,又一 GPT-4 級模型來了,它能干得過 GPT-4 么?

哎呀,昨晚 Meta 發布被稱為最強開源的 Llama 3 系列模型了,大晚上扔了個炸彈啊!說實話,這事兒也不算太意外,畢竟 Meta 總是喜歡搞點大動作。他們這次帶來的就是那個自稱“有史以來最牛”的開源大模型——Llama 3系列。 咱們設計師,又可以借助這個新模型好好發揮一番了!

一起看看這個 GPT-4 級模型,它能干得過 GPT-4 么?

Llama 3模型的特點 - 規模與性能:Meta開源了兩款不同規模的Llama 3模型,分別是8B和70B參數規模。Llama 3 8B在性能上與Llama 2 70B相當,而Llama 3 70B則在性能上媲美甚至超越了其他頂尖AI模型。 - 技術改進:Llama 3在預訓練和后訓練方面都有所改進,優化了模型的一致性和響應多樣性,降低了出錯率。 - 多模態與多語言:未來幾個月,Meta將推出具備多模態、多語言對話和更長上下文窗口的新模型,其中包括超過400B的模型,預計將與現有的頂尖模型競爭。

Llama 3的性能測試 - 基準測試:Llama 3在多個測試中得分超越了其他同類模型,顯示出其在推理、代碼生成和遵循指令等方面的突破性提升。 - 人類評估數據集:Meta開發了一套新的高質量人類評估數據集,用于準確研究模型性能。

開源與閉源的辯論 - 開源優勢:Meta堅定地支持開源路線,認為這有助于推動社區和公司雙方的創新。 - 未來展望:盡管Llama 3為開源模型贏得了一場勝利,但關于開源與閉源的辯論仍在繼續。未來,可能會有更高性能的模型出現,為這場辯論帶來新的轉折。

附上 Llama 3 體驗地址:https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct

點贊 20 回答 2

128位高手大咖在線答疑解惑

說清楚

完整的描述具體問題和細節

1

耐心等

回答問題需要認真思考,請耐心等待

2

巧咨詢

還有疑問?及時追問獲取更多答案

3
我要提問
主站蜘蛛池模板: 台北市| 吉木萨尔县| 平潭县| 清水县| 雷州市| 阳江市| 桐城市| 察哈| 汕尾市| 德保县| 康乐县| 宁安市| 拜泉县| 乌审旗| 黄山市| 红原县| 泸水县| 岐山县| 西华县| 陵水| 施甸县| 玛曲县| 汉川市| 汉阴县| 虎林市| 木兰县| 襄垣县| 固原市| 辽宁省| 丰都县| 拉孜县| 额尔古纳市| 浑源县| 杂多县| 宁强县| 宁安市| 忻城县| 合山市| 华蓥市| 冕宁县| 托克逊县|