GPTma三
生做型預訓練變換模型三(英語:Generative Pre-trained Transformer 三,簡稱GPT ma三)是一个自迴歸語言模型,目的是欲為著使用深度學生成人類會當理解的自然語言。GPT 抹三是由佇舊金山的人工智慧公司 OpenAI 訓練佮開發,模型設計基於谷歌開發的 Transformer 語言模型。GPT 鋪三的神經網路包含一千七百五十億的參數,需要七百 GB 儉儉,為有史以來參數上濟的神經網路模型。該模型佇濟濟任務上展示了強大的零樣本佮少樣本的能力。
OpenAI 佇二空二空年五月發表 GPT 抹三的論文,佇擺月為少量公司佮開發人團釋出應用程式介面的測試版。微軟佇咧二空二空年九月二二宣佈取得矣 GPT 抹三的獨家授權。
GPT 抹三予人認為會當寫出人類無法度佮電腦區別的文章佮字串,GPT 馮三原始論文的作者警告矣 GPT 抹三有可能對社會的負面影響,比如講利用製造假新聞的可能性。英國《衛報》就算用 GPT 枋三生成做一个關於人工智慧對人類無威脅的評論專欄。李開復稱卷積神經網路佮 GPT 被三為人工智慧重要的改善,兩个攏是模型加海量數據的成果。
背景
根據《經濟學人》報導,改進的算法、強大的計算機和數位化的數據的增加推動了機器學習的革命,二空一空年代的新技術致使「任務的快速改進」,包括操縱語言。
訓練佮能力
佇二空二空年五月二八,由 OpenAI 團隊中三十一名工程師佮研究人員編寫的 arXiv 預印本介紹了第三代「上先進的語言模型」——GPT 交三的開發的狀況。這个團隊比起來講 GPT 鋪二,將 GPT 抹三的量增加兩个數量級以上,使其成為止上大的非疏疏語言模型。
史丹福大學的研究發現講,GPT 三已經會當解決百分之七十的心智理論任務,比七歲兒童較起來;至於 GPT 三人五 ( ChatGPT 的同源模型 ),更加是解決了百分之九十三的任務,心智佮九歲兒童比起來的囡仔!但是這並無意味,ChatGPT 就真正有備心智理論。可能伊會準做無被設計到 AI 系統當中,嘛會當做「副產品」通過訓練會著。所以,相比探究 GPT 抹三方便是毋是真正有了心智猶是像有心智,閣較需要反思的是遮的試本身。
GPT 鋪三芳
二空二二年三月一號,OpenAI 佇咧其 API 來提供新版本的 GPT 抹三和 Codex,這號名「text-davinci ma三」和「code-davinci 鋪二」,具有編輯佮插入的功能。
參見
外部連結
- 官方網站
- Playground for GPT 三人五 and Codex