GPT(語言模型)

因為轉換器的生成式預訓練模型（Generative pre-trained transformers ; GPT）是 OpenAI 開發的一系列延伸自轉換器架構（Transformer）的自然語言生成模型。伊會當進行微調以完成各種自然語言處理任務，比如講文字生彼个成、代碼生成、影片生成、文字問答、圖像生成、論文寫作、影視創作、科學實驗設計等。是因為大量的語料資料上訓練，以生成類似咱人自然語言的文字。這个名稱中的「預訓練」是咧講大型的文字語料庫上大的初初訓練的過程，其中模型學習預測文章中下一个單詞，這為模型佇有限量的任務特定資料的下游任務內底表現好提供了堅實的基礎。

應用

• ChatGPT( Chat Generative Pre-trained Transformer，因為轉換器的互動式生成式預訓練模型）是由 OpenAI 佇二空二二年十一月三十日發布的一款開講機器人。伊採用的是 GPT 鋪三芳，應用矣「因為人類回饋的強化學習方案」（Reinforcement Learning from Human Feedback，RLHF）。
• BioGPT是由微軟開發的一種專注於生物醫學領域的 GPT 模型。
• ProtGPT 二是一種專注蛋白質的研究的 GPT 模型。

歷史

二空一八年六月十一號，OpenAI 發表一篇叫做《通過生成式預訓練提高語言理解能力》（Improving Language Understanding by Generative Pre-Training）的論文，佇內底有介紹「因為轉換器的生成式預訓練模型」（GPT）。 彼當陣，表現上好的自然語言生成模型主要倚靠大量手動標準註資料的監督學習。這款依賴佇人類監督學習的開發途徑限制了模型佇咧無經過幼路標準的資料集頂頭的應用；足濟語言的（親像斯瓦希里語抑是海地克里奧爾語）也因為欠缺會當建立起語料庫的文字資料造成實際應用（如翻譯佮解說）上的困難；此外，訓練超大模型相當了時而且嘛開銷有夠貴的。

比並之下，GPT 提出一種「半監督（semi-supervised）」（尾仔普遍改稱做「自監督」）的方法—— 先佇咧無標號的資料面頂訓練一个預訓練模型，閣再咧少量標號資料頂懸訓練一个分辨的微調模型。