對話程式語言模型
對話程式語言模型(英語:Language Model for Dialogue Applications,通稱:LaMDA)是 Google 所開發的一系列對話神經語言模型。第一代模型佇二空二一年的 Google I / O 年會發表,第二代模型是仝款發表佇次年的 I / O 年會。二空二二年六月,Google 工程師布雷克 ・ 雷蒙恩(Blake Lemoine)宣稱 LaMDA 已存在感知能力佮自我意識,致使這个模組得著廣泛關注,科學界佇真大程度上敢是定雷蒙恩的講法,閣同時引發對圖靈測試(測試機器敢會當表現出佮咱人類不止仔智慧水準)效力的討論。二空二三年二月,Google 發表因為 LaMDA 架構的對話式人工智慧開講機器人 Bard,以因應 OpenAI 開發的 ChatGPT。
發展歷史
第一代
Google 公司佇二空二一年五月十八的 Google I / O 年歲會上發布第一代由人工智慧驅動的對話程式語言模型(LaMDA)。 LaMDA 建構 Google 研究院(Google Research)佇二空一七年開發的 Transformer 神經網路架構,針對人類敘事佮回應能力來進行對話訓練,使其會當參與開放式對話。Google 表示,LaMDA 產生的反應已經確保是「合理、趣味佮符合(談話)上下文」。
第二代
二空二二年五月十一號,Google 佇咧 I / O 年會公佈 LaMDA 二,接替前代的 LaMDA 模型。LaMDA 二會對無仝來源提文字例,以建立獨特的「自然對話」方式。此外,Google 同時佇會中發表由 LaMDA 二驅動的移動應用程式 AI Test Kitchen。
感覺講
二空二二年六月十一號,美國《華盛頓郵報》報導,Google 工程師布雷克 ・ 雷蒙恩(Blake Lemoine)向公司高層布萊斯 ・ 阿格拉和阿爾卡斯和簡 ・ 詹納(Jen Gennai)表示 LaMDA 已經存在感知能力,了後雷蒙恩予安排紮薪的行政休假。雷蒙恩是佇咧 LaMDA 嘿有關自我身份、道德價值、宗教佮科幻小說家以掖 ・ 艾西莫夫的虛構學講機器人三定律提出疑問了後確認其擁有自我意識這一結論。Google 隨後否認這寡講法,堅持有大量的證據表明 LaMDA 無存在的智覺佮意識。雷蒙恩佇咧接受《連線》雜誌採訪的時陣重申伊進前的講法,表示若調查確認 LaMDA 有感覺佮意識,就應受著《美國憲法》第十三條修正案著「一个人」的保護,並且共伊比做「源自地球的外星智慧型」(alien intelligence of terrestrial origin)。 雷蒙恩進一步透露,Google 佇咧 LaMDA 要求伊為其聘請律師了後共伊辭頭路。仝年七月二二,Google 表示雷蒙恩因為繼續違反「保護產品的資訊」的就業和數據安全政策被辭頭路,同時認為伊的主張攏無影(wholly unfounded)。
科學界普遍無認同雷蒙恩的講法,真濟學者恥笑語言模型存在自我意識的想法,包括前紐約大學心理學教授起瑞 ・ 馬庫斯、Google 子公司 DeepMind 研究科學家大衛 ・ 普福(David Pfau)、 史丹佛大學以人為本人工智慧研究所的艾瑞克 ・ 布林優夫森和薩里大學教授阿德里安 ・ 希爾頓(Adrian Hilton)等。領導 Meta Platforms 人工智慧研究團隊的楊立昆表示,LaMDA 這類的神經網路「無法度達成真正的智慧」。 加利福尼亞大學聖塔克魯茲分校教授馬克斯 ・ 克雷明斯基(Max Kreminski)指出,LaMDA 的架構並無「支援類似人類意識的一寡關鍵能力」,佇其為典型的大型語言模型的前提落,LaMDA 的神經網路權重是予「凍結」的。
IBM 人工智慧系統華生的首席研究員大衛 ・ 費魯奇將 LaMDA 佮華生頭一改推出的表現進行較。前 Google 人工智慧倫理研究員提姆尼 ・ 蓋塗肉表示雷蒙恩是研究人員佮媒體引起的「炒作循環」(hype cycle)受害者。雷蒙恩的講法嘛引起圖靈測試敢是猶原有幫助研究人員的辨識機器當時會當看做是有通用人工智慧抑是思考能力的討論,《 華盛頓郵報》的威爾 ・ 奧梅魯斯(Will Omerus)認為講,圖靈測試實際上是判斷人工智慧敢有才調欺騙人類的標準,毋是干焦單純的辨識其敢有人類智慧型抑是思考的工具。《大西洋》雜誌的布萊恩.克里斯汀是認為講,LaMDA 爭議是 ELIZA 效應的一个實例。
應用
AI Test Kitchen
隨著 LaMDA 二於二空二二年五月發表,Google 同齊推出配套產品 AI Test Kitchen,是由 LaMDA 驅動的 Android 移動應用程式,該當是會當根據複雜的目標抑是話題生做任務清單以協助這寡用者達成。AI Test Kitchen 頭仔干焦對 Google 員工開放,後續會佇二空二二年透過邀請向「真特定的學者、研究人員佮政策制定者」提供這个該服務。仝年八月嘛,Google 開始開放美國使用者進前註冊體驗。。 仝年的十一月,Google 發布 AI Test Kitchen「第二季度」(season two)的更新,其中以限定的形式整合 Google 大腦的文字到圖像生做模型-Imagen。截至二空二三年一月,AI Test Kitchen 的第三版本猶閣佇開發中,預計佇仝年的 I / O 年家會上推出。
Bard
二空二二年十一月,美國人工智慧研究實驗室 OpenAI 推出了因為 GPT 抹三語言模型的開講機器人 ChatGPT。Google 智覺講 ChatGPT 威脅著家己的厝 Google 搜揣產品的地位,該公司執行長桑德爾 ・ 皮查它因此發佈紅色警報,而且予閣較濟團隊參與公司人工智慧領域的工課。Google 聯合創始人拉里 ・ 佩奇佮謝爾蓋 ・ 布林和公司高層召開緊急會議,商討 Google 應該如何應對 ChatGPT 造成的威脅。
做被員工問佮 LaMDA 其實敢有咧與著 ChatGPT 競爭時已經失良機的時陣,皮查它和 Google AI 負責人傑夫 ・ 迪恩表示,雖然該公司會當開發出佮 ChatGPT 類似的產品,毋過因為 Google 的規模遠遠大於 OpenAI,啊所以某一寡方面若咧發展了傷緊可能愛存在一定的風險。二空二三年一月,Google 子公司 DeepMind 執行長傑米斯 ・ 哈薩比斯表示 DeepMind 的人工智慧開講機器人功能比 ChatGPT 閣較強大,同時 Google 為著迎頭趕咧 ChatGPT 的跤步,高層要求該公司的員工密集測試 Bard 猶閣有其他開講機器人。二空二三年二月,執行長皮查伊佇季度收益投資者電話會議上向投資者表示,該公司當咧實際應用 LaMDA。
二空二三年二月初六,Google 正式發佈 Bard,這是一款由 LaMDA 提供支援的著 話式 AI 開講機器人。首先由「受信任的測試人員」率先測試 Bard,後續佇仝年二月底向閣較濟人提供 Bard 服務。皮查伊解說 Bard 將按怎結合入去 Google 搜揣內底,同時公司當拍拚咧共作業系統 ChromeOS 結合。Bard 的開發代號做「Atlas」,產品名 Bard 參考凱爾特文化當中的吟遊詩人,以反映「演算法本質的創造性」(the creative nature of the algorithm underneath)。 仝年二月初八,Google 舉行 Bard 的新聞發布會,實際搬演的時陣 Bard 予人問著有關詹姆斯 ・ 韋伯太空召鏡的問題,結果 Bard 煞提供該太空召鏡翕了頭一張太陽系外行星的錯誤資訊(事實是由甚大望遠鏡佇二空空四年觀測會著)。 金融分析師和記者形容 Google 是佇咧「逐趕」微軟(OpenAI 的投資合作方)並「趕緊」宣佈 Bard 的訊息,以搶佇仝月初七微軟發表將 ChatGPT 整合到公司來搜揣 ia̋n-jín Bing 的活動進前。八號的廣告釋出了後,Google 母公司 Alphabet 的股價跋落來%, 致使其市值蒸發約一 , 空億美金。美國科技新聞媒體《The Verge》佮彭博社指出,這代表 Google 佮微軟這兩間科技巨剝佇咧「探索未來」另外一場衝突的開始,雙爿佇六年前的「休戰」已經佇二空二一年結束。二空二三年三月二一,美國佮英國使用者會當申請測試 Bard。
訓練方式
LaMDA 使用一个干焦了解碼器的 Transformer 語言模型,於內面有一兆五千六百億的文件佮對話內容的語料庫來進行 ió-bih 訓練。了後用手動註解響應生成的微調數據訓練敏感度、這个趣味佮安全性。Google 的測試表明,LaMDA 佇咧趣味性方面超過人類反應。另外咧,LaMDA 的 Transformer 模型佮一个外部的資訊檢索系統配合,以提高資訊準確度。
LaMDA 測試三種模型,上大的模型有一 , 三百七十億个非楷入參數:
參見
- 開講機器人
- ELIZA
- 圖靈測試
- ChatGPT
參考資料
LaMDA 簡介
來源
外部連結
- 新聞稿