AlexNet
AlexNet是一个卷積神經網路,由亞歷克斯 ・ 克里澤夫斯基設計,佮伊爾亞 ・ 蘇茨克維佮克里澤夫斯基的博士導師傑鼻里 ・ 辛頓共同發表,辛頓上早拄著伊的學生的想法。
AlexNet 參加二空一二年九月三十號舉行的 ImageNet 大規模視覺辨識挑戰賽,達到上低的百分之十五孵三的 Top 鋪五錯誤率,比第二名低十八个百分點。原則文的主要結論是,模型的深度對提高效能至關要,AlexNet 的計算成本足懸的,但因為訓練過程當中使用圖形處理器(GPU)煞予計算有可行性。
背景
AlexNet 並毋是卷積神經網路(CNN)頭一擺利用快速 GPU 實現贏的圖像辨識競賽。K . Chellapilla 等人(二千空六)佇咧 GPU 上的 CNN 比同等的的 CPU 實現速度欲四倍。Dan Ciresan 等人(二千空一十一)的深層 CNN 佇咧 IDSIA 已經欲六十倍,而且佇二空一一年八月取得超過人類的表現。對二空一一年五月十五到二空一二年九月十號,𪜶的 CNN 贏了袂少四場圖像競賽。𪜶閣真大提高文獻中濟个圖像資料庫的最佳效能。
根據 AlexNet 的論文,其佮 Ciresan 的早期網路「有的相𫝛嘛」。 兩个人上頭仔攏用 CUDA 編寫,可在 GPU 支援下執行。實際上,兩个攏是楊立昆等人(一千九百八十九)介紹的 CNN 設計的變體,伊欲反向傳播演算法應用佇福島邦彥(福島邦孵)頭仔提出的 CNN 架構「neocognitron」的一个變種。後來 J . Weng 提出的上大池化方法修改矣該架構。
網路設計
AlexNet 包含八層。前五層是卷積層,了後一寡層是上大池化層,最後三層是全連接層。伊使用足飽的 ReLU 啟用功能,顯示出比 tanh 和 sigmoid 閣較好的訓練效能。
影響
AlexNet 予人認為是電腦視覺領域上有影響力的論文之一,伊刺激閣較濟使用卷積神經網路佮 GPU 來加速深度學習的論文的出現。截到二空二空年,AlexNet 論文已經參照超過五十四 , 零次。
亞歷克斯 ・ 克里澤夫斯基
亞歷克斯 ・ 克里澤夫斯基(出世佇烏克蘭,佇加拿大長大)是一个電腦科學家,佇咧人工神經網路佮深度學習方面的工課對稱。咧通過 AlexNet 贏的 ImageNet 二千空一十二挑戰賽後無偌久,伊佮同事將𪜶的創業公司 DNN 研究公司(DNN Research Inc .)賣予矣 Google。克里澤夫斯基對這項工課失去興趣了後,佇二空一七年九月離開矣 Google。佇咧 Dessa 公司,克里澤夫斯基將為新的深度學習技術提供建議佮幫贊。研究人員不三時參照伊的濟濟有關機器學習佮電腦視覺的論文。