大三學生獨自破解逆天AI模型:我只是把撩妹的時間,都用來研究機器學習了-上海写字楼新闻

                                                        2019年06月09日 12:00 来源:上海写字楼新闻
                                                        编辑:分分pk拾平台

                                                        分分pk拾平台

                                                        【周震南C位出道】

                                                        最後∴,放一下傳送門▽。Connor Leahy同學充滿思考的博客:https://medium.com/@NPCollapse/gpt2-counting-consciousness-and-the-curious-hacker-323c6639a3a8

                                                        使用語言建模作為訓練信號↑⊙,以無監督的方式在大型數據集上訓練一個Transformerπ,然後在更小的監督數據集上微調這個模型♀△∵,以幫助它解決特定任務∟┊♂。

                                                        但不同尋常的是↑☆,這個模型並沒有真的開源﹡﹡π。OpenAI給的解釋是∴☆π,它太過強大◇∟,我們不敢放出完整模型……儘管因此被外界嘲笑∟♂,但GPT-2仍然封閉至今〇⊙。

                                                        除了能用於語言建模⌒,GPT-2在問答、閱讀理解、摘要生成、翻譯等等任務上?,無需微調就能取得非常好的成績△⊿。

                                                        當時Connor Leahy同學在研究GPT-2復現的時候┊∟,遇到了計算資源的瓶頸△,然後隨口跟TFRC團隊提了一嘴∵⊿,結果卻得到了Google慷慨的支持∟。

                                                        這件事在推特上引發了眾多關注〇。稱讚Awesome的有之⌒,深入討論的有之π☆,甚至連OpenAI的幾位資深研究員◇☆,都趕來溝通△。

                                                        與他在GitHub相見吧:https://github.com/ConnorJL/GPT2本文首發於微信公眾號:量子位♂。文章內容屬作者個人觀點∟⌒,不代表和訊網立場〇▽⌒。投資者據此操作π□,風險請自擔♀∟□。

                                                        GPT-2♂☆π,一個逆天的AI〇⊿▽。今年2月π△⌒,OpenAI首次對外公布了這個模型的存在↑∵△。GPT-2寫起文章來文思泉湧毫無違和感∴,無需針對性訓練就能橫掃各種特定領域的語言建模任務↑∟,還具備閱讀理解、問答、生成文章摘要、翻譯等等能力﹡。

                                                        關於這個模型的強大表現∟〇,可以參考量子位之前的報道△⊿♂,這裏不再贅述□┊□。總之□,就是一個字:強◇⌒┊。就是因為強∟∴☆,OpenAI做了一個艱難的決定:不把完整的模型放出來給大家〇☆↑。他們先是放出了不到十分之一規模、1.17億個參數的小型版本♂∵,被吐槽幾個月後又放出了3.45億參數的中型版本↑?。

                                                        OpenAI的研究人員表示↑♀,在各種特定領域數據集的語言建模測試中▽,GPT-2都取得了優異的分數π□♂。作為一個沒有經過任何領域數據專門訓練的模型♂▽,它的表現◇,比那些專為特定領域打造的模型還要好┊。

                                                        實際上∵π,在推進這個項目之前﹡,Connor Leahy同學從來沒有使用過TPU♂▽♂。所以┊,他在博客中熱情的對Google團隊表達了感謝↑。

                                                        不過♀◇,他還是在雲端花費了大約600-800歐元(人民幣6000元左右)↑┊,用於創建數據集、測試代碼和運行實驗⊙♂。

                                                        「我只是把別人出去撩妹的時間♂♀↑,用來搞AI實驗了而已♂↑。」GPT-2是OpenAI最棒的研究成果☆﹡。這個模型是GPT的「進化版」♀,最大區別就在於規模大小☆□。GPT-2參數達到了15億個〇△♂,使用了包含800萬個網頁的數據集來訓練♀,共有40GB∟∴π。

                                                        現在π﹡⊙,有人單槍匹馬♂,破解了OpenAI不欲人知的秘密〇⊙∴。而且♀,是一個大三的學生∵﹡。來自慕尼黑工業大學的Connor Leahy同學⊙,在兩個月的時間里∟∟,付出了200個小時的時間↑☆?,花費了大約6000人民幣⊙∟,復現了GPT-2項目⌒⊿〇。

                                                        他也給出了兩者的一些明確不同⊙♂∴,比方:1、dropout和learning rate官方沒有披露◇∟⊙,所以設置可能不一樣⌒◇∟。2、模型訓練使用了Adafactor而不是Adam◇。Connor Leahy同學不知道怎麼把15億參數+Adam塞進TPU⊿π,即便16bit精度也不行♂∵?。

                                                        他用的筆記本是一台舊的ThinkPad△□。Connor Leahy同學還對降噪耳機表達了感謝:讓我保持寧靜┊﹡﹡。目前▽,復現版的GPT-2已經放在GitHub上開源◇,代碼可以在GPU、TPU以及CPU上跑(不建議)▽。現在作者放出了兩個版本〇∟,一個是1.17億參數的小型版本□◇◇,一個是稱為PrettyBig的版本♂〇⊿,比3.45億參數的官方中型版稍大一點△△,也是目前公開的最大GPT-2模型〇⌒。

                                                        哎┊?等下……一個普普通通的大三學生?,怎麼能用到TPU搞這種研究⊿?感謝Google↑。Google有一個Tensorflow Research Cloud(TFRC)計劃□。這個計劃面向研究人員∵∴,提供1000個Cloud TPU組成的集群☆﹡?,完全免費∵﹡。這個計劃用於支持多種需要大量計算並且無法通過其他途徑實現的研究項目〇⌒。

                                                        於是他決定自己動手復現出來⌒﹡。當然還有另一個原因⌒〇,他覺得這麼做:很酷□┊。「你怎麼知道自己成功復現了15億參數的GPT-2模型∟↑?」這個問題?,恐怕絕大多數人都想知道答案∵∟⊿。Connor Leahy同學給出的回應是:兩個模型的大小和參數量相同♂┊∵,基於相似的數據源訓練∟,使用了類似的計算資源⌒∟▽,而且輸出結果質量相仿◇﹡□。

                                                        至於15億參數的完整版☆☆,作者計劃7月1日發佈♂↑?。現階段▽,Connor Leahy同學邀請大家下載試用∟♀⌒,跟他一起討論復現版GPT-2到底還有什改進空間?∟。在關於這件的博客文章里⊿,他說:我100%能接受大家指出的任何錯誤?〇▽,如果你發現問題請與我聯繫∴∵。

                                                        毫無疑問↑△△,GPT-2激發了Connor Leahy同學的好奇心♂△π,同時♂♂﹡,OpenAI私藏這個模型的決定⊿﹡,也讓他非常生氣﹡♂△。「信息應該是自由的□∟。」

                                                        GPT-2發佈后♂▽∟,深度學習之父Hinton獻出了他註冊Twitter以來的第三次評論:「這應該能讓硅谷的獨角獸們生成更好的英語了⊿。」

                                                        另外讓人佩服的是◇,Connor Leahy同學關於機器學習的知識♂▽,都是利用空閑時間自學而成♂?┊。他形容自己是一個充滿好奇心的本科生﹡。

                                                        推荐阅读:美暂停对墨加关税

                                                        本网(平台)所刊载内容之知识产权为分分pk拾平台及/或相关权利人专属所有或持有。未经许可,禁止进行转载、摘编、复制及建立镜像等任何使用。
                                                        特色栏目