天才製造者:獨行俠、科技巨頭和AI|深度學習崛起十年
來源|The Robot Brains Podcast
翻譯|沈佳麗、胡燕君、賈川
一次技術蓬勃的背後,必然需要長時間的醞釀,更離不開決定這一爆發瞬間的少數關鍵人物。正因有了那些特立獨行的天才,他們的出現必將影響這一領域的發展方向,甚至決定未來科技發展的歷史程序。
回望深度學習領域,過去的黃金十年群星閃耀。
自1956年提出人工智慧概念之後,在其發展的大約60年時間裡,經歷了三起三落。其中,2012年,以AlexNet為代表的深度神經網路所帶來的震撼性“ImageNet時刻”,讓AI發展徹底突飛猛進。
(從左到右依次為Ilya Sutskever、Alex Krizhevsky和Geoffrey Hinton)
當時,經過50年的刻苦研究,時任多倫多大學教授的Geoffrey Hinton和他的兩名博士生Ilya Sutskever、Alex Krizhevsky終於發現,只要藉助兩樣東西就能讓神經網路成功識別出圖片中的物體:一是資料,也就是海量的圖片,因此資料集對他們的研究至關重要;二是強大的計算處理能力。
2012年,他們終於集齊了這兩大“利器”:斯坦福大學教授李飛飛建立的ImageNet資料集,初衷就是為了幫助人們研發出可識別圖片中物體的技術,並且每一年都會舉辦公開比賽;另一方面,Alex發現,他寫的GPU程式碼可以訓練一個小型卷積網路,並在60秒內輸出很不錯的結果。
既有Hinton和Ilya、Alex這樣願意潛心做研究的人,再加上海量資料和強大處理能力的加持,可以說,神經網路技術已擁有天時地利人和。然而,當時大多數人並不相信神經網路,並質疑深度學習的原理,認為這只是一個美好的暢想,實際上毫無用處。
不過,在那一年的ImageNet競賽上,神經網路AlexNet識別物體的準確率遠超其他方法,在比賽中一舉奪魁,人們由此真正認識並承認神經網路的強大。
除了展示神經網路的強大能量,Hinton和他的團隊還積極地將其推廣到工業領域。2013年初,以Google、微軟、DeepMind、百度等為代表的科技公司紛紛加入了“收購”Hinton三人組公司DNN Research的競拍戰中,最終Google以4400萬美元的“天價”將其收入囊中。
由此,AI在業界的聲量愈響。在這個領域默默耕耘多年的更多守望者和開拓者走入舞臺中央,盡享讚譽,更多才華橫溢的新人不斷湧現,為AI的發展推波助瀾。
可以說,如果沒有這些腳踏實地的獨行俠,沒有他們的堅守,就沒有新一輪AI的盛宴,我們現在所從事的AI事業將無從談起,當然,一個叫OneFlow的開源深度學習框架也不復存在。
站在深度學習崛起十年的節點上,相信依然很多人存在依然對這些問題好奇:究竟是什麼讓他們如此篤信神經網路和AI技術的潛力?又是什麼鑄就了深度學習發展的黃金十年?
在Pieter Abbeel主持的The Robot Brains Podcast節目中,以科技作者Cade Metz的《天才製造者:那些為Google、Facebook和這個世界帶來人工智慧的獨行俠們》一書為背景,Pieter Abbeel與Cade Metz分享了Geoffrey Hinton、Yann LeCun、IIya Sutskever、李飛飛、馬斯克等重要人物,以及Google、DeepMind和OpenAI等機構之間發生的鮮為人知的故事,並探討了科技巨頭和中美之間的AI人才“軍備競賽”。
從中,我們將一窺見AI浪潮崛起的脈絡,以及技術創新從誕生到爆發的跌宕起伏的過程。希望身處AI領域的我們也能追隨前人腳步,成就偉大。
以下是對話內容,OneFlow社群做了不改變原意的編譯。
1
吳恩達:神經網路將改寫Google的命運
Pieter Abbeel:過去十年,AI行業發生了轉變。2012年以前,語音識別、影象識別、機器翻譯、自然語言處理和機器人技術等不同領域幾乎都是孤軍奮戰。直到深度學習開始訓練大型神經網路之後,一些領域才轉而開始合作,儘管仍有少數領域仍對神經網路技術存疑,但總的來說,協作態勢基本形成。比如,視覺研究人員開始閱讀語言類論文,語言研究人員也開始讀機器人技術類論文,以從其他領域獲取靈感。那時,吳恩達(Andrew Ng)在研究如何將人工智慧和人腦研究相結合。
Cade Metz:這要追溯到20世紀50年代,我們想模擬大腦中的神經元網路來建立一個系統,這也是神經網路名字的由來。有意思的是,我們要告訴那些不瞭解深度學習的人,其實我們並不清楚人腦是如何運作的,也不知道如何根據大腦來構建系統。
人工神經網路模擬大腦,這只是一個類比,但某些人的眼光的確比一般人更加長遠。Hinton等人這些年來一直相信這個類比,吳恩達也是如此。
神經網路研究在21世紀初剛剛復興時,吳恩達在斯坦福大學就給學生說過,世界上一定有人知道怎樣開展神經網路工作,那個人就是Yann LeCun。幾年後,吳恩達加入了Hinton在加拿大組建的研究團隊,是少數真正參與到神經網路研究的人。他和LeCun也是團隊中為數不多的美國人。
隨後,吳恩達將這一想法分享給了時任Google CEO兼聯合創始人Larry Page,他告訴後者,神經網路技術將不僅推動語音識別和影象識別的進展,甚至將徹底改寫Google的命運。他還說,神經網路技術就是在重建大腦,並且他提到了AGI(通用人工智慧)的概念,即只要是大腦能夠做的工作,AGI都能勝任。其實,我很好奇AGI究竟是如何運作的。
Pieter Abbeel:任何與吳恩達共事的人都會發現他很出色,他也是一位優秀的博士生導師。
2
圖靈獎得主Hinton和LeCun的信念
Pieter Abbeel:Hinton也非常優秀,他能取得成功,其實不足為奇。他待人處事很好,回想我第一次見到他,他就很熱情地攀談我的研究。他居然還做過一年木匠,但又回到了倫敦轉學心理學。雖然他是電腦科學教授,但並沒有取得相關學位,而是隻有心理學學位。
Cade Metz:Hinton在很多方面的表現都讓我們感到不可思議。他在1971年提出了神經網路這個驚人的想法,那時幾乎沒人相信他,但他還是對神經網路有著不可動搖的信念。
Pieter Abbeel:他是在1950年代第一個提出要研究神經網路的人。當時,大家都認為神經網路不值得再去研究,但他還是毅然決定投身到這項偉大的事業。
Cade Metz:接下來的50年裡,他一直潛心研究神經網路從未動搖,並且一直努力朝著新的方向前進,即使身邊的人都不相信。這簡直是個傳奇故事。
後來,他想找一些志同道合的人一起研究神經網路,所以最終來到位於匹茲堡的卡內基梅隆大學。在那裡,他和合作者取得了重大突破,至此神經網路研究邁上了新臺階。他們還提出了反向傳播(back-propagation)的想法,奠定了當下神經網路的運作方式。
不過,Hinton還是離開了美國,因為他發現在美國和卡耐基梅隆大學做人工智慧研究,就必須從時任總統里根管理下的國防部獲取資金。但他和妻子都不想那樣做,於是他們決定前往加拿大,這改變了我們今天所說的“地緣政治”。
Pieter Abbeel : 他“逃離”美國的決定為後續的發展埋下了種子,也解釋了為什麼我們說現代AI發展始於加拿大。
Cade Metz:我們也在思考Hinton和妻子當年離開美國的這個決定是如何影響了此後AI發展的幾十年。究其原因,還是因為美國當時幾乎沒人研究神經網路,從事這項工作的研究人員都在加拿大或歐洲。實際上,他們夫妻倆離開美國的決定也導致“ImageNet時刻”出現後,科技巨頭必須去其他地方才能蒐羅到自己想要的人才。
Pieter Abbeel:你還在書中提到,當他看到人工智慧能夠使機器人實現分揀功能時,他將其描述為機器人技術的“AlphaGo時刻”,他說機器人已經跨越了重複式運動,實現了與實時場景的互動。
Cade Metz:確實。有趣的是,你會發現關於我們對如何步入AI時代有如此多不同的看法,甚至是相反的觀點。一些人認為會通過強化學習來實現,當然,是他們將其稱為“強化學習”,也就是通過不斷試錯來實現,這一點確實可以做到,無論是在虛擬世界還是在現實世界,通過不斷的分揀練習,嘗試、失敗、再嘗試,這種極端的強化學習方法是有用的,但在過去,系統無法實現。所以現在的系統對Hinton來說難以置信,看到他接受了這個現實,並且樂意談論此事,真是讓人高興。
Pieter Abbeel:還記得我跟你在我的伯克利辦公室見過面,當時你在為《天才製造者》這本書做一些背景調查,已經決定把Geoffrey Hinton作為新書中的主要人物了。尤其令我記憶猶新的是,你說他特別幽默。你問他,“Geoffrey和Jeff這兩個名字,你想用哪一個?”,然後他回覆郵件的正文是“我喜歡Geoffrey,謝謝”,落款“Jeff”。
Cade Metz:他就是這樣回覆我的。我一直認為像工程師、電腦科學家、人工智慧研究人員這些人都很有趣,也很招人喜歡。我的父親是一名電氣工程師,同時也是IBM的程式設計師,是我見過最有趣的人之一。但是,人們對工程師和程式設計師的刻板印象是他們有些無聊和令人討厭。
Hinton這個人非常有趣,他的話往往暗藏“深意”。當我和他交流時,我常常遺憾於沒能捕捉到他言語中那些有趣的東西。我們可以講很多關於他的技術貢獻和那些曲折離奇的經歷。
(從左到右依次為Yann LeCun、Geoffrey Hinton和Yoshua Bengio)
2019年,當他與LeCun和Yoshua Bengio共同獲得圖靈獎(2018年)時,在獲獎的那天晚上,我有幸與他們交談,當Hinton得知自己獲獎時,他的反應真的很有意思。
雖然我們探討了關於這類人的創意想法和幽默感,但同時也要明白,他們也經歷了很多其他事情。Hinton身上的其它特質也讓人印象深刻。
比如他的背部有疾病,但真正令人震驚的是,他平時真的不坐,也就是說,他連車都開不了,而且也不能坐飛機。這也對他應用研究成果產生了影響,要想將相關研究成果在各大公司中得到應用,他就必須要漂洋過海,但他將這一切都克服過來了,接下來才有了他獲獎的場景。
此外,要知道他的妻子得了癌症,病得很重。他經歷了所有的一切,他不僅會有掙扎,也會傷心和失望,這些事和他的其他成就一樣令人矚目。
Pieter Abbeel:說到Hinton,就離不開他的那些同事以及他們的工作,他們都有各自的願景,然後為之不懈奮鬥。比如Yann LeCun,在1980年代末到1990年代初,他就在神經網路研究方面取得了輝煌的成就。
Cade Metz:LeCun也極具魅力。他出生於巴黎,擁有工程師學位,在聖地亞哥西海岸做博士後,之後又在美國的卡內基梅隆大學工作。
遠在法國的LeCun和Hinton有著類似的想法,他們都在神經網路領域積極探索。在兩人首次見面的偉大時刻,他們一起去一家摩洛哥餐廳品嚐美食。當時,LeCun會一點英語,而Hinton則完全不會法語,但他們還是成功地進行了交流,就像LeCun說的,他們之間並沒有語言障礙,因為他們所說的全是關於神經網路的想法以及對這一想法的堅定信念。
另一段佳話就是,Hinton後來還擔任了LeCun的博士論文導師,而LeCun最終也決定和前者一起去加拿大做他的博士後研究,之後他還加入了號稱全球頂級研究實驗室之一的貝爾實驗室。
貝爾實驗室位於新澤西州,他在那裡建立了影象識別系統,這預示著20年後的“ImageNet時刻”,同時也真正彰顯了影象識別技術的走向。很大程度上,Hinton及其學生在2012年使用的演算法是對LeCun的演算法進行了調整。
幾年後,神經網路技術又一次遭遇瓶頸,導致人們再次對這項技術喪失信心。但LeCun有著和Hinton那樣可貴的品質,他也堅信神經網路技術是可行的,所以周遭的質疑並不足以動搖他的堅定信念。
Pieter Abbeel:LeCun的相關論文還被學術會議給拒了,其他人並不相信神經網路的可行性。實際上,他也很難將自己的想法分享給更多人。
Cade Metz:的確如此。甚至連LeCun自己都擔心是否要在論文中使用“神經網路”這個名稱。考慮到大家對神經網路的敵意,最終他還是決定改名為卷積網路。
2012年,當Hinton和他的兩名學生Ilya、Alex宣佈研究成果AlexNet後,儘管當時仍有質疑聲,但LeCun力挺他們並回擊了這些質疑。
Pieter Abbeel:他最終還是證明了自己的研究方向是對的。事實上,雖然有人質疑神經網路研究意義不大,但相關研究一直在繼續。並且,神經網路最終以絕對的優勢擊敗了以往的影象識別系統。這真的很神奇。
3
IIya Sutskever與機器翻譯
Pieter Abbeel:IIya Sutskever是和其導師Hinton一起加入Google的兩名學生之一(譯者注:2013年,Hinton與IIya、Alex三人組建的公司賣給了Google)。我覺得他的理念和對未來的遠見與他的老師Hinton一脈相承。
他剛踏入Google,就已經堅信AI基本上可以做任何事情。IIya成功研發了Google構建很多年都沒成功的機器翻譯,這是一個非常專門化的研究。
在機器翻譯之前,深度學習研究的都是語音和影象,它們都是連續的訊號,比如色彩明暗和音量高低都是連續的。但文字是獨立的,一個字不同於另一個字,是一些非常分散的tokens。於是很多人會說,文字是符號,需要符號化的推理,屬於AI的另外一個領域,但IIya恰恰根據神經網路做出了全世界最好的機器翻譯系統,在一次全球規模最大的人工智慧大會上,他對聽眾說,成功是必然的。
用辯證的眼光看待事物,儘管沒有什麼是必然的,但我想他要表達的是,神經網路的應用空間非常大,相信人們也意識到這一點了。
Cade Metz:他表達的是自己的信念,相信成功是必然的,這句話也火了起來,併成為名場面。IIya的事業軌跡和吳恩達一樣,都很特別。他的信心部分來源於在Google的見聞,他看到了Google求賢若渴的精神、強大的算力和雄厚的財力,所以他相信,這麼龐大的團隊要研發AI技術並非難事。
我也很贊同你提到的Google機器翻譯這件事,主流媒體對它談得不多。《紐約時報》報道過Google的機器翻譯研究,其中甚至沒有提到IIya,因為當時他已經離開Google了。沒辦法,世道就是這樣,他主動離開了Google,於是Google就把他的名字從官方歷史中抹除了。但他確實是Google機器翻譯研究成功的主力。
神經網路技術在2010年、2012年相繼應用到了語音識別和影象識別領域,然後人們又試圖用神經網路來解決翻譯問題。儘管AI已有成功應用,但大家還是懷疑神經網路是否能用於自然語言處理,結果它真的能夠用於翻譯。即便如此,大家也不相信除了翻譯以外,神經網路還能用於別的自然語言處理。然而,2021年,神經網路真的做到了,而且它還在不斷進步。
Pieter Abbeel:IIya的確對AI的未來很有信心,除此之外,實際上我認為大家開始產生這樣一種認識:如果有足夠的“有監督資料”,就可以將神經網路訓練達到你需要的準確度。
4
李飛飛的創舉
Pieter Abbeel:越來越多人也後知後覺地意識到,當初斯坦福的李飛飛教授創辦ImageNet挑戰賽是多麼具有前瞻性,她在深度學習還沒有顯露曙光的時候就創辦了這個比賽。某種程度上,ImageNet比賽是深度學習開始成熟的契機。
Cade Metz:李飛飛的故事也是一個頂住質疑和反對、逆流而上的故事。一開始,李飛飛的導師不支援她建立大型影象資料集,並且認為這是一個糟糕的想法。到了2012年,多倫多大學的Hinton等人在參加ImageNet挑戰賽時,將錯誤率從25%降到了16%。如果沒有李飛飛建立的ImageNet資料集,我們就不能看到這一可喜成果的誕生。她和Ilya、Hinton一樣都有著堅定的決心。
Pieter Abbeel:沒錯,我想為不瞭解學術界的人介紹一點背景。通常而言,在你當上教授後的頭6年,你需要先取得一些研究成果,讓自己獲得聲望、站穩腳跟,否則就會面臨被辭退的風險。如果你在這6年做得不錯,就可以晉升為終身教授,擁有學術自由,想做什麼研究都可以。所以,很多人會在頭6年先做一些比較有確定性的事,比如研究公認的重大課題,6年後再去做風險更大的研究。
但在李飛飛做教授的那6年裡,哪怕周圍的人都告訴她,建立資料集是在浪費時間,還不如好好寫其他熱門方向的論文,她還是堅持自己的想法,認為自己的研究很有價值。她很了不起,行業內的很多了不起的人都是不懼質疑、堅持自我,他們是對的。
Cade Metz:完全同意。像李飛飛這樣有勇氣對導師說“我明白你的意思,但我還是想這麼做”的人,這類故事很值得被報道傳揚。各行各業都需要這種精神,作為記者我也深有體會:隨大流去報道那些所有人競相報道的事件很容易,但報道那些沒人追蹤的、讓同行倍感猶豫甚至質疑的事件卻很難。在任何領域,堅持自我都是一個寶貴的品質。
5
DeepMind的征途
Pieter Abbeel:2016年,研發出AlphaGo的DeepMind公司非常亮眼。
Cade Metz:我經常被問到有關AlphaGo的問題,因為DeepMind帶著AlphaGo在韓國對戰李世石的時候,我作為旁觀者很榮幸也在現場,那是我人生中最難忘的幾個星期,非常不可思議。有些人可能不知道,電腦科學和AI領域的研究者一直想要構建一個可以破解圍棋遊戲的系統。
在這之前,1990年代末,IBM開發的“深藍”計算機打敗了國際象棋世界冠軍Gary Kasparov,當時我也在紐約見證了這一刻。但之後過了十多年,我們還沒有研發出可以打敗人類頂尖選手的圍棋AI。2015年,DeepMind提出研究圍棋AI的時候,業內的普遍看法是,這還得再花幾十年才能成功,因為圍棋的複雜性比國際象棋要高出好幾個量級。
但DeepMind還是決定這麼做,Ilya Sutskever也參與了,但這是另外一個故事。DeepMind面臨巨大的質疑,但當他們在Nature雜誌上發表文章稱,他們的系統在一場非公開比賽中打敗了一位非常優秀的圍棋手,那可以說是一個歷史性時刻。
Pieter Abbeel:那是一個巨大的驚喜。但還是有很多人提出質疑,“哦,那不過是歐洲的棋手”。
Cade Metz:有人覺得那名棋手的世界排名不夠高,“如果再往上挑戰世界頂尖棋手,這個系統肯定就贏不了”。
這些質疑有一定道理,當時的系統的確不夠出色,還不能打敗世界頂尖棋手。但是他們忘記了一點,這個系統是從資料中學習圍棋技術的,從它打敗那位歐洲冠軍樊麾(法籍華裔圍棋手),到他去往韓國挑戰統治世界棋壇近十年的李世石,中間只隔了短短三個月。期間,DeepMind在不斷地訓練這個系統,它還在不斷進步。
在韓國,距離那場人機大戰開始還有幾個小時的時候,我和DeepMind的創始人之一Demis Hassabis坐在首爾四季酒店的餐廳裡,Eric Schmidt(Google前CEO)也在場。我問Demis,很多人都不看好你們,你覺得你們會贏嗎?他回答說,這個系統會不斷地學習,終有一天,它會超越人類。從這場談話開始,接下來在首爾度過的一整週讓我畢生難忘,不僅僅是因為DeepMind研發的這個了不起的系統,還因為當時整個韓國都高度關注這場對戰。
Pieter Abbeel:當時我們也都聚在伯克利的AI實驗室,邊吃披薩邊看這場比賽的直播。所有人都十分期待,其實我們對圍棋一竅不通,得聽解說才知道誰佔上風,但我們就是聚精會神、緊張又激動地盯著比賽。
Cade Metz:不僅是實驗室的你們感到激動不已,韓國所有人的狀態都和你們一樣,因為圍棋是韓國的國民級專案,他們的國寶級選手和機器之間的對戰想必也是舉國矚目。這就是當時的盛況。
作為人類,在面對有可能會超越人類選手的機器時,我們都會自然而然地站在我們的同類李世石這一邊,如果你是韓國人的話更是如此。當看到AlphaGo贏下第一局,大家都震驚了,到它連贏兩局時,整個韓國都瀰漫著壓抑的氣氛,那是一種作為人類體會到的深深的挫敗感。後來,李世石在第四局以“神之一手”扳回一城,令所有人為之一振。
Pieter Abbeel:AI在機器翻譯、語音識別和影象識別方面的能力很強,可以高效地幫助人類。這些任務難度都很大,但AI卻不覺得難。可是圍棋就不一樣了,AI和人類都覺得下圍棋很難,可AI還是打敗了人類,這就有趣了。
Cade Metz:圍棋不但難,它同時也是一個大家都能理解的事物。假如是機器翻譯的話,可能並非所有人都能理解AI取得了什麼進展,因為不是所有人都懂翻譯,也就無法判斷AI做得好不好。但圍棋有一個簡單直觀的結果,那就是輸贏。
所有韓國國民,還有中國的6000萬直播觀眾,都能直接從AI的勝利結果更直觀地感受到AI的強大,美國民眾對AI的態度也出現了轉變,因為這個里程碑式的比賽結果就擺在眼前。
除了AlphaGo,AlphaFold也是DeepMind的一項成果,本質上是生物科學中的一項藥物開發技術,它將人工智慧運用於蛋白質摺疊研究,這也再次印證了AlphaGo的成果,他們成功研發出這個領域的人們認為在幾十年後才會出現的成果。
6
OpenAI的誕生
Pieter Abbeel:加州門洛帕克市瑰麗酒店是很多風險投資人以及創業者聚集的地方。你在書中寫到了馬斯克和Sam Aldman(創投機構Y Combinator前總裁)在一次晚宴上(譯者注:時間應為2015年7月)的談話,他們都說了什麼?
Cade Metz:那天的晚宴上,馬斯克遲到了一小時左右才到場,Ilya Sutskever也在,當時還有不少公司想挖他。在聽過一些演講後,在座的人都清楚地看到了AI行業的趨勢,他們都在思考怎樣利用這種趨勢,比如,他們相信AI可以實現很多東西,也想發展AI,那麼在Google和Facebook等大公司已經大力押注AI,斥巨資吸引人才的情況下,其他公司還能把自己的AI實驗室做起來嗎?有人認為做不起來。
那天,當Greg Brockman(現任OpenAI總裁)和Sam Altman離開晚宴後,便驅車回到了舊金山,與馬斯克一舉創辦了非營利性人工智慧組織OpenAI,希望與DeepMind一較高低。這也是一件好事。
Pieter Abbeel:OpenAI和DeepMind的初衷不一樣吧?
Cade Metz:是的。OpenAI宣佈成立時,聲稱要向全世界公開分享他們的研究成果,這一點是Google旗下的DeepMind做不到的。
Pieter Abbeel:從很多方面來看,OpenAI的成立都實屬不易,因為已經有不少公司在這條賽道上投入了大量的人力和物力。但是,Greg Brockman和Sam Altman還是這麼做了。
不過從另一個角度講,OpenAI也可能殺出重圍,因為在此之前沒有任何一家公司願意分享他們的技術和成果,從而讓AI公平地惠及所有人,畢竟其他公司都是以盈利為目的。正因如此,Greg和Sam可以吸引到志同道合的人才,還聘請了Ilya Sutskever擔任他們的首席研究員。於是OpenAI異軍突起,成為可以制衡那些大公司的力量。它似乎很快就取得了成功,雖然不是一夕成名,但成長速度令人驚歎。
Cade Metz:Ilya是OpenAI的一大核心人物。當我看到他加入時,我就意識到OpenAI是認真的。但有沒有他的加入,OpenAI能否成功,這在當時都是個未知數。
Pieter Abbeel:他真的是行業裡的香餑餑。他在Google已經很成功了,設想一下,如果是你的話,大家都想挖你,你就會面臨艱難的抉擇。
Cade Metz:有了Ilya的加入,OpenAI就可以吸引更多的人才,OpenAI需要人才,所以它也算是求“人”得“人”了。一開始,它大概只有9個研究員,但Ilya起到定海神針一樣的作用。這個行業裡不斷有類似的故事發生:一群信念堅定的專業人才,最終成為眾多公司爭相競逐的物件。
Pieter Abbeel:AI是一個非常新興的領域,但很多公司還是沿用傳統的方法開發AI。很多搶手的AI人才都是博士生。當然,Ilya是一個例外,他已經在Google任職過一段時間,還是OpenAI的首席研究員,但其他人才都還需要完成博士學業。而OpenAI找到了這些還沒有和任何公司建立就職意向的在讀博士,並且聘用了他們。太不可思議了。
Cade Metz:在科技界的人才軍備競賽中,通常只有那些赫赫有名的大牛才可以賺到大錢,比如Hinton和LeCun這些經驗豐富的專家。但在AI領域,剛畢業甚至還沒畢業的博士生也容易引起企業的關注,並且拿到高額薪資。
Pieter Abbeel:他們不僅僅只是拿大錢,他們也能辦實事。很多那些人人嚮往的突破性成果都是由這些博士生取得的。雖然是學生,但他們站在研究的最前沿,推動著行業在創新方向上前進。
我記得有一次這些AI博士生在我位於伯克利的實驗室開講座,有不少人對他們的研究感興趣,所以我特別想請他們來我們實驗室當教員或是博士後研究員。然後OpenAI宣佈已經聘請了他們,當時我就想,完了,被捷足先登了,他們都去了OpenAI,跟馬斯克、Sam Altman、Ilya Sutskever、 Greg Brockman這些牛人共事,肯定不會來我們這兒了。說實話,我自己甚至都想去OpenAI工作。
Cade Metz:這些博士生人才裡有Ian Goodfellow(譯者注:剛剛從Apple跳槽去了DeepMind)。
Pieter Abbeel:Goodfellow在酒吧獲得生成對抗網路(GAN)靈感故事可太傳奇了。
Cade Metz:GAN讓機器可以生成以假亂真的影象。可以說給神經網路增加了一個顛覆性功能,以前只能識別影象,現在還可以生成影象。他想出的實現方法也很巧妙:需要兩個神經網路,一個負責生成影象,另一個負責評估影象並將錯誤報告反饋給第一個神經網路,如此往復,直至生成的影象可以“以假亂真”,非常有趣。這是他在蒙特利爾的酒吧裡喝到醉醺醺時的靈光一閃,然後回家繼續思考怎麼實現。
Pieter Abbeel:他在OpenAI剛成立幾個月時就加入了。
Cade Metz:扎克伯格還曾親自邀請他加入Facebook,不過當時他還沒完成博士學業,還在等LeCun抽空當他的畢業論文委員會成員。
7
AI寒冬和神經網路堅守者
Pieter Abbeel:儘管AI技術在不斷髮展,但為什麼我們還是會如此恐懼AI冬天的到來?以及為什麼人們不喜歡用“神經網路”這個術語?
Cade Metz:這又需要回到1950年代。當人工智慧這個詞在50年代末被創造出來時,那群人確信自己會重建大腦或者至少重建大腦可以做的任務,而且大眾也普遍相信他們的說辭。當時,《紐約時報》的新聞稱,Frank Rosenblatt正在研發第一個神經網路——感知器(Perceptron),他告訴《紐約時報》自己將建立一個系統,該系統可以識別影象、識別語音並自動生成語音。此外,未來該系統能夠在裝配線上自行組裝,甚至它將進入太空。《紐約時報》反覆報道了這件事。
這種情況在過去幾十年裡反覆出現,在矽谷也屢見不鮮。當一些技術研究和技術發展出現並做出一些美好的承諾時,人們都樂於相信它們,媒體也會大肆宣揚,這時就到了炒作的地步。
但當大家發現這項技術並未實現它的承諾,炒作熱度就會退去。緊接著,眾多相關實驗室都會遭遇撤資困境,這意味著大家對這項技術徹底喪失信心,所謂的“寒冬”便真正降臨了。但是,萬事萬物都是一個迴圈,技術炒作會再次來襲,之後大家又會開始抨擊,就這樣週而復始。很多時候,我們都在一遍又一遍重複著過去發生的事。
Pieter Abbeel:這也解釋了為什麼當時有些人對神經網路反應平平。因為一些技術曾經過度承諾,至少在當時那些承諾難以實現。如果這種情況再次出現,我們的資金或將再次枯竭,那時我們將無法繼續任何人工智慧研究,因為大眾對人工智慧的憧憬已然消耗殆盡。
Cade Metz:我同意你的觀點。但這不僅僅是過度承諾的問題,其實“人工智慧”這個名字也有誤導性,會讓外行人對技術產生一種虛幻的假象。當人們聽到人工智慧,就會聯想到可以像人一樣做任務的系統,神經網路則會讓人們認為大腦已經被重新創造出來了,但事實並非如此。
我們所說的只是狹義的人工智慧和神經網路。當我們談論影象識別、語音識別、自然語言處理時,我們指的都是狹義的概念。所以,如果把它們稱作神經網路其實會誤導大眾。這也就是為什麼我理解大眾在2012年會對神經網路持懷疑態度。作為一名記者,我的工作是勇於質疑和發問;作為學者,我們也應該而且必須這樣做。所以,這並不是為了貶低那些不相信神經網路的人,他們有理由不相信,畢竟神經網路在很多方面仍不奏效。
Pieter Abbeel:只有真正的天才方能讓神經網路運作起來。雖然神經網路當時並不可行,但它的背後始終有一群堅守者,儘管疑聲滔天,缺乏實證,但他們摒除周遭質疑,砥礪前行,堅信這項技術在不久的將來終會實現。終於,有一天他們真的做出了一番成績,這時眾人才吹捧他們是如此具有前瞻性。這就是故事的精彩之處。
我認知裡的人工智慧是極其複雜的,儘管其他人可能有不同看法。我認為,人工智慧研究需要研究人員秉持強大的進取心,即他們立志於實現真正的人工智慧。當你研究人工智慧時,並不意味著你已經建立了完善的人工智慧系統,而是需要你努力將其完善,但這項工作絕非易事。
Cade Metz:你說得對,尤其那些並非從事人工智慧領域的人需要明白這一點。人工智慧工作也需要研究人員擁有強大的進取心。
8
馬斯克與Larry Page的分歧
Pieter Abbeel: 你在書中提到了一個小趣聞:馬斯克曾睡在Larry Page(Google聯合創始人)家的沙發上,這是真的嗎?
Cade Metz:我確定這是真的。這個訊息來自Ashley Vance寫的馬斯克的傳記(譯者注:書名《矽谷鋼鐵俠》),他是我的好朋友和前同事。在我們行業,新聞報道物件都會謹慎地選擇自己信任的記者,所以Ashley是獲得馬斯克信賴的人。我很敬佩他能挖到這麼有意思的故事。Larry和馬斯克的關係很好。
(馬斯克與Larry Page)
Pieter Abbeel:但Larry和馬斯克對AI的看法很不一樣,他們的分歧不在於是否同意“成功是必然的”,也不在於狹義的AI系統本身,而在於AI的長期發展。
Cade Metz:Larry很樂觀,但馬斯克卻覺得AI可以產生威脅。這兩種態度基本上代表了行業裡的兩種聲音,也可以折射出矽谷的總體現狀。
毫無疑問,保持樂觀沒什麼不對。如果你要創業,一定要樂觀,要相信自己的理念,這樣才能吸引人才和投資,這也是矽谷創業界的基本法則。關於你的創業想法,你不應該過多談論它的失敗後果和侷限性。隨著你的公司發展壯大,公開上市後,就會有公關團隊來幫你營銷。慢慢地,你的公司就會變成只對外展示光鮮的一面。
Pieter Abbeel:Google用AI做了很多很好的事情,也在不斷改進他們的AI系統。
Cade Metz:我們聊過很多AI取得的成就,但AI技術存疑的地方太多了。所以Hinton等人的理想主義和這些公司樂觀的目標和願望是相牴觸的,這些問題我們也要好好考慮。
9
AI界人才的“軍備競賽”
Pieter Abbeel:吳恩達為Google帶去了神經網路的火種,然後他們啟動了大量的研究工作。當然,神經網路最大的突破還是來自Hinton和他的學生,之後,Google、Facebook、微軟都意識到AI已經成熟了,Hinton帶來的是真正劃時代的成果,他們紛紛參與競拍Hinton師生三人成立的初創公司,並將他們收入麾下。然後,Facebook聘請了LeCun。可以說,這扣響了AI人才“軍備競賽”的發令槍。
Cade Metz:人才就是武器。2012年,資料和算力都不再是問題,可唯獨缺少深度學習人才。即便經過我這麼多年的調查,至今仍覺得這些科技巨頭入場深度學習的過程很不可思議,他們不但從理念上接受了這個概念,而且投入了大量財力,真的是押上了全部身家。
Hinton競拍自己公司的時候,基本上已經為深度學習人才奠定了一個基準價格,這類人才的價格真是天文數字,但即便如此,你還是覺得他要價再高也不為過。因為當時全世界也沒有多少人真正相信深度學習,所以人才極度短缺,供不應求,因此任何深度學習從業者都可以在薪資、股票、簽約費上隨意開價。
Pieter Abbeel:深度學習人才真的太少了,所有公司都在爭奪他們。有意思的是,Facebook聘請了LeCun後,他又招募了一些人才,而Google聘請了Hinton師生之後,整個業內就沒剩下多少人才了。但突然間一個剛成立不久的新公司冒了出來,DeepMind的CEO和聯合創始人Demis Hassabis竟然在人才緊缺的情況下招募到大批AI研究員,我記得有70個左右,這真是太讓人驚訝了。
Cade Metz:即便是很關注這個行業的人大概也沒想到,當時DeepMind只是一家名不見經傳的小型初創公司,它的成立時間跟Hinton公佈研究成果的時間差不多。要知道,當時AI界沒人看好深度學習,但DeepMind這家來自倫敦的小公司卻以迅雷不及掩耳之速招攬了所有的深度學習人才,甚至沒有一個巨頭及時反應過來。
結果也很有意思,Google和Facebook等科技巨頭也開始對深度學習感興趣了,這就讓DeepMind的處境非常尷尬。畢竟大公司財力雄厚,DeepMind要怎麼留住這些人才?DeepMind要麼把自己賣給Google或其他巨頭,不然就要面臨被“挖牆腳”的風險。2014年,Google就以6500萬美元的價格收購了DeepMind。
Pieter Abbeel: 那時DeepMind沒有營收、沒有產品、沒有發展藍圖,唯一有價值的資產就是人才。
Cade Metz:DeepMind一開始在做一個產品,後來放棄了。DeepMind研發的AI甚至還能玩Atari遊戲,儘管實際效用不大,但這是一個了不起的成果。不過歸根到底,Google看中的還是DeepMind的人才,而不是產品。
Pieter Abbeel: 入場的不止有Google,DeepMind的早期投資人是Peter Thiel(PayPal創始人&著名風險投資人)和馬斯克等人,當時基本上還沒人意識到深度學習的重要性。當然,馬斯克當時就已經是科技界的大人物了,但他那麼早就注意到並且參與了深度學習,這一點還是令人驚訝的。
Cade Metz:這也是一個很有意思的線索。的確,Peter Thiel的資金奠定了DeepMind的發展基礎。後來馬斯克也加入了,他擁有無可比擬的宣傳影響力。他相信DeepMind所說的AGI(通用人工智慧)理念,也就是建立和人腦功能一樣的機器系統。以DeepMind聯合創始人Shane Legg為首的一群人開始擔心AGI擁有這種能力之後可能會毀滅宇宙。
馬斯克抓住這個爭議,開始告訴全世界說DeepMind馬上要造出這種“可怕”的AGI了。就像20世紀50年代在Frank Rosenblatt身上發生過的故事一樣,媒體開始大肆宣揚這一點,極大程度地宣傳了AGI,我把這種做派稱為“反向炒作”。
Pieter Abbeel:沒錯,馬斯克將AGI比喻成終結者,這是一種高效的宣傳方式。七年前他開始這樣說,當然我們現在知道了,以七年前的AI技術談“AI威脅論”簡直是天方夜譚,但與此同時,在更狹窄的應用層次,AI開始在語音識別、影象識別等領域發揮作用。我個人認為,AI技術真正趨於成熟的標誌是可以應用到多個專業領域。
有人認為,目前全世界最強的圍棋選手出在中國。現在DeepMind已被Google收購,Google的AI做得很好,很多產品在美國備受追捧,但卻不能賣到中國。Google曾經有一項戰略,希望以新興的AI技術浪潮為切入點,先在中國辦一場圍棋人機大賽,以此在中國市場擴大知名度,但後來的結果似乎不盡如它所願。
Cade Metz:Google沒有獲得它希望得到的結果,這是我採訪他們的最高層獲得的資訊。韓國人機大戰的第二年,我又去了中國,雖然中國也很關注AlphaGo,但情況卻很不一樣。Google認為,AlphaGo在韓國的勝利大大地宣傳了Google,所以他們希望在中國“故技重施”,從而進一步開拓中國市場,但結果卻不盡如人意。因為中國政府反應過來了,開始思考要不要支援Google這家美國公司,允許它在中國進行公關宣傳。
Pieter Abbeel:雖然Google沒有在中國市場獲得成功,但許多中國公司實際上很擅長獨立開發AI技術。中國人現在能體驗所有Google所能提供的AI技術,而這些技術的研發者是中國公司,而非Google。至少現在看起來是這樣。
Cade Metz:確實。我比較感興趣的是,當前媒體上很多人對此都理解錯了。實際上,中國並不是對當前的發展情景一無所知。當Hinton帶領的隊伍在ImageNet挑戰賽將錯誤率從25%降到16%時,百度就已經嗅到苗頭。我們一般認為,美國是人工智慧領域的領頭羊,但實際情況卻很複雜,中國和百度從一開始就參與到了人工智慧當中。
這是一場全球性的革命,並非只有美國科技公司參與其中。人才不止在美國,還在其他地方,中國從一開始就有AI領域的相關人才,比如陸奇(前百度總裁、微軟全球執行副總裁)等等。人工智慧領域的主角絕不止美國一個,真是太有趣了。
(本文已獲得編譯授權,原影片: http://www.youtube.com/watch... )
歡迎下載體驗 OneFlow v0.7.0 最新版本:
http://github.com/Oneflow-In...- 為什麼一定要從DevOps走向BizDevOps?
- 雲音樂FeatureStore建設與實踐
- web技術分享| 【高德地圖】實現自定義的軌跡回放
- Object.prototype.toString.call()的原理
- 探針技術-JavaAgent 和位元組碼增強技術-Byte Buddy
- 解決方案| 快對講綜合排程系統
- MAUI模板專案閃退問題
- 2022 年你手機裡有哪些堪稱神器的 App?
- 如何在 React Native 專案中使用 MQTT
- spring-authorization-server令牌放發源碼解析
- 劉勇智:一碼通缺陷分析與架構設計方案丨聲網開發者創業講堂 Vol.02
- systrace 統計方法耗時
- 孫勇男:實時影片 SDK 黑盒測試架構丨Dev for Dev 專欄
- 通俗易懂講解並手寫一個vue資料雙向繫結案例
- 論 T 級互動開發如何在我們手上發光發熱
- 用原生JavaScript寫一個貪吃蛇
- 面試突擊53:常見的 HTTP 狀態碼有哪些?
- 詳解“開放雲”的真正含義!
- 一字一圖,領略瀏覽器方向的優化
- 天才製造者:獨行俠、科技巨頭和AI|深度學習崛起十年