[加州] 唏噓:拾年前的百度,聚攏了硅谷最傑出的天才
縮放定律的原出處，是OpenAI的壹篇叫做《神經語言模型的縮放定律》（Scaling Laws for Neural Language Models）的論文。
而這篇論文的通訊作者，就是達裡奧·阿莫迪，他的另壹個廣為人知的身份，則是Anthropic的聯合創始人。
Anthropic在AI編程領域優勢明顯，地位隱隱然與OpenAI和Google鼎足而叁，剛傳出將以3500億美元估值融資200億美元的消息。作為聯創，阿莫迪當然功不可沒。
但很少有人注意到，阿莫迪還有另壹個身份——百度前員工。
按照百度內部通訊軟件“如流”的分級來看，阿莫迪應該叫“紅度阿莫迪同學”。
更有意思的是，在2024年底Amodei在壹次播客采訪中，阿莫迪透露2014年與吳恩達在百度研究AI的時候，他就已經發現了模型發展的規律縮放定律。
此話壹出，掀起了壹陣“百度是否比OpenAI更早發現縮放定律”的爭論。
Amodei不是個例，在硅谷，“百度”頻繁出現在大佬的履歷裡。
最為人所熟知的是AI學術大牛、斯坦福大學教授、谷歌大腦聯合創始人吳恩達，他曾是百度硅谷實驗室的“靈魂”。
離職時，他不吝對李彥宏的贊美，稱他是“第壹個清晰看到深度學習價值的大型公司CEO，也是全球最好的AI CEO之壹。他的熱情和百度的決心讓我覺得這是壹個難得的機會”
在Meta，沙蘭·納朗（Sharan Narang）組建並擴展了Llama預訓練團隊，交付了Llama 2、3和4的預訓練模型，奠定了Meta在生成式人工智能領域的領先地位。
而他曾是百度硅谷實驗室的高級研究員，離開後先在谷歌當技術主管，後跳槽到Meta。
在蘋果，曾擔任AI/機器學習相關方向總監的亞當·考特斯（Adam Coates），曾是百度硅谷實驗室的早期核心成員之壹，跟隨師父吳恩達加入，並在後者離開之後接棒。
在英偉達，應用深度學習副總裁布萊恩·卡坦扎羅（Bryan Catanzaro），曾是百度硅谷實驗室的高級研究員，專門研究GPU優化。
他們的共同經歷，是在拾年前的“百度硅谷實驗室”效力過。那代表著百度的壹次硅谷野心。
01. 硅谷野心
百度請來了“谷歌大腦（Google Brain）之父”，要在硅谷搞壹個“百度大腦”，這在當時是爆炸性新聞。
2014年，百度硅谷實驗室成立，專注於人工智能與深度學習技術研究，與北京深度學習實驗室、大數據實驗室共同構成百度研究院核心科研體系，並任命斯坦福大學教授、Coursera聯合創始人吳恩達出任首席科學家，負責統籌百度在北京與硅谷兩地的人工智能研究工作。
吳恩達是谷歌大腦的早期核心成員之壹，也是深度學習從學術走向工業化過程中最具標志性的人物之壹。
對壹家中國互聯網公司而言，在這壹時間點、以研究負責人而非顧問的形式，將這樣壹位學者級人物納入體系，在硅谷並不多見。
媒體在報道中強調，這是百度在硅谷長期布局人工智能研究的重要壹步，並披露百度計劃在未來伍年內為這壹國際研究項目投入約3億美元，目標是將硅谷團隊擴展至約200人規模。
那壹年，Transformer架構尚未出現，“大模型”仍是壹個不存在的概念。但深度學習的拐點已經到來。
2012年，AlexNet在ImageNet競賽中取得壓倒性優勢，卷積神經網絡開始從學術論文走向產業實踐。
2013年，Facebook請來楊立昆（Yann LeCun），成立Facebook AI Research。
2014年初，谷歌以數億美元級別的價格收購英國AI公司DeepMind。
人工智能已經不再僅僅是研究熱點。
但在當時，這仍然是壹條高投入、長周期、結局不明的路線。少數巨頭已經開始下注，大多數公司仍在觀望。
百度正是在這壹階段選擇大膽押注的壹方。
彼時，移動端搜索使用量開始超過PC。但移動廣告的變現效率明顯低於PC，成本結構也更為復雜，這使得公司整體盈利能力承壓。
在多次公開場合，李彥宏將這種變化描述為壹次結構性的轉折。他強調，從PC向移動的遷移並非終點，更大的技術浪潮正在醞釀，而人工智能將深刻改變信息獲取與分發的方式。
[物價飛漲的時候 這樣省錢購物很爽]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 | 更多... |
推薦: