演講人：賈揚清

演講主題：一個AI開發者的奇幻漂流

活動：2021阿里靈傑AI工程化峰會（2012年12月3日）

對於絕大多數人來說，這一波AI浪潮興許是從深度學習開始的。2011年穀歌發表的一篇文章講到，用16000個CPU和11個引數的連線來訓練一個能夠識別貓的模型。

今天AI演算法和應用百花齊放，給我們帶來了非常多的夢想；而這幾年整個行業的起起伏伏，背後也有許多彎路和故事。今天我們已經習慣了刷臉支付，但是似乎有一些更加高冷的夢想，比如像無人駕駛，都還只在路上。

我叫賈揚清，今天是一個消費網紅的年代，所以我們起了一個名字叫奇幻漂流。如果可以的話，我想把自己描述成一個AI老兵。在人工智慧的上半場當中，我們的體驗可能沒有那麼奇幻，因為基本上我們就像拓荒者一樣，身兼多個角色，在嘗試著把AI 演算法跟應用能夠逐漸落地。

我們做過演算法研究員，從AlexNet開始到ResNet ，到LSTM 到Transformer ，各種各樣的模型，我們都希望逐漸把它落地。

我們做過軟體工程師，從各種各樣的框架，像Torch、Theano、Caffe開始，到今天大家耳熟能詳的Tensorflow和Pytorch，我們相當於在不斷重新設計一套又一套語言，讓我們能夠把演算法高效地實現出來。

我們做過資料工程師，把圖片、語音、自然語言、使用者各種行為等資料做清洗做標註，把它放在無論是磁碟還是數倉的各種地方，然後再輸入到各種演算法當中去來做應用。

最後。我們也做過系統工程師，從GPU開始到各種各樣嵌入式的系統。我們搭了大大小小的系統，讓我們這些模型能夠簡單更高效地跑起來。

當然我們也在不斷地看應用，搭一個webserver ，做一個open API，把上面訓練出來的模型能夠實際的做成一個像刷臉，或者說hopefully 自動駕駛這樣的應用。

但是我們就在想，老兵們遇到的挑戰是什麼？今天事情越來越多，各種元件越來越複雜。我們會發現，要把全鏈路問題都像以前這樣人拉肩扛地解掉會累死也不可能。今天AI的應用已經不是一個模型，一個演算法那麼的簡單。

回到技術的角度，資料、演算法、模型、以及最重要的人，我們有了怎樣的一些變化？我們希望能夠做什麼樣的進一步思考？我想從這幾個角度來比較過去和今天有什麼樣的區別。

我們先說資料，以前我們在做圖片儲存的時候，我們就把圖片都放到一個磁碟上面去。

會發現速度比較慢，於是我們又把它放到一個，比如說類似LevelDB資料庫上面，回過頭來看，我們會發現這些就是非常標準的KV資料庫。

在洞察使用者行為的時候，我們首先要從Hive的數倉裡面做各種各樣的處理，把資料從Java的環境裡搬出來。再到Python的環境裡做訓練，而這個訓練底層的實現又是C++的，類似這樣的拉通，以及AI的模型標準等等，這一系列的問題都變得非常麻煩。

而在AI應用當中，怎麼樣把資料迴流下來，進一步地再做新的訓練，這些資料鏈路的質量都會決定了最終應用的質量。今天我們就會非常需要一個大資料和AI 一體化的平臺來解決資料的全生命週期當中各種各樣的問題。

軟體就更是一個備受關注的領域。如果往回倒8年，我們經常聽到“我的框架比你的快”這樣的比較。那麼多年過去之後，今天為止我們依然看見有很多框架在走著老路，重新設計一套語言，重新設計一個開發環境等等。我覺得今天我們不需要來重複地造輪子。軟體，或者說框架，核心主要在於兩個，一個是往下如何來相容各種各樣的硬體、不同的處理器、不同的新的晶片，另一個是往上如何實現更好地分散式開發。

尤其是當超大規模的模型變得越來越受關注，往下我們需要有更加好地AI編譯環境，讓軟體和硬體更容易地迭代和開發。往上我們會需要有更好地系統和模型，或者說系統和演算法工程師更好地相協同工作模式，讓我們構建起分散式的模型以及規模化訓練。在今天接下來的講座當中，我們就會講到在AICompiler 以及在分散式框架Whale等等上面做的工作和思考。

當有了資料和演算法，我們怎麼樣來找到最需要的AI模型？最簡單的方式是直接訓練一個。但是圖片、語音、自然語言處理等等領域有太多的模型，我們不可能每一個都從零開始自己訓練。學術界有一個Model Hub ，我們經常可以在網上找到偏向學術的不同領域的模型。但這些實驗模型怎樣部署，會是個難題。工業界我們能夠看到各種各樣的AI服務，比如說像OCR 、語音識別等，但要把它們連線起來，好像又比較難。開發者自己也多多少少有一些自己的模型，我們怎麼樣來自己部署一個模型，怎麼樣實現所需要的彈性、穩定性、免運維的能力，怎麼樣把模型從非常大的訓練結果到逐漸做量化、做蒸餾、做壓縮，到變成一個可以在不同平臺上部署的模型，這些都是我們在平臺層面需要解決的問題。

最後我們來說人的故事。我們以前在做程式碼開發的時候，有GitHub等非常成熟的模式。AI要管的東西更多，有資料、有演算法程式碼、有模型、有計算資源、有訓練跟推理的資源。怎麼樣來讓一個開發平臺從以前的單機，到今天的多機多卡多個數據中心的情況下，依然能夠高效地管理排程這些資源。今天后面會跟大家講到，我們在AIdesigner 或者說AI 工作空間上的思考，用一個統一的空間來拉通我們的演算法迭代，資料管理、模型訓練和最後模型上線。

AI 的痛苦在於本質上今天AI還沒有正規化。AI 不是一個產品，這句話有兩層含義，一方面它不光是一個單點的產品，而是一系列能力的組合；AI 今天非常強烈地需要標準軟體和定製化服務的協同。

我們在雲棲大會推出的阿里靈傑就是這樣的一個大資料和AI一體化的產品體系。為什麼要推出靈傑呢？我們非常強烈地意識到，我們需要把軟體、定製化服務、以及開發者效率都結合起來。靈傑做的一件事情是，它將可以標準化的部分標準化，將沒法標準化的部分用一系列工具和元件的方式提供出來，讓開發者在定製上層服務的時候，能夠更加便捷易用。

我們可以把靈傑理解為四層產品的有機組合。它的最底層是基於雲基礎設施，比如像計算、儲存、網路等等這一些我們耳熟能詳的基礎產品。和以前不同的是，我們並不需要思考，從資源視角怎麼樣搭一個叢集、加一堆GPU、或者裝一個硬碟。今天我們可以從需求視角來考慮，需要多大儲存、怎樣的異構計算、怎樣透過雲原生容器化等等方式把資源簡單地連結起來。這是最底層基礎設施給我們提供的簡單化、便捷化的能力。

在上面是大資料和AI一體化的平臺。我覺得它是靈傑的核心部分。首先它給我們提供了大資料跟AI結合的能力。比如MaxCompute平臺已經可以呼叫10萬臺叢集來支援2000萬張表跟千萬級任務排程，它的Serverless模式代表著我們可以在非常小的，例如一張表、一個數據集、一個GB、一個任務開始就用零公攤成本來使用幾乎無限的彈性。

和大家分享一個數字。過去我們經常有一個感覺，覺得大資料和AI是分開的。當我們在看阿里集團內自己的應用情況時，在大資料平臺上，有超過30%的資料計算都已經應用於AI模型訓練，這裡都還沒有計入AI推理這塊。透過AI Compiler和Whale軟體框架，我們今天也在進一步提升AI計算效率。

當然平臺的另一個重點是提升開發效率。在今天后面的分享中，我們會向大家介紹在大資料和AI一體化的平臺上，如何用AI 工作空間這樣的輕量化平臺，以及PAI-DSW、PAI-DLC、PAI-EAS等元件來打通資料、訓練、資源管理、推理和服務等等這一系列挑戰。

工程平臺最終目的是為了實現演算法創新。想象一下8年前我們要做一個AI應用的時候應該怎麼辦？基本上就是我們自己去搜集資料，然後訓練一個模型，再非常痛苦地把這個模型在自己手工搭建Web Server裡面透出出來。還要時刻擔心，如果沒有人來訪問這個模型，是不是資源就浪費了，如果太多人來訪問，是不是服務穩定性又會打折扣。

今天很多AI能力，比如說像OCR、語音、自然語言處理等等，都已經是標準化開箱即用的狀態了。因此阿里雲的工程師和達摩院的演算法同學們合作，在10多種場景下的開放服務層，提供了上百種標準化的演算法模型和服務，來解決AI落地應用最後一公里的問題。

無論是OCR、語音、還是文字的理解，我們希望能夠透過一個標準的模式來實現AI 模型的開通、接入和使用流程，就像下載和使用一個APP那麼簡單。

在靈傑之上我們搭建了非常多應用，今天大家可能都經常聽見，像城市大腦、醫療大腦等等這樣的概念。今天后面分享當中，我們想跟大家分享在網際網路領域一個非常典型的應用，就是像在電商這類業務中，如何實現更高效地增長。它的本質就是怎麼樣把使用者和他們所感興趣的內容結合起來，最終達到使用者體驗和商業結果雙贏的局面，後面的分享會有更細節地呈現。

總結一下，8年前我們說能夠訓練一個影象識別模型然後搭一個小的demo，就已經是一個頂級的AI開發者了。今天我們所面對的需求是將AI 的資料、演算法和場景結合起來，去構建一個完整而且更加複雜的解決方案，來解決各行各業當中的實際問題。

從開發的角度來說，從我們想寫第一行程式碼開始，到寫下第一個AI模型需要多久？從應用的角度來說，從我們看到一個需求到prototype上線和服務需要多久？

這是我們今天一直在考慮的問題。阿里靈傑解決這個問題的思路，就是讓不同的開發者們都能夠按需取用、開箱即用。從最底層的基礎產品，到中間的開發平臺，到上層的開放服務，來幫助各行各業的科學家們和開發者們在雲上一起畫出人工智慧增長的第二曲線。

（完）

最後，再介紹一下主編自己吧

我是譚婧，科技和科普題材作者。

為了在時代中發現故事，

我圍追科技大神，堵截科技公司。

生命短暫，不走捷徑。