近年來，人工智能技術突飛猛進，人工智能驅動的系統也在顯著改善和提高我們的日常生活效率。這篇由人工智能和深度學習領域全球領先的活動機構RE?WORK發布的文章，原標題是AI Experts Predict 2021 Trends，作者是Nikita Johnson。不久前，該機構采訪了人工智能領域的12位專家，并將專家們對2021年行業發展趨勢的看法匯總在了這篇文章中。
圖片來源：RE?WORK
對我們很多人而言，2020年并沒有完全如期而至。不過，我們已經揮別了2020年，迎來了2021年！
我們前不久采訪了一些人工智能專家，了解了他們對于2021年人工智能領域主要發展趨勢的看法。
這些專家主要來自加拿大的蒙特利爾學習算法研究所（MILA）、美國信息技術研究及分析公司高德納（Gartner）、Facebook、亞馬遜旗下人工智能研發部門Alexa AI、美國國家航空航天局（NASA），以及許可式郵件營銷服務商Mailchimp等組織和機構。
美國信息技術研究及分析公司高德納（Gartner）數據科學負責人Andriy Burkov
在經過有用戶參與的試驗后，雖然一些公司可能會推出家庭和工作之間點對點的無人駕駛通勤服務，但完全自動駕駛的汽車在2021年仍然是“準備好了”的狀態。
另外，全自動駕駛卡車將開始在高速公路上完成從海岸一端至海岸另一端的長距離行駛（整個過程可能需要借助人為的遠程監控），不過最后一公里的駕駛還是會由安全員直接操控。
基于Transformer的預訓練模型，比如GPT-3，會更加擅長假裝智能，這一點也會更加讓人不安，并且其假裝智能的程度，甚至會讓一些人認為其已經實現了智能。
美國國家航空航天局（NASA）機器學習負責人、圖片分享網站Pinterest技術孵化負責人、《云、移動端和邊緣智能設備的實用深度學習》（Practical Deep Learning for Cloud, Mobile, and Edge）一書作者Anirudh Koul
2021年，我十分期待的有兩個方面的事物。一個是會變得更大的事物，一個是會變得更小的事物。預測未來的最佳辦法就是回首過去（也許可以在過去配置一個長短期記憶網絡LSTM）。
兩年之內，我們的預訓練模型就已經從440MB大小的BERT轉變成了350GB大小的GPT-3。我們已經能通過云端租用超級計算機，借助其285000個CPU核和10000個GPU（微軟為硅谷大亨聯合建立的人工智能非營利組織OpenAI開發的）的計算力。
我們已經實現了在你口袋里的iPhone A14芯片中安裝118億個晶體管。我們已經能夠在90秒內訓練ImageNet，而十年前，這一訓練過程還需要花費數月。
所以，我們可以預見，計算、模型和算法的力量會持續呈指數級別增長，進一步向眾人揭示人工智能的新奇魔力。
另一方面，我們現在可以實現BERT精準度，但在使用FastFormers的基礎上，CPU推理速度提高了233倍。如今，我們通過NVIDIA Maxine傳輸視頻通話，只需要較之前五百分之一的帶寬。我們將訓練AutoML模型的時間從GPU運算時長40000小時 (2018年的MNasNet)減少到了3.75小時（2019年的Single-Path NAS）！
單一地關注模型修剪和模型量化，并不是我們對模型的研究主題，而研究主題是實踐者已經寫好的高效三行代碼（TensorFlow模型優化工具箱）。
在2021年，關注小事物的樂趣會持續增長，讓使用邊緣智能設備的用戶獲得基于強大模型的神奇體驗。
情緒感知初創公司Affectiva聯合創始人兼首席執行官Dr. Rana el Kaliouby
我們將看到情緒感知人工智能的新用例，以在新冠疫情大流行期間促進在線協作和交流。
在新冠疫情期間，我們比以往更加依賴視頻會議。視頻會議將大家虛擬地連接起來，讓我們得以遠程工作、在家學習并展開社交生活。
然而，目前存在的一個較大問題是：這些技術上，情緒感知是盲區。當我們面對面交流時，我們能夠傳遞的信息不僅來自語言本身，我們還能用面部表情、語音語調以及肢體語言來表達自己。但這些技術的最初設計初衷，卻并不是來捕捉我們與周圍人互動時的細微差別的。
我們也許可以借助人工智能，來在虛擬環境中保留我們人性的那一面。具體而言，能夠根據面部表情和聲音理解人類細微情緒和復雜認知狀態的情緒感知人工智能軟件，可以解決疫情期間已經出現的一些技術短板，我們會看到各大公司將其運用于新的用例，比如：
視頻會議和虛擬活動——情緒感知人工智能能夠提供對人們在虛擬活動或者會議中的情感解讀。它能為線上發言者提供真實的觀眾反饋，讓參與者有一種共同的體驗，同時能幫助公司在這段緊張時期了解集體的參與度。
線上學習——情緒感知人工智能能夠提供學生對線上教育材料和教學的參與反饋。當學生迷惑、緊張或者乏味時，系統就會發出信號。這在疫情期間尤為重要，畢竟有很多學生在網上學習時，都得了“Zoom疲勞癥”。
遠程醫療——隨著遠程就診逐漸替代面對面診斷，情緒感知人工智能能夠在患者和醫療提供者之間建立起更有意義的討論和信任。此外，對患者情緒健康的數據驅動分析也提供了一種心理健康的量化測評方法，而不是讓患者用簡單的1至10分來自我評估。
蒙特利爾學習算法研究所（MILA）博士研究員Alexia Jolicoeur-Martineau
降噪得分與退火蘭格文采樣（DSM-ALS）和擴散去噪的變種將開始打破模型生成的記錄；它們將擊敗目前最頂尖的生成式對抗網絡（GANs）。
我們還將看到生成式模型的新指標，因為現在的指標IS（inception score）和FID（Frechet Inception Distance score）將會使值接近完美，但仍未實現真實感圖形。
人工智能機構Got-It AI首席科學家兼對話式AI負責人Chandra Khatri
無代碼的人工智能平臺、產品和初創企業開始激增：在過去幾年里，人們創建了很多強大的深度學習和人工智能工具，比如PyTorch和Tensorflow。工程師們現在準備在現有工具之上構建無代碼的人工智能平臺和產品層，用戶只需要簡單地提供其數據，并且通過配置或者用戶界面列出或選擇模型。
我們不僅可以訓練和服務模型，而且還可以通過REST API暴露給應用程序。
Got-It AI開發的無代碼、自我發掘、自我訓練以及自我管理的平臺，就在朝著大眾化對話式人工智能的方向發展。微軟前不久推出的一款名叫“Lobe”的應用程序，可以讓所有人都能訓練人工智能模型，其也是在朝著大眾化對話式人工智能的方向發展。
人工智能促進可持續發展：我們正在經歷一個大流行病（包括非典病毒、H1N1病毒和新冠病毒）變得更加普遍的階段，氣候變化也造成了大量森林火災和物種滅絕，洪水和干旱等問題也變得越來越普遍。
我們將看到，越來越多的初創企業，以及由大公司或組織資助的計劃，它們利用人工智能來實現可持續發展。我們已經看到了一些綠色科技初創公司，比如斯洛伐克的可再生能源公司Fuergy和加拿大乘車共享平臺Facedrive，我們還可能會看到，人工智能初創公司利用預測模型來應對氣候變化、大流行的預測和緩解，以及城市交通問題等等。
蒙特利爾人工智能倫理研究所（MAIEI）創始人兼首席研究員、微軟公司機器學習工程師兼創新技術合作事業部（CSE）首席人工智能委員會成員Abhishek Gupta
我的預測（以及我真誠的希望）是，倫理、安全以及包容會成為在人工智能領域工作的每一個人日常工作中遵循的原則。更重要的是，我預測一些像差別隱私這樣的概念將更加主流，并且會很好地融入到日常實踐中。
隨著新的組織開始意識到利用人工智能完成工作的價值，我還預測，在應用人工智能的傳統領域之外的地方，也將開始出現大量的能力建設工作。
隨著人工智能工具變得更加易于使用，公民數據科學家的概念會獲得更多的關注，人工智能技術也將會作為一種新穎的方式，用于解決那些對人類社會具有重要意義的問題。
最后，像信息污染這樣的問題將會加劇，我相信這會開創一個知識建設的時代，各組織和團體會努力提高人們的認識，使大眾具備更好地駕馭環境的技能。
亞馬遜旗下人工智能研發部門Alexa AI首席研究科學家Shalini Ghosh
隨著人們開始在家庭和工作環境中接觸越來越多的人工智能設備，這些設備能幫助用戶完成的任務數量也將會進一步增長。比如說，智能助手可以幫助用戶完成租借電影或者線上訂餐這樣的任務，智能監控可以通過異常事件檢測來保障居家安全。
許多任務都將是多模態的，并涉及到視頻、音頻、語音和文本數據的處理和分析。
因此，在2021年，人們將繼續保持對多模態人工智能的興趣，就像我們在2020年已經看見的那樣。
除此之外，許多高級任務的帶標簽訓練數據十分匱乏，這會促使人們進一步研究稀疏數據環境中的學習技術，比如，小樣本學習和自我監督學習。
最后，由于許多人工智能任務會在用戶設備上運行，我們將看到更多對設備內置機器學習（以及更廣范圍的資源受限的機器學習）感興趣的研究。
許可式郵件營銷服務商Mailchimp數據科學家Muhammed Ahmed
更多地使用零樣本標注！近年來，我們已經徹底研究了大量預先訓練的自然語言處理（NLP）模型的益處。許多最近的研究都喜歡把零樣本（ZS）學習器當作開箱即用的分類器來使用。
在2021年，我預計能看到更多的人使用零樣本學習來標注數據集，并且訓練出開箱即用的分類器。相比于零樣本分類，零樣本標注的優點包括：
免費標注：不需要昂貴的標注器（比如Amazon mechanical turk）就可以管理數據集
標注引導：將一個開放式的標注任務轉變為一個簡單的真/假標注
隱私保護標注：在標注敏感數據時十分有用（比如醫療保健和遺傳數據）
通過多個來源獲取零樣本標記示例，并隨之引發的訓練集樣例多樣性
未來待開發的訓練新分類器的能力
推理速度加快（在某些諸如多類，零樣本, 以及自然語言推斷（NLI）的情景下）
全棧數據科學家的增長
對于許多機器學習任務來說，未來的工程和建模都不再是難事。這主要是因為機器學習領域在過去幾年來取得的巨大進步。
對于自然語言理解和生成而言，我們知道使用transformer。對于計算機視覺而言，我們知道使用CNN。對于列表類型數據來說，我們知道使用樹方法，這些樹方法往往會使用bagging或者boosting等算法。這節省了很多過去花費在讓我們能夠解決并實驗出能夠快速訓練最頂尖模型的時間。
對于許多數據科學團隊來說，新的痛點是部署模型并編寫生產就緒代碼，這要求開發者擁有軟件工程和MLOps技能。
在2021年，我預計對機器學習工程師和全棧數據科學家的需求會更大。
數據管理平臺益博睿（Aperture Data）創始人兼首席執行官Vishakha Gupta
隨著機器學習和數據科學領域的日漸成熟，機器學習行業正在從提高模型在特定數據集上的性能和準確率，發展到解決MLOps挑戰。
隨著當前機器學習工具和平臺將細節抽象出來，我相信未來的重點會更多地放在減少復雜度、提高生產率和在實時公司數據上演示成果（在一定的延遲和空間占用下）等方面，而不是證明可行性。
通過機器學習從數據中獲得商業價值包含多個步驟，這個過程目前仍然需要用多個孤立的解決方案來解決。當這些解決方案集成時，系統效率就會降低。
假設這些不同步驟的每一步都和數據進行交互，并且提供一種統一而有效的方式來和數據進行交互，那么，無論是哪個階段，都可以降低機器學習管道在擴展時的復雜性。
我的研究主要集中在智能數據管理領域。我預測，在2021年，我們會越來越重視基礎設施，它們能夠在邊緣設備和云端實現更簡單、更可擴展的機器學習部署，并且把解決方案的時間，以及在真實世界數據上安全運行大量訓練和驗證任務的能力作為主要指標。與此同時，能源效率則將作為一個次要指標，不過它會變得越來越重要。
2021年中，另一個值得重視的領域是，驗證模型在更具有代表性的數據集上工作情況的工具。一些研究小組已經確定了模型在現實世界中的圖像捕獲上是如何受影響的、文本數據如何令人困擾，以及訓練集數據本身又是如何不具有代表性的。
我相信，接下來將會出現更多標準化指標和中立的第三方驗證工具或者服務來評測模型的準確率。這些工具或者服務最終會將解決方案的操作指標和性能指標納入其中，從而給出一個整體得分表。
加拿大科技健康公司WinterLight Labs機器學習負責人Jekaterina Novikova
2020年對很多人來說都是特殊的一年，并且也沒有太多正能量。由于新冠疫情的暴發、健康風險增加、全球范圍內前所未有的流動性和旅游限制，以及因新冠疫情所導致的其他種種后果，我們的日常生活發生了很大改變。
我認為這樣的背景加速了人工智能在幾個領域的應用，并將在2021年形成一些主要轉變。
首先，人工智能解決方案將更廣泛地應用在健康醫療領域，特別是在心理健康領域。受抑郁、焦慮和壓力等問題困擾的人數急劇上漲，基于人工智能的工具和解決方案剛好可以并且能夠應對這一危機。
其次，在新冠疫情遲遲得不到完全控制的情況下，由于各種追蹤應用程序的應用，以及類似的基于人工智能的解決方案的出現，個人隱私問題也顯得尤為突出。
很顯然，這些產品非常有用，并且能夠幫助實施必要的社會控制、預測疫情暴發和追蹤感染。不過，由于人工智能引發的潛在、負面的隱私影響，將在2021年成為一個嚴重的問題。
教育科技創企SureStart創始人兼首席執行官Taniya Mishra
我們將看到更多的人工智能產品關注人和整個社會。在包括人工智能和技術在內的所有商業領域，多元、平等以及包容（Diversity, Equality & Inclusion，DEI）的問題被再次喚醒，這是一個不會消失的新興趨勢。
具體而言，忽略了DEI這三方面的人工智能公司會承擔影響其底線的商業風險。如果人工智能不能為其所有的目標市場或者用戶服務，那這些公司實際上就沒有讓其工作價值實現最大化。
已經有許多公司通過數據和算法偏差的技術評估，來關注和解決人工智能多元和倫理的問題，這也是非常重要的。然而，如果要真正解決這一問題，并且考慮到有關種族公平和正義的話題，我相信，我們會將更多的關注放在人、社會和構建人工智能的團隊身上。
我們都見過，自上而下的DEI計劃經常失敗，這通常是因為個體員工不理解怎樣在日常決策中實例化，或者說，他們沒有跟這些決策建立情感聯系。
所以，在2021年，我們會看到人工智能公司采取自下而上的DEI方法，拓展公司員工，特別是技術人員的視野，從而讓他們進一步了解“誰”是工程師，“誰”是科學家，以及“誰”是技術專家。
此外，人工智能也不再是一門單純的技術學科，我們需要用多學科的方法來理解其對人類的影響。對此已經展開深入思考的公司，將開始搭建專門的團隊，團隊成員不僅僅包括技術人才，而且還包括經過專業訓練的倫理學家、社會學家和人類學家，他們往往能夠站在超越產品技術和規格角度上，來思考技術所產生的影響。
人工智能產業使用數據的方法將不得不改變，這樣才能恢復對科學和技術的信心。許多年來，許多公司都在爭先恐后地發展成為創新驅動型企業（innovation driven enterprises, IDE）。但如今，大家的全新關注點，已經變成了發展成為數據驅動型企業（data driven enterprises, DDE）。
對于人工智能公司而言，DDE顯得尤為重要。畢竟，人工智能系統需要大量數據來訓練、測試以及驗證算法。
然而，當收集、存儲和使用這些數據，或者利用這些數據建立遵守倫理的人工智能時，大量的數據也帶來了大量的責任。
由于越來越多的消費者希望參與到他們的數據如何使用以及由誰使用的決策之中，因此，市場也會受到這些倫理挑戰的驅動。個人數據的訪問控制權將掌握在用戶手中，而不是技術開發人員或者科技企業的所有者手中。
人工智能公司需要牢記這一點，并想辦法讓數據收集、存儲和使用更加透明；同時，也需要注意如何使用這些數據，以確保人工智能系統的公平與公正。
這就要求人工智能公司在測試和驗證算法時建立約束條件，不僅要檢查整體準確率，還需要特別地檢查它在不同人口群體中（比如白人男性與黑人女性）的泛化程度。只有這樣，組織才能在人工智能部署到產品中之前，識別出特殊的偏差領域，并解決這一問題。
深度學習創企DeepCube聯合創始人兼首席技術官Dr. Eli David
我們看到一個明顯的趨勢，就是頂尖的深度學習模型正在變得越來越大。
在2019年，最大的深度學習模型有大約10億個參數（權重）。到了2020年，最大的深度學習模型已經超過了1000億個參數，一年就增長了超過100倍！
這些更大的模型，由于提高了準確率，因此也更有優勢。但是，其計算和內存需求也在以同樣的速率增長。因此，能夠顯著減小這些模型大小、并提高其速率的解決方案，將會在部署上變得越來越重要。