李國傑:“智能計算機”的曆史、現在和未來:超算正與智能“曆史性會合”

文章來源:  |  發布時間:2019-07-05  |  【打印】 【關閉

  
   曆史:超算是超算,智能是智能 

  “計算機之父”馮·諾依曼曾經試圖模仿神經網絡設計計算機,但並未成功。1946年11月,馮·諾依曼在給“控制論之父”諾伯特·維納的信中寫道:“我們選擇了太陽底下最複雜的一個對象……向世人展示了一種絕對的且無望的通用性。”

  事實上,從第一台電子計算機開始,計算機的發展就與模擬神經網絡分道揚镳。此後數字計算的飛速發展,使得用計算機實現人工智能的方式與人腦的思維機制幾乎不沾邊。

  20世紀80年代末至90年代初,在日本第五代計算機項目帶動下,全球掀起一陣“智能計算機熱”。當時的熱點是面向智能語言和知識處理的計算機,研究重點是並行邏輯推理。

  日本五代機走的是“定制化路線”。我國“智能計算機”研制走的則是一條比較通用的路線:從芯片、系統到軟件、應用,都是“非定制化”。

  1990年,國家科委(科技部的前身)批准成立“國家智能計算機研究開發中心”,不但開展了曙光系列並行計算機的研制,還從事了人工智能的基礎研究和應用研究,爲今天智能超算的發展打下了基礎。

  錢學森先生曾發表《關于“第五代計算機”的問題》提議:“第五代計算機是什麽?是第二代巨型計算機。我認爲再把這個概念叫做五代計算機或者六代計算機,就不那麽合適了……建議爲了不要混淆起見,就幹脆叫第一代智能機。”

  以此爲標志,所謂的第五代計算機就分成了兩個叉:一個是第二代巨型計算機,一個是第一代智能機——這是兩個不同的概念。

  事實證明,曆史的發展與錢老的預測是相符的,從20世紀80年代以後的30年,計算機的發展之路確實符合錢學森的預測,超算是超算,智能是智能。

  現在:智能與超算的曆史性會合 

  超級計算是“算得快”的計算機。但智能計算機和超算不一樣:智能的本意是“算得巧”,而不是“算得快”。這是兩股道上的車。

  本世紀以來,深度神經網絡的成功和大數據的興起,使得超級計算和計算智能(深度學習)走到一起,出現“曆史性的會合”。

  過去高性能計算機主要用于科學計算,現在的高性能計算機已大量用于大數據和機器學習。一組數據可以說明這一點:2015年,中國HPC在數據分析與機器學習領域應用只有27%,至2016年達到48%、2017年提升到56%。預計這個比例今後還將繼續提高。

  但是也應該看到,目前大量采用的智能計算實際上是基于GPU或GPU-Like加速器的“准智能計算”。比如,圖像和語音的信號處理計算還是數值計算。

  智能算法可以加速传统的科学计算。举例来说,今年4月,200多名科研人员从四大洲8个观测点“捕获”了黑洞的视觉证据。此项研究历时10余年,加州理工学院曾经采用Blue Waters超级计算机进行近900个黑洞合并的模拟,花费了2万小时的计算时间。后来采用新的机器学习程序和算法,从模拟中学习,帮助创建新的模型,在毫秒内就能给出合并结束状态的答案,大大促进了关于黑洞的研究。

  如今,機器學習不僅是人工智能領域研究的重點,也正成爲整個計算機科學研究的熱點。

  未來:智能超算的十大關注方向 

  人類可能會發明新的智能計算機,但至少最近20年內,智能超算是要高度重視的研究方向。關于智能超算的未來研究方向,以下10個方面值得重視。

  第一,未来十年是体系结构的黄金时期。近几十年计算机的飞速发展一半来自摩尔定律,另一半来自系统结构的改进。摩尔定律即将走到尽头,计算机未来的改进将主要从结构改进入手。图灵奖得主、计算机体系结构宗师David Patterson与John Hennessy预言:“下一个十年将出现一个全新计算机架构的‘寒武纪’大爆发。”

  第二,“人腦級能效”將是未來智能計算機的核心特征。大腦以超低功耗實現了超級複雜的計算,從目前的發展來看,超級計算機現在的能效還滿足不了需求。“超算能效增長遠遠低于速度增長”,是計算機發展70年未有之大變局。這給我們提出挑戰,未來超級計算機要達到像人腦一樣的能效層次。

  第三,要研究具有“低熵”特征的未來架構。智能計算機的本事主要體現在對付“不確定性”,而“熵”就是對不確定性的刻畫。要通過全棧的系統設計應對不確定性挑戰,在問題不確定、環境不確定、負載強度不確定的情況下,保障可預期的性能結果。

  第四,要重視研究領域專用系統結構(DSA)以及可重塑處理器。近幾十年通用處理器一直勝過專用處理器,這一局面正在改變。未來大多數計算將在專用加速器上完成,而通用處理器只是配角。

  第五,要重視智能超算的通用性。盡管專用化是趨勢,但作爲一個智能中心和超算中心,還是要本著爲大衆服務的目標盡量匹配更多用戶的需求。

  第六,模擬計算值得重視。傳感器接收的都是模擬信息,人腦處理的也是模擬量,連續變量的模擬計算是非圖靈計算。模擬計算是離散數字計算的前輩,經過60年的變遷,模擬計算可能有機會東山再起,連續變量與離散變量的混合計算將開啓計算新天地。

  第七,計算存儲一體化。人類的大腦計算和存儲不是分開的,不需要數據搬移,所以未來的計算機體系結構可能要改變傳統的把計算和存儲分開的馮·諾依曼結構。

  第八,推理驅動與數據驅動可能會交替發展。目前的智能應用,主要是數據驅動。人工神經網絡屬于開普勒研究模式,而人工智能研究中的推理驅動則是繼承牛頓的演繹推理模式。1956年的“達特茅斯會議”預設了實現人工智能要走牛頓模式:先精確描述智能。但數據驅動如何轉到推理驅動需要認真探索。

  第九,要重視事件驅動計算。未來人工神經網絡應考慮“時間”因素,基于事件的信息流(事件驅動計算)可直接反映人腦工作的自然模式,這是一種新的“空間—時間模式”。

  第十,要建立智能超算新的測試基准。長期以來,評測超級計算機的性能都采用Linpack測試程序。它可以測出幾乎滿負荷、滿功耗下的計算機浮點計算性能,是測試超級計算機可靠性和穩定性的理想程序。但是,由于功耗的限制,當前發展通用超級計算機已遇到極大的困難,領域專用超級計算機成爲熱門研究方向,Linpack顯然不適合作爲領域專用計算機的測試標准。

  建立統一的基准評價標准,有助于行業內的良性競爭。希望從過去的超算到大數據和人工智能有一套新的標准,有一把尺子衡量技術,將影響力從學術界延伸至産業界。