對話圖靈獎得主唐加拉：從閱讀障礙患者到全球最快計算機的“幕后英雄”
● ● ●
杰克·唐加拉讓人印象深刻的是他在2022年世界超算大會（SC22）上的表現(xiàn)。 在他的同行提到，唐加拉剛剛獲得的圖靈獎是頒給整個超級計算領域（HPC）之后，他大笑著走上講臺，全場一片歡騰，到處是放肆的笑聲和揮舞的手臂，幾乎有半分鐘的時間，這個一直小眾、不溫不火的超級計算年度大會變成了搖滾現(xiàn)場。 笑聲平緩些之后，唐加拉說：“我從未預想過今天”。 與更為熱門和應用場景幾乎無處不在的AI等計算機科學領域的分支相比，超級計算更像一個不怎么喜歡拋頭露面的“幕后英雄”。因為過于“小眾”和“專業(yè)化”，它的公眾知名度和曝光率遠低于如AI，然而正是它，在支撐著人類最尖端科技的發(fā)展。HPC的應用從天氣預報、新藥研發(fā)到高能物理、宇宙學、材料科學、流體力學模擬、經(jīng)濟學模擬等等，它正在幫助人類解決普通計算機無法解決的難題或大型問題。而這一點，在AI時代尤顯重要。因為人工智能模型，尤其是用于語音識別和自動駕駛汽車等領域的模型，需要海量的計算能力進行訓練，而這正是最需要也更適合交給高性能計算系統(tǒng)的工作。 2021年，唐加拉獲得了圖靈獎，在頒發(fā)圖靈獎的計算機協(xié)會（ACM）官網(wǎng)上，曾對獲獎原因做出了詳細的解釋：“近四十年來，摩爾定律推動著硬件性能呈指數(shù)級增長。與此同時，盡管大多數(shù)軟件未能跟上硬件的進步，但高性能數(shù)值軟件卻做到了——這在很大程度上得益于 Dongarra 的算法、優(yōu)化技術和生產(chǎn)級質量的軟件實現(xiàn)?！倍萍永膱D靈獎講座的標題便叫：“軟件并非如此簡單”。 在那個講座中，唐加拉提到了自己作為算法和軟件科學家的疲于奔命：“我感覺我們一直處于一種追趕模式……硬件架構在變化，算法和軟件只能努力跟上這種架構。我腦海中經(jīng)常浮現(xiàn)出這樣的畫面：硬件人員把機器丟過來，（我們這些）算法人員和軟件人員則忙著想辦法把要處理的問題放到那臺機器上，以便更有效地處理，完成這一切大概需要10年的時間。然后，一臺新的機器又來了，我們又重新開始這個循環(huán)……” 唐加拉的故事常被描述成一個出身貧寒，早期志向不那么高遠的理工男的逆襲故事。他來自一個意大利移民家庭，近百年前，當他的祖父帶著他的父親去到美國時，口袋里只有25美元。等到唐加拉這一代，這個意大利血統(tǒng)男孩的數(shù)學和科學成績還不錯，但閱讀和拼寫卻很吃力，成年后，唐加拉才發(fā)現(xiàn)自己有閱讀障礙（dyslexic）。 1972年，唐加拉進入了芝加哥州立大學數(shù)學系，這不是著名的芝加哥大學，而是伊利諾伊州的一所著名的以黑人學生為主體的大學，根據(jù)學校官網(wǎng)發(fā)布的數(shù)據(jù)，芝加哥州立大學的學費大約只有全美平均水平的1/3，2023年，非裔美國學生占這所大學總學生人數(shù)的65%以上。直到2015年，該校仍未被《美國新聞與世界報道》的大學排名收錄。 大學期間，唐加拉最大的夢想是成為一名高中老師，然而，大學的最后一個學期他獲得機會去申請了美國的阿貢國家實驗室的一個職位，然后他與大約30幾個本科生一起在阿貢實驗室工作，開發(fā)數(shù)學軟件，這讓他意識到自己對“軟件開發(fā)、數(shù)學軟件以及線性代數(shù)”的熱愛，他留在了阿貢國家實驗室，直到1989年。然后，他加入了美國的橡樹嶺國家實驗室和田納西大學，并一直在那里工作。 在田納西大學，唐加拉和同事們提供了高效、標準并具有可移植性的“計算工具箱”（開源軟件庫）；構建了計算平臺協(xié)同工作的“溝通橋梁”（MPI），并建立了能夠衡量和推動發(fā)展的高性能計算機“基準測試”（benchmark），并在此基礎上設立了全球最快超級計算機的榜單TOP500。一度，來自中國的超級計算機神威·太湖之光超級計算機曾排在該榜單的第一位。 對于近年來洶涌而至的AI大潮，唐加拉認為：人工智能和高性能計算如今正緊密合作，相互促進，然而，高性能計算卻面臨著自己的挑戰(zhàn)。就在數(shù)日前，他撰文歷數(shù)了一些挑戰(zhàn)：內存的限制，能耗飆升的問題，以及，在這個商業(yè)世界中，高性能計算可能會遇到的一個獨有的挑戰(zhàn)：高性能計算需要更高精度（64位）的芯片，而AI計算只需要低精度（16位，甚至低于16位）的芯片就已經(jīng)足夠，他開始擔心，在AI領域洶涌的投資和盈利前景下，那些昂貴、復雜、盈利前景卻不夠確定的高精度芯片會被芯片公司們忽視，而這將阻礙高性能計算，以及很多科研領域的進展。 總體上，這是一個聚焦于艱深的計算機領域基礎問題，聚焦于更本質的屠龍術而非商業(yè)目標的奇技淫巧的純粹的科學家，但在商業(yè)界，人們對他同樣給予了極高的評價。谷歌高級研究員兼谷歌健康高級副總裁 Jeff Dean 就曾表示：“唐加拉的工作從根本上改變并推動了科學計算的發(fā)展……他在全球使用最廣泛的數(shù)值庫核心領域所做的深入而重要的工作，奠定了科學計算的各個領域的基礎，推動了從藥物研發(fā)到天氣預報、航空航天工程等數(shù)十個領域的發(fā)展。他專注于表征各種計算機的性能，并推動了適用于數(shù)值計算的計算機架構的重大進步?！?/span> 在高性能計算這個有點“孤獨”的小眾領域，唐加拉一直很關注中國的進展，尤其是這里那些活躍的年輕人。從10年前開始，唐加拉一直擔任在中國舉辦的世界大學生超級計算機競賽（ASC）大賽的專家委員會主席，并在數(shù)年來一直堅持親臨現(xiàn)場與參賽的年輕人溝通。他介紹，這是世界上規(guī)模最大的大學生超算競賽，學生們會在限定時間內搭建起自己的小型超算集群，并解決大賽規(guī)定的問題。他津津樂道于這里那些充滿熱忱的年輕人、充滿噪音的賽場（通常是體育館）、以及別出心裁的降溫方法，比如：冰塊或是風扇。 在中國青海舉行的ASC25結束后，《知識分子》得到了一個訪談唐家拉的機會，與他暢談了他對高能計算的過去與未來，高性能計算與AI的結合，以及對于中國的高性能計算現(xiàn)狀的看法。下面是對話的實錄。
唐加拉演講視頻截圖
01
知識分子：我閱讀了您近期的文章，您提到人工智能與高性能計算在爭奪資源的情況。您提到，因為人工智能只需低精度的計算，但如果芯片公司只為人工智能制造這種低精度的芯片，那么適合科學計算的高精度（64位）芯片的發(fā)展就會被拖后，情況是這樣嗎？我們有什么辦法可以解決這個問題？
Dongarra：沒錯，人工智能的一個趨勢是朝著優(yōu)化低精度格式硬件的方向發(fā)展，就是它不需要很高的精度。如果你用更低的精度，你可以運行得更快，并且占用更少的空間。這是我們在人工智能領域可以優(yōu)化的兩個重要方面。
我們能夠看到有一些硬件支持16位甚至低于16位的浮點運算，這對于許多人工智能任務來說已經(jīng)足夠了。然而，對于科學計算，如氣候模型、量子力學以及其他研究領域，我們通常需要64位精度才能進行具有可重復性和數(shù)值穩(wěn)定性的模擬。
而在今天，人工智能如此重要，吸引了非常多的投資，以至于我們開始擔心計算機供應商會忽視科學計算領域，而只專注于人工智能。如果他們這樣做，那就不再有高精度，只有低精度了。所以，我們需要保持平衡，我們需要一種能夠提供高精度和低精度的架構，以便我們能夠充分解決科學問題以及另一些（需要低精度的）人工智能的問題。
目前，我認為重要的是，在急于填補人工智能硬件缺口的同時，我們不能失去高精度，人類需要保持進行64位計算的能力，這可能需要政府去投資開發(fā)那些能夠進行64位計算的芯片。在美國，我們有所謂的協(xié)同設計（co-design），歐洲和日本也有類似的概念。我們正在嘗試協(xié)同設計下一代機器，并確保這些下一代機器同時支持高精度和低精度，因為我們不想失去高精度。這是一個重要的方面。這可能需要（政府或是其他機構）向工業(yè)界提供額外資金，以幫助鼓勵或激勵在架構中開發(fā)這些功能。再強調一下，協(xié)同設計需要我們直接參與架構的設計過程，而不是等待某一方交付架構。
我認為保持這種高精度水平很重要。我們在許多領域都看到，擁有標準和基準始終是好的。我們可以了解性能以及存在的一些問題。并且我們能夠跟蹤和監(jiān)控我們所擁有的基本硬件的性能和準確性。
知識分子：您當前的研究興趣，現(xiàn)在關注的重點是什么？
Dongarra：我有很多事情在做。我可以舉例講一個我們今天正在關注的一個問題，那就是：如果未來的計算機不再有高精度性能，也就是說，我們沒有64位的精度，我們能做些什么來（從低精度芯片上）獲得64位精度。
有很多數(shù)學技巧可以使用，當然，這些都是想法，但也許能夠在將來，（尤其是在高精度芯片缺乏的未來），它們會發(fā)揮重要作用。從科學的角度來看，這是一個我認為今天很有趣的研究領域。目前在日本、中國和美國有很多這方面的工作正在進行，我也在關注這個領域。
知識分子：能否請您用簡單的語言告訴我們，您的研究工作如何與當今的人工智能相關聯(lián)？
Dongarra：人工智能有許多方面，但其中一個核心的問題是線性代數(shù)問題。
我們可以思考在人工智能領域最重要的計算是什么。最簡單的描述就是矩陣乘法。如果我們能高效地進行矩陣乘法，那么就可以提高人工智能應用的性能。因此，在架構上實現(xiàn)一套良好的、穩(wěn)健的線性代數(shù)程序可以使事情運行得更快。
知識分子：在最近的文章，您還強調了超級計算機的能耗，并指出更多的電力通常只是意味著更多的能源?，F(xiàn)在，有什么方法可以解決這個問題嗎？
Dongarra：確實存在巨大的能源消耗，我們需要一些方法來節(jié)約能源。如今的人工智能系統(tǒng)消耗的能源巨大，超級計算機也一樣。我們目前最大的超級計算機耗電超過30兆瓦。這是什么概念，我可以舉個例子，如果我在田納西州的家中使用1兆瓦的電力，我將收到一張100萬美元的賬單，這就是能源成本。
如果您有一臺超級計算機，打開它，它消耗30兆瓦的電力，那么一年的能源使用費用大約是3,000萬美元。如今的人工智能系統(tǒng)更是如此，它們使用數(shù)百兆瓦的電力，鑒于人工智能的重要性，這可能是值得的，但必須找到減少計算能耗的方法。
我們正在探索幾個途徑，其中之一是光通信，在機器內部和之間使用光子而不是銅來傳輸數(shù)據(jù)。光通信速度更快，能耗更低。我們預計這將成為我們在計算機中傳輸信息的標準方法，取代今天用于在機器各部分之間移動數(shù)據(jù)的銅纜。通過采用這些方法，我們希望減少能源使用。
此外，在自動調整我們的數(shù)值庫方面也有很多工作，不僅要優(yōu)化性能，還要優(yōu)化能源效率。我們正在研究它們在節(jié)省電力的同時仍能成功完成操作的方法。這些是我們試圖解決這種情況的一些方法。
知識分子：談到改進，量子計算算不算？您對該項技術有什么看法？它會是高性能計算的未來嗎？
Dongarra：我們剛開始了解量子計算，它還處于嬰兒期。還有很多研究要做。但我認為這是一個非常值得研究的領域，研究它的局限性和應用潛力。
我不認為在不久的將來會有量子筆記本電腦——在我的有生之年，這都不會發(fā)生。但我期望看到量子計算將與傳統(tǒng)計算設備一起發(fā)揮作用，量子計算機將作為特定計算任務的加速器。
在未來，我們仍然會有CPU和GPU，但我們可能還會有量子設備、神經(jīng)形態(tài)計算機、光計算機和其他計算設備。它們無法單獨地去解決整個問題，但可以加速特定的計算。目前，我們真正基于量子的算法數(shù)量很少，也許未來這一領域會擴展。我不認為每個問題都能通過量子算法解決，但進一步的研究可能會顯示出更多的希望，我們可能會看到更多可以從量子計算中受益的應用。
02
知識分子：您在高性能計算的基準測試（Benchmark）方面的工作獲得了很高的評價，尤其是您的TOP500榜單，幾十年來一直是全球超級計算機的兵家必爭之地，也極大地促進了這個領域的發(fā)展。您認為人工智能領域可以從Top500這樣的標準基準測試中學到什么經(jīng)驗，在AI領域是否也需要一個全面的衡量標準，以及一個類似TOP500的榜單？
Dongarra：Top500基準測試始于20世紀90年代初。它的開發(fā)目標非常簡單。我們希望提供一種客觀且一致的方式來跟蹤和比較世界上最快的超級計算機的性能。當時，對于系統(tǒng)和性能，沒有標準的基準測試，這使得不同的機器很難進行驗證和比較。我們引入了一個非常簡單的基準測試，即LINPACK基準測試，作為一個通用的標尺，以便我們可以用一種統(tǒng)一的方式來測量它們的性能。
LINPACK基準測試有許多優(yōu)點，但也有一些缺點。優(yōu)點是它易于理解、易于運行且易于查看性能。但缺點就是：它解決的只是一個曾經(jīng)重要但現(xiàn)在已經(jīng)變得不再重要的問題。
在20世紀90年代初，浮點運算非常昂貴。今天，我們的硬件在這方面的能力已經(jīng)過剩了。在這個基礎上，LINPACK基準測試解決的是一個基于密集矩陣的問題，當時的大多數(shù)科學應用并不能解決這個問題。但現(xiàn)在，科學計算需要解決的問題是稀疏矩陣問題。在這種情況下，我們需要調整基準測試。因此，我們新增了一個基準測試，叫做HPCG（高性能共軛梯度），它旨在考察那些真正在今天的高性能計算機上運行的、科學領域實際問題的性能。
LINPACK是一個例子，（沒有什么衡量標準是永遠正確的）。而在人工智能方面，我們需要一個基準測試，但不可能只有一個基準測試。我們需要的可能是一組可以輕松實施的基準測試，提供對AI在不同重要性能方面的洞察。一種可以反映計算機實際運行情況的基準測試非常重要，但我們應該意識到這些基準測試不會是一成不變的，它們會隨著時間的推移而變化，然后，我們就得在集合中添加新的基準測試。
知識分子：高性能計算和人工智能的融合。您如何看待這種融合？它為科學帶來了哪些新的視角？
Dongarra：如我剛才所言，人工智能正成為科學計算中日益重要的一部分。我們用于高性能科學計算的計算機應該有能夠進行基于人工智能計算的組件。未來，我設想的計算機能夠處理傳統(tǒng)的高精度科學計算以及人工智能和機器學習所需的數(shù)據(jù)分析中的低精度計算。這兩種能力將在一臺機器中共存。
下一代超級計算機，甚至當前一代，都被設計成能夠進行高精度的大規(guī)模計算和人工智能及機器學習所需的快速低精度計算。這種集成對于計算的進行方式至關重要，我們需要能夠執(zhí)行這兩種任務的系統(tǒng)。
知識分子：那么在未來，您認為高性能計算在接下來的幾十年中能夠獨特地解決哪些科學或社會問題？
Dongarra：我們使用高性能計算機來處理許多應用，包括氣候建模、核反應堆、聚變反應堆、材料設計和藥物設計——所有這些今天都在高性能計算機上進行。所有這些領域都可以從人工智能的集成中受益，通過將人工智能納入傳統(tǒng)模型，可以加快計算速度，更快地解決問題，并提高準確性。傳統(tǒng)模型依賴于我們現(xiàn)有的物理定律，但現(xiàn)在它們將通過人工智能得到補充，人工智能將加速這些過程。因此，我們將繼續(xù)進行氣候建模、燃燒研究、核聚變、材料設計等工作，同時使用傳統(tǒng)方法和人工智能來提高計算效率。
03
知識分子：中國的超級計算做得如何，您怎么看？
Dongarra：在我們的TOP500榜單上，中國的神威·太湖之光超級計算機曾經(jīng)一度排名第一，當然，這幾年中國的超級計算機整體排名有所下降，但這種下降并不代表著中國超算的能力下降，而是有其客觀因素。
Top500榜單的運作方式是通過基準測試收集信息。我們要求人們在他們的計算機上運行基準測試，并遵守某些基本規(guī)則。當他們運行基準測試時，它產(chǎn)生的輸出需要提交給Top500列表。我們檢查其正確性，然后將其輸入Top500表格。如果未能提交結果，我們就沒有關于該計算機的信息。最近，來自中國的提交已經(jīng)降為零，所以缺乏基準測試結果進行比較，這樣的情況，我希望也相信有一天會改變的。
知識分子：您多年來一直在支持中國舉辦ASC世界大學生超級計算機競賽，為什么？今年的ASC有什么讓您印象深刻的地方嗎？
Dongarra：ASC為年輕人提供了一個絕佳的競爭和挑戰(zhàn)自我的機會，提供了一個能夠運行真實應用程序的硬件平臺，并考驗硬件在一些具有挑戰(zhàn)性的問題上的工作表現(xiàn)。
這些年輕的學生需要在現(xiàn)場構建他們的小型超算集群，組裝硬件，配置軟件環(huán)境，并在其機器上運行應用程序，試圖獲得最高水平的計算性能。這個過程中，他們要處理很多東西，比如每個團隊有固定的能耗限制，他們必須進行機器的功率測算，對能量的消耗精打細算，甚至用于降溫的風扇的功率也要被考慮在內。
今年，我們有25個團隊進入總決賽，他們來自中國以及世界各地。看到他們競爭并討論他們的機器表現(xiàn)如何總是令人興奮的。一些多次參賽的團隊在構建應用程序和計算機方面具有深刻的見解，他們的總體表現(xiàn)遠優(yōu)于首次參賽的團隊。
（作為一個評委），在短時間內看到所有這些發(fā)生是很有趣的——看年輕人們如何競爭，如何較量，以及他們如何在明年回來做得更好。
知識分子：今年，我看到一些ASC的任務或問題與如何利用DeepSeek有關。DeepSeek背后的團隊在如何利用硬件和軟件方面做了很多工作，您對他們的工作是否關注過，有什么看法？
Dongarra：DeepSeek能夠開發(fā)一個比傳統(tǒng)方法消耗更少資源的系統(tǒng)，這是一個非常了不起的成就。我認為這讓每個人都開始重新審視我們自身，并試圖更好地理解他們是如何完成的。這些偶爾出現(xiàn)的變化促使人們重新審視一切并可能改變我們的思維方式，這對每個人都有益處。而且，DeepSeek對此持開放態(tài)度，我們能夠看到這是如何完成的，我認為這對于我們重現(xiàn)、擴展和改進它都是有益的，它相當了不起。
知識分子：您對當今的世界有什么想法嗎？比如美國的科學和國際合作？
Dongarra：今天，美國正處于一個對科學不像過去那樣重視的困難時期，資金不再那樣充足了，如果這種情況持續(xù)下去，將會導致許多問題。我希望我們正在經(jīng)歷的只是暫時的階段，我們將很快回到一個科學可以蓬勃發(fā)展并獲得所需資金以促進新發(fā)現(xiàn)的時代，因為科學發(fā)現(xiàn)對于推進我們的世界至關重要。它能夠為人類帶來新的工作方式，生活方式。
國際合作方面，我想說的是：不同的國家擁有不同的優(yōu)勢。比如：中國硬件發(fā)展迅速。歐洲關注與能源相關的事務和軟件的可持續(xù)性，日本注重架構創(chuàng)新，而美國在軟件和應用程序方面有長期優(yōu)勢。我們如果可以攜起手來，能力將遠遠超過各自為戰(zhàn)的工作。
我完全支持跨國界的科學合作。我們都生活在地球上，同樣面臨著一些巨大的挑戰(zhàn)，比如：流行疾病的應對、氣候變化或天體物理，這些挑戰(zhàn)本質上是全球性的，也需要我們全球攜手共同處理和應對。因此，我覺得，我們需要能夠共享數(shù)據(jù)，進行聯(lián)合建模，并從這些交流中受益。另外，我們還需要能夠一起培訓下一代面向全球的科學家。這就是像ASC競賽這樣的活動的重要性和意義之所在。
如果，我們能夠從年輕人開始，培養(yǎng)能夠超越國界思考的科研人員，一切就有了韌性和可持續(xù)性。為國際合作減少障礙，開放源碼軟件、共享基準測試、標準架構的聯(lián)合開發(fā)，這一切都是應有之義。
因此，我認為可以通過設立聯(lián)合研究計劃來實現(xiàn)全球合作，通過開放標準和交互操作，允許共享不同系統(tǒng)和基于云的訪問，以及能夠進行科學外交。高性能計算可以幫助彌合科學和外交之間的差距，即便存在政治差異，研究人員也可以一起合作，以達成一些建設性的、中立的、共享的科學目標。
