由于30年前，一位計算機科學家從他的研究小組的粒子物理學研究中脫穎而出，開始研究一種新的管理和共享信息的方式，因此，這篇文章以及數(shù)以億計的其他文章可以在全球范圍內(nèi)在線觀看。

該小組是歐洲核研究組織(CERN);計算機科學家是Tim Berners-Lee。他對第一個超文本瀏覽器的建議實質(zhì)上為最終成為現(xiàn)代互聯(lián)網(wǎng)奠定了基礎(chǔ)。

盡管1989年3月的這個歷史性里程碑導致了萬維網(wǎng)的創(chuàng)建，它是一種自動在全球科學家之間共享信息的方式，但CERN真正成名的舉動涉及其在宇宙中可見甚至不可見物質(zhì)中的開創(chuàng)性工作。在世界上最大的粒子加速器大型強子對撞機(LHC)的發(fā)展推動下，歐洲核子研究組織(CERN)一直走在科學研究的最前沿，在2012年發(fā)現(xiàn)了難以捉摸的希格斯玻色子粒子。

這項繁重的科學工作背后是一個重要的計算組織，該組織必須以我們大多數(shù)人只能想象的規(guī)模處理數(shù)據(jù)。CERN計算工程師Ricardo Rocha(右圖)表示，其中包括一個擁有300,000個內(nèi)核的數(shù)據(jù)中心。

Rocha說：“這還不夠，因此我們在過去15至20年中所做的就是在全球范圍內(nèi)創(chuàng)建這種大型分布式計算環(huán)境。” “我們鏈接到許多不同的研究所和研究實驗室，這使我們的能力提高了一倍。”

在巴塞羅那舉行的KubeCon + CloudNativeCon活動中，Rocha采訪了SiliconANGLE Media移動直播工作室CUBE的聯(lián)合主持人Stu Miniman 和Corey Quinn。他與歐洲核子研究組織(CERN)的物理學家盧卡斯·海因里希(Lukas Heinrich)(左)一起參加了會議，他們討論了科學發(fā)現(xiàn)所需的數(shù)據(jù)管理過程，Kubernetes在組織工作中的作用以及歐洲核子研究組織在為開源世界做貢獻的同時如何分享其發(fā)現(xiàn)(請在此處查看完整的采訪記錄。

本周，CUBE將Lukas Heinrich和Ricardo Rocha評為本周嘉賓。

發(fā)現(xiàn)無形

希格斯玻色子的發(fā)現(xiàn)是一項重大突破，因為在那之前，科學家一直無法最終看到粒子與不可見的“希格斯場”之間的相互作用，在這種隱形“希格斯場”中粒子在宇宙內(nèi)部獲得質(zhì)量。七年前的這個發(fā)現(xiàn)于今年7月獲得了包括物理學家Peter Higgs在內(nèi)的相關(guān)科學家的諾貝爾獎。

通過使用CERN的大型強子對撞機，這一發(fā)現(xiàn)成為可能。粒子加速器建于2008年，采用27公里長的超導磁體環(huán)來增強粒子能量。根據(jù)海因里希(Heinrich)的說法，質(zhì)子每秒碰撞4000萬次，然后必須仔細捕獲所得數(shù)據(jù)，以供CERN科學家進行全面評估。

海因里希解釋說：“我們將作為氫核的質(zhì)子加速到非常高的能量，因此它們幾乎以光速前進。” “實際上，我們僅運行10,000個核心實時應用程序即可分析這些數(shù)據(jù)。”

使用Kubernetes進行數(shù)據(jù)分析

在巴塞羅那舉行的KubeCon活動上，羅莎(Rocha)和海因里希(Heinrich)向與會者簡要介紹了如何使用開放源代碼和容器化計算工具(2012年尚不可用)來重建數(shù)據(jù)分析，從而使諾貝爾獎得主希格斯·玻色子得以發(fā)現(xiàn)。

工程師在CERN私有云內(nèi)的小型集群上使用Jupyter筆記本和Kubernetes，展示了應用程序和集群本身如何擴展并滿足密集的數(shù)據(jù)分析需求。他們還展示了Kubernetes Multicluster特別興趣小組內(nèi)部的工作如何幫助定義調(diào)度策略和利用外部云資源。

Rocha說：“虛擬機仍然具有非常復雜的設(shè)置，才能支持我們的軟件多樣性。” “有了集裝箱化，所有人都必須給我們提供運行的基礎(chǔ)。這是一個標準接口，因此我們只需要構(gòu)建基礎(chǔ)結(jié)構(gòu)即可處理這些部分。”

CERN的持續(xù)挑戰(zhàn)之一是處理其必須能夠處理的快速增長的數(shù)據(jù)量。2017年，該組織傳遞了存儲在其檔案中的200 PB數(shù)據(jù)，這些數(shù)據(jù)部分是由其LHC生成的，后者每秒產(chǎn)生1 PB的碰撞數(shù)據(jù)。據(jù)Rocha稱，盡管通過過濾最終減少了這些數(shù)據(jù)，但CERN很快將談論數(shù)十億字節(jié)的信息。

“仍然有很多數(shù)據(jù)，” Rocha說。“我們現(xiàn)在每年收集大約70 PB的數(shù)據(jù)。”

為了處理如此大規(guī)模的數(shù)據(jù)，CERN超過90%的數(shù)據(jù)中心資源是通過基于OpenStack的私有云進行配置的。CERN在2012年開始時只有四個OpenStack項目和幾個分散的虛擬機管理程序。它的云現(xiàn)已演變?yōu)樵趦蓚€地區(qū)運行16個OpenStack項目，9,000個虛擬機管理程序和400多個Kubernetes集群。

回顧Berners-Lee的信息共享愿景，CERN的OpenStack云是Worldwide LHC Computing Grid的一部分。這個分布式科學網(wǎng)絡(luò)涉及42個國家/地區(qū)的170個數(shù)據(jù)中心，利用80萬個內(nèi)核的能力來處理Collider的數(shù)據(jù)消耗。

Rocha說：“我們正在研究GPU和機器學習以改變我們的計算方式，并且正在尋找可能獲得的任何其他資源，并且公共云可能會發(fā)揮作用。”

對OpenStack的依賴

歐洲核子研究組織一直在努力將其學習成果反饋給開源社區(qū)。根據(jù)一份已發(fā)布的報告，該組織已經(jīng)對各種OpenStack代碼項目進行了745次代碼提交，并發(fā)現(xiàn)了339個錯誤。

CERN的科學家和計算機工程師還展示了愿意利用開源工具(例如Kubernetes和公共云)來共享實驗數(shù)據(jù)的意愿。根據(jù)Heinrich的說法，由大型強子對撞機的緊湊型μ子電磁閥或CMS產(chǎn)生的部分信息已公開發(fā)布，使CERN軌道以外的科學研究人員受益。

海因里希說：“通過使用Kubernetes和公共云基礎(chǔ)設(shè)施，實際上，對于不在CERN工作的人們來說，分析這種大規(guī)?？茖W數(shù)據(jù)成為可能。” “這是一個70 TB的數(shù)據(jù)集，這要歸功于我們的Google Cloud合作伙伴，我們能夠使用公共云基礎(chǔ)架構(gòu)，然后在大型Kubernetes集群上對其進行了分析。”

在30年前啟動了一個信息共享項目(可以說是現(xiàn)代最重要的創(chuàng)新)之后，Berners-Lee一直活躍于計算機世界。他在2004年被伊麗莎白女王(Queen Elizabeth)封為爵士之后，在名字上加上了“先生”，并一直擔任他于1994年成立的全球Web標準組織萬維網(wǎng)聯(lián)盟的董事。

在倫敦舉行的2012年奧運會開幕式上，計算機工程師發(fā)揮了作用?；顒悠陂g，Berners-Lee可能會在一臺特殊的計算機上通過推特語“為每個人準備”，并一直在評論CERN本身的科學貢獻，CERN的職業(yè)生涯始于此。