LinkedIn今天發(fā)布了一個(gè) 名為Dynamometer的開源項(xiàng)目 ，幫助企業(yè)在不使用大量基礎(chǔ)設(shè)施的情況下對(duì)大規(guī)模Hadoop大數(shù)據(jù)處理系統(tǒng)進(jìn)行壓力測試。

該工具旨在防止企業(yè)社交網(wǎng)絡(luò)在2015年初遇到的問題，該公司在其Hadoop分布式文件系統(tǒng)(HDFS)群集中添加了500臺(tái)計(jì)算機(jī)以試圖提高性能。相反，團(tuán)隊(duì)遇到了一個(gè)只能大規(guī)模出現(xiàn)并導(dǎo)致針對(duì)群集的工作超時(shí)的錯(cuò)誤。

測力計(jì)以用于測試汽車的工具命名，模擬大規(guī)模集群，同時(shí)僅需要大約5%%的實(shí)際底層基礎(chǔ)設(shè)施。這有助于開發(fā)人員解決大規(guī)模測試軟件的一個(gè)關(guān)鍵問題：實(shí)際上，即使在公共云環(huán)境中，配置所有機(jī)器也可能成本很高。

相反，客戶可以使用測功機(jī)測試他們在生產(chǎn)中看到的相同類型的工作負(fù)載，并確保系統(tǒng)能夠經(jīng)得起軟件更改。LinkedIn使用該工具分析公司HDFS集群從Hadoop 2.3到2.6的遷移，這一變化需要調(diào)整集群的某些參數(shù)以避免性能問題。

Dynamometer的首席工程師Erik Krogen在一封電子郵件中告訴VentureBeat，該工具既適用于大規(guī)模Hadoop公司(如LinkedIn)，也適用于提議更改HDFS開源項(xiàng)目的小型商店，并希望確保它們不會(huì)影響大規(guī)模的性能。

從長遠(yuǎn)來看，Krogen希望測功機(jī)將成為HDFS發(fā)布測試的一部分，以及在發(fā)布之間定期持續(xù)集成新的代碼更改。這就是LinkedIn將其作為開源項(xiàng)目向公眾發(fā)布的原因。該公司已經(jīng)使用Dynamometer來幫助發(fā)布Hadoop 2.7.4，這使它能夠驗(yàn)證維護(hù)版本不會(huì)對(duì)性能產(chǎn)生負(fù)面影響。