每年，世界產(chǎn)生的數(shù)據(jù)都比前一年更多。根據(jù)國(guó)際數(shù)據(jù)公司(International Data Corporation)的數(shù)據(jù)，僅在2020年，估計(jì)將“創(chuàng)建，捕獲，復(fù)制和使用” 59 ZB的數(shù)據(jù)，足以填充大約1萬(wàn)億兆的64 GB硬盤。

但是，僅僅因?yàn)閿?shù)據(jù)激增并不意味著每個(gè)人都可以實(shí)際使用它們。正確關(guān)心用戶隱私的公司和機(jī)構(gòu)通常會(huì)限制對(duì)數(shù)據(jù)集的訪問(wèn)，有時(shí)是在自己的團(tuán)隊(duì)中。現(xiàn)在，COVID-19大流行已經(jīng)關(guān)閉了實(shí)驗(yàn)室和辦公室，阻止人們?cè)L問(wèn)集中式數(shù)據(jù)存儲(chǔ)，安全地共享信息變得更加困難。

如果無(wú)法訪問(wèn)數(shù)據(jù)，則很難使工具真正起作用。輸入合成數(shù)據(jù)：人工信息開發(fā)人員和工程師可以用作真實(shí)數(shù)據(jù)的替代者。

合成數(shù)據(jù)有點(diǎn)像減肥汽水。為了有效，它必須在某些方面類似于“真實(shí)的事物”。減肥汽水的外觀，味道和泡沫應(yīng)該像普通汽水一樣。同樣，合成數(shù)據(jù)集必須具有與實(shí)際數(shù)據(jù)集相同的數(shù)學(xué)和統(tǒng)計(jì)屬性。“看起來(lái)很像，而且格式也很像，” Kalyan Veeramachaneni說(shuō)，他是MIT信息與決策系統(tǒng)實(shí)驗(yàn)室的首席數(shù)據(jù)科學(xué)家，也是AI數(shù)據(jù)研究所(DAI)的首席研究員。如果它通過(guò)模型運(yùn)行，或者用于構(gòu)建或測(cè)試應(yīng)用程序，則其性能將與真實(shí)數(shù)據(jù)一樣。

但是，就像低碳蘇打水比常規(guī)蘇打水具有更少的卡路里一樣，合成數(shù)據(jù)集在關(guān)鍵方面也必須與真實(shí)數(shù)據(jù)集有所不同。例如，如果它基于真實(shí)數(shù)據(jù)集，則不應(yīng)包含甚至暗示該數(shù)據(jù)集中的任何信息。

給該針穿線很棘手。經(jīng)過(guò)多年的工作，Veeramachaneni和他的合作者最近推出了一套開源數(shù)據(jù)生成工具-一站式商店，用戶可以在其中以表格到時(shí)間序列的格式獲取項(xiàng)目所需的盡可能多的數(shù)據(jù)。他們稱其為“合成數(shù)據(jù)倉(cāng)庫(kù)”。

在保持隱私的同時(shí)最大化訪問(wèn)權(quán)限

Veeramachaneni和他的團(tuán)隊(duì)于2013年首次嘗試創(chuàng)建綜合數(shù)據(jù)。他們的任務(wù)是分析來(lái)自在線學(xué)習(xí)程序edX的大量信息，并希望吸引一些MIT學(xué)生來(lái)提供幫助。數(shù)據(jù)非常敏感，無(wú)法與這些新員工共享，因此該團(tuán)隊(duì)決定創(chuàng)建供學(xué)生使用的人工數(shù)據(jù)-假設(shè)“一旦他們編寫了處理軟件，我們就可以在實(shí)際數(shù)據(jù)上使用它”，Veeramachaneni說(shuō)。