自1991年成立學(xué)術(shù)和研究機(jī)構(gòu)以來，萬維網(wǎng)已經(jīng)得到了巨大的發(fā)展，隨后又?jǐn)U展到了公共和商業(yè)領(lǐng)域。最初，它是一個由超鏈接頁面和其他數(shù)字資源組成的網(wǎng)絡(luò)。在很早的時(shí)候，很明顯有些資源如此龐大，以至于動態(tài)生成單個用戶所需的資料比將每個數(shù)字實(shí)體作為一個單獨(dú)的項(xiàng)目存儲更有意義。

如今，無數(shù)的網(wǎng)站是動態(tài)的，每次唯一訪問都會從后端數(shù)據(jù)庫動態(tài)地提取信息和數(shù)據(jù)，并按需將其呈現(xiàn)給用戶。靜態(tài)頁面很容易被搜索引擎捕獲，而驅(qū)動動態(tài)網(wǎng)站的數(shù)據(jù)庫內(nèi)容卻無法訪問。甚至早在2001年，當(dāng)已經(jīng)有數(shù)TB的公共靜態(tài)Web數(shù)據(jù)時(shí)，據(jù)估計(jì)，與“深色Web”相混淆的“不可見Web”或“隱藏Web”約為550倍。大于可見資源。

印度的一個團(tuán)隊(duì)在《國際商業(yè)情報(bào)和數(shù)據(jù)挖掘雜志》上發(fā)表文章，描述了他們?nèi)绾伍_發(fā)基于遺傳算法的智能多主體架構(gòu)，該架構(gòu)可以從不可見的網(wǎng)絡(luò)中提取信息。這些工具甚至可以使據(jù)稱是傳統(tǒng)搜索引擎無法訪問的材料也可以被抓取，抓取和分類，以用于各種應(yīng)用。

Bharathiar大學(xué)的D. Weslin和Vellore理工學(xué)院的Joshva Devadas在最新一期雜志中描述了這種方法的細(xì)節(jié)和好處。該團(tuán)隊(duì)寫道：“實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的Web搜尋器相比，所提出的體系結(jié)構(gòu)提供了更好的精度和召回率。”