- 軟件大小:7.10M
- 軟件語言:中文
- 軟件類型:國產(chǎn)軟件
- 軟件類別:免費軟件 / 編程工具
- 更新時間:2017-03-27 15:12
- 運行環(huán)境:WinAll, WinXP, Win7
- 軟件等級:
- 軟件廠商:
- 官方網(wǎng)站:暫無
17.75M/中文/6.6
10.45M/英文/10.0
7.83M/中文/3.0
113.28M/英文/10.0
46.96M/英文/2.5
Apache Nutch是一款用于java編程工具的搜索引擎軟件,快速完成java數(shù)據(jù)編程,智能檢索java資源便捷使用??靵砭G色資源網(wǎng)下載體驗吧!
Nutch是一個開源Java 實現(xiàn)的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬蟲。Nutch誕生于2002年8月,是Apache旗下的一個用Java實現(xiàn)的開源搜索引擎項目,自Nutch1.2版本之后,Nutch已經(jīng)從搜索引擎演化為網(wǎng)絡(luò)爬蟲,接著Nutch進(jìn)一步演化為兩大分支版本:1.X和2.X,這兩大分支最大的區(qū)別在于2.X對底層的數(shù)據(jù)存儲進(jìn)行了抽象以支持各種底層存儲技術(shù)。Nutch 致力于讓每個人能很容易, 同時花費很少就可以配置世界一流的Web搜索引擎.
在創(chuàng)建一個WebDB之后(步驟1), “產(chǎn)生/抓取/更新”循環(huán)(步驟3-6)根據(jù)一些種子URLs開始啟動。當(dāng)這個循環(huán)徹底結(jié)束,Crawler根據(jù)抓取中生成的segments創(chuàng)建索引(步驟7-10)。在進(jìn)行重復(fù)URLs清除(步驟9)之前,每個segment的索引都是獨立的(步驟8)。最終,各個獨立的segment索引被合并為一個最終的索引index(步驟10)。
其中有一個細(xì)節(jié)問題,Dedup操作主要用于清除segment索引中的重復(fù)URLs,但是我們知道,在WebDB中是不允許重復(fù)的URL存在的,那么為什么這里還要進(jìn)行清除呢?原因在于抓取的更新。比方說一個月之前你抓取過這些網(wǎng)頁,一個月后為了更新進(jìn)行了重新抓取,那么舊的segment在沒有刪除之前仍然起作用,這個時候就需要在新舊segment之間進(jìn)行除重。
請描述您所遇到的錯誤,我們將盡快予以修正,謝謝!
*必填項,請輸入內(nèi)容