什么是網絡爬蟲？

網絡爬蟲是一種相對簡單的自動程序或腳本，能有條理的掃描或“爬”過互聯網網頁并創建需要的數據庫索引。這種程序有許多用途，其中最知名的就是搜索引擎用于給瀏覽者提供相關網站和網頁。其它用途還包括語言學家和市場研究人員，或嘗試以組織方式在互聯網調查信息的人。網絡爬蟲的代名詞還包括網絡蜘蛛，網絡機器人和自動索引器等。可以在網上買到爬蟲程序，許多公司出售這種軟件。

常見用途

網絡爬蟲的用途有很多種，但最經常被人用于在互聯網上尋找和收集信息。搜索引擎頻繁使用網絡爬蟲搜集公共網頁的信息。他們的主要目的是收集資料，并能在瀏覽者查詢詞匯時迅速提供相關網站。語言學家可能使用網絡爬蟲做文本分析，以幫助他們梳理出如今最常用的詞匯。市場研究人員也用這種程序確定和了解特定市場的未來趨勢。

網絡爬蟲是一個收集信息很重要的方法，并能迅速跟上互聯網的擴展。每天都有大量網頁添加進來，并且信息也在不斷改變。網絡爬蟲是一種搜索引擎和其它用戶確保更新數據的方式。當然，網絡爬蟲也有一些非法應用，如被黑客利用了解更多服務器隱私信息等。

工作原理

在搜索引擎的網絡爬蟲訪問一個網頁時，它“讀取”可視文字，超鏈接和用于網站的不同標簽，如關鍵詞豐富的meta標簽等。搜索引擎會用這些搜集到的信息確定網站索引的信息。網站然后被搜索引擎的數據庫收錄并給予適當排名。