什么是网络爬虫？

什么是网络爬虫呢?网络爬虫又叫网络蜘蛛(Web Spider)，这是一个很形象的名字，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。严格上讲网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

众所周知，传统意义上网络爬虫是搜索引擎上游的一个重要功能模块，是负责搜索引擎内容索引核心功能的第一关。

然而，随着大数据时代的来临，信息爆炸了，互联网的数据呈现倍增的趋势，如何高效地获取互联网中感兴趣的内容并为所用是目前数据挖掘领域增值的一个重要方向。网络爬虫正是出于这个目的，迎来了新一波的振兴浪潮，成为近几年迅速发展的热门技术。