爬虫就好比是一只网络上的小虫子，专门用来搜集网页上的信息或数据，然后把搜集到的数据搬运到特定的数据库里。爬虫不生产数据，只做数据的搬运工。

现在锁着python越来越火，很多行业都需要用到爬虫。在爬虫行业里有句顺口溜：“爬虫玩的溜，牢饭吃个够”。虽然是一句玩笑话，但每年因为这个被处罚金甚至锒铛入狱进了局子的人也不在少数，让不少爬虫选手心头都是战战兢兢的

在10月末各类爬虫会进入冬眠。

冬眠是由于食物不足为了降低体能消耗而采取的一种应激性反映。不过，爬行类动物冬眠和热血动物的冬眠还是具有本质上的区别的。爬行类动物在冬眠是会降低其体温，以达到尽可能节约能源的目的。而热血动物的冬眠则不会降低其体温。

而且，热血动物在冬眠醒后能立即恢复体力，而爬行类动物在冬眠醒后由于其体温需要一定的时间来恢复，而在此时间内，由于体温较低，肌肉细胞达不到最佳活动状态而导致其体力无法立即恢复。

网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。

使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。