Python

好像从python开始流行起，他就与爬虫扯上关系了。一提起python就想到爬虫程序，可能是因为python提供的库（模块）比较方便吧，不管是自带的urllib，还是各种第三方库。总结一下我所了解的关于python爬虫的知识，我觉得可以将这些库分为下面四大类：http协议库，文档解析库，模拟浏览器，爬虫框架。 1. urllib、urllib2、urllib3、requests urllib、urllib2是python 2自带的http库，它们负责请求url链接并返回结果。urllib2并不完全是对urllib的升级，有时候得urllib跟urllib2一起用，比如当你想在POST请求中带上参数的话，就得用urllib.urlencode()来格式化参数，就是这么蛋疼。不过在python 3后，urllib跟urllib2就合并了。 自带的urllib、urllib2有很多局限，比如说链接不可重用（http请求头的connection值总是close）。 urllib3、requests都是针对urllib、urllib2改进的第三方库。requests的底层是用urllib3来实现的，并且比urllib3提供了更强大的接口。 so，可以说，现在最方便的http库应该就是requests了。 2. beautiful soup beautiful soup是用来解析html、xml文档的第三方库，它支持多种解析引擎（包括原生的html引擎、lxml引擎、html5lib引擎）。 通常的工作流程是先使用urllib库请求某个url，然后将返回的html数据传递给beautiful soup进行解析。 通过urllib(requests)+beautiful soup结合可以很好地爬取静态网页的内容。但现在的web技术，Ajax跟node.js大行其道，很多网页内容是通过javascript动态生成的，简单地html爬虫对此根本就无能为力，除非你能破译出javascript动态加载的目标url，然后再访问该地址并解析数据。或者，可以考虑使用“模拟”浏览器来解析页面的dom模型，并进行操作。 3. ghost、selenium […]