验证码破解是做爬虫经常要面对的问题。对于一般字符串或者算式的验证码，可以使用网页截图，然后OCR识别的方式来识别出验证码字符串来。 网页截图可以使用selenium的save_screenshot()方法； 用PIL图像处理库来截取验证码图片； 用Tesseract来做OCR识别 要安装的python第三方库有：selenium、pillow（PIL）、pytesseract 要安装的软件有：selenium用的webdriver、pytesseract用的Tesseract 1. 网页截图并截取验证码 import selenium from PIL import Image … fileScreenshot = "截屏文件保存路径" fileCaptcha = […]
最近做了个爬虫需要用到代理ip，然后想去快代理上爬点代理ip下来用。 结果使用urllib2访问http://www.kuaidaili.com/proxylist/1时候发现总是返回521错误。 使用HTTPError的read方法可以打印出HTTP的返回内容。 try: resp = urllib2.urlopen(url) contents = resp.read() except urllib2.HTTPError, error: print e contents = error.read() print contents
好像从python开始流行起，他就与爬虫扯上关系了。一提起python就想到爬虫程序，可能是因为python提供的库（模块）比较方便吧，不管是自带的urllib，还是各种第三方库。总结一下我所了解的关于python爬虫的知识，我觉得可以将这些库分为下面四大类：http协议库，文档解析库，模拟浏览器，爬虫框架。 1. urllib、urllib2、urllib3、requests urllib、urllib2是python 2自带的http库，它们负责请求url链接并返回结果。urllib2并不完全是对urllib的升级，有时候得urllib跟urllib2一起用，比如当你想在POST请求中带上参数的话，就得用urllib.urlencode()来格式化参数，就是这么蛋疼。不过在python 3后，urllib跟urllib2就合并了。 自带的urllib、urllib2有很多局限，比如说链接不可重用（http请求头的connection值总是close）。 urllib3、requests都是针对urllib、urllib2改进的第三方库。requests的底层是用urllib3来实现的，并且比urllib3提供了更强大的接口。 so，可以说，现在最方便的http库应该就是requests了。 2. beautiful soup beautiful soup是用来解析html、xml文档的第三方库，它支持多种解析引擎（包括原生的html引擎、lxml引擎、html5lib引擎）。 通常的工作流程是先使用urllib库请求某个url，然后将返回的html数据传递给beautiful soup进行解析。 通过urllib(requests)+beautiful soup结合可以很好地爬取静态网页的内容。但现在的web技术，Ajax跟node.js大行其道，很多网页内容是通过javascript动态生成的，简单地html爬虫对此根本就无能为力，除非你能破译出javascript动态加载的目标url，然后再访问该地址并解析数据。或者，可以考虑使用“模拟”浏览器来解析页面的dom模型，并进行操作。 3. ghost、selenium
上两周的时候，陈怡同学问我怎么通过程序自动化截屏浏览器页面，她说有篇论文用的是python与selenium。当时我的心理活动是这样的：“卧槽selenium是什么鬼，女博士果然是见多识广。” =。=# 然后查了一下，selenium大概可以理解成一个浏览器模拟器（或者实际上是浏览器驱动器，Selenium WebDriver），selenium提供多种编程语言的接口让我们可以通过程序来驱动本地浏览器，并执行我们想要的操作。 以陈怡同学的需求为例，就是通过python调用selenium接口来驱动我的Firefox，打开xx网站，截图保存。 我的环境： python 2.7.6，selenium 2.48.0 安装selenium库： 参考https://pypi.python.org/pypi/selenium #从selenium库引入webdriver类 from selenium import webdriver #新建一个browser对象（驱动firefox浏览器） browser = webdriver.Firefox()