精通python爬虫框架scrapy

文章摘要：精通python爬虫框架scrapy

一般用于python爬虫的框架有Scrapy、Crawley、Portia、newspaper、python- […]

一般用于python爬虫的框架有Scrapy、Crawley、Portia、newspaper、python-goose、BeautifulSoup、mechanize等。如果想具体了解python爬虫用什么框架，那不妨接着往下看吧!

python爬虫一般用什么框架好

1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知urlpattern的情况。

用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。

它的特性有：HTML， XML源数据 选择及提取 的内置支持;提供了一系列在spider之间共享的可复用的过滤器(即ItemLoaders)，对智能处理爬取数据提供了内置支持。

2、Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

3、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站!简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。

简单来讲，它是基于scrapy内核;可视化爬取内容，不需要任何开发专业知识;动态匹配相同模板的内容。

4、newspaper：可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。

5、python-goose：java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。

6、Beautiful Soup：名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。

它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。BeautifulSoup的缺点是不能加载JS。

7、mechanize：它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。

8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。

Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果在这些浏览器里面安装一个Selenium 的插件，可以方便地实现Web界面的测试. Selenium 支持浏览器驱动。

Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与 Python的对接，Python 进行后期的处理。

9、cola：是一个分布式的爬虫框架，对于用户来说，需要编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。

10、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。python脚本控制，可以用任何你喜欢的html解析包。

新手学Python用什么编辑器好

1、SublimeText：SublimeText适合Python新手使用，SublimeText支持跨平台，且能使用其丰富的插件和主题。各种语法高亮和代码补全，整体看起来挺舒服，且主题配置简单。

2、IDLE：Windows系统使用IDLE，Pyhton自带的一款编辑器，刚开始也可以使用它来练习，IDLE具备语法高亮功能，允许在IDLE中运行程序。许多东西会自动处理。如debug。

3、VIM：Vim一款强大的编辑器，熟练使用Vim，可以脱离鼠标，Vim需要投入高的的学习成本，需要花时间研究各种快捷命令和插件的使用，但是从长远来看大有所益的。

4、PyCharm：使用IntelijIDEA，这款PyCharm也是出自同一家公司，用起来很顺手，现在很多公司，如Twitter，Groupon，Spotify，eBay和Telefonica等都在用PyCharm。不过使用它的专业版需要购买。

5、Emacs：Emacs一款开源的编辑器，支持插件扩展，配置一个Python集成开发环境，Emacs不仅仅是一个编辑器，是一个整合环境，一个集成开发环境。

6、WingIDE：WingIDE是一个Python语言的IDE，包括大量语法标签的高亮显示。与其他类似的IDE相比，wingIDE较大的特色是可以调试django应用。WingIDE是个相当优秀的IDE;是个面向Python的工具。

7、liclipse：liclipse是pyDev插件作者基于Eclipse开发的商业版Python集成开发环境，在完美继承Eclipse原有功能的情况下。为Eclipse的用户提供了一个全新的体验，用户可以得到现成的：快速编辑器支持多语言的开箱。

8、Spyder：Spyder是Python(x,y)的作者为它开发的一个简单的集成开发环境。和其他的Python开发环境相比，它较大的优点就是模仿MATLAB的工作空间的功能，可以很方便地观察和修改数组的值。

python入门看什么书

1、《Python学习手册：第3版》。讲述了：Python可移植、功能强大、易于使用，是编写独立应用程序和脚本应用程序的理想选择。

无论你是刚接触编程或者刚接触Python，通过学习《Python学习手册：第3版》，你可以迅速高效地精通核心Python语言基础。读完《Python学习手册：第3版》，你会对这门语言有足够的了解，从而可以在你所从事的任何应用领域中使用它。

2、《Python编程从入门到实战》。本书中涵盖的内容是比较精简的，没有艰深晦涩的概念，最重要的是每个小结都附带有”动手试一试”环节，学编程较佳的方式就是多动手、多动脑。

很多初学者看完书之后不知道下一步怎么办，快速提高编程能力的较佳途径就是做项目，而这本书巧妙地安排了三个实践项目，一个游戏、一个Web和一个数据可视化项目，如果你跟着教程把项目做下来，相信你的编程功底绝对会上升一个层次。

本书还专门安排了一个章节是讲单元测试，会写单元测试是初级程序员进阶到高级程序员的必备技能。

3、《“笨办法”学Python(第3版)》。是一本Python入门书籍，适合对计算机了解不多，没有学过编程，但对编程感兴趣的初学者使用。

这本书结构非常简单，其中覆盖了输入/输出、变量和函数三个主题，以及一些比较高级的话题，如条件判断、循环、类和对象、代码测试及项目的实现等。

每一章的格式基本相同，以代码习题开始，按照说明编写代码，运行并检查结果，然后再做附加练习。这本书以习题的方式引导读者一步一步学习编程，从简单的打印一直讲授到完整项目的实现，让初学者从基础的编程技术入手，最终体验到软件开发的基本过程。

本书对于零基础的小白更加友善，比较适合起步编程，是作为Python入门的不二之选!