常见的爬虫构架有哪些?

原标题:常见的爬虫构架有哪些?

常见的爬虫构架有哪些?
文章图片
目前实现爬虫的变成有很多种 , Java、Python、C++等都可以用来写爬虫 , 但是很多人会选择Python来写爬虫 , 因为Python确实很适合爬虫 , 第三方库丰富强大 , 几行简单的代码就能实现你想要的功能 。 更重要的是Python也是数据挖掘和分析的好能手 。
常见的Python爬虫构架:
1、Scrapy
Scrapy是一个为了爬取网站数据 , 提取结构性数据而编写的应用框架 。 可以应用在包括数据挖掘 , 信息处理或存储历史数据等一系列的程序中 。 它是很强大的爬虫框架 , 可以满足简单的页面爬取 , 比如可以明确获知urlpattern的情况 。 用这个框架可以轻松爬下来如亚马逊商品信息之类的数据 。 但是对于稍微复杂一点的页面 , 如weibo的页面信息 , 这个框架就满足不了需求了 。 它的特性有:HTML,XML源数据选择及提取的内置支持;提供了一系列在spider之间共享的可复用的过滤器(即ItemLoaders) , 对智能处理爬取数据提供了内置支持 。
2、BeautifulSoup
名气大 , 整合了一些常用爬虫需求 。 它是一个可以从HTML或XML文件中提取数据的Python库 。 它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的式.BeautifulSoup会帮你节省数小时甚至数天的工作时间 。 BeautifulSoup的缺点是不能加载JS 。
3、selenium
这是一个调用浏览器的driver , 通过这个库你可以直接调用浏览器完成某些操作 , 比如输入验证码 。 Selenium是自动化测试工具 , 它支持各种浏览器 , 包括Chrome , Safari , Firefox等主流界面式浏览器 , 如果在这些浏览器里面安装一个Selenium的插件 , 可以方便地实现Web界面的测试.Selenium支持浏览器驱动 。 Selenium支持多种语言开发 , 比如Java , C , Ruby等等 , PhantomJS用来渲染解析JS , Selenium用来驱动以及与Python的对接 , Python进行后期的处理 。
4、Portia
是一个开源可视化爬虫工具 , 可让使用者在不需要任何编程知识的情况下爬取网站!简单地注释自己感兴趣的页面 , Portia将创建一个蜘蛛来从类似的页面提取数据 。 简单来讲 , 它是基于scrapy内核;可视化爬取内容 , 不需要任何开发专业知识;动态匹配相同模板的内容 。
5、cola
是一个分布式的爬虫框架 , 对于用户来说 , 只需编写几个特定的函数 , 而无需关注分布式运行的细节 。 任务会自动分配到多台机器上 , 整个过程对用户是透明的 。 项目整体设计有点糟 , 模块间耦合度较高 。
6、PySpider
【常见的爬虫构架有哪些?】一个国人编写的强大的网络爬虫系统并带有强大的WebUI 。 采用Python语言编写 , 分布式架构 , 支持多种数据库后端 , 强大的WebUI支持脚本编辑器 , 任务监视器 , 项目管理器以及结果查看器 。 Python脚本控制 , 可以用任何你喜欢的html解析包 。