更多课程 选择中心


Python培训

400-111-8989

Python面试题之Python中爬虫框架或模块的区别

  • 发布:Python培训
  • 来源:Python练习题库
  • 时间:2021-03-10 13:24

Python中爬虫框架或模块的区别,我们在Python的学习过程中,需要不断的总结知识点,这样我们才能进步的更快一些。

(1)爬虫框架或模块

Python自带爬虫模块:urllib、urllib2;

第三方爬虫模块:requests,aiohttp;

爬虫框架:Scrapy、pyspider。

(2)爬虫框架或模块的优缺点

urllib和urllib2模块都用于请求URL相关的操作,但他们提供了不同的功能。urllib2模块中urllib2.urlopen可以接受一个Request对象或者url,(在接受Request对象时候,并以此可以来设置一个URL的headers),且只接收一个url;urllib中有urlencode,而urllib2中没有。因此,开发人员在实际开发中经常会将urllib与urllib2一起使用。

requests是一个HTTP库,它仅仅用于发送请求。对于HTTP请求而言,request是一个强大的库,可以自己处理下载、解析,灵活性更高,高并发与分布式部署也非常灵活,对于功能可以更好实现。

aiohttp是一个基于python3的asyncio携程机制实现的一个http库。相比requests,aiohttp自身就具备了异步功能。但只能在python3环境中使用。

Scrapy是封装起来的框架,它包含了下载器、解析器、日志及异常处理,是基于多线程的,采用twisted的方式处理。对于固定单个网站的爬取开发,Scrapy具有优势;对于多网站爬取,并发及分布式处理方面,Scrapy不够灵活,不便调整与扩展。

Scrapy具有以下优点:

·Scrapy是异步的;

·采取可读性更强的XPath代替正则表达式;

·强大的统计和log系统;

·可同时在不同的URL上爬行;

·支持shell方式,方便独立调试;

·方便写一些统一的过滤器;

·通过管道的方式存入数据库。

Scrapy是基于python实现的爬虫框架,扩展性比较差。

Pyspider是一个重量级的爬虫框架。我们知道Scrapy没有数据库集成、分布式、断点续爬的支持、UI控制界面等等,若Scrapy想要实现这些功能,需要自行开发。Pyspider已经集成了前面这些功能,也正因如此,Pyspider的扩展性太差,学习难度较大。

免责声明:内容来源于公开网络,若涉及侵权联系尽快删除!

预约申请免费试听课

填写下面表单即可预约申请免费试听!怕钱不够?可就业挣钱后再付学费! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可全国推荐就业!

上一篇:2021年Python面试题及答案汇总详解
下一篇:没有下一篇了

2021年Python面试题及答案汇总详解

python数据分析,你需要这些工具

Python培训讲解二叉树的三种深度

Python培训:如何实现穷举搜索?

  • 扫码领取资料

    回复关键字:视频资料

    免费领取 达内课程视频学习资料

  • 视频学习QQ群

    添加QQ群:1143617948

    免费领取达内课程视频学习资料

Copyright © 2021 Tedu.cn All Rights Reserved 京ICP备08000853号-56 京公网安备 11010802029508号 达内时代科技集团有限公司 版权所有

选择城市和中心
黑龙江省

吉林省

河北省

湖南省

贵州省

云南省

广西省

海南省