更多课程 选择中心

Python培训
美国上市教育机构

400-111-8989

Python培训

2019年Python面试常考题目

  • 发布:Python培训
  • 来源:zone7
  • 时间:2019-06-12 15:05

2019年Python面试常考题目

scrapy分为几个组成部分?分别有什么作用?

分为5个部分;Spiders(爬虫类),Scrapy Engine(引擎)、Scheduler(调度器)、Downloader(下载器)、Item Pipeline(处理管道)。

· Spiders:开发者自定义的一个类,用来解析网页并抓取指定url返回的内容。

· Scrapy Engine:控制整个系统的数据处理流程,并进行事务处理的触发。

· Scheduler:接收Engine发出的requests,并将这些requests放入到处理列队中,以便之后engine需要时再提供。

· Download:抓取网页信息提供给engine,进而转发至Spiders。

· Item Pipeline:负责处理Spiders类提取之后的数据。

比如清理HTML数据、验证爬取的数据(检查item包含某些字段)、查重(并丢弃)、将爬取结果保存到数据库中

免责声明:内容和图片源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

预约申请免费试听课

填写下面表单即可预约申请免费试听!怕钱不够?可就业挣钱后再付学费! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可全国推荐就业!

上一篇:这些2019年常考的Python面试题你都能答上来吗?
下一篇:2019年Python面试常考题目【续】

Python面试常考题集锦

Python面试高频题目

2019年Python面试常考题目

2019年Python面试常考题目【续】

选择城市和中心
黑龙江省

吉林省

河北省

湖南省

贵州省

云南省

广西省

海南省