更多课程 选择中心

Python培训
美国上市教育机构

400-111-8989

Python培训

2019年Python面试常考题目【续】

  • 发布:Python培训
  • 来源:zone7
  • 时间:2019-06-12 15:04

2019年Python面试常考题目

简述一下scrapy的基本流程?

scrapy分为9个步骤:

1. Spiders需要初始的start_url或则函数stsrt_requests,会在内部生成Requests给Engine

2. Engine将requests发送给Scheduler

3. Engine从Scheduler那获取requests,交给Download下载

4. 在交给Dowmload过程中会经过Downloader Middlewares(经过process_request函数)

5. Dowmloader下载页面后生成一个response,这个response会传给Engine,这个过程中又经过了Downloader Middlerwares(经过process_request函数),在传送中出错的话经过process_exception函数

6. Engine将从Downloader那传送过来的response发送给Spiders处理,这个过程经过Spiders Middlerwares(经过process_spider_input函数)

7. Spiders处理这个response,返回Requests或者Item两个类型,传给Engine,这个过程又经过Spiders Middlewares(经过porcess_spider_output函数)

8. Engine接收返回的信息,如果使Item,将它传给Items Pipeline中;如果是Requests,将它传给Scheduler,继续爬虫

重复第三步,直至没有任何需要爬取的数据

免责声明:内容和图片源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

预约申请免费试听课

填写下面表单即可预约申请免费试听!怕钱不够?可就业挣钱后再付学费! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可全国推荐就业!

上一篇:2019年Python面试常考题目
下一篇:Python面试高频题目

不上培训班,Python根本学不会

学完Python能干什么

什么是Python全栈工程师

Python新手知识点大纲

选择城市和中心
黑龙江省

吉林省

河北省

湖南省

贵州省

云南省

广西省

海南省