Python培训

400-996-5531

热门课程:

2019年Python面试常考题目【续】

简述一下scrapy的基本流程？

scrapy分为9个步骤：

1. Spiders需要初始的start_url或则函数stsrt_requests,会在内部生成Requests给Engine

2. Engine将requests发送给Scheduler

3. Engine从Scheduler那获取requests,交给Download下载

4. 在交给Dowmload过程中会经过Downloader Middlewares(经过process_request函数)

5. Dowmloader下载页面后生成一个response，这个response会传给Engine，这个过程中又经过了Downloader Middlerwares(经过process_request函数)，在传送中出错的话经过process_exception函数

6. Engine将从Downloader那传送过来的response发送给Spiders处理，这个过程经过Spiders Middlerwares(经过process_spider_input函数)

7. Spiders处理这个response，返回Requests或者Item两个类型，传给Engine，这个过程又经过Spiders Middlewares(经过porcess_spider_output函数)

8. Engine接收返回的信息，如果使Item，将它传给Items Pipeline中；如果是Requests，将它传给Scheduler，继续爬虫

重复第三步，直至没有任何需要爬取的数据

免责声明：内容和图片源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。

填写下面表单即可预约申请免费试听！怕学不会？助教全程陪读，随时解惑！担心就业？一地学习，可全国推荐就业！

相关推荐

: 数据分析师证书含金量高吗？

数据分析师证书含金量高吗？数据分析师证书的含金量取决于多种因素，包括证书的颁发机构、课程内容、个人能力以及市场需求等。在中国，具备专业数据分析师证书通常意味着持证人已经通过了相应的培训和考核，具备了数据收集、处理、分析和解释的专业知识与技能。

: 我国人工智能的发展现状及前景

我国人工智能的发展现状及前景-我国人工智能的发展现状和前景是非常乐观的。近年来，我国人工智能产业的基础设施不断完善，规模持续扩大，创新成果不断涌现。人工智能已被广泛应用于智能制造、预测台风、研发新药等领域，为各行各业带来了深刻变革。

: 人工智能行业什么职位好入手？

人工智能行业什么职位好入手？人工智能行业的快速发展为不同背景和专业技能的求职者提供了多种入门职位。以下是一些相对容易入手的人工智能行业职位：