Python培训
美国上市Python培训机构

400-111-8989

热门课程

学好Python薪水有多少|我爬取了所有的Python职位

  • 发布: xinxin
  • 来源:菜鸟学python
  • 时间:2017-12-04 13:22

Python现在这么火,相信每个学Python的同学都非常关心学好Python到底能赚多少钱,薪水高不高呢,Python有哪些大的公司,都是哪些岗位在招人.于是第一步我爬取了拉勾所有的Python相关的岗位,我们用数据说话,小伙伴一起看一下吧.

1

爬虫思路分析

招聘网站非常多,有51job,拉勾网,Linkedin等等,因为Python偏互联网,所以我选择爬取拉勾网的数据.

但是发现拉勾网需要验证吗,试着登入进去之后,发现网页的数据都是Ajax方式的数据,不是非常好爬取。

于是我们退而求其次,选择手机网站爬取,相对容易一些.

2

动手爬取数据

爬虫的库和方法非常多,这里我选择用selenium的方式,模拟登入绕过反爬虫的机制来获取数据.

首先要保证你的电脑上安装了selenium环境和chrome浏览器,当然firefox也可以,只是我个人习惯用selenium,哈哈。

1.进入搜索页面,输入Python

2.获取Python相关岗位

3.网页分析

我们可以用BS解析数据,也可以用PyQuery解析数据,这次我换一个口味,以前我一直习惯用bs解析,这次爬取我用了PyQuery发现还不错,用的蛮爽的.

3

开始写代码

整个的代码量非常小,大概只有70行左右,非常适合小白练手.

1.启动Selenium登入拉勾


2.爬取页面

每一个页面主要关心的招聘网页,薪资待遇,公司名称和发布时间

当然还要翻页:

load page:1

加载中...

load page:2

加载中...

load page:3

加载中...

。。。

load page:47

加载更多

load page:48

加载中...

load page:49

加载中...

load page:50

加载中...

load page:51

加载更多

load page:52

加载中...

load page:53

加载中...

3.数据存储

这里我们选择最简单的存为json格式的数据,方便后面的数据分析.

一共100多页数据,总共1552个岗位,设计全国10几个的城市的所以Python数据,下面是部分数据的展示:


结论:

今天只篇只是开个头开胃菜,熟悉我的文章的同学应该知道,数据分析才是王道,后面我写一篇所有Python岗位的薪资,地域和岗位要求年限等详细数据分析报告,大家敬请期待吧!

本文内容转载自网络,本着分享与传播的原则,版权归原作者所有,如有侵权请联系我们进行删除!

预约申请免费试听课

上一篇:机器人三大热门语言:不死Java,不朽C/C++,新贵Python!
下一篇:Python资源:50个有用的Python库

Python培训经典分享-学习Python这八本书你必须看!

珍藏版Python web后端开发工程师面试试题

如何利用 Python 提高自身核心竞争力!

Python和人工智能有什么关系?Python人工智能薪资多少?

选择城市和中心
贵州省

广西省

海南省