Python培训
400-996-5531
一个Python小白如何快速完成爬虫
- 发布：Python培训
- 来源：Python网络爬虫与数据挖掘
- 时间：2019-05-07 15:15
很人或多或少都听说过python爬虫，但不知道如何通过python爬虫来爬取自己想要的内容，今天我就给大家说一个爬虫教程来实现自己第一次python爬虫。
环境搭建
既然用python，那么自然少不了语言环境。于是乎到官网下载了3.5版本的。安装完之后，随机选择了一个编辑器叫PyCharm，话说python编辑器还真挺多的。
建好项目，打开编辑器，直接开工。搜一个HTML解析工具，人家都做的那种，这事不要客气，直接拿来用-BeautifulSoup 。安装也很简单的。
发送请求
当然我也是不清楚python是怎么进行网络请求的，其中还有什么2.0和3.0的不同，通过各种百度，最终还是写出了最简单的一段请求代码。
数据解析
上文已经提到了，用到的是BeautifulSoup，好处就是不用自己写正则，只要根据他的语法来写就好了，在多次的测试之后终于完成了数据的解析。先上一段HTML。然后在对应下面的代码，也许看起来更轻松一些。
通过上文的HTML代码可以看到几点。首先每一条数据都在 div(class=”post_item”)下。然后 div(“post_item_body”)下有用户信息，标题，链接，简介等信息。逐一根据样式解析即可。代码如下：
上边一堆代码下来，着实会花费不少时间，边写边调试，再百度，不过还好最终还是出来了。等数据都整理好之后，然后我把它保存到了txt文件里面，以供其他语言来处理。
上边呢，我取了一百页的数据，也就是大概2000条做测试。
成果验收
废了好大劲终于写完那些代码之后呢，就欣赏自己的成果了，像我这样的初学者，代码写的很渣，都是这参考一下，那参考一下，不过当你真正完成了，你就会有一种莫名的自豪感。
预约申请免费试听课
填写下面表单即可预约申请免费试听！ 怕学不会？助教全程陪读，随时解惑！担心就业？一地学习，可全国推荐就业！
Copyright © Tedu.cn All Rights Reserved 京ICP备08000853号-56 
京公网安备 11010802029508号 达内时代科技集团有限公司 版权所有
选择城市和中心
北京
黑龙江省
吉林省
内蒙古
河北省
陕西省
江苏省
湖北省
四川省
重庆
湖南省
江西省
贵州省
云南省
广西省
海南省
台湾