Python培训
400-996-5531
Python培训 > Python学习问题汇总 > 正文
Python简单爬虫代码
- 发布：Python培训
- 来源：Python学习问题汇总
- 时间：2024-06-18 13:42
Python简单爬虫代码，下面是一个使用 Python 的 requests 和 BeautifulSoup 库进行简单网页爬取的示例代码。这个例子中，我们将从一个假设的网页中抓取文本内容。
首先，确保你已经安装了这两个库。如果没有安装，可以通过以下命令安装：
bash
pip install requests
pip install beautifulsoup4
以下是简单的爬虫代码：
Python
import requests
from bs4 import BeautifulSoup
# 目标网页的URL
url = 'http://www.tedu.cn/'
# 使用requests库获取网页内容
response = requests.get(url)
# 确保请求成功
if response.status_code == 200:
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到并打印所有的段落文本
paragraphs = soup.find_all('p')
for paragraph in paragraphs:
print(paragraph.get_text())
else:
print(f"Failed to retrieve the webpage. Status code: {response.status_code}")
Python简单爬虫代码，这个代码做了以下几件事情：
使用 requests.get() 方法获取指定URL的HTML内容。
使用 BeautifulSoup 解析获取到的HTML内容。
使用 soup.find_all() 方法查找所有的段落(<p>标签)元素。
遍历所有的段落元素，并使用 paragraph.get_text() 方法获取并打印它们的文本内容。
请注意，这个代码只是一个简单的示例，实际的网页结构可能会有所不同，因此你可能需要根据实际情况调整选择器(例如，使用不同的标签或类名)。
此外，在进行网页爬取时，请务必遵守目标网站的robots.txt文件中的规定，以及当地有关网络爬虫的法律和规定。不要对目标网站进行过度请求，以避免对服务器造成不必要的负担。
预约申请免费试听课
填写下面表单即可预约申请免费试听！ 怕学不会？助教全程陪读，随时解惑！担心就业？一地学习，可全国推荐就业！
上一篇：Python零基础怎么学？
下一篇：学AI需要哪些基础知识？
Copyright © Tedu.cn All Rights Reserved 京ICP备08000853号-56 
京公网安备 11010802029508号 达内时代科技集团有限公司 版权所有
选择城市和中心
北京
黑龙江省
吉林省
内蒙古
河北省
陕西省
江苏省
湖北省
四川省
重庆
湖南省
江西省
贵州省
云南省
广西省
海南省
台湾