更多课程 选择中心


Python培训

400-996-5531

Python学习中要注意的实用知识点


今天小编要跟大家分享的文章是关于Python学习中要注意的实用知识点。本文中像大家介绍的Python知识点都是很零碎的知识点,有的是踩过的坑,不成系统,但是绝对很有用,知道的可以回顾下,不太了解的可以多学习下。下面来和小编一起看一看吧!

1、Python连接MySQL加编码

记得加charset,没加的话部署Linux服务器运行可能有中文乱码,已踩坑

Python学习中要注意的实用知识点

2、最好用utf8mb4

很多时候我会用sqlalchemy创建连接数据库引擎,charset用的utf8mb4,原因在于爬取的文本中有表情,utf8不行,同时,数据库、表,编码也都要保持一致

Python学习中要注意的实用知识点

3、好用的网页解析库PyQuery

from pyquery import PyQuery as py

觉得好用的原因:

1、语法类似JQuery,好记

2、可以增删改查html元素,然后下载网页,这点xpath就比较弱了,下面是我最近用到的一些方法,其他方法可以网上查查

#爬虫下载网页
each_res = requests.get(url).content.decode("utf-8")
#转为pyquery文档
doc = py(each_res)
#支持Class选择器,remove用来删除元素
doc(".site-navbar ul")("li").remove()
#支持ID选择器
doc("#search-form").remove()
#获取属性href的值
doc(".pagemenu")("li:first-child")("a").attr["href"]
#设置属性href的值
doc(".pagemenu")("li:first-child")("a").attr("href", "./")
#遍历对象
images_src = doc("img")
for img in images_src:
  if py(img).attr["src"]:
   print(py(img).attr["src"])
#添加元素
doc("head").append('<link rel="stylesheet" href="../common/css/common.css">\n')
#清空后在添加
doc(".page-right .item").empty().append("<a href='#' class='ad1'><img></img></a>")
#完美匹配jquery的eq()选择方法
doc(".article-content")("div:last-child").eq(-1).remove()
#大招来了,可以将上面增删改查的文档,直接写入html文件,就下载好网页了
res = doc.outer_html().encode("utf-8")
with open("index.html", "wb") as f:
#写文件用bytes而不是str,所以要转码
   f.write(res)

4、Linux配置python3环境、pip软链接

下方分别为解压安装,配软连接,注意配python3和pip的时候,与/usr/bin下面的原本的python2和pip命名区分,一般情况下别去动python2的软链接,会导致centos包管理工具yum命令出问题

Python学习中要注意的实用知识点

ln -s /usr/local/py365/bin/python3.6 /usr/bin/python3 
ln -s /usr/local/py365/bin/pip3 /usr/bin/pip3

5、网站地图、robots协议

robots.txt可以告诉搜索引擎网站哪些数据能爬,如果你想利于网站排名,尽量少disallow,sitemap.xml网站地图则是直接提交让搜索引擎增加收录,这两个文件/路径一般配在网站根目录下,可以直接写到nginx加两个路径指向就行了,主要用来优化网站,利于各加搜索引擎抓取网站信息,增加收录和网站排名

location /sitemap.xml {
   alias /var/www/chengxuyuan_12_10/sitemap.xml;
}
location /robots.txt {
   alias /var/www/chengxuyuan_12_10/robots.txt;
}

6、Django orm查询values

比如下方,我在查询时候只需要文章的id和title数据,则直接values查这两个字段就行,这样可以提高查询效率

Article.objects.values("id","title")

Q对象进行逻辑查询,也很常用

filter(Q(is_delete=0)&(Q(title__contains=a)|Q(title__contains=b)))

7、直接将一个字典保存mysql(键和列名一致)

dic = {"title": title, "time": arttime, "auth": auth, "con": con}
df = pd.DataFrame.from_dict(dic, orient='index').T
conn = get_local_engine("centos_test")
df.to_sql("这里是表名", conn, if_exists='append', index=False)

get_local_engine是我定义的一个获取engine的方法

def get_local_engine(dbname):
db_flag = "mysql"
host_ip = "127.0.0.1" 
host_port = 3306
db_instance = dbname
user = "root"
pawd = "*************" 
charset = "utf8"
engine_config = '%s%s%s%s%s%s%s%s%s%s%s' % ('mysql+pymysql://', user, ':', pawd, '@', host_ip, ':', host_port, '/', db_instance, '?charset=utf8')
engine = create_engine(engine_config, encoding=charset, max_overflow=10)
return engine

8、django admin站点引入富文本编辑器Kindeditor

1、kindeditor安装包直接放在项目static下面

2、在admin.py中加入这段js

3、kindeditor中config.js改成原本admin文本域的id,如下方截图圈到的

class Media:
#在管理后台的HTML文件中加入js文件,每一个路径都会追加STATIC_URL/
 js = (
    'kindeditor/kindeditor-all.js',
    'kindeditor/lang.zh_CN.js',
    'kindeditor/config.js',
 )

Python学习中要注意的实用知识点

编辑器效果图

Python学习中要注意的实用知识点

以上就是小编今天为大家分享的关于Python学习中要注意的实用知识点的文章,希望本篇文章能够对想要学习Python知识的小伙伴们有所帮助。想要了解更多Python相关知识记得关注达内Python培训官网。最后祝愿小伙伴们工作顺利,成为一名优秀的Python工程师

文章来源python爬虫人工智能大数据 ,作者吴成。

*版权声明:转载文章和图片均来自公开网络,版权归作者本人所有,推送文章除非无法确认,我们都会注明作者和来源。如果出处有误或侵犯到原作者权益,请与我们联系删除或授权事宜。

预约申请免费试听课

填写下面表单即可预约申请免费试听! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可全国推荐就业!

上一篇:MySQL数据库的常用命令
下一篇:Python基础学习之怎样使用Python解释器

数据分析师证书含金量高吗?

我国人工智能的发展现状及前景

目前AI已经用在哪些领域?

人工智能行业什么职位好入手?

Copyright © 2023 Tedu.cn All Rights Reserved 京ICP备08000853号-56 京公网安备 11010802029508号 达内时代科技集团有限公司 版权所有

选择城市和中心
黑龙江省

吉林省

河北省

湖南省

贵州省

云南省

广西省

海南省