Python培训
400-996-5531
为Python选择一个更快的JSON库
- 发布：Python培训
- 来源：Python部落
- 时间：2019-05-09 11:53
使用JSON越多, 你就越有可能遇到JSON编码或解码瓶颈。Python的内置库也不错, 但是还有多个更快的JSON库可用: 如何选择使用哪一个呢?
事实是，没有一个正确的答案，没有一个最快的JSON库来超越其他所有库:
一个“快速的JSON库”对不同的人意味着不同的东西，因为它们的使用模式不同。
速度并不是一切——你可能还会关心其他一些事情，比如安全性和可定制性。
因此，为了帮助你根据需要选择最快的JSON库，我想在这里分享一下我为Python选择一个快速JSON库所经历的过程。你可以使用这个过程来选择最适合你的特殊需要的库:
确保确实有问题需要用到JSON库来解决。
定义基准。
根据附加要求来过滤。
对剩下的候选者进行基准测试。
步骤1: 你确实需要一个新的JSON 库吗?
使用JSON并不意味着它就是一个相关的瓶颈。在考虑使用哪个JSON库之前，你需要一些证据来表明Python的内置JSON库确实在特定应用程序中存在问题。
在我的例子中，我从我的原因日志库Eliot(causal logging library Eliot)的基准测试中学到了这一点，它表明JSON编码占用了大约25%的用于生成消息的CPU时间。我能得到的最大加速是比原先运行快33%(如果JSON编码时间变为零)，但那是一个足够大的时间块，使用最快的JSON库会让这个时间块减小到最低。
步骤 2: 定义基准
如果你查看各种JSON库的基准页面，你会发现它们都会讨论如何处理各种不同的消息。然而，这些消息并不一定与你的使用相关。其他人会经常测量非常大型消息，但在我的例子中，我只关心小型消息。
所以你想要提出一些符合你的特定使用模式的措施:
你关心编码、解码，还是两者都关心?
你使用的是小型消息还是大型消息?
典型的消息是什么样的?
在我的例子中，我主要关心的是编码小型消息，即由Eliot生成的日志消息的特定结构。基于一些真实的日志，我整理出了以下示例消息:
步骤 3: 根据附加要求来过滤
性能并不是一切——你可能还会关心其他一些事情。在我的例子中:
安全性/抗崩溃性:日志消息可以包含来自不可信源的数据。如果JSON编码器在不良数据上崩溃，这对可靠性或安全性都不好。
自定义编码: Eliot支持自定义JSON编码，因此您可以序列化其他类型的Python对象。有些JSON库支持这一点，有些则不支持。
跨平台: 运行在Linux、macOS和Windows上。
维护: 我不想依赖一个没有得到积极支持的库。
我考虑的库有orjson、rapidjson、ujson和hyperjson。
我根据上面的标准过滤掉了其中的一些:
ujson有很多关于崩溃的bug，即使那些已经修复的崩溃也并不总是可用，因为自2016年以来就没有再发布过新版本。
hyperjson只有针对macOS的包，而且总体看起来也相当不成熟。
步骤 4: 基准测试
最后的两个竞争者是rapidjson和orjson。我运行了以下基准测试:
结果如下:
即使需要额外的Unicode解码，orjson也是最快的(对于这个特定的基准测试!)。
与往常一样，我也需要权衡。orjson的用户比rapidjson要少(比较orjson PyPI stats和rapidjson PyPI stats)，并且它也没有Conda包，所以我必须自己为Conda-forge对它进行打包。但是，它确实要快得多。
需求为大
你应该使用orjson吗? 不一定。你可能有不同的要求，你的基准测试也可能不同——例如，你可能需要解码大型文件。
关键点是过程: 找出你的特定要求，比如性能以及其他方面，然后选择最适合你的需求的库。
预约申请免费试听课
填写下面表单即可预约申请免费试听！ 怕学不会？助教全程陪读，随时解惑！担心就业？一地学习，可全国推荐就业！
Copyright © Tedu.cn All Rights Reserved 京ICP备08000853号-56 
京公网安备 11010802029508号 达内时代科技集团有限公司 版权所有
选择城市和中心
北京
黑龙江省
吉林省
内蒙古
河北省
陕西省
江苏省
湖北省
四川省
重庆
湖南省
江西省
贵州省
云南省
广西省
海南省
台湾