Python培训
美国上市Python培训机构

400-111-8989

热门课程

为什么Python对大数据和分析应用程序很重要?

  • 发布:Python培训
  • 来源:问答
  • 时间:2017-09-27 16:49

Python编程是一种通用的编程语言,它是开源的,灵活的,强大的,易于使用的。python最重要的功能之一是其丰富的实用程序和数据库处理和分析任务库。在目前的大数据时代,由于其易于使用的功能,python越来越受欢迎,因此支持大数据处理。

在本文中,我们将探讨在大数据用例中广泛使用的python的特性和包。我们还将通过一个现实生活中的例子来展示大数据处理(非结构化数据),借助于python包和编程。

想获得更多Python对大数据和分析应用请加Python学习裙{{399288541:0}}。

Python的一些背景:Python在20世纪80年代首次引入,然后由 Guido Van Rossum在1989年实施。Python被开发为一个开源项目,也可以在商业环境中使用。Python的基本理念是使代码易于使用,更易于读取,并且写入更少的行数来完成更多的任务。Python最有吸引力的部分是其标准库,其中包含可以使用的工具来执行各种任务。Python包索引于2016年1月推出,包含超过{{72000:0}}个第三方软件包。

Python功能以下是python的一些重要功能,使其成为快速应用程序开发的完美契合。

Python是解释语言,所以程序不需要编译。解释器解析程序代码并生成输出。

Python是动态类型的,所以变量类型是自动定义的。

Python是强类型的。所以开发人员需要手动转换类型。

较少的代码和更多的使用使它更容易接受。

Python是便携式,可扩展和可扩展的。

为什么Python在大数据和分析中是重要的?由于其简单的使用和广泛的数据处理库,Python是大数据处理的热门选择。还优选制作可扩展应用程序。python的另一个重要方面是它能够轻松地与Web应用程序集成。所有上述功能都支持大数据处理和快速了解。这种快速和动态的洞察(其变化非常频繁)对于组织是有价值的。所以他们想要一些强大的语言/平台/工具来立即获得这个价值,并在市场上保持竞争力。Python在这里起着重要的作用,并支持业务的需要。

如何下载,安装和设置Python?在许多Linux发行版中,Python作为默认安装包。所以在这些情况下,用户不需要单独安装。对于Windows,可以从下面的链接下载安装程序,然后按照说明进行安装。只需记住检查 “将Python.exe添加到路径 ”,以便自动添加到路径中。

这是下载链接:https://www.python.org/downloads/

Image1:显示“将Python.exe添加到路径”作为检查安装完成后,在命令提示符下键入“python”,如下所示。它将显示有关安装,版本等的详细信息。它还确保您的python安装成功。

Image2:显示python命令提示现在开始编写一个python程序开发人员需要安装一个好的文本编辑器。所以可以安装notepad ++或任何其他好的编辑器。

如何运行Python应用程序?Python可以通过以下两种方式使用。

从命令提示符键入python命令

在脚本文件(.py)中编写python代码

在我们的示例中,我们将使用脚本文件来运行应用程序。

如何使用python处理非结构化数据?我们已经讨论过,python是大数据处理最喜欢的语言之一。大数据来自不同来源,最重要的来源之一是像Facebook,Twitter等社交媒体。大数据涵盖不同类型的数据,如非结构化,半结构化或任何其他形式。但是,最重要的部分是处理它并使其有用。

在我们的示例应用程序中,我们将检查如何使用Python处理Twitter数据(被认为是大数据)。

在我们跳入代码之前,需要执行以下步骤

通过访问Twitter开发链接(https://apps.twitter.com/)创建应用程序。这将为您提供应用程序密钥,应用程序秘密,qauth_token和qauth_token_secret。所有这些都将在您的应用程序中访问twitter数据。

安装Twython和simplejson。第一个是Twitter API附近的python包装,第二个用于解析json数据。

一旦这个基本设置完成,我们准备去检查代码。

首先,我们需要导入一些相关的python包,这些包将用于我们的编程。

清单1:导入python包

在2 次步骤中,我们将创建一些变量在程序中使用

清单2:设置变量

第三步是在Twitter开发网站中创建在应用创建期间创建的OAuth令牌来创建变量。

清单3:创建身份验证

接下来,将Twitter用户ID分配到如下所示的变量中,并获得用户。之后,创建输出文件,头字段,初始化输出文件和写头。

清单4:创建输出文件和写头

现在,最后一步是运行for循环并从json格式检索相关值并将其写入文件。

清单5:获取值并将其写入输出文件

来自Twitter的输出数据现在可以在hadoop平台中进行处理。使用MapReduce程序解析此数据以获取分析值。相同的技术可以应用于任何非结构化数据。

Python的限制:虽然Python有很多积极的一面,但它也有一些限制,让我们简单的看看这些缺点:

Python没有适当的多处理器支持

缺乏商业支持

没有良好的预打包解决方案

缺乏良好的文件

数据库层有点古老,虽然这方面的工作正在发生。

缺乏UI开发框架

成功案例:Python正在快速增长,其实际应用也令人鼓舞。下面提到一些成功案例。

Python已被用于改进哈勃望远镜的图像处理

YouTube已经使用它来开发其大规模可扩展的Web应用程序

Google的内部基础架构也由Python提供支持

迪士尼公司像Sony DreamWorks这样的公司使用Python协调计算机集群进行图像处理

预约申请免费试听课

上一篇:如何自学 Python 这门简单的语言?
下一篇:如何使用Python对Instagram进行数据分析?

想学Python有没有必要报培训班?

Python这么简单还用参加python培训班学吗?

零基础学Python编程开发难度大吗?从哪学起?

如何入门Python编程?

选择城市和中心
贵州省

广西省

海南省