Python编程是一种通用的编程语言，它是开源的，灵活的，强大的，易于使用的。python最重要的功能之一是其丰富的实用程序和数据库处理和分析任务库。在目前的大数据时代，由于其易于使用的功能，python越来越受欢迎，因此支持大数据处理。

在本文中，我们将探讨在大数据用例中广泛使用的python的特性和包。我们还将通过一个现实生活中的例子来展示大数据处理(非结构化数据)，借助于python包和编程。

想获得更多Python对大数据和分析应用请加Python学习裙{{399288541:0}}。

Python的一些背景：Python在20世纪80年代首次引入，然后由 Guido Van Rossum在1989年实施。Python被开发为一个开源项目，也可以在商业环境中使用。Python的基本理念是使代码易于使用，更易于读取，并且写入更少的行数来完成更多的任务。Python最有吸引力的部分是其标准库，其中包含可以使用的工具来执行各种任务。Python包索引于2016年1月推出，包含超过{{72000:0}}个第三方软件包。

Python功能以下是python的一些重要功能，使其成为快速应用程序开发的完美契合。

Python是解释语言，所以程序不需要编译。解释器解析程序代码并生成输出。

Python是动态类型的，所以变量类型是自动定义的。

Python是强类型的。所以开发人员需要手动转换类型。

较少的代码和更多的使用使它更容易接受。

Python是便携式，可扩展和可扩展的。

为什么Python在大数据和分析中是重要的?由于其简单的使用和广泛的数据处理库，Python是大数据处理的热门选择。还优选制作可扩展应用程序。python的另一个重要方面是它能够轻松地与Web应用程序集成。所有上述功能都支持大数据处理和快速了解。这种快速和动态的洞察(其变化非常频繁)对于组织是有价值的。所以他们想要一些强大的语言/平台/工具来立即获得这个价值，并在市场上保持竞争力。Python在这里起着重要的作用，并支持业务的需要。

如何下载，安装和设置Python?在许多Linux发行版中，Python作为默认安装包。所以在这些情况下，用户不需要单独安装。对于Windows，可以从下面的链接下载安装程序，然后按照说明进行安装。只需记住检查 “将Python.exe添加到路径 ”，以便自动添加到路径中。

这是下载链接：https：//#/downloads/

Image1：显示“将Python.exe添加到路径”作为检查安装完成后，在命令提示符下键入“python”，如下所示。它将显示有关安装，版本等的详细信息。它还确保您的python安装成功。

Image2：显示python命令提示现在开始编写一个python程序开发人员需要安装一个好的文本编辑器。所以可以安装notepad ++或任何其他好的编辑器。

如何运行Python应用程序?Python可以通过以下两种方式使用。

从命令提示符键入python命令

在脚本文件(.py)中编写python代码

在我们的示例中，我们将使用脚本文件来运行应用程序。

如何使用python处理非结构化数据?我们已经讨论过，python是大数据处理最喜欢的语言之一。大数据来自不同来源，最重要的来源之一是像Facebook，Twitter等社交媒体。大数据涵盖不同类型的数据，如非结构化，半结构化或任何其他形式。但是，最重要的部分是处理它并使其有用。

在我们的示例应用程序中，我们将检查如何使用Python处理Twitter数据(被认为是大数据)。

在我们跳入代码之前，需要执行以下步骤

通过访问Twitter开发链接(#/)创建应用程序。这将为您提供应用程序密钥，应用程序秘密，qauth_token和qauth_token_secret。所有这些都将在您的应用程序中访问twitter数据。

安装Twython和simplejson。第一个是Twitter API附近的python包装，第二个用于解析json数据。

一旦这个基本设置完成，我们准备去检查代码。

首先，我们需要导入一些相关的python包，这些包将用于我们的编程。

清单1：导入python包

在2 次步骤中，我们将创建一些变量在程序中使用

清单2：设置变量

第三步是在Twitter开发网站中创建在应用创建期间创建的OAuth令牌来创建变量。

清单3：创建身份验证

接下来，将Twitter用户ID分配到如下所示的变量中，并获得用户。之后，创建输出文件，头字段，初始化输出文件和写头。

清单4：创建输出文件和写头

现在，最后一步是运行for循环并从json格式检索相关值并将其写入文件。

清单5：获取值并将其写入输出文件

来自Twitter的输出数据现在可以在hadoop平台中进行处理。使用MapReduce程序解析此数据以获取分析值。相同的技术可以应用于任何非结构化数据。

Python的限制：虽然Python有很多积极的一面，但它也有一些限制，让我们简单的看看这些缺点：

Python没有适当的多处理器支持

缺乏商业支持

没有良好的预打包解决方案

缺乏良好的文件

数据库层有点古老，虽然这方面的工作正在发生。

缺乏UI开发框架

成功案例：Python正在快速增长，其实际应用也令人鼓舞。下面提到一些成功案例。

Python已被用于改进哈勃望远镜的图像处理

YouTube已经使用它来开发其大规模可扩展的Web应用程序

Google的内部基础架构也由Python提供支持

迪士尼公司像Sony DreamWorks这样的公司使用Python协调计算机集群进行图像处理