文件名称：Pycon2015:使用简单的Python代码和云环境探索大数据
文件大小：965KB
文件格式：ZIP
更新时间：2024-05-24 22:43:28
HTML
使用简单的Python代码和云环境探索大数据 有关“使用简单的Python代码和云环境探索大数据”的演示平台和其他辅助材料。 您可以学习Hadoop Map减少使用真正的大数据，从而减少工作量和成本。 以下是逐步过程的设置过程，该过程为在Amazon AWS中运行Hadoop集群设置环境，并支持用于从Wikipedia提取数据和其他自动化活动的脚本。 在本地Windows计算机上安装Python和Ipython。 请遵循名为“ Python和IPython安装”的文档中的步骤。 Amazon AWS中的前提条件。 通过此链接获得一世。 创建Amazon AWS账户ii。 创建Amazon S3存储桶（存储）以存储输入，输出和map reducer脚本等。 iii。 创建一个Amazon EC2密钥对，以通过安全Shell（SSH）连接到Amazon EC2和EMR中的节点（虚拟服务器
【文件预览】：
Pycon2015-master
----Explore Big Data using Simple Python Code and Cloud Environment_V8.pptx(938KB)
----scripts to scrap data from wiki.txt(1016B)
----Map Reduce Code -Ipython Notebook.html(200KB)
----Extract data()
--------extractgz.py(175B)
--------downloadwikifiles.sh(287B)
----Python and IPython Installation.docx(110KB)
----process output()
--------processout.sh(386B)
----README.md(9KB)
----mapreduce scripts()
--------reducer.py(484B)
--------mapper.py(276B)