基于python的《Hadoop权威指南》一书中气象数据下载和map reduce化数据处理及其可视化

时间：2022-03-20 07:51:27

文档内容：

　　1：下载《hadoop权威指南》中的气象数据

　　2：对下载的气象数据归档整理并读取数据

　　3：对气象数据进行map reduce进行处理

关键词：《Hadoop权威指南》气象数据　　map reduce　　python　　matplotlib可视化

一：下载《hadoop权威指南》一书中的气象数据

　　《hadoop权威指南》一书中的气象数据位于 http://ftp3.ncdc.noaa.gov/pub/data/noaa/，

　　新建 getdata.py文件， 并加入如下代码：

 #http://my.oschina.net/chyileon/blog/134915

 import urllib

 import urllib2

 from bs4 import BeautifulSoup

 import re

 import os

 import shutil

 def getdata():

     year = 1901

     endYear = 1921

     urlHead = 'http://ftp3.ncdc.noaa.gov/pub/data/noaa/'

     while year < endYear:

         if os.path.isdir(str(year)):

             shutil.rmtree(str(year))

         os.mkdir(str(year))

         page = urllib2.urlopen(urlHead+str(year))

         soup = BeautifulSoup(page, from_encoding="gb18030")

         for link in soup.findAll('a'):

             if link.getText().find('.gz') != -1:

                 filename = link.getText()

                 urllib.urlretrieve(urlHead+str(year)+'/'+filename, str(year)+'/'+filename)

         year += 1

 def main():

     getdata()

 if __name__=="__main__":

     main()

　　运行getdata.py,将在当前目录下生成数据文件

二：对下载的气象数据归档整理并读取数据

　　说明：上一步骤在当前目录下生成【1901】~【1921】 共20文件，文件里是压缩的气象数据，本步骤知识将数据移动data文件夹下　

　　新建 movedata.py文件， 并加入如下代码：

 import os

 import shutil

 def movedata():

     curpath = os.getcwd()

     list = os.listdir(curpath)

     datapath = os.path.join(curpath, "data")

     print(datapath)

     for line in list:

         filepath = os.path.join(curpath, line)

         if os.path.isdir(filepath):

             shutil.move(filepath,datapath)

 def main():

     movedata()

 if __name__=="__main__":

     main()

三：对气象数据进行map reduce进行处理

　　说明：这里要读取文件中的数据内容，并通过将数据map reduce 化获取每年的最高、低温度

　　1： 将文件中的数据内容逐行读出

　　　　新建reader.py文件，并加入如下代码：

 import os

 import gzip

 def reader():

     curpath = os.getcwd()

     datapath = os.path.join(curpath, r"data")

     for yearlist in os.listdir(datapath):

         oneyearpath = os.path.join(datapath, yearlist)

         datalist = os.listdir(oneyearpath)

         for line in datalist:

             onedatapath = os.path.join(oneyearpath, line)

             with gzip.open(onedatapath, 'rb') as pf:

                 print (pf.read())

 def main():

     reader()

 if __name__=="__main__":

     main()

　　　　测试上面代码：在命令行运行 reader.py，查看输出

　　2:通过mapper方法把数据处理成 "year \n temperature"的输出形式，如 "1901　　242",其中 242 表示温度为24.2度

　　　新建mapper.py文件，并加入如下代码：　

 import sys

 def mapper(inlist):

     for line in inlist:

         if len(line) > 92:

             year = (line[15:19])

             if line[87] == '+':

                 temperataure = line[88:92]

             else:

                 temperataure = line[87:92]

             print year, temperataure

 def main(inlist):

     mapper(inlist)

 if __name__=="__main__":

     inlist = []

     for line in sys.stdin:

         inlist.append(line)

     main(inlist)

　　测试上面代码：在命令行运行  reader.py | mapper.py ，查看输出。（注：这是是利用管道，把reader.py的输出作为mapper.py的输入）

　　3:通过reducer方法将mapper的输出数据整理并计算每年的最高、低温度，并输出

　　　新建reducer.py文件，并加入如下代码：

 import sys

 def reducer(inlist):

     cur_year = None

     maxtemp = None

     mintemp = None

     for line in inlist:

         year, temp = line.split()

         try:

             temp = int(temp)

         except ValueError:

             continue

         if cur_year == year:

             if temp > maxtemp:

                 maxtemp = temp

             if temp < mintemp:

                 mintemp = temp

         else:

             if cur_year != None:

                 print cur_year, maxtemp, mintemp

             cur_year = year

             maxtemp = temp

             mintemp = temp

     print cur_year, maxtemp, mintemp

 def main(inlist):

     reducer(inlist)

 if __name__=="__main__":

     inlist = []

     for line in sys.stdin:

         inlist.append(line)

     main(inlist)

　　测试上面代码：在命令行运行  reader.py | mapper.py | reducer.py，查看输出。

　　4：使用matplotlib对每年的最高、低数据进行可视化

　　　　新建drawer.py文件，并加入如下代码：

 import sys

 import matplotlib.pyplot as plt

 def drawer(inlist):

     yearlist = []

     maxtemplist = []

     mintemplist = []

     for line in inlist:

         year, maxtemp, mintemp = line.split()

         try:

             year = int(year)

             maxtemp = int(maxtemp) / 10.

             if(maxtemp) > 50:

                 maxtemp = 50

             mintemp = int(mintemp) / 10.

         except ValueError:

             continue

         yearlist.append(year)

         maxtemplist.append(maxtemp)

         mintemplist.append(mintemp)

     plt.plot(yearlist, maxtemplist, 'bd--')

     plt.plot(yearlist, mintemplist, 'rp:')

     plt.xlim(1901, 1920)

     plt.ylim(-60, 80)

     plt.title('min-max temperature for 1901-1920')

     plt.xlabel('year')

     plt.ylabel('temperature')

     plt.legend(('max temp','min temp'), loc='upper right')

     plt.show()

     print(yearlist, maxtemplist, mintemplist)

 def main(inlist):

     drawer(inlist)

 if __name__=="__main__":

     inlist = []

     for line in sys.stdin:

         inlist.append(line)

     main(inlist)

　　测试上面代码：在命令行运行  reader.py | mapper.py | reducer.py | drawer.py，查看输出。

　　显示效果如下图：（注：在前面处理的数据中， 可能由于采样的错误，会有出现999.9度的最高温度， 显然不符常理。在本例中，没有对此种错误进行深究，一致将超度50度的温度处理成50度）

　　基于python的《Hadoop权威指南》一书中气象数据下载和map reduce化数据处理及其可视化基于python的《Hadoop权威指南》一书中气象数据下载和map reduce化数据处理及其可视化

四 说明

　　1. 本例中，其实第二步 对下载的气象数据归档整理并读取数据 是多余的， 可以直接在第一步中修改文件存储目录跳过第二步。但为了熟悉python对文件的操作，还是将第二步的代码保留了下来。

　　2. 本例中，代码能运行得到实验目标，但并为对代码进行优化。请读者根据需要自行更改。

　　3. python代码的一大特点就是看起来像伪代码，又本例python代码比较简单，故没有给出注释。

　　

相关文章