【每天学点Python】案例八：空气质量指数计算

V1.0功能：AQI计算

案例描述：

案例分析：

• 实现步骤：
  1. 实现每种污染物对应的AQI函数，一个输入参数，即Cp
  2. 实现线性缩放函数，5个输入参数

上机实验：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: Kevin.Wang
# time  : 2018/10/16


"""
    作者：王鑫正
    版本：1.0
    日期：2018/10/16
    功能：AQI计算
"""


def cal_linear(iaqi_lo, iaqi_hi, bp_lo, bp_hi, cp):
    """
        范围缩放
    """
    iaqi = (iaqi_hi - iaqi_lo) * (cp - bp_lo) / (bp_hi - bp_lo) + iaqi_lo
    return iaqi


def cal_pm_iaqi(pm_val):
    """
        计算PM2.5的IAQI
    """
    if 0 <= pm_val < 35:
        iaqi = cal_linear(0, 50, 0, 35, pm_val)
    elif 35 <= pm_val < 75:
        iaqi = cal_linear(50, 100, 35, 75, pm_val)
    elif 75 <= pm_val < 115:
        iaqi = cal_linear(100, 150, 75, 115, pm_val)
    else:
        pass

    return iaqi


def cal_co_iaqi(co_val):
    """
        计算CO的IAQI
    """
    if 0 <= co_val < 3:
        iaqi = cal_linear(0, 50, 0, 3, co_val)
    elif 3 <= co_val < 5:
        iaqi = cal_linear(50, 100, 2, 4, co_val)

    else:
        pass

    return iaqi


def cal_aqi(para_list):
    """
        AQI计算
    """
    pm_val = para_list[0]
    co_val = para_list[1]

    pm_iaqi = cal_pm_iaqi(pm_val)
    co_iaqi = cal_co_iaqi(co_val)

    iaqi_list = []
    iaqi_list.append(pm_iaqi)
    iaqi_list.append(co_iaqi)

    aqi = max(iaqi_list)
    return aqi


def main():
    """
        主函数
    """
    print('请输入以下信息，用空格分隔')
    input_str = input('(1)PM2.5 (2)CO:')
    str_list = input_str.split(' ')
    pm_val = float(str_list[0])
    co_val = float(str_list[1])

    para_list = []
    para_list.append(pm_val)
    para_list.append(co_val)

    # 调用AQI计算函数
    aqi_val = cal_aqi(para_list)

    print('空气质量指数为：{}'.format(aqi_val))


if __name__ == '__main__':
    main()

 

---

V2.0功能：json文件读取

案例描述：

• 读取已经获取的JSON数据文件
• 并将AQI前5的数据输出到文件

上机实验：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: Kevin.Wang
# time  : 2018/10/16


"""
    作者：王鑫正
    版本：1.0
    日期：2018/10/16
    功能：2.0 JSON文件读取
"""
import json


def process_json_file(filepath):
    """
        解码json文件
    """
    f = open(filepath,mode='r',encoding='utf-8')
    city_list = json.load(f)
    return city_list


def main():
    """
        主函数
    """
    filepath = input('请输出json文件名称：')
    city_list = process_json_file(filepath)
    city_list.sort(key=lambda city:city['aqi'])
    top5_list = city_list[:5]

    f = open('top5_aqi.json',mode='w',encoding='utf-8')
    json.dump(top5_list,f,ensure_ascii=False)
    f.close()


if __name__ == '__main__':
    main()

补充说明：

1. JSON格式

• JSON（JavaScript Object Notation）是一种轻量级数据交换格式
• 可以对复杂数据进行表达和存储，易于阅读和理解
• 规则
  1. 数据保存在键值对中
  2. 键值对之间由逗号分隔
  3. 花括号用于保存键值对数据组成的对象
  4. 方括号用于保存键值对数据组成的数组
• 采用对象、数组方式组织起来的键值对可以表示任何结构的数据
• JSON格式是互联网上主要使用的复杂数据格式之一

[
    {
        "aqi":47,
        "area":"北京",
        "position_name":"万寿西宫",
        "time_point":"2017-07-29"
    },
    {
        "aqi": 63,
        "area": "北京",
        "position_name": "叮铃",
        "time_point": "2017-07-29"
    }
]

2. JSON库

• JSON库是处理JSON格式的Python标准库
• 两个过程：
  • 编码（encoding），将Python数据类型转换成JSON格式的过程
  • 解码（decoding），从JSON格式中解析数据对用到Python数据类型的过程
• 函数：
  • dumps()，将Python数据类型转换为JSON格式
  • loads()，将JSON格式字符串转换为Python数据类型
  • dump()，与dumps()功能一致，输出到文件
  • load()，与loads()功能一致，从文件读入

3. 列表排序

• list.sort(func)
  • func指定了排序的方法
  • func可以通过lambda函数实现

4. JSON格式转换

• 百度搜索“json format”，可以转换

 

---

V3.0功能：读取JSON数据文件并将其转换为CSV文件

案例描述：

• 读取已经获取的JSON数据文件
• 并将其转换为CSV文件

上机实验：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: Kevin.Wang
# time  : 2018/10/16


"""
    作者：王鑫正
    版本：1.0
    日期：2018/10/16
    功能：3.0 JSON文件读取,转换为CSV文件
"""
import json
import csv


def process_json_file(filepath):
    """
        解码json文件
    """
    f = open(filepath,mode='r',encoding='utf-8')
    city_list = json.load(f)
    return city_list


def main():
    """
        主函数
    """
    filepath = input('请输出json文件名称：')
    city_list = process_json_file(filepath)
    city_list.sort(key=lambda city:city['aqi'])

    lines = []
    # 列名
    lines.append(list(city_list[0].keys()))
    for city in city_list:
        lines.append(list(city.values()))

    f = open('aqi.csv','w',encoding='utf-8',newline='')
    writer = csv.writer(f)
    for line in lines:
        writer.writerow(line)


if __name__ == '__main__':
    main()

补充说明：

1. CSV格式

• CSV（Comma-Separated Values）是一种通用的、相对简单的文件格式
• 在商业和科学领域上广泛使用
• 规则
  1. 以行为单位
  2. 每行表示一条记录
  3. 以英文逗号分割每列数据（如果数据为空，逗号也要保留）
  4. 列名通常放置在文件第一行
• import csv
• csv.writerow(list)将列表中的元素写入文件的一行中

 

---

V4.0增加功能：判断输入的文件判断是JSON格式还是CSV格式，并进行相应的操作

案例描述：

• 根据输入的文件判断是JSON格式还是CSV格式，并进行相应的操作

上机实验：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: Kevin.Wang
# time  : 2018/10/16


"""
    作者：王鑫正
    版本：1.0
    日期：2018/10/16
    功能：4.0 JSON文件读取,转换为CSV文件
"""
import json
import csv
import os


def process_json_file(filepath):
    """
        解码json文件
    """
    # f = open(filepath,mode='r',encoding='utf-8')
    # city_list = json.load(f)
    # return city_list

    with open(filepath,mode='r',encoding='utf-8') as f:
        city_list = json.load(f)
    print(city_list)


def process_csv_file(filepath):
    """
        处理csv文件
    """
    with open(filepath, mode='r', encoding='utf-8', newline='') as f:
        reader = csv.reader(f)
        for row in reader:
            print(', '.join(row))   # 将列表里每一行的函数用‘, ’连接起来


def main():
    """
        主函数
    """
    filepath = input('请输入文件名称：')
    filename, file_ext = os.path.splitext(filepath)

    if file_ext == '.json':
        # json文件
        process_json_file(filepath)
    elif file_ext == '.csv':
        # csv文件
        process_csv_file(filepath)
    else:
        print('不支持的文件格式！')


if __name__ == '__main__':
    main()

补充说明：

1. CSV补充

• CSV文件读取

import csv
csv.reader()    将没行记录作为列表返回

• 使用with语句操作文件对象

with open('file name') as somefile:
    for line in somefile:
        print(line)

• 使用with语句，不管在处理文件过程中是否发生异常，都能保证with语句执行完毕后关闭文件，不需要close()语句。

2. os模块

• os模块提供了与系统、目录操作相关的功能，不受平台的限制

函数	含义
os.remove()	删除文件
os.makedirs()	创建多层目录
os.rmdir()	删除单级目录
os.rename()	重命名文件
os.path.isfile()	判断是否为文件
os.path.isdir()	判断是否为目录
os.path.join()	连接目录，如path1连接path2为path1/path2
os.path.splitext()	将文件分割成文件名与扩展名，如分割tmp.txt为tmp和.txt

 

---

 V5.0增加功能：网络爬虫

案例描述：

• 为了能有效地提取并利用网络信息并提供工作效率，出现了网络爬虫
• 利用网络爬虫实时获取城市的空气质量

上机实验：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: Kevin.Wang
# time  : 2018/10/16


"""
    作者：王鑫正
    版本：1.0
    日期：2018/10/16
    功能：4.0 JSON文件读取,转换为CSV文件
"""

import requests


def get_html_text(url):
    """

    """
    r = requests.get(url, timeout=30)
    # print(r.status_code)
    return r.text


def main():
    """
        主函数
    """
    city_pinyin = input('请输入城市拼音：',)
    url = 'http://pm25.in/' + city_pinyin
    url_text = get_html_text(url)
    # print(url_text)
    aqi_div = '''<div class="span12 data">
        <div class="span1">
          <div class="value">
            '''
    index = url_text.find(aqi_div)
    begin_index = index + len(aqi_div)
    end_index = begin_index + 2
    aqi_val = url_text[begin_index:end_index]
    print('空气质量为：{}'.format(aqi_val))


if __name__ == '__main__':
    main()

补充说明：

1. 网络爬虫

• 自动抓取互联网信息的程序；利用互联网数据进行分析、开发产品
• 步骤：
  1. 通过网络链接获取网页内容
  2. 对获得的网页内容进行处理

2. requests模块

• requests模块是一个简洁且简单的处理HTTP请求的工具
• 支持非常丰富的链接访问功能，包括URL获取，HTTP会话，Cookie记录等
• requests网页请求

函数	含义
get()	对应HTTP的GET方式
post()	对应HTTP的POST方式，用于传递用户数据

• requests对象属性

函数	含义
status_code	HTTP请求的返回状态，200表示连接成功，400表示失败
text	HTTP相应内容的字符串形式，即url对应的页面内容

• 更多方法参考：http://docs.python-requests.org/

3. 网页常用操作

• 查看对应代码，右键选择“审查元素”
• 打开网页源码，Ctrl+U