Python 中的 Pandas(数据分析与处理)

时间：2024-06-13 21:45:20

Pandas 是 Python 中最受欢迎的数据处理库之一，其名字源自于“Panel Data”（面板数据）的缩写。它提供了三种主要的数据结构：Series ， DataFrame ， Panel（在新版本已经被弃用）    

数据操作与基本技巧

  • 数据读取与加载：Pandas 支持从多种数据源加载数据，包括 CSV 文件、Excel 文件、SQL 数据库、JSON 文件等。使用 pd.read_csv()、pd.read_excel() 等函数可以方便地将数据加载到 DataFrame 中进行后续处理。
  • 数据探索与预览：通过 head()、tail()、info()、describe() 等方法可以快速查看数据的前几行、后几行、基本信息以及统计摘要。
  • 数据选择与过滤：使用行索引、列索引、布尔条件等方式选择感兴趣的数据子集。例如，通过 df[column_name] 或 df.loc[row_index, column_name] 可以选取指定的列或行。
  • 数据清洗与处理：处理缺失值、重复值、异常值等，使用 dropna()、fillna()、drop_duplicates()、replace() 等方法对数据进行清洗和处理，保证数据质量。
  • 数据重塑与转换：使用 pivot_table()、stack()、unstack() 等方法对数据进行重塑和转换，以满足不同的分析需求

高级数据分析与处理技巧

  • 数据统计与聚合：使用 groupby() 方法按照某些条件对数据进行分组，然后通过聚合函数如 sum()、mean()、count() 等进行统计计算。
  • 时间序列数据分析：对于时间序列数据，Pandas 提供了丰富的处理功能，包括日期范围生成、日期索引设置、时间重采样、滚动计算等，方便用户进行时间序列数据分析与预测。
  • 数据可视化：Pandas 结合 Matplotlib、Seaborn 等可视化库，可以方便地绘制折线图、柱状图、散点图等各种图表，直观展示数据的分布和趋势。
  • 高效计算与优化：Pandas 支持向量化操作，通过使用 NumPy 数组和 Pandas 的内置函数，可以实现高效的数据处理和计算。此外，还可以通过并行计算、内存优化等方式进一步提高计算效率

Series：

类似于一维数组，由一组数据和与之相关的索引组成。每个元素都有对应的标签，可以通过标签进行索引和操作。    

1，创建Series

使用列表或数组创建Series：可以通过传递Python列表或NumPy数组来创建Series

import pandas as pd
s = pd.Series([1, 2, 3, 4, 5])

使用字典创建Series：字典的键将成为Series的索引

data = {'a': 1, 'b': 2, 'c': 3, 'd': 4}
s = pd.Series(data)

2，索引

# 使用位置索引：可以使用整数位置来访问Series中的元素
s[0]  # 访问第一个元素


# 使用自定义索引：可以使用自定义的标签索引访问元素
s['a']  # 访问标签为'a'的元素

3，基本属性

values 返回Series的数据部分（一个NumPy数组）

index  

 返回Series的索引部分（一个Index对象）
dtype 返回Series中的数据类型

4，基本操作

# 算术操作：支持基本的算术运算，如加法、减法、乘法和除法
s1 + s2
s1 * 2

# 索引与切片：可以使用位置索引或自定义索引进行索引和切片操作
s[1:3]  # 选择第2到第3个元素
s['a':'c']  # 选择标签从'a'到'c'的元素

5，数据对齐

当对两个Series进行操作时，Pandas会根据索引自动对齐数据

s1 = pd.Series([1, 2, 3], index=['a', 'b', 'c'])
s2 = pd.Series([4, 5, 6], index=['b', 'c', 'd'])
result = s1 + s2

6，其他

Pandas提供了多种方法处理缺失数据，如isnull()、fillna()等

可以使用apply()方法应用函数到Series的每个元素上

提供了一系列统计函数，如sum()、mean()、max()等，用于计算Series的统计信息

Series对象提供了plot()方法，可以直接绘制数据的图表

DataFrame：

类似于电子表格或 SQL 数据库中的表格数据结构，由多个 Series 组成，每一列可以是不同的数据类型。DataFrame 提供了强大的数据操作和处理功能，适用于各种复杂的数据分析任务。 

1，创建DataFrame

通过传递字典创建：可以使用字典来创建DataFrame，其中字典的键将成为DataFrame的列标签

import pandas as pd
data = {'Name': ['zzz', 'xxx', 'ddd'],
        'Age': [25, 30, 35],
        'City': ['New York', 'Los Angeles', 'Shanghai']}
df = pd.DataFrame(data)

也可以通过读取外部数据创建：可以从文件（如CSV、Excel等）或数据库中读取数据创建DataFrame

2，基本属性

# shape：返回DataFrame的行数和列数
df.shape

# columns：返回DataFrame的列标签
df.columns

# index：返回DataFrame的行索引
df.index

3，索引与选择数据

# 使用列标签选择列：可以通过列标签直接选择DataFrame中的列
df['Name']


# 使用loc和iloc选择行和列
df.loc[0]  # 选择索引为0的行
df.loc[:, 'Age']  # 选择名为'Age'的列的所有行
df.iloc[0]  # 使用整数位置选择行

# 使用布尔索引进行条件选择
df[df['Age'] > 25]

4，基本操作

# 添加列
df['Gender'] = ['Female', 'Male', 'Male']

# 删除列
df.drop('City', axis=1, inplace=True)

# 行列转置
df.T

5，数据排序

# 按列或行的值进行排序
df.sort_values(by='Age')

6，其他

处理缺失数据：可以使用dropna()删除包含缺失值的行或列，或使用fillna()填充缺失值。
处理重复数据：使用drop_duplicates()删除重复行

使用groupby()方法对数据进行分组并应用聚合函数

使用concat()、merge()或join()方法将多个DataFrame合并成一个

使用pivot_table()方法创建数据透视表

使用plot()方法进行数据可视化，例如绘制柱状图、折线图等

相关文章