利用python进行数据分析1_numpy的基本操作，建模基础

import numpy as np
# 生成指定维度的随机多维数据
data=np.random.rand(2,3)
print(data)
print(type(data))

   结果：

[[0.11959428 0.52816495 0.31736705]
 [0.75400637 0.26683732 0.54080784]]
<class 'numpy.ndarray'>

print('维度个数',data.ndim)
print('各维度大小',data.shape)
print('数据类型',data.dtype)

    结果：

维度个数 2
各维度大小 (2, 3)
数据类型 float64

补充：

import numpy as np
# 生成指定维度的随机多维数据
data2=np.arange(1,10,2)#间隔为2
print(data2)
print('元素个数',data2.size)   # 5

ndarray，N维数组对象（矩阵）

所有元素必须是相同类型     ndim属性：维度个数   shape属性：各维度大小  dtype属性：数据类型 

 

创建ndarray

#list转换为ndarray
l=range(10)
data=np.array(l)
print(data)#[0 1 2 3 4 5 6 7 8 9]
print(data.shape)#(10,)
print(data.ndim)#1

  

#嵌套序列转换为ndarray
l2=[range(10),range(10)]
data=np.array(l2)
print(data.shape)#(2,10)

print(data)
#[[0 1 2 3 4 5 6 7 8 9]
 #[0 1 2 3 4 5 6 7 8 9]]

 

np.zeros,Np.ones和np.empty

#np.zeros
np.zeros((3,4))

#array([[0., 0., 0., 0.],
#        [0., 0., 0., 0.],
#        [0., 0., 0., 0.]])

 

#np.ones
np.ones((2,3)) 

# array([[1., 1., 1.],
#        [1., 1., 1.]])

　　

#np.empty
np.empty((3,3))

# array([[3.8043055e-322, 0.0000000e+000, 0.0000000e+000],
#        [0.0000000e+000, 0.0000000e+000, 3.6560858e-321],
#        [0.0000000e+000, 0.0000000e+000, 2.5706196e-316]])

　　

#np.empty 指定数据类型
empty_int_arr=np.empty((3,3),int)
empty_int_arr

# array([[  45023345,          0, -301822228],
#        [       127, -534188352,       2046],
#        [        36,          0,          2]])

总结： np.zeros,Np.ones和np.empty指定大小的全0或全1数组    注意：第一个参数是元祖，用来指定大小(3,4)。empty不是总是返回全0，有时返回的是未初始的随机值。

 

np.eye(2,3)#2*3单位矩阵
# array([[1., 0., 0.],
#        [0., 1., 0.]])

np.eye(3)#3*3单位矩阵
# [[1. 0. 0.]
#  [0. 1. 0.]
#  [0. 0. 1.]]

 

#np.arange()
# 类似range()，注意是arange，不是英文arrange
print(np.arange(10))#[0 1 2 3 4 5 6 7 8 9]

　　

zeros_float_arr=np.zeros((3,4),dtype=np.float64)
print(zeros_float_arr.dtype)#float64
print(zeros_float_arr)
# [[0. 0. 0. 0.]
#  [0. 0. 0. 0.]
#  [0. 0. 0. 0.]]

zeros_int_arr=zeros_float_arr.astype(np.int32)
print(zeros_int_arr.dtype)#int32
print(zeros_int_arr)
# [[0 0 0 0]
#  [0 0 0 0]
#  [0 0 0 0]]

　　

矢量与矢量运算

arr=np.array([[1,2,3],
              [4,5,6]])
#元素相乘
print(arr*arr)
# [[ 1  4  9]
#  [16 25 36]]

# 矩阵相加
print(arr+arr)
# [[ 2  4  6]
#  [ 8 10 12]]

 

　　

print(1./arr)
# [[1.         0.5        0.33333333]
#  [0.25       0.2        0.16666667]]

print(2.*arr)
# [[ 2.  4.  6.]
#  [ 8. 10. 12.]]

　　

#一维数组
arr1=np.arange(10)
print(arr1)#[0 1 2 3 4 5 6 7 8 9]
print(arr1[2:5])#[2 3 4]

　　

#多维数组
arr2=np.arange(12).reshape(3,4)
arr2
# array([[ 0,  1,  2,  3],
#        [ 4,  5,  6,  7],
#        [ 8,  9, 10, 11]])

arr2[1]#array([4, 5, 6, 7])

arr2[0:2,2:]
# array([[2, 3],
#        [6, 7]])

　

import numpy as np
a=np.array([[1,2,3],[4,5,6]])
print(a)
# [[1 2 3]
#  [4 5 6]]
print(a[1][0],a[1,0])#索引结果相同，均为第一行第零列元素 4

　　

#条件索引
#找出data_arr中2015年后的数据
data_arr=np.random.rand(3,3)
print(data_arr)
# [[0.74277876 0.03168798 0.60155076]
#  [0.06961099 0.4674936  0.61162942]
#  [0.23676798 0.40399878 0.80521454]]

year_arr=np.array([[2000,2001,2000],
                   [2005,2002,2009],
                   [2001,2003,2010]])
filtered_arr=data_arr[year_arr>=2005]
print('索引后的数据：',filtered_arr)#索引后的数据： [0.06961099 0.61162942 0.80521454]

 

#多个条件
#多个条件的组合要使用& | ,而不是and or
filtered_arr=data_arr[(year_arr<=2005)&(year_arr%2==0)]
print('索引后的数据：',filtered_arr)#索引后的数据： [0.74277876 0.60155076 0.4674936]

　　

转置：

arr=np.random.rand(2,3)
print(arr)
# [[0.61150182 0.22558736 0.37966609]
#  [0.18998577 0.86658851 0.93381798]]

print(arr.transpose())#同print(arr.T)
print(arr.T)
# [[0.61150182 0.18998577]
#  [0.22558736 0.86658851]
#  [0.37966609 0.93381798]]

　　

arr3d=np.random.rand(2,3,4)#2*3*4   对应（0，1，2）
print(arr3d)
# [[[0.21373013 0.19849355 0.33215605 0.52725921]
#   [0.93922615 0.80779913 0.35420019 0.09954869]
#   [0.57758754 0.07217543 0.34231125 0.94650619]]

#  [[0.71771002 0.97230449 0.5350113  0.32420057]
#   [0.15722108 0.38212327 0.70092714 0.25712219]
#   [0.38823089 0.03036273 0.44572765 0.0959865 ]]]

print(arr3d.transpose(1,0,2))#3*2*4   对应（1，0，2）
# [[[0.21373013 0.19849355 0.33215605 0.52725921]
#   [0.71771002 0.97230449 0.5350113  0.32420057]]

#  [[0.93922615 0.80779913 0.35420019 0.09954869]
#   [0.15722108 0.38212327 0.70092714 0.25712219]]

#  [[0.57758754 0.07217543 0.34231125 0.94650619]
#   [0.38823089 0.03036273 0.44572765 0.0959865 ]]]

　　

numpy中有一些常用的用来产生随机数的函数，randn()和rand()就属于这其中。 

• numpy.random.randn(d0, d1, …, dn)是从标准正态分布中返回一个或多个样本值。 
• numpy.random.rand(d0, d1, …, dn)的随机样本位于[0, 1)中

  np.random.randn(2,4)
  # array([[-0.92413736,  0.59971917,  0.4225436 , -0.93199644],
  #        [-1.29965982, -0.73300645,  0.52989576,  1.55531057]])
  
  np.random.rand(2,4)
  # array([[0.78828337, 0.13617667, 0.12360924, 0.96954394],
  #        [0.08698652, 0.35513682, 0.42040709, 0.79186291]])
  

  　　

 

import numpy as np
arr=np.random.randn(2,3)
print(arr)
# [[ 1.13669323  0.24028173  0.34788455]
#  [ 0.86511261 -0.87732341  0.01820511]]

#向上最接近的整数:
print(np.ceil(arr))
# [[ 2.  1.  1.]
#  [ 1. -0.  1.]]

#向下最接近的整数:
print(np.floor(arr))
# [[ 1.  0.  0.]
#  [ 0. -1.  0.]]
#四舍五入：
print(np.rint(arr))
# [[ 1.  0.  0.]
#  [ 1. -1.  0.]]

#判断元素是否为NaN（Not a Number）：
print(np.isnan(arr))
# [[False False False]
#  [False False False]]

　　

x1=np.arange(9).reshape((3, 3))
# [[0 1 2]
#  [3 4 5]
#  [6 7 8]]

x2=np.arange(3)#[0 1 2]

#元素相乘
print(np.multiply(x1,x2))
# [[ 0  1  4]
#  [ 0  4 10]
#  [ 0  7 16]]

　　

 

arr=np.random.randn(3,4)
print(arr)
# [[-1.57353282 -0.78028594  0.71725837  1.18291454]
#  [ 0.84210892  0.05140142  0.30834113  0.43600613]
#  [-1.31534235 -1.70603397  0.72184736 -1.7484308 ]]

print(np.where(arr>0,1,-1))
# [[-1 -1  1  1]
#  [ 1  1  1  1]
#  [-1 -1  1 -1]]

　　

arr=np.arange(10).reshape(5,2)
print(arr)
# [[0 1]
#  [2 3]
#  [4 5]
#  [6 7]
#  [8 9]]
print(np.sum(arr))#总和：45
print(np.sum(arr,axis=0))#每一列求和：[20 25]
print(np.sum(arr,axis=1))#每一行求和：[ 1  5  9 13 17]  

　　

numpy.argmax(a, axis=None, out=None)：返回沿轴axis最大值的索引。

 

Cumsum ：计算轴向元素累加和，返回由中间结果组成的数组， 重点就是返回值是“由中间结果组成的数组”

arr=np.array([[[1,2,3],
               [8,9,12]],
              [[1,2,4],
               [2,4,5]]]) #2*2*3
print(arr.cumsum(0))
# [[[ 1  2  3]
#   [ 8  9 12]]

#  [[ 2  4  7]
#   [10 13 17]]]
print(arr.cumsum(1))
# [[[ 1  2  3]
#   [ 9 11 15]]

#  [[ 1  2  4]
#   [ 3  6  9]]]
print(arr.cumsum(2))
# [[[ 1  3  6]
#   [ 8 17 29]]

#  [[ 1  3  7]
#   [ 2  6 11]]]

　　

import numpy as np
arr=np.arange(12).reshape(3,4)
print(arr)
'''
[[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
'''
print(sum(arr))#求的是每一列的和    [12 15 18 21]
print(sum(arr[0]))#求第0行的和    6
print(sum(arr[:,0]))#求第0列的和   12
print(sum(sum(arr)))#求总和   66
print(arr.sum())#求总和   66
print(arr.max())#求最大值   11
print(max(arr[1]))#求第一列最大值  7
print(max(arr[:,2]))#求第二列最大值  10
# print(max(arr))无此用法
#求最小值则用min，与max方法相同

 

arr=np.random.randn(2,3)
print(arr)
# [[ 0.76153695  0.08640434 -0.59324569]
#  [-0.72260221  1.3081049  -1.16616903]]
print(np.any(arr> 0))#True
print(np.all(arr> 0))#False

　　

arr=np.array([[1,2,1],
             [2,3,4]])
np.unique(arr)#array([1, 2, 3, 4])

　　

print(np.logspace(1,10,3))#等比数列    结果：[1.00000000e+01 3.16227766e+05 1.00000000e+10]
s='HELLO'
print(np.fromstring(s,dtype='int8'))#将字符串创建为矩阵     结果：[72 69 76 76 79]

 

 

 

 

数据示例：（项目地址即为数据下载地址）

 

# -*- coding:utf-8 -*-
'''作者：qiqi
    日期：2018/03/
    项目名称：科技工作者心里健康数据分析（Mental Health in Tech Survey）
'''
import csv
#数据采集路径
data_path='./survey.csv'
def run_main():
    '主函数'
    male_set={'male','m'}#“男性”可能的取值
    female_set={'female','f'}#“女性”可能的取值
    #构造统计结果的数据结构result_dict
    #其中每个元素是键值对，“键”是国家的名称，“值”是列表结构
    #列表的第一个元素为该国家的女性统计数据，第二个数为该国家男性统计数据
    #如｛'united States':[20,50],'Canada':[30,40]｝
    result_dict={}
    with open(data_path,'r',newline='') as csvfile: #newline=' '新的一行用空字符串打开,可以不写
        #加载数据
        rows=csv.reader(csvfile)
        for i,row in enumerate(rows):
            if i==0:
                #跳过第一行表头数据
                continue
            if i%50==0:
                print('正在处理第{}行数据。。。'.format(i))
            #性别数据
            gender_val=row[2]
            country_val = row[3]
            # 去掉可能存在的空格
            gender_val = gender_val.replace(' ', '')
            # 转换为小写
            gender_val = gender_val.lower()
            # 判断“国家”是否已经存在
            if country_val not in result_dict:
                # 如果不存在，初始化数据
                result_dict[country_val] = [0, 0]
            # 判断性别
            if gender_val in female_set:
                # 女性
                result_dict[country_val][0] += 1
            elif gender_val in male_set:
                # 男性
                result_dict[country_val][1] += 1
            else:
                # 噪声数据，不做处理
                pass
                # 将结果写入文件
    with open('gender_country.csv', 'w', newline='', encoding='utf-16') as csvfile:
        csvwriter = csv.writer(csvfile, delimiter=',')#delimiter为分隔符，默认是逗号，可以不写，也可以换别的
        # 写入表头
        csvwriter.writerow(['国家', '男性', '女性'])
        # 写入统计结果
        for k, v in list(result_dict.items()):
            csvwriter.writerow([k, v[0], v[1]])
if __name__=='__main__':
    run_main()

　　

结果展示：

 

 作业：

 

# -*- coding: utf-8 -*-
"""
    作者:     qiqi
    版本:     1.0
    日期:     2018/03/23
    项目名称：科技工作者心理健康数据分析 (Mental Health in Tech Survey)
"""
import csv
# 数据集路径
data_path = './survey.csv'
def run_main():
    mental_health_set = {'Yes'}  # 心理健康问题要找到的值
    result_dict = {}  # 最终结果存放列表
    with open(data_path, 'r', newline='') as csvfile:
        # 加载数据
        rows = csv.reader(csvfile)
        for i, row in enumerate(rows):
            if i == 0:
                # 跳过第一行表头数据
                continue
            if i % 50 == 0:
                print('正在处理第{}行数据...'.format(i))
            age_val = row[1]  # 性别数据
            country_val = row[3]  # 国家
            mental_health_val = row[18]  # 是否有心理问题
            # 去掉可能存在的空格
            age_val = age_val.replace(' ', '')
            mental_health_val = mental_health_val.replace(' ', '')
            # 判断“国家”是否已经存在
            if country_val not in result_dict:
                # 如果不存在，初始化数据
                # result_dict[country_val] = []  # 存放所有符合条件的年龄
                result_dict[country_val] = [0, 0, 0]  # 第一个参数存储符合条件的年龄总和， 第二个参数存储有多少条记录,第三个参数为结果
            # 有心理问题, 要过滤不合常理的数据，如Zimbabwe 年龄999999 392行
            if mental_health_val in mental_health_set and (len(age_val) <= 3):
                # 列出所有符合条件的年龄列表
                # result_dict[country_val].append(age_val)
                # 第一个参数存储符合条件的年龄总和， 第二个参数存储有多少条记录
                result_dict[country_val][0] += int(age_val)
                result_dict[country_val][1] += 1
            else:
                # 噪声数据，不做处理
                pass
    # 将结果写入文件
    with open('mental_country1.csv', 'w', newline='', encoding='utf-16') as csvfile:
        csvwriter = csv.writer(csvfile, delimiter=',')
        # 写入表头
        csvwriter.writerow(['国家', '存在心理问题的平均年龄'])
        # 写入统计结果
        for k, v in list(result_dict.items()):
            # 处理年龄为0的所属国家记录
            if int(v[0]) == 0:
                v[2] = 0
            else:
                v[2] = round(int(v[0]) / int(v[1]), 2)  # 保证结果不出现多个小数位数
            csvwriter.writerow([k, v[2]])
if __name__ == '__main__':
    run_main()

　　结果：

国家    存在心理问题的平均年龄
United States    33.38
Canada    29.88
United Kingdom    31.57
Bulgaria    26
France    26
Portugal    27
Netherlands    33
Switzerland    30
Poland    0
Australia    31.5
Germany    32
Russia    28
Mexico    0
Brazil    0
Slovenia    19
Costa Rica    0
Austria    0
Ireland    35.27
India    24
South Africa    61
Italy    37
Sweden    0
Colombia    26
Latvia    0
Romania    0
Belgium    30
New Zealand    36.75
Zimbabwe    0
Spain    30
Finland    27
Uruguay    0
Israel    27
Bosnia and Herzegovina    0
Hungary    27
Singapore    39
Japan    49
Nigeria    0
Croatia    43
Norway    0
Thailand    0
Denmark    0
Bahamas, The    8
Greece    36.5
Moldova    0
Georgia    20
China    0
Czech Republic    0
Philippines    31

补充：

import numpy as np
print(np.random.randn(5))#创建一个长度为5的一维数组，元素符合标准正太分布
#[ 0.55026984 -0.71707067  0.53576958  0.08688139 -1.2597207 ]

print(np.random.randint(10))#返回10以内(不包括10)的一个int数
# 7

print(np.random.randint(10,size=(2,3)))#返回10以内(不包括10)的int数,构成的2*3的数组
'''[[9 3 0]
    [3 3 4]]'''

print(np.random.randint(10,size=9))#长度为9的一维数组
#[1 0 1 7 3 6 4 2 1]

print(np.random.randint(10,size=9).reshape(3,3))
'''
[[0 9 7]
 [0 9 5]
 [2 0 2]]
'''

print(np.mat([[1,2,3],[4,5,6]]))#生成矩阵
'''
[[1 2 3]
 [4 5 6]]
'''

#array（数组）与mat（矩阵）是可以互相转换的
a=np.random.randint(10,size=(2,3))
b=np.mat(a)
print(type(a))#<class 'numpy.ndarray'>
print(type(b))#<class 'numpy.matrixlib.defmatrix.matrix'>
print(a)
'''
[[7 3 1]
 [8 8 2]]
'''
print(b)
'''
[[7 3 1]
 [8 8 2]]
'''
#注：数组array之间的相乘除是元素的相乘除，矩阵的乘法必须是按照线性代数的乘法

#使用pickle序列化numpy array到硬盘
import pickle
import numpy as np
x=np.arange(10)
print(x)
f=open('x.pkl','wb')
pickle.dump(x,f)
f.close()
#读取序列化文件
f=open('x.pkl','rb')
pickle.load(f)
f.close()
#使用numpy可以简化上述方法
np.save('one_array',x)#保存为.npy文件
np.load('one_array.npy')
y=np.arange(5)
print(x,y)#[0 1 2 3 4 5 6 7 8 9] [0 1 2 3 4]
np.savez('two_array.npz',a=x,b=y)#保存两个到一个文件中(压缩)
c=np.load('two_array.npz')
print(c['a'],c['b'])