文本数据
一、string类型的性质
(一)、 string与object的区别
string类型和object不同之处有三:
1.字符存取方法(string accessor methods,如str.count)会返回相应数据的Nullable类型,而object会随缺失值的存在而改变返回类型
2. 某些Series方法不能在string上使用,例如: Series.str.decode(),因为存储的是字符串而不是字节
3. string类型在缺失值存储或运算时,类型会广播为pd.NA,而不是浮点型np.nan¶
其余全部内容在当前版本下完全一致,但迎合Pandas的发展模式,我们仍然全部用string来操作字符串
(二)、 string类型的转换
如果将一个其他类型的容器直接转换string类型可能会出错,应该先转为str型object,然后在转为string类型
二、拆分与拼接
(一)、 str.split方法
1.分割符与str的位置元素选取
根据某一个元素分割,默认为空格这里需要注意split后的类型是object,因为现在Series中的元素已经不是string,而包含了list,且string类型只能含有字符串
对于str方法可以进行元素的选择,如果该单元格元素是列表,那么str[i]表示取出第i个元素,如果是单个元素,则先把元素转为列表在取出
2.其他参数
expand参数控制了是否将列拆开,n参数代表最多分割多少次
(二)、str.cat方法
1.不同对象的拼接模式¶
cat方法对于不同对象的作用结果并不相同,其中的对象包括:单列、双列、多列
(1) 对于单个Series而言,就是指所有的元素进行字符合并为一个字符串
其中可选sep分隔符参数,和缺失值替代字符na_rep参数
(2) 对于两个Series合并而言,是对应索引的元素进行合并,同样也有相应参数,需要注意的是两个缺失值会被同时替换
(3) 多列拼接可以分为表的拼接和多Series拼接
2.cat中的索引对齐¶
当前版本中,如果两边合并的索引不相同且未指定join参数,默认为左连接,设置join=‘left’
三、替换
广义上的替换,就是指str.replace函数的应用,fillna是针对缺失值的替换,上一章已经提及
提到替换
(一)、 str.replace的常见用法
第一个值写r开头的正则表达式,后一个写替换的字符串
(二)、 子组与函数替换
通过正整数调用子组(0返回字符本身,从1开始才是子组)
利用?P<…>表达式可以对子组命名调用
(三)、 关于str.replace的注意事项
首先,要明确str.replace和replace并不是一个东西:
str.replace针对的是object类型或string类型,默认是以正则表达式为操作,目前暂时不支持DataFrame上使用¶
replace针对的是任意类型的序列或数据框,如果要以正则表达式替换,需要设置regex=True,该方法通过字典可支持多列替换
但现在由于string类型的初步引入,用法上出现了一些问题,这些issue有望在以后的版本中修复
1.str.replace赋值参数不得为pd.NA
这听上去非常不合理,例如对满足某些正则条件的字符串替换为缺失值,直接更改为缺失值在当下版本就会报错,此时,可以先转为object类型再转换回来
2.对于string类型Series,在使用replace函数时不能使用正则表达式替换
3.string类型序列如果存在缺失值,不能使用replace替换
综上,除非需要赋值元素为缺失值(转为object再转回来),否则请使用str.replace方法
四、子串匹配与提取
(一)、str.extract方法
1.常见用法
使用子组名作为列名
利用?正则标记选择部分提取
2.expand参数(默认为True)
对于一个子组的Series,如果expand设置为False,则返回Series,若大于一个子组,则expand参数无效,全部返回DataFrame
对于一个子组的Index,如果expand设置为False,则返回提取后的Index,若大于一个子组且expand为False,报错
(二)、str.extractall方法
与extract只匹配第一个符合条件的表达式不同,extractall会找出所有符合条件的字符串,并建立多级索引(即使只找到一个)
(三)、str.contains和str.match
前者的作用为检测是否包含某种正则模式
可选参数为na
str.match与其区别在于,match依赖于python的re.match,检测内容为是否从头开始包含该正则模式
五、常用字符串方法
(一)、过滤型方法
1.str.strip
常用于过滤空格
2.str.lower和str.upper
3.str.swapcase和str.capitalize
分别表示交换字母大小写和大写首字母
(二)、 isnumeric方法
检查每一位是否都是数字
pandas学习第二次打卡