Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

时间:2024-03-27 08:39:59

Power BI(三)Power Query知识点

本篇博客主要讲解Power Query以下知识点:

  • 删除重复项
  • 数据格式的转换
  • 数据的拆分合并提取
  • 删除错误
  • 转置与反转
  • 透视和逆透视(二维表与一维表的转换)

 

数据格式的转换

如下图,我们有一组数据,但是发现其格式很不符合我们建模数据的需求,需要进行处理(比如姓名列有回车、空格多余字符、英语名字中间间隔两个空格、Last name首字母大写、出生年份多了一个"年"字)

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

首先第一步还是把数据加载进Power Query查询编辑器

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

选择以下几列进行,格式(清除)

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

但是发现英语名字中间两个空格还没搞定

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

我们使用拆分-合并方式解决

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

选着以下几列进行修整

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

选中两列点击合并列

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

对于Last name首字母大写问题(选中First name和Last name两列首字母大写)

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

效果如下所示

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

出生年份多了一个"年"字

首先把其类型变为文本

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

选择替换值

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

数据处理完毕

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

查询编辑器关闭上载

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

 

数据的拆分合并提取

我们有这一组数据,想新增几组数据

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

首先我们还是把数据加载进Power Query查询编辑器,发现身份证类型不对,修改为文本

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

首先重复一下姓名这一列

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

修改列名为姓、名

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

性别如何提取呢?(身份证倒数第二位,奇数为男,偶数为女)

 

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

换类型为整数

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

之后类型换为文本之后使用替换功能(true男,false女)

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

添加一列尊称(使用替换  男--先生,女--小姐)

出生年份同理使用提取功能(添加后缀“年”)

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

效果如下

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

首要兴趣(兴趣爱好第一个)

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

删除多余的列

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

修改一下列名,完成,之后关闭上载

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

 

删除重复项

我们有下面这一个表格

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

首先还是加载数据进查询编辑器,把表格复制三份并命名

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

先排序

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

要把这两个状态剔除,我们现在看到的其实并非数据真实的排序样子,我们做一步不伤害数据的操作,让我们的排序操作不可逆转,实现所见即所得

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

排序图标消失,所见即所得

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

删除重复项默认保留排在第一次出现的数据

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

客户第一次购买同理,唯一不同的就是多订单分析(保留重复项)

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

 

删除错误

像如下的excel不利于我们平时分析(工作日和周末那一列要剔除)

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

加载进查询编辑器

加载进来数据是没有问题的,我们要制作错误,修改第一列类型

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

修改为整数

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

数据处理完毕

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

 

转置与反转

我们看一个例子,左边的excel内容实现逆序

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

还是同理把数据加载进查询编辑器

首先拆分

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

转置

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

反转

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

再转置

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

之后合并

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

完成,之后加载回excel

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

 

透视和逆透视(逆透视二维表转换为一维表)

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

使用逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

之后再用透视转换为二维表

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

又变回来了

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

透视列聚合函数(不要聚合)例子

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视

之后条件样式

Power BI(三)Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视