邬书豪，车联网数据挖掘工程师 ，R语言中文社区专栏作者。微信ID：tsaiedu
知乎专栏：https://www.zhihu.com/people/wu-shu-hao-67/activities
往期回顾
1912年4月15日，载着1316号乘客和891名船员的豪华巨轮泰坦尼克号与冰山相撞而沉没，这场海难被认为是20世纪人间十大灾难之一。1985年，泰坦尼克号的沉船遗骸在北大西洋两英里半的海底被发现，美国探险家洛维特亲自潜入海底在船舱的墙壁上看见了一幅画，洛维持的发现立刻引起了一位老妇人的注意。已经是102岁高龄的罗丝声称她就是画中的少女，在潜水舱里，罗丝开始叙述她当年的故事：“从前有座山，山里有座庙，庙里......”
步入正文之前，先给大家开了一个玩笑哈。那么现在就是开始认真跟着思路来了啊，首先呢，对于幸存者来说，运气肯定是必不可少的，但是幸存者之中必不可少一些共（主）同（角）特（光）征（环）。那么下面我们就在train中一起探索一下到底这些幸存者都有什么特征......
本篇文章分为两次来推送，此篇主要是预处理和可视化的探索：
## 加载所需程序包
## 加载所需程序包
library(Rmisc)
library(VIM)
library(ggplot2)
library(dplyr)
library(magrittr)
library(caret)
在女孩子面前就是“包治百病”，在R用户手中同样是“包治百病”啊！包包很重要，对后续分析就是简单粗暴。
## 读取数据+简单探索
train <- read.csv('../input/train.csv', stringsAsFactors = F, na.strings = c("NA", ""))
test <- read.csv('../input/test.csv', stringsAsFactors = F, na.strings = c("NA", ""))
dim(train); dim(test)
str(train)
names(test)
首先查看了两个数据集的维度：train是891行，12列；test是418行，11列。
然后带着这个列数不同的问题，使用str()去查看trian的数据结构，除了各个变量的类型和大致情况，顺便得到了变量名称。
最后查看test的列名称，对比train的列名称，发现test中缺少“Survived”变量（因变量），其他均正常，切合实际。
## 合并数据+缺失值探索
test$Survived <- NA
alldata <- rbind(train, test)
summary(aggr(alldata, prop = F, numbers = T))
alldata[c('Sex', 'Survived')] %<>% lapply(as.factor)
从上图可以看出Survived变量存在418个缺失值，也就是合并的test的Survived个数；Age缺失263个；Fare缺失1个；Cabin缺失1014个；Embarked缺失2个。
## 描述性分析
## 因变量探索
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Survived, fill = Survived)) +
geom_bar(width = 0.8) +
geom_label(stat = 'count', aes(label = ..count..)) +
theme_bw()
在train中一共有891个样本，其中549位人员不幸死亡，342位幸存。从样本量来看，不属于特别不平衡，后续分析先不考虑样本不平衡问题。
## 自变量 VS 因变量
### Pclass / Sex / Pcalss & Sex VS Survived
## Pclass VS Survived
alldata$Pclass <- as.ordered(alldata$Pclass)
p_Pclass1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Pclass, fill = Survived)) +
geom_bar(position = 'stack', width = 0.8) +
guides(fill = 'none') +
labs(title = '(a)') +theme_bw()
p_Pclass2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Pclass, fill = Survived)) +
geom_bar(position = 'fill', width = 0.8) +
labs(title = '(b)') +theme_bw()
## Sex VS Survived
p_Sex1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Sex, fill = Survived)) +
geom_bar(position = 'stack', width = 0.8) +
guides(fill = 'none') +
labs(title = '(c)') +theme_bw()
p_Sex2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Sex, fill = Survived)) +
geom_bar(position = 'fill', width = 0.8) +
labs(title = '(d)') +theme_bw()
## Pclass & Sex VS Survived
alldata <- within(alldata, {
PclassSex <- ''
PclassSex[Pclass == '1' & Sex == 'male'] <- 'PM1'
PclassSex[Pclass == '2' & Sex == 'male'] <- 'PM2'
PclassSex[Pclass == '3' & Sex == 'male'] <- 'PM3'
PclassSex[Pclass == '1' & Sex == 'female'] <- 'PF1'
PclassSex[Pclass == '2' & Sex == 'female'] <- 'PF2'
PclassSex[Pclass == '3' & Sex == 'female'] <- 'PF3'})
p_PS1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = PclassSex, fill = Survived)) +
geom_bar(position = 'stack', width = 0.8) +
guides(fill = 'none') +
labs(title = '(e)') +theme_bw()
p_PS2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = PclassSex, fill = Survived)) +
geom_bar(position = 'fill', width = 0.8) +
labs(title = '(f)') +
theme_bw()
multiplot(p_Pclass1, p_Pclass2, p_Sex1, p_Sex2, p_PS1, p_PS2,
layout = matrix(1:6, nrow = 3, byrow = T))
运行此代码块，可以绘制出6张图片，横向两两对应（堆积柱状图---百分比堆积柱状图）。
整体而言，从图（a）、（c）、（d）中可得出不同Pclass、Sex和PclassSex的总个数和其对应的是否幸存的个数。
通过图（b）、（d）、（e）中可得出不同Pclass、Sex和PclassSex中的是否幸存占比。
上图总结：
·船上第三类票型最多、其次就是第一类、最后是第二类；幸存人数占比从高到低一次是第一、二、三类票型。
·船上的男性居多、女性的幸存率高很多。
·持有一类票的女性幸存率最高，其次就是持有二类票的女性，都将近全部幸存；其他分类的幸存率则低了很多，最低的就是持有三类票的男性。
### Age / AgeGroup VS Survived
## Age VS Survived
alldata$Age <- ifelse(is.na(alldata$Age), mean(alldata$Age, na.rm = T), alldata$Age)
p_Age1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Age)) +
geom_histogram(fill = '#63B8FF') +
guides(fill = 'none') +
labs(title = '(a)') +theme_bw()
p_Age2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Age, fill = Survived)) +
geom_histogram(position = 'identity', alpha = 0.6) +
labs(title = '(b)') +
theme_bw()
## AgeGroup VS Survived
alldata <- within(alldata, {
AgeGroup <- ''
AgeGroup[Age < 18] <- 'nonage'
AgeGroup[Age >= 18] <- 'adult'})
p_AG1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = AgeGroup, fill = Survived)) +
geom_bar(width = 0.8) +
guides(fill = 'none') +
labs(title = '(c)') +
theme_bw()
p_AG2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = AgeGroup, fill = Survived)) +
geom_bar(position = 'fill', width = 0.8) +
labs(title = '(d)') +theme_bw()
multiplot(p_Age1, p_Age2, p_AG1, p_AG2,
layout = matrix(1:4, nrow = 2, byrow = T))
根据年龄直方图（a）可以看出船上乘客年龄的分布：20-40岁的人员居多，最大的达到了80岁；通过（b）并不能显而易见地探索出年龄和是否幸存的关系。
我们对年龄进行分组（未成年人和成年人），这样可以看出：未成年人的幸存率较高，但是也不是特别的明显（估计是小孩子荒野求生能力比较低吧）。
### SibSp / Parch / SibSp & Parch VS Survived
## SibSp VS Survived
p_SibSp1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = SibSp, fill = Survived)) +
geom_bar() +
guides(fill = 'none') +
labs(title = '(a)') +theme_bw()
p_SibSp2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = SibSp, fill = Survived)) +
geom_bar(position = 'fill') +
labs(title = '(b)') +theme_bw()
p_Parch1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Parch, fill = Survived)) +
guides(fill = 'none') +
geom_bar() +
labs(title = '(c)') +theme_bw()
p_Parch2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Parch, fill = Survived)) +
geom_bar(position = 'fill') +
labs(title = '(d)') +theme_bw()
alldata$FamilySize <- alldata$SibSp + alldata$Parch + 1
p_FS1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = FamilySize, fill = Survived)) +
geom_bar() +
guides(fill = 'none') +
labs(title = '(e)') +theme_bw()
p_FS2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = FamilySize, fill = Survived)) +
geom_bar(position = 'fill') +
labs(title = '(f)') +
theme_bw()
alldata <- within(alldata, {
FamilySize2 <- ''
FamilySize2[FamilySize < 2 | FamilySize > 4] <- 'low'
FamilySize2[FamilySize >= 2 & FamilySize <= 4] <- 'high'})
p_FS21 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = FamilySize2, fill = Survived)) +
geom_bar() +
guides(fill = 'none') +
labs(title = '(g)') +theme_bw()
p_FS22 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = FamilySize2, fill = Survived)) +
geom_bar(position = 'fill') +
labs(title = '(h)') +
theme_bw()
multiplot(p_SibSp1, p_SibSp2, p_Parch1, p_Parch2, p_FS1, p_FS2, p_FS21, p_FS22,
layout = matrix(1:8, nrow = 4, byrow = T))
这8张图片分别是兄弟姐妹配偶、父母孩子、家庭总人数和家庭大小的堆积柱状图和百分比堆积柱状图。通过前6张图同样不能明显的探索出家庭人数与幸存率的关系，然后根据家庭人数分类之后，可以看出人数为2-5的家庭存活率较高。
这次的分析探索到此暂停一段落，有兴趣的读者可以好好的消化一下代码。第二期就是剩余的可视化、交叉验证、模型建立和评估，敬请期待......
注：本案例不提供数据集，如果要学习完整案例，点击文章底部阅读原文或者扫描课程二维码，购买包含数据集+代码+PPT的《kaggle十大案例精讲课程》，购买学员会赠送文章的数据集。
《kaggle十大案例精讲课程》提供代码+数据集+详细代码注释+老师讲解PPT！综合性的提高你的数据能力，数据处理+数据可视化+建模一气呵成！
相关课程推荐
