Feather包实现数据框快速读写，你值得拥有

什么是Feather？

Feature是一种文件格式，支持R语言和Python的交互式存储，速度更快。目前支持R语言的data.frame和Python pandas 的DataFrame。

Feather收到了Apache arrow 项目的支持，Apache Arrow是Apache基金会下一个全新的开源项目，同时也是*项目。它的目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。

Feather的特点

feather是一个用于存储数据框的快速的，轻量级的，易于使用的二进制文件格式。主要有以下特点：

轻量简单
不依赖语言：支持python和R语言，同时也可以被其他语言读取
高性能读写

代码演示

我的电脑硬件配置：win7,64位操作系统，8G内存，CPU A6双核。每个人电脑配置不同，数据读写的时间也就不同。读者可自行实验下述代码，一看究竟。

feather包的介绍于3月29号发布在RStudio的官方博客。由于当时只是发布在Github上，Windows用户安装需要使用gcc 4.93工具编译安装，过程比较繁琐。feather包今天正式在CRAN发布了第一版，现在我们只需在R 3.3.0下用install.packages()函数安装即可。没有升级到R 3.3.0版本的windows用户可以参考文章—手把手教你在Windows环境下升级R。下面我们在R中来试试feather包到底有多快：

library(feather)

x <- runif(1e7)

x[sample(1e7, 1e6)] <- NA # 10%的NA值

df <- as.data.frame(replicate(10, x))

# 内存占用

format(object.size(df), 'MB')

#[1] "762.9 Mb"

#数据写出

system.time(write_feather(df, 'test.feather'))

 # 用户  系统  流逝

 # 3.97  3.37 29.47 

#数据导入

system.time(read_feather('test.feather'))

 # 用户  系统  流逝

 # 3.83  3.51 50.39 

#查看下前几行数据

data <- read_feather('test.feather')

head(data)

class(data)

[1] "tbl_df"     "tbl"        "data.frame"

本来要演示feather包和readr包的速度对比，但是电脑配置不行，readr包数据写出花了将近一个小时还没什么动静，果断放弃了。关于readr包的的介绍感兴趣的读者可以参考这里

小结

Feature速度快，但是还处在开发阶段，官方认为暂时不适合长期存储数据，而且不能保证不同版本的兼容性。但是可以用于R和Python的交互，也是相当相当棒了。762.9Mb数据导入只需50.39秒，feather包你值得拥有。

参考文章：

本文由雪晴数据网编辑整理。转载请注明本文链接http://www.xueqing.tv/cms/article/210

秒客网

Feather包实现数据框快速读写，你值得拥有

什么是Feather？

Feather的特点

代码演示

小结

相关文章