R语言编程艺术（5）R语言编程进阶

时间：2021-11-25 23:36:23

本文对应《R语言编程艺术》

第14章：性能提升：速度和内存；

第15章：R与其他语言的接口；

第16章：R语言并行计算

=========================================================================

性能提升：速度和内存

要使R代码运行速度更快，有以下建议：

  1. 通过向量化的方式优化、使用字节码编译等；
  2. 将代码中最消耗CPU的核心部分用编译型语言编写，如C或C++；
  3. 将代码用某种并行的方式编写。

消除显示循环：

采用向量化提升速度，因为采用显示循环涉及多次函数调用和迭代，耗费时间，而向量化函数内部是用编译型语言实现，因此会提升速度。

常用的加速代码的向量化函数：ifelse() /which() /where() /any() /all() /cumsum() /cumprod()等函数；用于矩阵的rowSums() /colSums()等函数；用于穷举所有组合问题的combn() /outer() /lower.tri() /upper.tri() /expand.grid()等函数。

尽管apply()可以消除显式循环，但它实际上是用R而不是C实现的，因此它通常并不能加速代码，只是使代码更加紧凑。然而，其他的apply函数，如lapply()，对于加速代码是非常有帮助的。

利用Rprof()来寻找代码的瓶颈：

首先调用Rprof()来开启监视器，然后运行代码，再调用带NULL参数的Rprof()来结束监视。最后，调用summaryRprof()来查看结果。

内存管理：

数据分块：read.table()函数的skip参数设置，可以分块读取数据。

R软件包的内存管理：RMySQL，提供R与MySQL的接口，将选择数据的操作放在数据库端；biglm包，可以在非常大的数据集上进行回归和广义线性模型的分析；ff包，通过将数据存放在硬盘上来回避内存的限制；bigmemory包，功能类似，但它不仅可以将数据存储在硬盘上，还可以将数据保存在机器的主内存中，这对于多核的机器而言是一个理想的选择。

=========================================================================

R与其他语言的接口

能被R调用的C/C++函数：

一般而言，这样做的目的是提升程序的性能；另一个原因是使用特殊的I/O操作（例如R使用的TCP协议速度不如C/C++使用的UDP协议）。

接口可以通过.C()或.Call()实现。.Call()提供了更全面的功能，但使用它需要对R的内部结构有所了解。

注意：C语言中，二维数组是按行进行存储的，而在R中则是按列存储；C语言下标是从0开始，而在R中是从1开始。

从Python调用R：

Python缺少内置的统计和数据处理功能，可以通过R来弥补。

RPy是一个Python模块，允许在Python中使用R。如果希望有额外的性能提升，则可以考虑与NumPy共同使用。

语法：R中的对象（函数）名冠上r.前缀。

注意：Python的语法中没有波浪号，因此在指定模型表达式时需要使用字符串；

需要一个数据框来包含数据；

如果R的函数名中带有英文句点，那么需要在Python中改为下划线。

>>> r.library(‘lattice’)

>>> r.assign(‘a’, a)

>>> r.assign(‘b’, b)

>>> r(‘g <- expand.grid(a, b)’)

>>> r(‘g$Var3 <- g$Var1^2 + g$Var1 * g$Var2’)

>>> r(‘wireframe(Var3 ~ Var1 + Var2, g)’)

>>> r(‘plot(wireframe(Var3 ~ Var1 + Var2, g))’)

=========================================================================

R语言并行计算

Snow包简介：主要过程：

  1. 加载代码
  2. 加载snow包
  3. 创建snow集群
  4. 建立相关的邻接矩阵
  5. 在创建的集群上针对邻接矩阵运行代码

OpenMP包：

利用R调用并行化的C

常用指令：

#pragma omp barrier

迭代型算法中常用，线程将在屏障处进行等待，直到每次迭代的结束

#pragma omp critical

{

// place one or more statements here

}

紧接着这一指令的代码块称为一个“关键区域”（critical section），意思是在这个区域中同时只允许一个线程执行这段代码

#pragma omp single

{

// place one or more statements here

}

紧接着这一指令的代码块将只被一个线程执行

简单并行（embarrassingly parallel）：

指那些线程与线程之间不需要进行交互的并行方式，它们往往只需要将原始的程序稍加修改即可实现并行。这样，不仅编写简单，而且有着极地的通信开销。

静态和动态任务分配：

总体来说，动态任务分配因为有可能产生严重的缓存开销，因此实际上性能不如静态分配。

相关文章