文件名称:mclapply-memory:为什么mclapply需要那么多内存?
文件大小:122KB
文件格式:ZIP
更新时间:2024-05-22 11:41:46
R
R和Python中多核处理的内存基准测试 为什么R的mclapply占用这么多内存? 大多数useR都知道parallel :: mclapply函数,该函数可能通过跨多个内核并行执行来加速R代码(相对于标准lapply函数)。 但是,我不知道这种加速是以增加内存使用为代价的。 在此报告中,我将探讨mclapply的内存使用情况。 在使用率R中,我对LAPPLY(lapply,mclapply,我的mclapply maxjobs hack),N(10,…,100000),returnXXX的几种不同选择对LAPPLY(1:N, returnXXX)的内存使用进行了基准测试。 下图显示了两个此类returnXXX函数的内存使用情况与迭代次数(N)的关系: returnNULL是一个仅返回NULL的函数。 在这种情况下,mclapply具有令人惊讶的显着线性存储器开销。 例如,对于4个
【文件预览】:
mclapply-memory-master
----.gitignore(12B)
----kilobytes.used.RData(3KB)
----multiprocess.RData(2KB)
----README.org(9KB)
----free.sh(115B)
----figure-kilobytes-used.png(51KB)
----figure-kilobytes-used.R(1KB)
----kilobytes.used.R(2KB)
----figure-multiprocess.R(1KB)
----multiprocess.R(2KB)
----multiprocess.sh(650B)
----multiprocess.py(1KB)
----Makefile(284B)
----figure-multiprocess.png(57KB)