matlab大数据量处理

时间:2021-01-04 11:55:28
大家好。我有一个非常大的文件需要处理(例如a.txt),文件中包含几千万个数据,比如要对每个数据乘以2.假如全部导入Matlab处理,必然会出现 Out of Memory的警告。我现在想每次取出一百万个数据做处理,处理完后再把数据写回文件中,这要怎么实现?谢谢啊

5 个解决方案

#1


fopen, fread, fwrite...matlab 里头都有。就先读再算然后写。

#2


一边读一边写到另一个文件去吧,内存溢出的话可以用clear清一清

#3


参考08年国家数学建模题吧

#4


这种大数据量的处理问题,MATLAB显得有点力不从心,正是因为如此,Mathwork公司考虑了这点,已经支持MATLAB与其他编程语言的接口。
像这种大数据量的处理,最好的方法是使用c、c++来处理,如果非要用MATLAB,就使用Mex混合编程,间接的使用c、c++。

#5


我的数据是做统计用的,难道只读一部分也可以做统计?

#1


fopen, fread, fwrite...matlab 里头都有。就先读再算然后写。

#2


一边读一边写到另一个文件去吧,内存溢出的话可以用clear清一清

#3


参考08年国家数学建模题吧

#4


这种大数据量的处理问题,MATLAB显得有点力不从心,正是因为如此,Mathwork公司考虑了这点,已经支持MATLAB与其他编程语言的接口。
像这种大数据量的处理,最好的方法是使用c、c++来处理,如果非要用MATLAB,就使用Mex混合编程,间接的使用c、c++。

#5


我的数据是做统计用的,难道只读一部分也可以做统计?