大数据算法学习笔记(七):外存算法

时间:2022-11-28 09:50:58

当数据量巨大时,传统随机存储模型无法适用。


一、存储结构

标准计算理论模型:

1、无限内存

2、统一访问代价

3、模型简单


分层存储:

1、存储量得到较大提升,较慢的层次远离CPU

2、以块为单位的数据移动


可扩展性问题:

大多数程序在RAM模型中运行,操作系统按需访问块。但如果程序分散地访问磁盘数据,即便是好的操作系统也无法利用数据块存取优势。


外部存储器模型:

N=#问题实例数据项个数

B=#每个磁盘块数据项个数

M=#内存能容纳的数据项个数

T=#输出数据项个数

I/O:内存和磁盘之间移动的块数