文件名称:aistore:AIStore:用于AI应用程序的可扩展存储
文件大小:16.32MB
文件格式:ZIP
更新时间:2024-03-01 05:11:22
deep-learning etl high-performance hyper-converged object-storage
AIStore是一种轻量级的对象存储系统,具有随每个添加的存储节点线性扩展的能力,并且特别关注PB级深度学习。 AIStore(简称AIS)是为AI应用程序量身定制的轻量级存储堆栈。 AIS始终在任意数量的群集服务器上始终显示平衡的I / O分布和线性可伸缩性,从而产生如下的性能图表: 上图包含120个HDD。 随着添加的每个磁盘线性扩展的能力一直是,而且仍然是AIStore的主要诱因之一。 许多开发工作还受到减轻数据集转换和ETL管道的其他I / O密集阶段的想法的推动。 产品特点 横向扩展,无停机时间,无限制; 全面的HTTP REST API,用于GET和PUT对象,创建,销毁,列出和配置存储桶等; 用于运行未修改的S3应用; FUSE客户端( aisfs )以文件形式访问AIS对象; 任意数量的极轻量级访问点; 易于使用的CLI,支持; 集群自动重新平衡:集群成员