文件名称：大数据与高性能计算.pdf
文件大小：612KB
文件格式：PDF
更新时间：2022-12-24 11:51:12
文档资料
2015003-1 TOPIC 专题 大数据与高性能计算 ´˛˜ 清华大学计算机科学与技术系 北京 100084 摘要 ·˚"˝ —˜…˘¸ª¶…˚˙…˘¸ª»œ……˚ı ¢ ˜ œ˛¡£ —˜…˘¸ª" ˆ˜£˜ ¤£ –» ˘¿˘§ ¢ˇ˜¨ ¶ ˚ £» ·˚ "·˚ — Æ ´£ …·˚ ¶—¿¶ˇ¨– ƒ¨º ˜˙Ø¿ˇ´ ¿ ¢ˇ»¶¤˜ˇ —£ –» ˘¿˘§ ¢ˇ˜¸˜ ¶˚ ¡£ ·—¿ ¶˚ ¡¢"ƒˆ—˝……˘¸ª»œ¨ …ˇ˝ ˜ ˙¶¨¶·˚ º —˜…˘ ¸ª˜ ˇ ¿" ß˚¡£ 关键词 ·˚ £ » — ˜… ˘¸ ª£ » ¢— — º …˚ … ˘¸ ª£ » ˇ — Big Data and High Performance Computing Chen Wenguang Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China Abstract Both big data and high performance computing (HPC) are based on the computer technologies. The main methodology of HPC is simulation, which is called the third paradigm of scientific discovery. Big data explore data for correlations even without much knowledge on the object of study, which is called the fourth paradigm of scientific discovery. Big data and HPC with several aspects were compared, such as the research paradigm, main application domain and underlying hardware/software systems. Key words big data, high performance computing, parallel and distributed computing, correlation BIG DATA RESEARCH 大数据 2015003-2 1 引言 科学发现是改善人类生活最重要的基 础， 例如对动植物的驯化和耕作技术使人 类能够获得稳定的食物来源， 数学和力学 的发展使人类可以构建房屋， 抗生素的发 现和双盲测试使得人类摆脱了传统医学， DNA的发现更标志着人类对自身的了解达 到了新的高度。 由重大科学发现引发或推 动的现代科学技术发展， 正以超出想象的 速度改善着人类的生存条件， 促进社会进 步。 例如， 平均预期寿命是人类社会发展 程度的一个标志性指标， 如图1所示[1]。 可 以看出， 20世纪初， 全球平均预期寿命仅 有约30岁； 2010年， 全球预期寿命已达到 67.2岁， 许多发达国家的平均预期寿命已超 过80岁1。 科学发现对人类如此重要， 那么是什 么因素导致了这些科学发现， 科学发现是 否有"模式" ？数千年来， 人们逐渐总结出 科学发现的若干范式： 第一范式是实验方 法， 即通过实验验证假说是否成立的科学 发现方法， 实验方法的一个非常重要的地 方是控制实验条件， 以排除各种非实验因 子的干扰； 第二范式是理论方法， 即通过 数学方法进行分析得出结论； 随着计算机 技术的出现， 人们开始通过计算对复杂系 统进行模拟， 从而产生了科学发现的第三范 式， 对大规模科学工程问题的模拟催生了高 性能计算； 大数据则提供了进一步的科学发 现机会， Jim Gray将直接从数据中总结规律 的方式， 称作科学发现的第四范式[2]。 高性能计算和大数据都是计算机技术 发展的产物， 它们之间既有区别又存在紧 密的联系， 本文将从研究范式、主要应用 类型以及计算机软硬件系统的角度对大数 据与高性能计算的关系展开阐述。 2 高性能计算 高性能计算主要面向挑战性的科学与 工程问题， 例如飞行器设计、 气象预报、 全 球气候变化模拟、 核聚变模拟、新材料设 计、 药物设计以及人类基因组等[3]。 高性能计 算主要采用数值模 拟的 方 法， 即科学发现的第三范式。 以气象预报 为例， 首先气象科学家将气象预报问题抽 象为地球表面、 云和太阳等实体之间的物 理过程和相互关系（如图2所示） ， 然后将 图1 1820-2003年的人类预期寿命 1