文件名称：浅析GIS大数据.doc
文件大小：43KB
文件格式：DOC
更新时间：2022-12-24 15:54:20
文档资料
浅析GIS大数据 作者：尤文辰 徐跃通 高尚 来源：《电脑知识与技术》2013年第24期 摘要：随着地理信息数据的迅速增加，GIS数据呈现出数据量大、数据种类多和 数据结构复杂的特点。该文从大数据的角度对GIS数据呈现的三个特征进行了具体的分析 ，并在此基础上提出GIS大数据存储和处理的新的要求。最后介绍了MongoDB这一NoSQL数 据库的特性，简要分析了利用MongoDB数据库的特性来解决GIS大数据问题的方法，并简 单地借助于python语言用mongoDB对ESRI Shapefiles进行了存储。 关键词：GIS；大数据；mongoDB；python；开源GIS 中图分类号：TP208；TP392 文献标识码：A 文章编号：1009- 3044（2013）24-5399-04 1 概述 随着人类对客观世界认知的提高与技术水平的不断进步，所获取的描述客观世 界的数据呈爆炸式增长，大数据已经成为了Google、亚马逊等大公司的竞争资本，通过 大数据的有效利用和深入分析，可以挖掘巨大的商业价值和社会价值。根据*[1 ]的定义，大数据是由巨大且复杂的数据集组成的集合，且这些数据集因其巨大和复杂而 难以用现有的数据库管理工具和传统的数据处理程序来进行处理。近些年我国开展的土 地调查、数字城市建设等项目，取得了丰硕的成果，收集了大量的测绘数据和自然、人 文数据，在今后大力开展的测绘工作中，还将获得更加丰富的地理信息数据，与此同时 ，如何有效地存储、管理和利用这些地理信息数据成为需要解决的问题。 2 GIS的定义 GIS（Geographic Information System）是地理信息系统的简称。陈述彭认为地理信息系统是以定位数据库为基础，具 有多层次数据结构，多功能分析能力的空间型信息系统[2]，李德仁从多级格网理论[3] 的角度出发，认为GIS数据存储的形式为不同尺度的空间数据库[4]。综上所述，GIS是以 计算机软硬件为基础，结合地理学、测绘学、地图学、计算机科学、运筹学等多门学科 的，以获取、存储、管理、展示、分析地理空间数据为主的计算机系统，可以用于区域 规划、决策分析等。 3 GIS数据的特征 从定义可看出，数据是GIS的血液。从通过图件扫描、格式转换、实地测绘等方 法的数据获取，到采用各种先进数据库技术对数据进行存储、管理，再到利用计算机图 形学、地图学等综合可视化技术对数据进行展示，以及最终以数据为基础的借助于计量 地理学、拓扑学、图论等学科的决策分析等，这些过程都是以数据为核心的。随着GIS的 发展，其数据呈现出数量大、种类多和结构复杂的特征。 3.1 数量大 GIS的数据量大具有两层含义，第一层含义是指数据占用的字节数多，这主要是 针对栅格数据及多媒体数据而言的。比如"天地图"在2011年正式上线的时候，集成了海 量的基础地理信息资源数据[5]，总数据量约有30TB，处理后的瓦片数近30亿。资源三号 测绘卫星是中国第一颗民用高分辨率光学传输型测绘卫星[6]，截止到2013年6月底，在 运行的不到一年半的时间中，总共存档卫星影像37万多景，数据量达到249TB。而GIS空 间数据产生的商业价值每年正以15.5%的速度增加，是GIS软件和服务的两倍[7]。GIS数 据量大的第二层含义是指数据单位个数多。比如"天地图"各类地名和POI（Point of Interest，兴趣点）有1100多万条， 2011年8月竣工的国家西部1 50000地形图空白区测图工程和国家1 50000基础地理信息数 据库更新工程两个*重大测绘工程[8]，成果有20多万航片和8000多景卫星遥感影像 ，地名近600万条，描绘了1.4亿个地理要素。另外，其他专业领域比如土壤数据、气象 数据在全数据模式下[9]数量也是非常可观的。 3.2 数据种类多 GIS的数据种类多样，从大的方面看，具有矢量数据、栅格数据、属性数据，以 及与地理位置相关的音频、视频等多媒体数据等；而从小的角度看，主要是因为数据来 源广泛和不同应用的需求而体现为数据格式多样，这里我们主要从数据格式多样来看GI S数据种类多。比如测绘方式产生的dxf数据，经常需要导入到GIS系统中，其他的还有扫 描得到的tiff或jpeg图像，具有空间坐标信息的GeoTIFF文件，数字制图中数字化后的E SRI shapefiles数据或MapInfo的TAB数据，格式转换后用于web的png、SVG或GeoJson数据等 。资源三号卫星TLC（三线阵相机）标准产品中的1A级产品（预处理级辐射校正影像产品 ）包括的文件格式就有tiff、rpb、xml、jpeg等四种格式的15个文件。GDAL/OGR是地理 空间数据转换的类库，多用来读取地理空间数据，根据GDAL官方网站的资料