FME与他对电子表格的一些神奇的操作

时间:2024-03-22 08:55:18

原文发布时间:2013/12/12  10:00:17

翻译整理:一辉

原文地址:http://blog.safe.com/2013/10/tale-magical-transformation-excel-spreadsheet/

很久很久以前,在一个遥远的(具体距离或许可以通过FME工作空间计算出来)国度,城堡的*,演示大厅里,一个*而年轻的Safe公司的合伙人,正在准备给一群陌生人演示FME的demo。

随着他鼠标的晃动,使用数据库查询整合了一些地籍的CAD数据,修复了一些“线出头”的错误,做了一些多边形捕捉,再将整个数据进行重投影计算,然后把它们发送到一个GIS应用系统。

“无聊”,网络的另一端,专家看着这封邮件说:

为了获得专家们的认可,年轻的工程师把正射影像放到了图形上,通过LiDAR-derived 高程模型镶嵌到上面,并将其着色,一个小小的,闪亮的BIM的城市就准确的展示了出来。

“无聊”另一位专家说,挠着自己耳朵,眼睛盯着窗外的可能是一头母牛身上。

在他演示的最后,他把关键的东西拉了出来。一个用以处理数据的模板,这在这个国家是从未出现过的,这或多或少都给这些从未见过的专家留下了一些印象,他点击了一下运行,接着一系列数学计算,查询,标记,数据融合便一次性完成了。

专家们睁大眼睛难以置信的看着他:“你怎么不说你可以做电子表格!”接下来他们便一直使用FME来做各种数据转换,当然我们知道它并非空间数据唯一的工具,但所有人还是都很喜欢它。

这个故事并非完全是杜撰的。德里弗将FME带到了我们的面前,并且告诉了我们FME能做的事。从那以后我们花了很多的时间来研究FME同时,它也确实给我们的工作带来了质的飞跃,在非空间数据方面,尤其是处理Excel表格。最近Excel的读写模块又分别作了重大的更新,变得更加的灵活,且取消了必须要装Excel的限制。

为什么用FME来处理表格?

你可能会问这个问题(至少我们问过),很多时候许多重要的数据以非常*友好的形式,放到表格里面,你可以把它当做一个非空间的shape文件。大量的信息,尤其是在线的数据,以Excel的方式提供,同时Excel也是一种终端用户查看数据最常用的方式,电子表格是一种非常简单的格式,FME主要是基于语义的转换,并将各种转换集成起来以实现自动化。

所以下面是一些你或许会采用它的理由。大批量的数据可以非常快速的处理而不受格式的限制,对数据进行分析,过滤或者将数据组织好输出到电子表格里面供终端用户使用。或许你的电子表格数据存储了,地址或者xy坐标,或可以通过某一个字段关联到空间图形像是街道名或财产表,你就可以很快的将其空间化,然后进行空间操作。或许你只是简单的需要把它与其他数据,或者外部数据,空间或非空间的关联起来。

当然最后还有最重要的一点,或许你想以后再做同样的操作,这更是一个很好的使用FME的理由。

电子表格的读写模块

FME与他对电子表格的一些神奇的操作

前面提到过,Excel的读写模块刚经历了一次重大的更新,有必要来关注下可能会用到的几个重要的改变。读模块可以读取多个表格和公式,可以指定读取的范围,这在表格形式*的情况下,同一个sheet里面有多个表格你可以设定的读取的行列数。

在写模块端,多个sheet同样支持,基于要素类的数据扇出,将会自动的将数据分流道一些列的sheet。写入的范围同样可以指定,你可以定义新的公式。为了使表格看起来更漂亮,你也可以为表格设置一个模板。你可以在模板里面,格式化表格,绘图表,装饰表头,FME都可以把它加到数据里面。

空间化,转换,查询,透视表:一些新的转换器使得我们的电子表格更具延展性。

空间化:

用坐标,地理编码,或通过属性与空间数据关联。

合并并查询:

从其他数据源中导入数据,也可以是其他的电子表格。使用SQL来查询不支持SQL的数据转换器是InlineQuerier,这个转换器可以把数据当做一个虚拟的数据库。

透视表:

使用AttributePivoter,生成各种类型的概要和数据分析结果。

 

FME与他对电子表格的一些神奇的操作

转换:像其他的数据一样,你可以转换数据格式,新建字段;过滤,分组等各种数据操作。或许你需要处理很庞大的数据,并非电子表格数据,而想要使用电子表格来汇报,使用workspace来创建,只把结果输出到电子表格里面即可。

自动处理:

应该是FME最强大的地方,也是最稳定的特性。工作空间一旦创建即可以重复使用。也可以使用FME Server的任务计划功能,但并不是每个人都能拥有FME Server至少目前是。但有了FME云以后,每个人接入FME Server的可能性变为现实。(可参考 FME Evangelist上面,Mark Ireland的文章《预览FME云》

故事的结尾:

FME的作用已经远远的超过了简单的数据格式转变,从网络上读取XLS数据,进行空间分析,自动生成“示质量”报告,按照人们喜欢的格式进行数据发布等。

将FME的工作流机制与Excel支持结合起来,通过FME Server或者FME云进行自动化处理,是FME最为神奇的地方。