Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说FME工具助力多源基础地理数据融合,希望能够帮助你!!!。
当前,随着5G、云计算、大数据、边缘计算、物联网等为代表的新技术快速发展,人工智能技术也因深层神经网络的成功而获得了巨大进步;随着我国行政体制改革和自然资源管理体系的建立,地理信息产业已融入自然资源管理体系中。面对新的社会需求、新的技术进步和新的管理体系要求,亟待根据国家大政方针、社会生产需要、技术发展趋势、产业发展规律,做好地理信息产业的工程技术、商业模式、产品类型的转型升级与融合创新,进一步提高地理信息产业发展的质量和水平。
以时空大数据为例。
时空大数据,指基于统一时空基准活动,或存在于时间和空间,与位置直接或间接相关联的大数据。据此,时空大数据由时空框架数据和时空变化数据两大类数据组成。以时空大数据为核心建立时空大数据平台,作为数据中台,将地方政府各部门各行业的政务、自然资源、规划、交通、水利、管网、人口、经济、人文、社会、医疗、教育、电力、公安等数据汇聚在通用时空大数据平台上,使之成为新型智慧城市的“智脑”。
FME作为数据处理的有效工具,在时空大数据领域及各种涉及数据汇交融合的流程当中,是数据处理最简洁、易用的手段之一。可最大限度的发挥其数据处理的优势,保障处理的高效性、数据成果的正确性、以及更新的自动灵活性。
主要应用在以下几方面:
1 快速数据清理
地方政府各部门、各行业数据汇交,快速甄别“劣质数据”,规整数据结构、命名及属性信息表达,清洗冗余、敏感信息,保障数据现势性要求等。
自动处理模型——清理并归整数据
快速分类空间数据
快速归整汇交数据格式
2 快速数据改造
依据数据汇交标准归整数据,建立数据改造自动化处理工具,解决图属错误、内容矛盾冲突等数据质量问题,保障数据改造成果正确性。
(1)快速数据空间化
数据需要直观的展示,不然需要进行数据空间化处理,提供自动化处理模型,保障快速实现数据空间化。对于空间化后的数据成果建立数据检查机制,核验数据结果的正确性。
地名地址或数据已有坐标空间化数据
空间化处理后
(2)快速图属信息融合
用图属空间关系规整数据属性,通过已有空间数据字段和该空间数据对应的属性表中相同的属性字段进行匹配,完成属性表挂接,以达到图形、属性信息的完全统一的效果。解决要素图属错误、内容矛盾问题。
自动图属融合
图属挂接成果对比
(3)快速坐标纠正
开发数据坐标转换模型,统一多源数据数据坐标系。
数据坐标纠正
3 快速多源数据融合
根据“一数一源、多元校核”的原则,将不同生产单位、不同归属部门的数据,按照数据生产标准进行数据接边融合。
最终形成完整、统一、唯一的一套多源数据融合处理成果。
当然在数据融合阶段需要人工干预处理,实现“FME自动处理模型+人工干预”的方式进行数据融合。根据数据的复杂情况,虽然无法完全实现自动多源数据的融合操作,但是FME自动处理模型的搭建大大提高了数据汇交融合的效率。
数据融合流程包括:
(1)数据自动接边;
(2)数据图属融合;
(3)数据现势性处理;
自动接边处理
4 快速构建标准库结构
根据数据标准编制情况汇总标准结构表单。
自动建库
自动建库结构表
自动建结构
5 自动数据质量检查
依据数据标准检查数据图层结构及属性结构,确保汇交数据的标准统一规范,形成可拓展数据质量检查工具,保障成果复用。
6 自动数据更新
结合FME Server的自动化批量处理功能。通过确定的源数据推送频率、建立更新时间控制表以及数据建库标准,搭建自动更新程序。
保障多源数据应用平台数据按照推送频率实现数据实时更新。
实现如下:
展示界面根据数据更新频率,自动实现数据更新。确保应用平台数据展示的现势性。
天气预报
在当前全球数字经济快速发展的大背景下,数字经济需要不断的提高并促使社会数字化、网格化、智能化发展。数据融合汇交时,对数据的质量保障尤为重要。确保基础数据的高质量、高现势性,才能保障基于数据搭建的时空数据平台、智慧城市、实景三维等前端数据展示的高效发展,为地理信息产业的发展及转型提供数据基础。
今天的分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。
上一篇
已是最后文章
下一篇
已是最新文章