Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说四维纵横姚延栋:MatrixDB,All-in-One高性能时序数据库[通俗易懂],希望能够帮助你!!!。
分享嘉宾:姚延栋 北京四维纵横数据有限公司创始人、原Greenplum 北京研发中心总经理、Greenplum中国开源社区创始人、PostgreSQL中文社区常委、壹零贰肆数字基金会(非营利组织)联合发起人
整理:墨天轮社区
物联网、车联网、工业互联网的快速发展,标志着我们正在加速进入万物互联的时代,时序数据库成为数据架构技术栈的标配。
MatrixDB作为全球超融合时序数据库开创者,专为物联网、车联网、工业互联网和智慧城市打造的一站式数据平台。今天我分享的内容分为四个主题:时序数据与时序数据库,MatrixDB特点、MatrixDB案例。
首先,时序更多是一种视角,用来洞悉过去、分析未来、决断现在。
在每一个时刻都会产生各种各样的数据,比如指标数据、位置数据、点云数据、图像数据等,类似于一个快照。不同时刻持续的数据积累下来,就形成了一个时间序列,这就是时间序列数据。
在某一个时刻我们可以知道当下的状态,这些时刻的叠加就可以洞悉过去分析、决断未来,这就是时序数据库的巨大价值。
时序数据处处皆有,且快速增长。在未来时序数据的体量将会越来越大,且处处皆有。时序数据一定要有关系数据的整合,才能发挥真正的价值。
时序数据三种建模方式分为:窄表模式、宽表模式、树形模式。
三种模式,窄表写⼊灵活,宽表查询灵活,树居中。
时序数据库的发展最早可追溯到上世纪80年代。而在早期时序数据库都是针对特定的场景。
MatrixDB在2020年创立,在万物互联的趋势下,为物联网、车联网、工业互联网设计的一款特特色的数据库。
过去时序场景主要用于服务器监控,服务器不过几万台,存储7天到30天的数据,数据量小且主要目的是监控;但随着物联网、工业物联网、车联网的崛起下,数据量大且主要目的是分析,通过分析挖掘海量时序数据的价值。
相比于“窄表”,“宽表”能够业务相关的测点、维度和属性信息放在一张或者几张数据库表中,存储效率高,速度快,适合大数据量及复杂业务场景。
在物联网、工业物联网、车联网的场景的崛起,时序数据库越来越重视分析,宽表模型越来越多,近几年出现的新时序数据库也都是以宽表模型为主。
随着物联网的发展,数据规模将会越来越大,从之前的GB/TB级走向PB级。
从各种开源软件拼搭起来走向 ONE FOR ALL 的架构方式。借鉴奧卡姆剃刀原理:“如无必要,勿增实体”。一个数据库可以完成的事情,就不需要太多的数据库来处理。
因此,MatrixDB的目标是把“极简”、“极速”留给用户,把复杂留给数据库开发人员。
MatrixDB是全球首款超融合时空数据库,基于自主研发的多项专利技术,实现海量时空数据的快速采集、高效存储、实时分析以及深度学习(ML+AL),比传统的时序数据库InfluxDB、OpenTSDB性能快50倍,空间节省60%以上,比传统的MPP数据库快到3-100倍。
Matrix DB广泛应用于能源、航空航天、汽车和车联网、智能制造和工业互联网、金融、保险、证券、5G通信、雷达和气象、智慧农业、生物医疗研发、智慧城市、智能家居等各行各业,覆盖智能监控、实时控制、设备溯源、用户画像、行为分析和预测分析等多种应用场景,为物联网、车联网、工业互联网和智慧生活提供坚实、简洁的数据基座。
MatrixDB 的应用案例主要分为三大类:数字孪生智能设备、工厂大脑智能制造、经典数仓实时分析。
新能源造⻋新势⼒快速发展,销量年增⻓率超过200%,过去基于 OpenTSDB+Hive 的技术架构⽆法⽀撑其快速增⻓的数据量和业务,创新迭代速度受限,成为发展瓶颈。
使用MatrixDB 建设后效果明显,硬件成本节省80%,写入效率提升10倍、特定查询效率提升100倍、开发运维效率提升1倍。
动⼒电池制造巨头,基于电池充放电数据分析,⽀持电池健康状况检查、电池⻛险预警、电池⼯艺优化等关键业务。由于业务快速增⻓,基于 Spark + Hive 的⽼架构成为瓶颈。
通过MatrixDB 建设后,实现了存储500TB电池充放电数据、计算开销节省85%、存储开销节省30%的效果。
智能装备运维和优化某装备制造业巨头对分布在全球各地的产品进⾏智能化改造,使其对产品的使⽤过程了如指掌,为客户提供运维管理、预测维修、动⼒优化等。
用All-in-One替代MySQL/TDEngine/Greenplum/Spark,实现集群硬件节省⼀半,性能提升6倍的效果。
建设效果:
2021年11⽉完成多条总装⽣产线、裁切机和数控机床的接⼊以及安吉、越南两套ERP系统和⼀套MES系统的全部数据清洗和标准化接⼊⼯作,实现了第⼀阶段透明⼯⼚建设⽬标,22年全省推⼴。
传统的⼯业⼤数据“复杂”、“低效”,投⼊巨⼤产出甚微,使得很多⼯业企业谈“⼤数据”⽽⾊变。基于MatrixDB的⼯业⼤数据平台解决⼤数据复杂度问题,把“极简”、“极速”留个客户。
某国际知名制造业企业通过收集⼯⼚的各种数据,分析影响成品率的主要因素,改进⽣产流程,降本增效,⼤幅提升利润率。
以上就是我今天的分享内容,谢谢大家!
更多精彩内容,欢迎大家观看视频回放与会议资料
视频回放:MatrixDB:All-in-one的高性能时序数据库—姚延栋 - 墨天轮视频
会议资料:【时序数据库专场】MatrixDB:All-in-One高性能时序数据库 - 墨天轮文档
墨天轮数据社区 - 乐知乐享,同心共济,围绕数据人的学习成长提供一站式的全面服务,打造集新闻资讯、在线问答、活动直播、在线课程、文档阅览、资源下载、知识分享及在线运维为一体的统一平台,持续促进数据领域的知识传播和技术创新。
关注官方公众号: 墨天轮、 墨天轮平台、墨天轮成长营、数据库国产化 、数据库资讯