物联网属于一种比较宽泛的概念,主要是指各种各样的机器、设备都通过互联网进行连接,车联网、工业互联网等等都属于物联网的基本范畴。根据Gartner报告指出,联物设备在2019年的时候就已经高达142亿,预计到2021年的时候,联物设备可以达到250亿,这是一个非常庞大的数量,我们需要一个与之相关的大数据平台,处理这些物联网设备产生的庞大数据。
一个物联网大数据平台需要具备哪些功能?与通用的大数据平台相比,它需要具备什么样的特征呢?我们来仔细分析一下。
1、高效分布式
必须是高效的分布式系统。物联网产生的数据量巨大,仅中国而言,就有5亿多台智能电表,每台电表每隔15分钟采集一次数据,一天全国智能电表就会产生500多亿条记录。这么大的数据量,任何一台服务器都无能力处理,因此处理系统必须是分布式的,水平扩展的。为降低成本,一个节点的处理性能必须是高效的,需要支持数据的快速写入和快速查询。
2、实时处理
必须是实时处理的系统。互联网大数据处理,大家所熟悉的场景是用户画像、推荐系统、舆情分析等等,这些场景并不需要什么实时性,批处理即可。但是对于物联网场景,需要基于采集的数据做实时预警、决策,延时要控制在秒级以内。如果计算没有实时性,物联网的商业价值就大打折扣。
3、高可靠性
需要运营商级别的高可靠服务。物联网系统对接的往往是生产、经营系统,如果数据处理系统宕机,直接导致停产,产生经济损失、导致对终端消费者的服务无法正常提供。比如智能电表,如果系统出问题,直接导致的是千家万户无法正常用电。因此物联网大数据系统必须是高可靠的,必须支持数据实时备份,必须支持异地容灾,必须支持软件、硬件在线升级,必须支持在线IDC机房迁移,否则服务一定有被中断的可能。
4、高效缓存
需要高效的缓存功能。绝大部分场景,都需要能快速获取设备当前状态或其他信息,用以报警、大屏展示或其他。系统需要提供一高效机制,让用户可以获取全部、或符合过滤条件的部分设备的最新状态。
5、实时流式计算
需要实时流式计算。各种实时预警或预测已经不是简单地基于某一个阈值进行,而是需要通过将一个或多个设备产生的数据流进行实时聚合计算,不只是基于一个时间点、而是基于一个时间窗口进行计算。不仅如此,计算的需求也相当复杂,因场景而异,应容许用户自定义函数进行计算。
上述文章总结了物联网大数据平台的特点以及一些主要的功能,虽说物联网大数据平台本身也是在处于不断的演变之中,但是总体目标是不会更改的,那就是可伸缩、高效、灵活、可靠、开放、易维护、简单等等,只有这样才能够更好地方便大众生活。
文章来源:《详谈物联网大数据平台应具备的功能和特点》