随着物联网不断地发展和升级,许多物品逐步智能化,并形成了智能化产业,比如智慧城市、智能家居、智能汽车、智能制造机械以及智能健康等,给生产生活带来了极大的便利。这些授权收集和交换数据的东西重新组成一个这个网络,就是物联网。
物联网和大数据正在走向胜利之路。不过,要想从这一创新中获益,还需要解决一些挑战和问题。在本文中,我们很高兴与大家分享多年来在物联网咨询领域积累的知识。
物联网大数据如何应用
首先,有多种方法可以从物联网大数据中获益:在某些情况下,通过快速分析就足够了,而一些有价值的见解只有在经过深入的数据处理之后才能获得。
(1) 实时监测。通过联网设备收集的数据可以用于实时操作:测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如,获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。
(2) 数据分析。在处理物联网生成的大数据时,我们有机会超越监测,并从这些数据中获得有价值的见解:识别趋势,揭示看不见的模式并找到隐藏的信息和相关性。
(3) 流程控制和优化。来自传感器的数据提供了额外的上下文情境信息,以揭示影响性能和优化流程的重要问题。
物联网中的大数据挑战
除非处理大量数据以获取有价值的见解,否则这些数据完全没用。此外,在数据收集、处理和存储方面还有各种挑战。
数据可靠性。虽然大数据永远不会100%准确,但在分析数据之前,请务必确保传感器工作正常,并且用于分析的数据质量可靠,且不会因各种因素而损坏。
需要存储哪些数据。联网设备会产生万亿字节的数据,选择存储哪些数据和删除哪些数据是一项艰巨的任务。
分析深度。一旦并非所有大数据都很重要,就会出现另一个挑战:什么时候快速分析就足够了,什么时候需要进行更深入的分析以带来更多价值。
安全。毫无疑问,各个领域的连网事物可以让我们的生活变得更加美好,但与此同时,数据安全也成一个非常重要的问题。
物联网解决方案中的大数据处理
在物联网系统中,物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。
数据来自与事物相连的传感器。“事物”可以是任何物体:烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的,也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。
事物将数据发送到网关,以进行初始数据过滤和预处理,从而减少了传输到下一个物联网系统中的数据量。
边缘分析。在进行深入数据分析之前,有必要进行数据过滤和预处理,以选择某些任务所需的最相关数据。此外,此阶段还可以确保实时分析,以快速识别之前在云中通过深度分析所发现的有用模式。
对于基本协议转换和不同数据协议之间的通信,云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。
联网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中,直接可以用于业务目的。清理过的结构化数据存储在数据仓库中。
机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如,一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后,控制应用程序就可以使用它们,以响应新的传感器数据发送命令或警报。
物联网的形成,需要将大量的数据信息和传感器、安全传输等多个方面相结合,形成一个完善的运转系统。这个过程中还存在一些问题,比如数据筛选,哪些值得存储等,尽管这些问题有待解决,但是物联网是一种趋势,它的蓬勃发展就会为更多行业的企业带来新的数字机遇。
文章来源:《阐述物联网解决方案中的大数据处理》,智家网