我们所说的智慧环保系统的半结构化数据,也就是像EXCEL、text这样的格式数据,这种类型的数据没有数据库的支持,但由于格式比较固定,通过ETL工具可以转换成结构化的数据集中存储。
对半结构化数据进行集成时,需要根据数据的重要性设定不同的集成方法。
(1)ETL定期批量导入:格式固定,数据内容较重要,对数据挖掘分析有重要意义的数据,按固定格式开发ETL导入包,通过接口操作,依靠人工进行定期导入。
(2)人工录入:对于较重要的数据,还提供了手工输入界面,逐项输入。
(3)附件上载:作为非结构化数据,直接以附件形式上载入库。构建资源目录,实现附件(权限范围)索引查询,建立全文检索,实现文件的快速查找。
智慧环保的数据集成内容
需要对现有和新建的系统数据进行集成,特别是但不限于:
(1)现有污染源在线监测系统产生的废水和废气监测数据。
(2)33个空气站系统现有的空气质量在线监测数据。
(3)对21个新微型空气监测站和19个小型空气监测站进行在线监测。
(4)饮用水源水质自动监测系统16个新建河段水质自动监测应用系统和水质环境自动监测系统在线监控系统的视频监控数据。
(5)各种设备状况的在线数据。
智慧环保的统计分析资料
(1)实现城市污染源、大气、水质的监测数据的统计、显示和分析,从而了解市污染源的分布、排放、大气、水质等情况。
(2)实现各监测点设备运行状况,监测数据实时监控,提供全面数据共享。
(3)基于历史数据和现行业务报表格式,对数据进行挖掘分析,以图表、列表等方式呈现,能自定义监测点、时间周期等参数组合,主要报表形式有日报、月报、季报、年报等。