多源数据融合与处理驱动政府统计监测预警服务现代化

　　■ 张维群 李佳静 严少东

　　一、绪论

　　统计监测预警是政府机构对社会经济活动的运行状态进行评估，对存在的问题或风险做出预判，并对相应的宏观政策进行调整的重要手段。近年来，各地方政府建立多个监测平台对环境、市场进行监测预警，服务地方经济增长、环境改善。然而，随着大数据技术的发展，现有的政府统计监测服务面临各种挑战：一方面，传统环境下政府统计常采用人工方式获取数据，从开始收集到最终数据形成需要花费大量的时间，导致政府决策滞后于社会经济发展的决策需要，降低了统计监测的时效性。另一方面，政府决策时面临着大量的多源数据，但这些数据在精度、真实性、统一标准等方面存在大量的问题，如何加工处理并利用这些多源数据进行监测预警提升其可靠性是政府决策面临的主要问题。政府要保证决策所需数据的全面性和充分性，必须采用丰富的多源数据来支撑统计监测预警服务，而且多源数据的加工处理和应用对统计工作提出了较高的要求。因此，关注多源数据驱动的政府统计监测预警服务是提升政府决策的准确性、科学性和及时性的必然要求。

　　目前，基于多源数据驱动的统计监测预警实践中也存在着诸多问题。熊露等学者在对我国政府农业统计监测工作研究时，发现多源数据运用在农业统计监测预警中存在数据处理能力不强、信息发布渠道低效等问题，影响了农业监测预警可靠性、科学性和有效性，文献指出应强化数据治理在统计监测中的地位，加强农业统计监测服务。在我国统计监测预警中，数据资源不足导致的监测预警数据的局限性严重地影响了我国监测预警的科学性，不仅仅存在数据处理等问题，也存在着数据测度指标的问题。司青燕通过分析我国现有的统计监测体系的发展状况，指出了我国统计监测体系不完善、落后等问题，认为应将大数据应用到我国政府统计监测工作中，推动我国政府统计监测工作的现代化。要实现统计监测预警服务现代化，首先要完善高质量统计监测体系，以高质量统计促进经济高质量发展。王思彤以全国高质量发展的统计监测体系为例，对高质量发展统计监测的发展由来以及必要性进行了充分的阐述，并对落实高质量发展的统计监测提出了建设性的措施。在政府统计监测预警中，高质量的数据对于保障政府统计监测预警的准确性也至关重要，因此，对于多源数据的加工处理是保证监测预警数据资源质量的根本。张芹娥以河北省统计监测平台为对象，集中分析如何通过数据治理，提高数据质量，最终获得高质量的统计监测预警决策，因此，数据的“精准治理”未来将为各政府部门的决策提供更及时、更准确、更全面的数据资源。

　　显然，建设现代化政府统计监测预警服务不仅需要解决多源数据资源的供给、多源数据的科学处理和加工等问题，还需要对多源数据资源的质量进行控制，强化数据资源质量的精准治理。因此，将多源数据处理与融合应用到政府统计监测预警服务中，以提升政府统计监测预警的科学性、及时性，提高政府治理的科学化水平，对推进政府统计监测预警服务的现代化具有现实意义。

　　二、政府统计监测服务现代化对多源数据的需求

　　大数据时代，传统的调查数据收集效率低、结构单一且缺少良好的准确度，仅以此数据支撑的统计监测预警服务难以做出全面、及时、科学的政府决策，所以政府决策所需的数据应满足时效性和充分性，必须以多源数据支撑统计监测预警服务。在多源数据背景下，政府可以实现结构化数据与非结构化数据结合，以更加多元化和动态化的数据采集方式获取全面、系统的监测预警数据；同时，多源数据经过加工、处理和融合可转化为统一规格数据，其在数据口径、精准度等方面更好地满足统计监测预警服务的要求。因此，以多源数据驱动的政府监测预警服务可以提高政府决策的及时性、可靠性、科学性，对推进政府统计监测预警服务的现代化具有重要意义。

　　多源数据是指数据来源、类型等方面均呈现出多元化的数据，政府统计监测预警服务所需的多源数据既包括来自统计年鉴、统计公报、行业公报、部门内部的基础统计数据和以专业设备、智能工具辅助采集的调查数据；而社会网页、企业网站、个人或非盈利组织等网络公开途径也是获取监测数据的重要源头。同时，各种数据源头又使得监测数据在类型上呈现出差异性，即多源数据不仅包括文本、数字等结构化数据，也包括图片、遥感影像等非结构化数据。通常政府可采用API、MDT工具包等来获取社会、企业公开网页上的结构化数据，而非结构化数据主要通过网络或者调查获取，例如百度、腾讯等提供的GIS图、热力图以及API工具包获取的图像等。不同于传统的文本、数字类型的基础统计数据，多源数据增加了网络数据，在数据类型上也扩充了图片、遥感影像等非结构化数据，具有来源广泛、数据类型丰富、时效性强、准确度高等特点，其数据在采集效率、覆盖范围、时间跨度和完整性等方面均能满足政府统计监测预警服务对数据的需求，这样的数据在及时性、真实性和完整性等方面也具有优良性，政府基于此数据做出的统计决策也更具科学性。

　　显然，以多源数据驱动的政府统计监测预警在科学性、时效性、准确性等方面更满足政府治理的现代化需求，但要实现其在政府统计监测预警中的广泛应用，政府不仅要解决非结构化数据标准化问题，还需要解决不同来源、不同规格、不同类型数据规范化的问题，同时，也要注意多源数据中错误数据、缺失数据、冗余数据、异常值数据等问题。因此，如何选用合适的数据加工、处理、融合方法以达到对数据价值的最大化利用，成了政府监测预警工作中的重点和难点。

　　三、多源数据的加工处理与融合技术

　　多源数据的加工处理与融合技术是指将研究所获取到的不同来源、不同类型的数据处理和加工后转化为标准的结构化数据，以此实现对目标更精准的估计与预测。大数据环境下，要解决多源数据在政府统计监测预警服务中的应用，首先，需要采用多源数据的加工、处理与融合技术实现非结构化数据的结构化，其次，实现不同来源、不同规格、不同类型结构化数据的标准化，最后，建立标准化的统计计算数据库。结构化数据包括文本、数字等，非结构化数据又包括图像、遥感影像等。因此，政府不仅需要掌握数字、文本等结构化数据加工与处理的技术，还需要掌握图像、遥感影像等的加工、处理与融合方法，以合适的方法与技术实现非结构化数据、结构化数据的标准化。

　　结构化数据的加工、处理技术是指对数字、文本进行清洗、整理、汇总后使其转化为标准的结构化数据；而非结构化数据的加工、处理与融合技术是指对图片、遥感影像进行数据融合、数据结构化与数据标准化后使其转化为标准的结构化数据。其中，图片融合是指将两个或两个以上图片的数据综合起来以得到对目标场景描述更为准确、全面的图片。针对具体图片，先对不同来源的图片进行空间上的矫正、噪声清洁提取出关键的特征点并分类，在此基础上，将分类后的图片集中进行地理位置的配准以及量化处理等转化为统一标准图片，最后，对经过配准的图片可采用D-S、Bayes等融合方法融合完成多源图片的融合；而遥感图像融合是指将同一地区的多源遥感图像进行智能化合成，得到比单一数据源更清晰、精准的估计。对多源遥感图像融合之前应先进行预处理，即对不同来源、分辨率的图像进行空间上的矫正、噪声清洁、地理位置的配准以及量化处理等使不同来源的遥感图像转化为纹理图、聚类图等辅助数据，之后采用具体的融合方法实现遥感图像的融合，将融合后的图像、遥感影像选择合适的加工处理技术可转化为结构化数据，最后，对所有标准的结构化数据去冗余、互补形成统一的标准化统计计算数据库，以此数据为基础，可进行模型建立、识别、估计、预测等统计分析。此技术解决了多源数据应用在政府统计监测服务预警服务中的数据规格不同、标准不一致等问题，获得科学和及时的统计监测预警决策，推进了政府统计监测预警服务的现代化。

　　四、多源数据驱动政府统计监测服务现代化的优良性

　　当前，政府在疫情防控监测、能源勘测、农作物监测预警等方面均有运用多源数据且取得了显著的成效。以全面、代表性强、动态的多源数据作为政府统计监测的数据源，可以保证政府统计监测数据的全面性，提高政府统计监测服务的准确性，提升政府统计监测的效率。

　　一是提升政府统计监测服务数据的全面性。传统数据环境下，政府统计监测所需的数据大多是来自统计年鉴、统计业务报表的数字、文本形式的基础统计数据和调查数据，且无论是统计年鉴或是报表，都只包含监测对象的部分信息，在本质上存在着数据的不完整性，无法对监测对象进行全面、系统的估计与预测。而多源数据环境下，政府统计监测的数据源增加了网络数据，在数据类型上也扩充了图片、遥感图像等空间数据。针对监测目标，可以将传统监测数据和网络数据结合，将数字等非空间数据和空间数据结合，全方位对目标的特征进行监测，形成更为充分、全面的监测数据，从而保证监测数据的全面性，以此达到对统计监测目标更深层次的理解与分析。

　　二是提高政府统计监测服务的准确性。传统的统计监测环境中，对同一指标数据用不同方法、不同标准来获取可能存在差异，不具有代表性，使用不同的数据分析往往会产生不同的结果，从而引起分析结果的偏差。而多源数据环境下，可以使用多源数据处理与融合将不同层次、不同角度以不同度量标准获取到的不同源的数据融合。以此数据为代表，对检测对象进行更深入的分析，例如，遥感图像在获取过程中由于干扰、噪声等不确定性因素，产生的遥感数据已经和原始图像存在差异，可采用遥感图像处理与融合将遥感数据融合，使得数据优势互补，排除重复，减小不确定性。以此数据为代表进行各种统计分析可以保证政府统计监测服务的准确性。

　　三是提高政府统计监测服务的效率。传统环境下，政府统计监测所需数据多为从下级向上级层层反馈获取的静态数据，这样的数据获取时间长，且不能反映监测目标的发展变化过程，在时效性上也难以满足政府统计监测服务的质量要求。多源数据环境下，一方面政府统计监测可以采取导入文件、网络实时监测等多种方式实现对不同来源、不同形式数据的采集，让数据的获取变得快捷、方便；另一方面，用网络监测平台产生的动态数据来观察监测目标的发展规律，可以对目标未来发展趋势进行快速的预测，实现政府统计监测数据的动态性、及时性、有效性等，从而提升政府统计监测的效率。

　　在多源化的数据时代，合理的运用数据资源，可以重新开发数据的价值。而政府掌握着全社会数量最大、最核心的数据，正因如此，政府应该紧跟多源数据的潮流，将多源数据融合发展到统计监测的各个环节，以多源数据及其处理与融合技术推动政府统计治理的现代化。

　　五、多源数据融合与处理驱动政府统计监测预警的建议

　　近年来，多源数据及其处理与融合运用在政府统计监测已经取得了很大的成就，但其在数据处理与融合、数据储存安全、数据共享等方面还存在许多问题。

　　一是数据处理与融合存在困难。现阶段，由于政府统计监测的大部分技术人员对数据处理、数据的融合、数据统计分析的知识了解较少，对信息技术和计算机技术应用的过程也未充分掌握，导致政府统计监测中多源数据融合多是数据的叠加和汇总，实质性融合较少，尚未充分发挥多源数据之间的优势互补作用，从而阻碍了多源数据处理与融合在政府统计监测服务的发展进程。

　　二是多源数据的存储缺乏安全性。随着多源数据在政府统计监测服务中的应用不断加深，在数据储存方面，数据的规模逐渐膨大，基础统计数据、网络数据以及调查数据等混杂其中，数据的来源多种多样，传统结构化存储系统已经无法满足数据应用的需要；在数据的法律保护方面，我国缺乏相关专门法律，总体上来说约束力不足，数据采集、数据存储、数据所有和使用权责方面的法律也是空白，这些直接关系到多源数据在政府统计监测服务中的应用和发展。

　　三是数据共享存在困难。当前，政府各部门之间存在数据壁垒，统计监测收集的大部分数据仅为本部门所用，难以发挥多源之间优势互补的作用，从而影响部门之间数据的有效衔接，从整体上不能对政府统计工作进行多方位、多角度的分析，阻碍了政府统计治理的现代化进程。

　　结合多源数据处理与融合运用在政府统计监测服务中面临的问题，总结现行政府统计工作中运用到的一些措施、机制，尝试探索并提出几点建议。

　　一是完善统计监测服务技术人才的选拔机制。深入分析统计监测岗位对人才的需求，科学制定技术人才引进的计划，争取把每一个人放在最适合的岗位，减少人才的流失。使得对具体的问题，技术人员能构建合适的指标体系，并研究适用于多源数据结构特征的技术方法，推动政府统计监测服务现代化的进程。

　　二是建立政府统计监测服务的数据安全机制。针对数据的储存问题，政府需要采用面向大数据处理的存储系统架构。此系统要有强大的扩展能力，可以通过增加模块或磁盘存储来增加容量，且操作简便快速，操作甚至不需要停机；针对统计监测数据的隐私保护和法律缺失问题，政府应建立健全的数据保护的法律法规和基本规则，鼓励数据保护技术的研发、创新和使用，从而保障政府统计监测服务数据的安全性，完善统计监测体系，推动多源数据的处理与融合在政府统计监测服务中更深入的运用。

　　三是加快统计监测数据的共享机制。在尽量不增加统计监测所需费用的条件下，将现有的监测数据充分利用，打破各部门之间信息壁垒，避免“数据孤岛”，整合有关事物的多方面的数据信息，形成政府统计监测专有的数据处理与融合的标准，促进政府统计监测服务的现代化。

　　（作者单位：西安财经大学统计学院）