打开APP
小贴士
2步打开 媒体云APP
  • 点击右上角“…” 按钮
  • 使用浏览器/Safari打开

谷云科技深度参与编制《多源异构数据融合技术规范》团体标准,共创数据融合技术标准

2025-11-07 17:29   

近日,由中国检验检测学会提出并归口的团体标准《多源异构数据融合技术规范》(T/CITS 481—2025)正式发布实施。该标准由中国科学院深圳先进技术研究院、安徽理工大学、中国科学院计算技术研究所、中国科学院空天信息创新研究院、中电科大数据研究院有限公司、谷云科技(广州)有限责任公司、北京交通大学、通标中恒标准化技术研究院(北京)有限公司等权威机构联合起草。

作为本标准的核心起草单位之一,谷云科技凭借在企业级数据集成、API全生命周期管理、多源异构数据实时融合等领域的技术积累与产品创新,深度参与了标准中融合元数据描述、融合技术要求、数据安全要求等关键章节的制定,充分展现了其在数据融合与集成领域的技术领导力。

本文件从四个大点对数据融合规范进行说明:

1.数据融合原则

强调融合过程需实用、统一、可扩展、完整、有价值:

实用性:贴合业务场景,支持实时/批处理等策略;

统一性:流程、版本、冲突处理标准化;

可扩展性:模块化架构,支持新数据源与弹性扩容;

完整性:最小化清洗,禁止篡改,保留溯源;

价值性:提升数据密度,支撑预测、决策、知识发现。

2.融合元数据描述

规定四类元数据必须记录:

管理型元数据:数据源标识、所有权、任务记录、版本控制;

描述型元数据:数据主题、摘要、字段定义、数据关系;

技术型元数据:清洗/转换规则、融合技术选型、工具参数、格式编码;

业务型元数据:业务术语定义、语义映射、规则统一,确保跨系统理解一致。

3.融合技术要求

覆盖架构、获取、预处理、融合、管理五环节:

架构:先预处理分类,再算法融合,最终入库;

获取:支持SQL、API、爬虫、Kafka、MQTT等多种协议,具备增量、全量、断点续传能力;

预处理:缺失值、噪声、不一致、重复数据清洗;降维、采样、分类存储;批/实时/事务写入;

融合:分数据级(时空对齐)、特征级(提取+组合)、决策级(集成学习/投票/贝叶斯)三层;

管理:质量评估(缺失率≤1%关键字段)、标准化(单位、命名、格式)、血缘追踪(源头+处理过程全记录)。

4.数据安全要求

全生命周期安全控制:

数据采集阶段:身份认证、TLS加密、来源验证、时空签名防篡改;

数据传输阶段:端到端加密、TLS1.3防重放协议、DNSSEC、DoH/DoT、防火墙+IDS等加密手段;

数据存储阶段:加密落盘/上云、角色RBAC权限、定期备份策略、时空维度分片存储(如按日期+地理网格分区),降低泄露风险;

数据分析阶段:差分隐私技术、匿名化处理、完整审计日志记录;

数据监测阶段:实时监控与应急响应机制,发现异常立即阻断并恢复。

技术领先:谷云科技RestCloud赋能多源异构数据融合

谷云科技自主研发的ETLCloud全域数据集成平台,已广泛应用于政府、制造、金融、医疗、零售、教育等行业,平台累计超20000+企业用户使用,平台具备以下核心能力:

1.功能全面:集离线数据集成ETL、ELT、CDC实时数据集成、编排调度、数据服务API为一体的数据集成平台,一站式满足企业的各种最为复杂的数据集成场景。提供私有化部署能力和云原生架构,满足企业不同发展阶段的业务需求。

2.多源秒级接入:丰富的数据处理及应用链接器500+,一键对接 Oracle、MySQL、SQL Server、MongoDB、Kafka、MQTT、CoAP、SAP、金蝶、用友、钉钉、企业微信等。

3.企业级CDC:完全自主研发实时数据集成平台CDC,采用分布式架构设计,支持水平扩展,单集群可处理PB级数据量,毫秒级延迟,为智慧城市、工业物联网、实时风控等高并发场景提供稳定底座。

4.智能血缘与质量:全链路数据血缘图谱自动解析,字段级影响分析一键查看;内置20+质量规则,数据血缘分析能力,自动记录采集位、断点续传自动纠错等能力,从采集到落库全程可视化展示。

5.信创与云原生:100%兼容鲲鹏、飞腾、麒麟、统信等国产软硬件,容器化部署,支持K8s弹性伸缩,单节点故障30s内自动切换,全年可用性≥99.999%。

6.生态规模:已服务700+大中小型企业,覆盖政府、制造、金融、医疗、零售、教育等行业,平台每日稳定调用超10亿次,帮助客户平均缩短70%集成周期、降低50%运维成本。

谷云科技作为唯一参与本标准制定的企业级数据集成厂商,技术方案与产品能力获得国家级科研机构与行业专家的一致认可,进一步巩固了其在企业级集成与数据融合赛道的领先地位。

展望未来:以标准引领,构建数据融合生态

谷云科技将持续深耕多源异构数据融合技术,以ETLCloud全域数据集成平台为载体,推动标准在更多行业场景中的落地应用,助力政府与企业构建高效、安全、可扩展的数据融合基础设施,释放数据要素价值,赋能数字化转型。

如果您想了解更多《多源异构数据融合技术规范》详细内容,可扫码添加小助理,获取完整版《多源异构数据融合技术规范》文件。







【广告】免责声明:本内容为广告,不代表蚌埠新闻网的观点及立场。所涉文、图、音视频等资料之一切权力和法律责任归材料提供方所有和承担。蚌埠新闻网登载此文出于传递更多信息之目的,对此文字、图片等所有信息的真实性不作任何保证或承诺。文章内容仅供参考,不构成投资、消费建议。据此操作,风险自担!!!






1
相关阅读
template 'mobile_v5/common/wake'
0 条评论
来说两句吧。。。
最热评论
最新评论
来说两句吧...
已有0人参与,点击查看更多精彩评论
加载中。。。。
表情
//