数据集成是指将来自多个来源的数据组合和协调为统一、连贯的格式，以便用于各种分析、操作和决策目的的过程。
混合云环境正变得越来越复杂，但数据虚拟化、编目和自动化等多云数据集成构建模块可帮助控制数据的蔓延。
注册获取 Gartner 报告
数据集成涉及一系列步骤和流程，这些步骤和流程将来自不同来源的数据汇集在一起，并将其转换为统一且可用的格式。以下是典型数据集成过程的工作原理概述：
- 数据源识别：第一步是确定需要集成的各种数据源，例如数据库、电子表格、云服务、API、旧版系统等。
- 数据提取：接下来，使用提取工具或流程从已识别的来源中提取数据，这可能涉及查询数据库、从远程位置提取文件或通过 API 检索数据。
- 数据映射： 不同的数据源可能使用不同的术语、代码或结构来表示相似的信息。创建一个映射模式，定义来自不同系统的数据元素如何相互对应，以确保在集成过程中进行适当的数据对齐。
- 数据验证和质量保证：验证包括检查错误、不一致和数据完整性问题，以确保准确性和质量。实施质量保证流程，以保持数据的准确性和可靠性。
- 数据转换：在此阶段，会将提取的数据转换并结构化为通用格式，以确保一致性、准确性和兼容性。这可能包括数据清理、数据丰富和数据规范化。
- 数据加载：数据加载是指将转换后的数据加载到数据仓库或任何其他指定目标位置，以便进一步分析或报告。数据加载过程可批量或实时完成，取决于具体需求。
- 数据同步：数据同步有助于确保整合的数据不断更新，可以通过定期更新或实时同步（如果需要立即整合新提供的数据）来实现同步。
- 数据治理和安全：在集成敏感或受监管数据时，数据治理实践可确保数据处理符合法规和隐私要求。还实施了其他安全措施，以保护集成和存储期间的数据。
- 元数据管理：元数据用于提供有关整合数据的信息，能让数据变得更易发现和使用，以便用户更容易理解数据的背景、来源和含义。
- 数据访问和分析：集成后，可以使用各种工具（例如 BI 软件、报告工具和分析平台）访问和分析数据集。通过分析，可以获得促进决策和业务战略的洞察分析。
总体而言，数据集成需要结合使用技术流程、工具和策略，以确保来自不同来源的数据保持协调和准确，且可用于进行有意义的分析和决策。
存在多种类型的数据集成，每种类型都有自己的优点和缺点。根据组织的数据需求、技术环境、性能要求和预算限制等因素，选择最合适的数据集成方法。
提取、加载、转换 (ELT) 涉及从源提取数据、将其加载到数据库或数据仓库中，然后将其转换为适合业务需求的格式。这可能涉及清理、汇总或概括数据。ELT 数据管道通常用于速度和可扩展性至关重要的大数据项目和实时处理。
ELT 过程在很大程度上依赖于现代数据存储系统的功能和可扩展性。通过在转换数据之前加载数据，ELT 充分利用了这些系统的算力。与传统方法相比，这种方法可以更快地处理数据并更灵活地管理数据。
通过提取、转换、加载 (ETL)，数据在加载到数据存储系统之前进行转换。这意味着转换发生在数据存储系统之外，通常在单独的暂存区域中。
在性能方面，ELT 通常略胜一筹，因为它利用现代数据存储系统的强大功能。不仅如此，在数据质量和一致性至关重要的情况下，ETL 数据管道也是理想的选择，因为其转换过程包括严格的数据清理和验证步骤。
实时数据集成涉及在源系统中可用时捕获和处理数据，然后立即将其集成到目标系统中。这种流数据方法通常用于需要最新洞察的场景，例如实时分析、欺诈检测和监控。
实时数据集成的一种形式便是变更数据捕获 (CDC)，也就是将源系统内的数据变更应用到数据仓库和其他存储库中。然后，变更的数据可应用到另一个数据存储库，或者以 ETL 或其他类型的数据集成工具可使用的格式提供。
应用程序集成 (API) 涉及集成不同软件应用程序之间的数据，以确保无缝数据流和互操作性。这种数据集成方法通常用于不同应用程序需要共享数据并协同工作的场景，例如确保您的 HR 系统具有与财务系统相同的数据。
数据虚拟化包括创建一个虚拟层，对不同来源的数据提供统一的视图，而不管数据的物理位置在哪里。它使用户能够按需访问和查询集成数据，而无需物理数据移动。它适用于敏捷性和实时访问集成数据至关重要的场景。
采用联合数据集成方法时，数据将保留在其原始源系统中，而且会在这些不同的系统中实时执行查询，以检索所需信息。在无需实际移动数据而是可通过虚拟方式集成数据以进行分析的情况下，这种方法最适用。联合集成可以减少数据重复，但这种方法可能会面临性能上的挑战。
数据集成带来了多种好处，使组织能够做出更明智的决策，简化运营并获得竞争优势。数据集成的主要优点包括：
数据集成汇集了来自各种来源和系统的信息，提供了统一而全面的视图。通过联结数据孤岛，企业可以消除因孤立数据源而产生的冗余和不一致。
通过数据转换和清理流程，数据集成可识别并纠正错误、不一致和冗余，从而帮助提高数据质量。准确、可靠的数据为决策者注入信心。
集成数据通过减少手动数据输入和最大限度地减少对重复任务的需求来实现更顺畅的业务流程。它还可以最大限度地减少错误并增强整个组织的数据一致性。
通过进行数据集成，可以更快地获取数据以进行分析。这种速度提升至关重要，有助于企业及时做出决策并响应市场趋势、客户需求和新出现的宝贵机遇。
数据集成是所有商业智能计划的基本方面。BI 工具依靠集成数据来生成有意义的可视化效果和分析，从而推进战略计划。
集成数据可以揭示企业数据分散在不同系统时可能不明显的模式、趋势和机会。这使组织能够进行创新，创造新的产品或服务。
数据集成应用于广泛的行业和场景，以应对各种业务需求和挑战。最常见的数据集成用例包括：
- 数据仓库：在构建数据仓库时，使用数据集成来创建用于分析和基本报告的集中式数据存储。
- 数据湖开发：大数据环境通常包括结构化数据、非结构化数据和半结构化数据的组合。将这些数据从孤立的本地平台移动到数据湖中，可以通过对数据执行高级分析（包括人工智能 (AI) 和机器学习 (ML)）来更轻松地提取价值。
- 客户 360° 视图： 整合来自 客户关系管理 (CRM) 系统、营销数据库和支持平台等不同来源的客户数据，使组织能够为每位客户创建统一的视图。整合良好的客户数据可以帮助公司更好地确定营销目标、识别交叉销售/追加销售机会并提供更好的客户服务。
- 商业智能和报告：数据集成对于创建全面的 BI 报告和仪表板至关重要，可以深入了解企业各方面的绩效，例如销售、营销、财务和运营。
- 处理 IoT 数据：通过集成来自物联网 (IoT) 设备的数据，组织可以监控和管理互联设备、分析传感器数据并根据实时洞察实现流程自动化。
多年来，最常见的数据集成方法要求开发人员手动编写结构化查询语言 (SQL) 脚本，这是 关系数据库中使用的标准编程语言。
如今，从开源解决方案到全面的数据集成平台，各大 IT 提供商推出了多种不同的数据集成工具，这些工具可以自动化、简化和记录数据集成过程。这些数据集成系统通常包含以下工具：
- ETL 工具：ETL 工具用于从各种来源提取数据，将其转换为所需的格式或结构，然后将其加载到目标系统，包括数据仓库和数据库。除数据仓库外，这些工具还用于数据集成和数据迁移。
- 企业服务总线 (ESB) 和中间件：这些工具通过提供消息传递和通信基础架构来促进不同软件应用程序和服务的集成。它们支持实时数据交换、工作流程编排和 API 管理。
- 数据复制工具：数据复制工具用于持续将数据从源系统复制到目标系统，使它们保持同步。实时数据集成、灾难恢复和高可用性场景是这些工具的常见用例。
- 数据虚拟化工具：用于创建一个虚拟层，提供不同来源数据（无论数据实际位于何处）的统一视图。这些工具允许用户访问和查询集成数据，而无需物理移动数据。
- 数据集成平台即服务 (iPaaS)：iPaaS 解决方案可提供多种基于云的数据集成服务，包括数据转换、数据路由、API 管理以及与各种云和本地应用程序的连接。此类解决方案常用于混合云集成和 SaaS 应用程序连接。
- 流数据集成工具：这些工具侧重于实时集成来自 IoT 设备、传感器、社交媒体和事件流等源的流数据。它们使组织能够在生成数据时处理和分析数据。
- 数据质量和数据治理工具：帮助确保从多个来源整合的数据符合质量标准、法规要求和数据治理政策的工具。这些工具通常包括数据剖析、清理和元数据管理功能。
- CDC 工具：CDC 工具可实时捕获并复制源系统中的数据更改。这些工具通常用于更新数据仓库和进行实时分析。
- 主数据管理 (MDM) 工具：MDM 专注于管理客户、产品、员工和其他类型的主数据，并确保其在整个组织中的一致性和准确性。这些工具通常包括数据集成功能，用于整合和同步来自各个系统的主数据。
- API 管理平台：这些平台提供用于设计、发布和管理 API 的工具。虽然主要侧重于实现 API 集成，但它们在连接系统和应用程序方面也发挥着至关重要的作用。
IBM Databand 是用于数据管道和仓库的可观察性软件，该软件会自动收集元数据来构建历史基线、检测异常并分类警报，以修复数据质量问题。
IBM® DataStage® 支持 ETL 和 ELT 模式，在本地和云中提供灵活且近乎实时的数据集成。
IBM® Knowledge Catalog 是 AI 时代的智能数据目录，让您可以访问、整理、分类和共享数据、知识资产及其关系，而无论这些数据存储于何处。