什么是增强型分析?

在家工作的商人

作者

Dave Bergmann

Senior Staff Writer, AI Models

IBM Think

Cole Stryker

Staff Editor, AI Models

IBM Think

什么是增强型分析?

增强型分析是指将自然语言处理 (NLP) 和其他机器学习功能集成到数据分析平台,以强化其功能。增强型分析工具还使用人工智能 (AI) 并通过直观的用户友好型工作流程自动执行并简化数据分析。

增强型分析通过自动执行或简化流程,包括数据准备、模型选择、洞察分析生成和数据可视化,帮助实现数据驱动型决策普及化。借助增强型分析功能,可由分析师和业务用户来执行曾经需要数据科学家技术专业知识的任务。

生成式 AI 加速了增强型分析平台和自助服务工具的普及。日益完善的大型语言模型 (LLM) 促进自然语言查询和自然语言生成 (NLG),使用户无需技术知识或专门的编程语言即可查询数据和解读结果。

此外,机器学习算法可以不断优化增强型分析工具的核心功能,以更好地满足特定用户或用例的需求。例如,商业智能 (BI) 平台可以识别一段时间内的用户查询中的模式,然后在报告仪表板上自动实时显示与这些模式相关的切实可行的洞察分析。

通过减少从复杂数据中获得有意义洞察分析的技术障碍,增强型分析扩大了分析过程的访问权限。因此,增强型分析解决方案可以提高整个公司的数据素养,并更好地确保整个组织的关键业务决策都以深思熟虑的数据分析为基础。

小球在轨道上滚动的三维设计

最新的 AI 新闻 + 洞察分析

在每周的 Think 时事通讯中,发现专家精选的有关 AI、云等的洞察分析和新闻。 

增强型分析的关键要素

顾名思义,增强型分析解决方案旨在增强型数据分析过程的每个阶段,从数据准备到洞察分析生成,再到提供清晰、易于解读的报告。强大的自助服务分析平台支持任何用户以更少的精力或技术知识获得更深入的洞察分析。

理想的增强型分析解决方案的关键功能包括:

  • 自动化数据管理
  • 自然语言交互
  • 数据可视化
  • 自动化洞察分析和统计分析

自动化数据管理

增强型分析技术最明显的优点之一是,可以减少繁琐的工作并节省时间。随着大数据时代数据量的增加,准备数据进行分析以及整合来自不同数据源的洞察分析所需的劳动力数量也随之增加。

数据准备

要通过机器学习算法进行处理,必须从多个来源收集数据,进行组织和汇总,然后进行干净、一致的格式化。例如,在处理表格数据集时,数据字段必须按一致顺序排序,以帮助确保每个数据点的向量嵌入的相应特征与其他数据点的特征对应。如果手动完成,这可能是一个非常繁琐且需要大量人力的过程。

AI 增强的现代 BI 平台可以使用机器学习通过以下方式自动执行许多数据清理任务:

  • 自动检测相关数据属性。例如,算法可能检测是否存在地理信息(例如邮政编码或经纬度坐标)或联系信息(例如电子邮件地址或电话号码)。然后可以将这些数据特征置于统一的格式化方案中。

  • 确保数据质量,保护隐私。可以根据组织的数据治理政策对算法进行训练,以加权、去重或忽略来自不同数据源的输入。增强型分析平台可以进一步执行数据治理实践,例如通过自动清理个人身份信息 (PII) 的数据点。这在医疗保健等领域尤其有用,因为这些信息的使用受到严格监管。

  • 从 PDF 或富文本源中读取和提取信息。此过程还可能需要删除或替换空值或特殊字符,例如标点符号或非标准符号,以便将文本转换为机器可读格式。

  • 对相关信息编制索引和分组。例如,算法可以识别不同来源中存在的并行数据点并建议汇总,或者检测冗余数据点并将其自动组合成单个条目。此外,增强型分析平台可以集成能够为每个文档生成有效向量嵌入的模型,以实现高效的向量搜索和检索增强生成

数据发现

尽管一般与数据分析师相关的工作通常需要主动查询数据,以便为特定决策提供信息或测试特定假设,但强大的数据科学提供的大部分价值来自探索大量数据,以寻找未知或意想不到的联系和洞察分析。

例如,增强型分析工具可以自动推荐用户可能已经忽略的不同数据源之间的关联,或者显示异常值或异常趋势以供进一步分析。无监督学习的应用(例如关联聚类模型)可以识别固有模式和相关性,从而可能为获得切实可行的洞察分析提供信息。

自然语言交互

对于对数据分析感兴趣的非技术用户来说,进入市场的最重要障碍之一是传统数据分析所需的专业技术知识很深。对于许多人来说,学习编码或使用结构化查询语言 (SQL) 非常困难或耗时。其中包括学习有效解读和验证结果所需的统计技术、术语和最佳实践。

要想利用增强分析来拓宽数据驱动型洞察的获取途径,数据分析与自然语言处理 (NLP) 的结合可能是一最有效、最直观的方式。用户可以使用简单明了的语言查询数据,例如“哪些产品在节假日后 30 天内退货率最高?”,然后收到使用同样简单明了的语言写成的回复。

在后端,LLM 必须解读该自然语言查询,将其转换为结构化请求,并根据对用户问题上下文的理解做出假设以填充缺失信息。必须选择一个或多个模型来处理请求。模型必须采用与问题最相关的一个或多个数据源。最后,LLM 必须解读数学结果,并围绕相关细节进行阐述。

但从用户的角度来看,它们只是提出问题并获得答案。

数据可视化

最好的增强型分析解决方案不仅可以提供强大的数据可视化功能,还能将数据可视化融入自动生成报告中,以促进信息共享和协作决策。

虽然自然语言通常是一种非常有用的表达信息的方式,但可视化通常是进行比较和突出模式的最直观方式。图形、图表、示意图、平面图、热图和其他类型的数据可视化是探索数据和建立联系的有用方法,而人们可能不会想到将其明确并入查询。

一直以来,将自然语言请求作为输入,并返回复杂数据可视化作为输出,都需要多个模型以流水线方式进行复杂编排。但是,以前的纯文本 LLM 不断演变为可以在不同数据模式下无缝运行的多模态 AI 模型,进一步简化了增强型分析平台的多功能性。

它允许采用动态数据分析方法,即使是非技术用户也可以公开探索联系和假设,并在用户友好型交互式仪表板中轻松获得结果、建议和值得注意的洞察分析。

自动化洞察分析和统计分析

尽管 NLP 抢尽风头,但 Gartner 最近的魔力象限调查结果表明,分析和商业智能 (ABI) 平台最受欢迎的功能不是自然语言查询,而是自动化洞察分析。换句话说,业务用户更关心结果,而不是获取结果的过程。1

最好的增强型分析解决方案可以减轻业务用户在决定如何查询数据以获得洞察分析方面的负担,使他们能够专注于如何根据这些洞察分析采取行动。除了明确的 NLP 功能之外,LLM 还可以充当实时决策引擎。与简单的“IF-THEN”规则相比,这使得现代增强型分析平台能够以更加动态的方式,根据用户请求的特定上下文进行定制分析。

例如,增强型分析软件可以通过请求的性质推断将要检查的数据类型以及需要哪种类型的分析,然后智能地建议最佳的数据可视化方案。增强型分析解决方案还可以对多个预测模型进行分析,并突出显示确定性最高的模型预测。因此,平台可以提供对预测过程的洞察分析,而不仅仅是提供预测。

自动化洞察分析还支持主动数据分析,在异常值和新兴趋势出现时进行显示,而不必等待正确的查询来发现它们。例如,自动分析工具可以识别客户参与度指标的意外下降,提醒业务用户注意客户体验的一些缺陷,以便了解和解决。

预测性分析和规范性分析

最佳分析平台应该能够提供多种数据分析视角,以了解过去并对未来做出明智决策。分析性洞察有四个关键部分,所有这些部分对决策过程都必不可少。

  • 描述性分析是指客观分析:发生了什么或正在发生什么?例如,在供应链的背景下,描述性分析可以深入了解资金去向或何处存在库存短缺。

  • 诊断性分析旨在了解过去:事情发生的原因。例如,可以通过分析以前的客户行为来解释为什么正在进行的营销活动未能达到预期。

  • 预测性分析旨在预测未来:某件事情发生的概率或潜在行动方案的预期结果。预测性分析通常代表商业智能操作的基石,基于对可能后果的深入了解做出决策。

  • 规范性分析旨在预测最佳操作:应该发生什么或如何最大限度地提高预期结果的可能性。规范性建模学科为推荐引擎等系统提供支持,将预测性分析与强大的决策逻辑相结合,以确定理想的前进方向。

Mixture of Experts | 12 月 12 日,第 85 集

解码 AI:每周新闻摘要

加入我们世界级的专家小组——工程师、研究人员、产品负责人等将为您甄别 AI 领域的真知灼见,带来最新的 AI 资讯与深度解析。

增强型分析面临的挑战和局限性

尽管增强型分析平台具备一系列重要的优势,但它们并不是解决所有商业弊病的灵丹妙药。应将增强型分析视为一种强大的工具,由具有足够数据素养的员工使用并与强大的数据治理实践一起实施时,才能产生最佳结果。

  • 数据素养:虽然增强型分析可以大大减少从数据中获得切实可行的洞察分析所需的工作量,但这些洞察分析只有在所属部门已将数据素养放在首位的员工手中才有用。例如,平台可能发现并揭示值得注意的相关性,但只有知情的用户才能做出必要的判断,以理清相关性和因果关系之间的区别。

  • 数据治理:AI 驱动的洞察分析和建议的质量直接取决于支持分析的数据集的质量和可靠性。为了建立整个组织对规范性分析的信任和信心,组织必须投资于强大的数据治理。强大的数据治理能够实现一致的数据质量,促进法规遵从性,干净地整合数据源,并监控模型漂移和其他机器学习陷阱。

相关解决方案
IBM Project Ripasso

了解发生了什么、为什么、可能会发生什么以及您能做些什么。凭借其清晰的分步式推理方式,Project Ripasso 可为每一位业务用户提供洞察分析,帮助其以思考的速度做出自信决策。

探索里帕索项目
分析工具和解决方案

企业要想蓬勃发展,就必须利用数据建立客户忠诚度,实现业务流程自动化,并利用 AI 驱动的解决方案进行创新。

深入了解分析解决方案
数据和分析咨询服务

通过 IBM Consulting 发掘企业数据的价值,建立以洞察分析为导向的组织,实现业务优势。

了解分析服务
采取后续步骤

企业要想蓬勃发展,就必须利用数据建立客户忠诚度,实现业务流程自动化,并利用 AI 驱动的解决方案进行创新。

深入了解分析解决方案 了解 IBM Project Ripasso
脚注

注意:所有链接均为 ibm.com 外部链接