这个 Data Quality for AI(简称 DQAI)服务框架提供各种工具,赋能模型开发人员和数据科学家实施正式系统的数据准备程序,这是模型开发生命周期中最初且最耗时的步骤。框架适用于为监督分类或回归任务准备的数据,包含开展如下任务所需的软件:
— 实施质量检查,
— 执行补救措施,
— 生成审计报告,
— 自动执行上述所有操作。
虽然任务流水线对于可扩展性和可重复性至关重要,但包含的功能也可用于自定义数据探索和人工指导的模型改进。框架提供的服务有助于在模型开发生命周期的任何阶段保持高效,尤其是数据处理的早期和数据准备阶段。
除了在原始数据源上可以完成的所有工作外,还有一些方法可以从输入数据集开始:学习原始数据中的约束或由开发人员指定约束,推动合成新数据(无论是补充还是替换原始数据)。这尤其适用于下列情况:监管或合同问题禁止在建模工作中直接使用数据时;需要探索具有不同约束的数据集时;需要更多数据进行训练时。
产品适用于表格数据、时序数据以及开发中的新模式。