从2017年Gartner首次提出增强分析的概念,连续多年将增强分析确定为未来数据与分析技术发展趋势,考虑到增强分析跟人工智能,特别是NLP有着千丝万缕的关系,进而与ChatGpt也有了关联,自己突然对增强分析有了兴趣,这个被看成是BI3.0的分析领域的大杀器,到底是个什么东西,下面分为六部分进行介绍。
1、增强分析定义
2、增强分析方法
3、增强分析技术
4、增强分析价值
5、增强分析演示
6、增强分析挑战
一、增强分析定义
商业智能最容易分为三代技术,每一代都由解决方案提供的可访问性、速度、数据集大小和洞察质量来定义。
BI 1.0-传统商业智能
传统商业智能被认为是最古老的 BI 版本,也是最不友好的。传统的 BI 建立在需要 IT 专业人员聚合数据和构建 OLAP 多维数据集以进行分析,传统的 BI 交付报告和静态仪表板作为其主要输出。从手动从数据库中提取数据并手动清理数据,到构建模型、挖掘数据以及生成整个组织的部门和团队所需的数据丰富的报告,即一切都由专家处理。
最大的问题是需要数周时间才能为业务提供关键洞察,因为需要 IT 来设计模型和报告。由于该系统仅提供查询的回顾性视图,因此无法提供预测性见解。因此,决策者最终只能“凭直觉”寻找新的机会和解决重大问题的方法。
BI 2.0-自助商业智能
自助式商业智能 (SSBI) 解决方案对传统数据分析模型进行了重大升级。最值得注意的是,它们允许数据分析师和其他业务用户使用 IT 构建的模型创建自己的报告和数据可视化。组织中的每个人都可以按需访问,这种 BI 方法使用户能够创建临时报告、提出后续问题,并手动更深入地挖掘洞察以获得更有针对性的信息。
不幸的是,自助服务仍然无法解决最后一英里的问题,因为它用于数据探索的可视化界面使用传统的拖放式度量和维度,这对业务用户来说很复杂。随着数据量和复杂性的增加,使用自助式 BI 工具手动分析数据的每个组合以找到重要见解变得不大现实,即使对于专家数据分析师也是如此。
BI 3.0-增强分析
作为下一代商业智能,增强分析以几种不同的方式改进了自助服务模型。Gartner指出,增强分析是使用机器学习和人工智能等支持技术来协助数据准备、数据发现、洞察生成和洞察解释,以增强人们在分析和 BI 平台中探索和分析数据的方式。
它使用机器学习和人工智能,通过自动从各种数据库和集成工具中获取数据来简化数据准备。一旦数据在平台中,它允许用户使用自然语言查询在会话 UI 上自助提供临时报告。
增强分析不仅简化了后端的数据分析。它还通过自然语言生成 (NLG) 提供洞察力和可视化效果,使数据对普通用户而言更易于访问和更有价值。该软件还实时对数据进行切片和切块,以深入了解报告信息背后的“原因”——而不仅仅是内容、人员和时间。而且,随着时间的推移,该算法对用户意图有了更深入的理解,这使其能够为复杂问题提供更有针对性和更细致的答案。这些功能共同使数据分析师和数据科学家能够比以往更快、更轻松地设计自定义可视化并生成见解。
二、增强分析方法
增强分析跟传统的BI分析流程相似,但通过使用 ML、NLG 和 AI 等技术增强了数据分析的三个主要阶段:
1、数据准备
数据准备涉及数据的采集、清洗、转化和验证等繁琐的工作,传统BI通常需要依赖开发人员和数据科学家专业知识和人工操作才能完成。
借助增强的分析工具,其可以借助算法检测机制,自动对数据进行分析、标记、注释并清洁以进行可靠的分析,自动将来自多个来源的数据整合在一起,自动生成数据目录,元数据和数据血缘,所需时间仅为手动操作时间的一小部分。
2、洞察发现
洞察力发现是数据分析过程中的一个步骤,传统BI主要基于可视化引擎进行手工操作数据和手工建模来发现规律,由于传统上模型必须由数据科学家手动开发,因此见解往往缺乏特异性。
通过增强分析,洞察发现更容易启动,也更彻底。普通人可以使用自然语言和语音输入来进行查询,增强分析通过算法自动找到数据中的规律,自动生成模型,自动从数据中找到模式和规律来针对性的回答问题。
3、见解分享
见解共享是通过报告或可视化向最终用户提供见解的过程。传统BI通过仪表盘等形式展示结果,往往需要数据科学家进行解释。
通过增强分析,获得洞察力的时间和人力都可以大大减少。使用自然语言生成,增强分析平台实时提供见解, 这些见解包括对自然语言查询的直接回答和回答的推理,或者将决策直接传入生产和办公应用。
三、增强分析技术
要实现增强分析,需要四个关键技术:
1、增强数据准备
这些通常包括数据准备方面的进步,或者更典型的是 ETL(提取、传输、加载)阶段,具体包括:
数据洞察:在数据准备前就对数据进行多维度的洞察,包括行列数据分析,为选择符合的数据提供参考。
自动连接:能够根据用户、角色,历史数据等智能推荐数据源,自动完成数据连接配置。
自动清洗:基于预置的数据质量规则(如合并重复记录)自动进行数据清洗和转化,实现数据的一致性、准确性,唯一性,能够实时呈现清洗结果。
2、机器学习 (ML)
作为一种 AI,ML 使用算法快速搜索历史数据、识别模式、发现异动并生成见解和建议。ML 模型是大多数增强分析功能的基础。
自动分析:自动识别数据中的影响因素、关键驱动因素和异常因素,提供自动化分析结果。
自动建模:自动调参和算法选择,实现自动化建模,支持第三方算法或模型集成,自动选择合适的模型实现预测。
3、自然语言技术
人类和计算机可以通过自然语言处理 (NLP) 和自然语言生成 (NLG) 更轻松地相互交谈,前者为计算机解释人类语言,后者将计算机代码翻译成人类语言。因此,商务人士可以使用熟悉的领域和行业术语在来回的问答会话中与机器互动,自然语言技术让任何用户,甚至是未经培训的业务用户,都可以就他们的数据提出问题,并以简单的对话方式获得答案。
4、自动可视化
基于现有数据内容和格式,为用户自动推荐合适的图表展现样式,根据洞察结果自动组装分析报告,展示分析结果,并以用户指定的频率分发,加速洞察共享。
顾名思义,增强分析并没有取代而是增强了人类的智慧、直觉和好奇心。机器学习模型利用随着时间的推移从用户那里收集的上下文和行为线索,评估人类的意图和偏好,并通过自然语言提供适当的见解、指导和建议。他们将实际的决策权留给人们。
四、增强分析价值
增强分析可以使分析师的工作更快、更高效、更准确。机器学习和自然语言技术可以降低分析的技术障碍,包括让数据技能和经验不太成熟的人可以使用更先进的技术,帮助领域专家(深入业务的人员)更敏捷的使用他们的数据。
敏捷性:提高洞察速度
AI 驱动的分析增强可以通过缩小搜索空间(比如特征变量自动选择)、在正确的时间向正确的人显示相关数据以及通过建议富有成效的分析路径来加速对洞察力的搜索。通过广泛跟踪分析用户使用行为,增强分析可以提供更智能的默认设置和推荐操作,并进行迭代优化,加速与用户的信任关系。当人们更快地回答他们的数据问题时,他们可以专注于更具战略性,挑战性的任务,并花更少的时间梳理数据以获取见解。
准确性:提供全面视角
机器可以不睡觉不休息,高质量地执行重复任务和计算。增强分析背后的 AI 和 ML 技术可以有效地检查每个细节,让用户可以根据透彻的分析做出最明智的决策。这种全面的视角可以帮助人类避免自己的结论受到确认偏误的影响,揭示用户从未想过他们需要的见解,比如机器可以快速的对100个维度进行分析,而分析师则由于精力问题和领域知识的缺乏只挑选自认为重要的维度进行探索。
效率化:自动操作任务
将机器学习和人工智能集成在高度专业化、重复性的算法驱动的流程中已经取得了巨大进步,例如针对相关内容或产品提供“您可能有兴趣了解…”的建议的网站,增强分析通过任务自动化来减少人们在处理数据(例如数据准备、数据发现、运行统计分析等)时需要付出的时间和精力。
*化:加速分析普及
增强技术通常易于使用,降低了技术门槛,这使得广泛的业务人员可以大幅减少对数据科学家的依赖,能够基于增强分析的结果更充分的发挥自己的业务专业知识,当更多人参与数据分析时,数据素养就会提高。随着时间的推移,组织文化发生了变化。越来越多的团队开始习惯于使用数据并通过协作来创造商业价值。
五、增强分析演示
眼见为实,耳听为虚,这里介绍几个增强分析的具体演示案例。
1、数据问答
数据问题让您的用户使用自然语言回答业务问题。此过程非常简单,只需输入您的问题,然后获得可视化答案。“数据问答”提供了一种直观的引导式体验来构建查询,用户不用进行拖放,也无需了解维度和度量。自动更正和同义词识别功能有助于填补空缺,最准确地体现问题中隐藏的用户意图。
“数据问答”可以直接集成到仪表板中,因此用户在查看经过整理的数据后,只需单击一下就可以提出下一个问题。您可以在任何门户或应用程序中嵌入“数据问答”,进一步扩大其影响力,以下是Tableau产品的一个示意:
下面是Qlik展示的一个视频,销售主管可以采用自然语言搜索的方式轻松实现按国家/地区维度比较销售额和利润的分析。
2、数据解释
数据解释可以运行统计模型并检查特定数据点值背后的数百种潜在解释,从而在见解探索过程中找出重点。这项功能会使用日常用户可以理解的语言,自动通过功能齐全的 Tableau 可视化显示最翔实的解释,让用户进行进一步探索,以下是Tableau产品的一个示意:
六、增强分析挑战
1、认知问题
由于人工智能和机器学习的潜在复杂性,人们仍然非常关注技术本身,而不是普通人如何与之互动并从中受益。除了对机器抢走人们工作的误解外,这还可能阻碍采用为处理数据的人提供实际好处的解决方案。如果人们不理解和不信任其价值,他们就不会使用人工智能和增强分析。
2、数据质量
数据质量对于增强分析至关重要,因为它确保 AI 和 ML 算法有准确的信息可供使用,但数据质量管理往往属于脏活累活,对于没有丰富数据处理经验的人来说,这是一个巨大的挑战, 为确保高质量的数据,企业应加快数据治理体系的建设,否则,增强学习成功的机会微乎其微。
3、模型管理
过时的数据和业务的变化要求定期训练模型,并定期更新算法来处理不断变化的数据资产,这对增强分析平台和工具的持续运营提出严峻挑战。
4、数据素养
增强分析不需要用户成为技术专家,但他们仍需要具备基本的数据素养,要学会如何用数据驱动的方式思考业务,只有这样才能充分利用好增强分析平台,同时还必须学会批判性地思考数据, 根据错误的数据或来自 AI 系统的错误建议采取行动将导致错误的决策和资源浪费。
在ChatGpt之前,我对增强分析并不是很感冒,但现在多少改变了些看法。