网站的风格对比信息表,wordpress模板能修改吗,seo黑帽是什么意思,代理记账公司收费价格做数据分析#xff0c;什么大模型比较合适#xff1f; 如何调优大模型#xff0c;来更好地做数据计算和洞察分析#xff1f; 如何降低整体成本#xff0c;同时保障分析体验#xff1f;10月25日#xff0c;我们发布了数据分析场景下的大模型能力评测框架#xff08;点击…做数据分析什么大模型比较合适 如何调优大模型来更好地做数据计算和洞察分析 如何降低整体成本同时保障分析体验10月25日我们发布了数据分析场景下的大模型能力评测框架点击查看Kyligence LLM Benchmark for Data Analytics
该评测发出后我们陆续收到多家客户、大模型厂商等对于评测大模型的询问。在过去的近一个月我们又陆续新增了一批大模型作为评测对象如 GPT-4、文心一言 Ernie-Bot-turbo、通义千问 Qwen-14B、Minimax 等初步得出以下结论并在下文第 4 章节给出相应的优化建议。 GPT-4 综合成绩最强国产大模型表现已经基本不弱于 GPT-3.5不同大模型在“数据计算”方面的差异较大且参数越高表现越好多数大模型在“数据洞察”方面的表现接近一些低参数大模型的表现依然强劲这意味着可以通过“大数据大模型”结合来实现低成本的 AI 数据分析场景 图 1 大模型在数据分析场景下的能力评测结果2023-11 #01 评测坐标系 从普遍意义上来讲“数据分析”的定义为数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。我们从这个定义出发把数据分析拆解为如下两个关键过程数据计算和数据洞察。 1.1 数据计算 数据计算过程指在用户给定分析指令的前提下由大模型进行指令解读并识别用户的分析意图、匹配业务指标并从数据库或其他数据源获取指标数值的过程。 值得说明的是从外部获取数据一般有两种方式一种是传统的 Text-to-SQL 即大模型生成 SQL 语句访问原始数据库并完成取数、计算等工作另一种是大模型生成 API 请求来访问指标平台以直接获取指标结果。我们在 Kyligence Copilot 使用第二种方式因为在这种方式下所有的指标结果是由指标平台提供的而不是大模型计算从而确保指标数据准确性避免“幻觉”的出现同时保障企业内的指标口径一致性和治理合规。 对于大模型而言这个过程重点考察两个方面一是对业务问题的理解和意图识别能力二是生成代码以访问外部系统的能力。 1.2 数据洞察 数据洞察过程指在用户拿到指标数据之后开展一系列分析、洞察动作并获得洞察结论。在传统数据分析的模式下很多数据分析师会以 Excel 或 CSV 格式的文件形式获取指标数据并由此开始进行可视化作图、归因分析等操作。 对于大模型而言这个过程重点考察两个方面一是以专业的语言表达和润色能力来解读所发现的洞察信息二是通过可视化、文字总结等形式对统计数据进行可视化展现向用户证明和支撑自己所发现的洞察。 #02 评测方案 在上个月发布的《大模型在数据分析场景下的能力评测》中我们提供了 7 个评测维度。在本文中我们将从数据计算、数据洞察这两个方面对这 7 个评分维度进行归类并通过这 7 个维度的评分来反映各个大模型在这两方面的能力表现。 关于这 7 个维度的介绍本文不再重复介绍如需了解详情请查阅《大模型在数据分析场景下的能力评测》文章。 图 2 评测坐标系的 7 个评分维度 在本轮评测工作中我们新增了以下大模型进行评测Azure OpenAI GPT-4、通义千问 Qwen-14B、文心一言 Ernie-Bot-turbo、MiniMax 等。另外由于测试数据集更新迭代我们也对上一轮评测的大模型进行重跑包括 Azure OpenAI GPT-3.5-Turbo、智谱 AI 的 ChatGLM-Pro 和 ChatGLM-Std、百川智能 Baichuan2-53B 和 Baichuan2-13B、开源 Falcon-40B 和 LLaMA2-13B 等大模型。 #03 评测结果 根据《大模型在数据分析场景下的能力评测》提到的 7 个评分维度我们对上述所有的受测大模型进行评测并整理分数如下 图 3 大模型在数据分析场景下的能力评分 我们根据图 2 所示的分类关系把这 7 个评分维度投射到由数据计算、数据洞察两个角度组成的评测坐标系中可以很直观的看到不同大模型的能力分布情况X/Y 坐标代表该分类各维度评分的平均值气泡大小代表综合能力评分 图 4 大模型在数据分析场景下的能力评测结果2023-11根据以上测试结果我们初步得出以下结论 GPT-4 综合成绩最强国产大模型表现已经基本不弱于 GPT-3.5从数据计算的角度看不同大模型表现差异很大参数越高表现越好从数据洞察的角度看多数大模型表现接近一些低参数大模型的表现依然强劲这意味着可以通过“大数据大模型”结合来实现低成本的 AI 数据分析场景 #04 结果分析和优化建议 4.1 从“数据计算”角度 首先我们从数据计算方面对评测结果进行分析。如结论中提到不同大模型表现差异很大尤其是参数较高时表现较好。但参数越高的模型往往需要较高的算力成本在企业实际落地时往往需要综合考虑收益和成本比例ROI。 图 5 优化大模型在“数据计算”方面的表现 因数据计算过程主要是自然语言理解以及代码生成过程是比较通用的大模型能力对专业的数据分析能力涉及不多。如图 5 所示如希望在优化模型表现的同时兼顾算力成本可以通过集成第三方数据服务平台的方式如与指标平台实现更紧密的集成。即企业通过指标平台定义并管理所有业务指标的名称、计算逻辑等并通过 API 方式供应用端获取指标定义和指标数据。在这种方式下大模型进行指标匹配、代码生成等的难度将降低有助于保障整体准确度。除此之外所有的指标数据将由指标平台计算得出而不是大模型自行计算这也将在数据计算准确度和指标口径统一管理方面带来显著增强。 4.2 从“数据洞察”角度 其次我们从数据洞察角度对评测结果进行分析。如结论中提到多数大模型表现接近个别模型表现欠佳。因为数据洞察过程是分析数据并产生结论的核心过程有较强的专业性。我们猜测这和模型训练时使用的语料有关因为数据洞察场景的 Prompt 输入和输出要求较为专业且和相应的业务分析场景有关而大模型训练时的语料库主要来自互联网和数据分析场景的语料类型可能有较大差异。 图 6 优化大模型在“数据洞察”方面的表现 如图 6 所示如希望提升模型在数据洞察方面的表现可以通过增加更多数据分析场景的语料输入对模型进行微调从而优化大模型在该场景下的效果。 #05 已知限制和情况说明 本次评测数据集基于 Kyligence Copilot 使用场景总结可能不适用于企业所有数据分析场景 本次评测基于各大模型服务的默认配置未进行任何调参值得说明的一点是对大模型服务进行调优可能进一步优化评测结果 本次评测针对不同大模型所使用的算力情况如下 GPT-4 / GPT-3.5-Turbo / ChatGLM / Baichuan2-53B / MiniMax / 文心一言均基于厂商提供的 SaaS 服务算力资源不详Falcon-40B / Baichuan2-13B / LLaMa2-13B / 通义千问 Qwen-14B 是基于对应的开源模型在实验室私有化部署了本地服务算力为 4 块 NVIDIA RTX 4090 24GB 显卡因算力有限等因素我们尚未对 LLaMa2-70B 完成评测同时我们期待在开源大模型有更好中文支持的情况下再次进行评测 #06 结语 在本轮评测中我们从数据计算、数据洞察两个方面对大模型评测结果进行了归类并提出不同方向的优化建议。如果您正在对大模型进行技术选型或正在探索大模型在数据分析场景的应用落地与优化方案欢迎与我们联系沟通。 11月21日Kyligence 将举办线上数智论坛暨产品发布会我们特邀了来自德勤、智谱 AI、百川智能、阿斯利康等嘉宾分享大模型 大数据的最新探索与实践届时我们将发布 AI 数智助理 Kyligence Copilot 支持国产化大模型以及智能一站式指标平台的企业级能力与实践。欢迎大家点击「链接」查看完整议程并报名参会 关于 Kyligence 跬智信息Kyligence由 Apache Kylin 创始团队于 2016 年创办是领先的大数据分析和指标平台供应商提供企业级 OLAP多维分析产品 Kyligence Enterprise 和一站式指标平台 Kyligence Zen为用户提供企业级的经营分析能力、决策支持系统及各种基于数据驱动的行业解决方案。 Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售、医疗等行业客户包括建设银行、平安银行、浦发银行、北京银行、宁波银行、太平洋保险、中国银联、上汽、长安汽车、星巴克、安踏、李宁、阿斯利康、UBS、MetLife 等全球知名企业并和微软、亚马逊云科技、华为、安永、德勤等达成全球合作伙伴关系。Kyligence 获得来自红点、宽带资本、顺为资本、斯道资本、Coatue、浦银国际、中金资本、歌斐资产、国方资本等机构多次投资。
