|
|
编辑：好困 桃子【新智元导读】AI爆发当下，分分知识管理怎样才能高效？这家做机器问答十年的钟手知识公司，用大模型重新定义了知识管理。用年云中义知近日，积淀Llama2正式发布了商用化的问道开源许可，效果可以媲美GPT-3.5，大模这将极大地推动大模型的型重新定开源商业生态的落地与发展。猎豹CEO傅盛第一时间表态，识管对大模型应用创业来说是分分极大利好。而作为基于大模型最擅长的钟手知识文本理解能力，围绕知识库、用年云中义知文档里的积淀赋能成为众多大模型生态的开发者DIY的首选方向，如ChatPDF等。问道企业的大模知识服务，是型重新定构成企业运行的关键基础。几乎所有现代企业的核心都是由人的智力资产为底座的，绝大多数的白领工作也都是基于其专业的知识技能完成的。企业知识管理的行业发展历史可以追溯到20世纪七八十年代，当时出现了超文本/群件应用系统，以及知识获取、知识工程、以知识为基础的系统和基于计算机的存在论等观点。然而知识管理这件事，在国内谈了许多年，一直没火起来，本质上还是因为知识管理还是没有摆脱上个世纪以来的「文件管理系统」标签，知识可以被存储，却难以被有效应用。作为人类的职业技能里最高的领地，大量重复的知识型工作一直都没有被机器真正取代。但如今大模型的出现，让这件事出现了一些变化。知识需要逐步走向前台，深度融入并支撑企业的生产经营活动，助力企业提升核心竞争力。
企业专属私有化知识大模型 传统大模型的开发和部署涉及复杂的技术要求，需要对深度学习、自然语言处理等领域有深入的专业知识。普通用户或非技术背景的用户很难进行自主开发和应用部署。且需要耗费大量的时间和人力，从数据预处理、模型训练到部署等环节都是非常耗时的过程。另外，因为需要根据不同的应用场景定制化大模型应用，所以传统方式往往局限在通用模型上，无法满足用户的特定需求和灵活性。针对这个情况，云问推出企业私有化知识大模型「云中问道」，将专属的行业数据微调大模型和针对性的AIGC应用融合提供。基于这套系统创建一个大模型快速应用最短只需要3分钟。不需要任何开发过程和繁琐的配置，通过简单的配置即可上线使用，大大节省了应用创建的时间，快速实现落地。云问将其AIGC应用平台的应用分为简单应用与综合应用。其中，简单应用主要面向不依赖大模型以外的数据即可完成的单任务应用，综合应用面向需要综合多个外部系统/应用的复杂类任务。
从场景消费价值反推知识管理 除了通用的大模型工具，云问主要结合企业内部知识依赖度高的业务场景，推出一系列解决方案，意在真正实现高效率赋能人工或替代人工。前文提到，知识的消费场景有限掣肘了过往的知识管理行业发展，那么如果将员工面临的所有工作场景串起来，就是运作的一条条工作流程，从关键流程出发，寻找可替代性高、可产出价值大的场景式知识管理模型，就可以快速定位企业知识管理建设的重点。用户能够根据自身需求自主创建应用，无需依赖技术人员。从云问科技的实践看来，当企业构建了一套整体的智能知识中心以后，例如从客户服务、销售辅助、研发设计、生产检修、内部支撑、人才培养几个场景中，就可以找到知识驱动业务有效转型的最佳场景。
基于云问大私有化知识模型的Y-ASK产品矩阵 而依据企业内部知识智能的技术到应用端，云问科技将知识管理的流程分为知识加工、知识消费和知识行业应用三个大模块。
基于大模型的知识加工 因为主要聚焦在企业知识服务领域，所以云问大模型针对知识加工的环节做了许多专项的任务优化。在问答知识库构建的优化方面：- 基于文档生成问题（D2Q）对技术标准等文档内容进行提问，云问大模型在保证问题答案可溯源的前提下，从多视角、多层级等方面对技术标准拆解并进行Instruct-D2Q数据的构建，赋予大模型更强的知识加工能力，服务于知识体现构建；对比现有最优中文开源大模型，云问大模型在该任务上可达到65%胜、19%平、16%负。- 基于交互记录生成问题（QA2Q）根据历史交互记录内容进行问题的补充发现，云问大模型实现了从生产中来到生产中去，为保证生成内容的可靠性，云问大模型在推理前后利用数据约束机制，保证生成结果的安全性。在信息安全方面，云问大模型在实测阶段未发现信息泄露等问题，安全性可达到100%。- 基于问题泛化问题（Q2Q）对已存在的知识体系中的问题进行泛化扩充，云问大模型在不修改问题核心诉求的前提下，通过模型泛化核心词汇、修饰语义结构、丰富语言表达，从而完善原有知识体系。并且相较于其他开源大模型，可达到75%胜、16%平、9%负，云问大模型拥有更强的领域覆盖性。- 原子知识库构建的优化：（D2D）云问将各类半结构化、非结构化文档知识自动加工为结构化数据知识的过程统一称为「知识工程」。知识工程是一种将人类知识转化为计算机可处理的形式，以便计算机能够理解和利用这些知识的技术。知识工程旨在将人类专家的知识转化为计算机可以理解和执行的形式，从而实现自动化决策、推理和问题解决。
知识大模型的知识加工能力提升 通过大量实验测试发现，ChatGPT同众多开源大模型一样都会存在一个问题，就是无法理解行业内的专业表达，这同其训练数据广泛来源与互联网新闻类社交类数据密切相关。因此云问大模型干的第一件事就是让大模型了解行业术语，我们基于过往10年的沉淀，从能源、军工、文旅等行业中收集专业型报告、标准、制度、纪要。基于这些语料，从底层词表开始重，然后开展语言表达层面的重新学习构，重新学习云问资料库中60亿token的上下文表达方向，云问的大模型相较于写小红书文案，更明白设备缺陷告警意味着什么。新一代知识问答系统是由知识+生成双轮驱动构建的。现在很多人都在关注GPT怎么生成，prompt怎么写，云问把这两块从底层重新做了一遍。Langchain确实让很多企业快速搭建私有化知识库，但Langchain注入模型的知识是未加工的文档片段，如果加入云问加工后的结构化知识「知识点、图谱三元组、常见问答」后，效果将远好于原生常见。另一方面，生成大模型，GPT-4固然好，但考虑到数据安全问题，不能把企业的知识和实际的问题直接调用GPT-4；然而开源模型的综合分析能力又比较弱。所以，云问大模型在问答、搜索、分析场景专门构建200万SFT数据集，构建的新一代知识问答大模型将优于现有开源大模型，并在自身验证的知识类场景已经近乎达到GPT-3.5的90%效果。对于生成类模型，最担心的问题就是由生成造成的幻觉问题，如何解决幻觉问题，业内都提供了一些很好的方式，云问目前是设计一套「聚合前-计算中-生成后」全方位干预的方式实现安全可控：- 在聚合前利用文本内容检测模型将敏感类数据知识加以过滤；- 在计算中通过控制词表候选集合、生成多样性温度参数、甚至包括利用构建专项可控生成安全数据集让模型在生成过程中尽可能生成内容相关文本；- 在生成后通过后处理手段，将敏感数据、人名等内容进一步脱敏，进而保证生成内容的安全可控。基于大模型的知识消费 从技术功能上来看，搜索、问答、推荐、可视化和决策支撑是知识的消费场景中的几种主要类型。在搜索场景中，人们通过输入关键词或问题，从海量的知识中寻找所需的信息。云问大模型结合场景提出了「融合搜索」的理念。首先，基于长文档的拆解技术，将文档进行片段拆解，搭配知识工程拆解能力自动进行长文档处理；然后，通过片段文本检索预处理技术，检索提前圈定精准的知识数据范围，提前处理好模型的知识参考范围；最后，采用证据定位技术，展示答案的参考片段，给出参考证据，点击可定位原文位置，辅正参考答案。 云问私有化知识大模型驱动的「聚合搜索」在问答场景中，人们直接向知识源提问，并获得针对性的回答。云问大模型采用对话增强技术，进一步提升了对话系统的性能和用户体验。技术上利用大规模对话数据，提升系统在上下文理解、用户多意图推断、对话评估与管理等方面落地应用及效果。其阅读理解能力的目的是让计算机能读懂已给定的文本段落，并进行回复。由于云问有着超大规模的业务数据，可以结合大模型的特性，进一步提升系统的语义理解与推理能力。在结构化数据直接问答方面，云问公布了其基于用户问句生成SQL的能力，即通过理解用户问句生成SQL语句，云问大模型在多表数据构造方面采用多种策略进行采样并将用户问句与数据库结构进行有效映射，构建难负例来增强模型抗干扰能力。同分布数据下单表SQL可以达到95%，在领域迁移后，也具有较好的效果。在基于用户问句生成代码方面（即根据用户问题或请求，生成相应代码，以处理相应请求完成更复杂的交换），云问大模型在20w+数据中进行训练，融合了多种问答及业务场景，将代码生成、代码执行、结果展示等功能进一步融合在业务系统中，在数据查询、报表展示、文件处理等方面取得较好的效果。在推荐场景中，基于云问大模型的知识培训系统可以自动生成标签，根据用户的兴趣、历史行为等，向用户推荐相关的或感兴趣的知识。还可以自动生成培训材料、考试试卷等。在可视化场景中，知识以图谱、图像、图表、演示文稿等形式呈现，帮助人们更好地理解和记忆。在决策支撑场景中，人们利用相关知识和信息，进行分析和判断，以支持决策。以云问发布的在「处置决策」场景中的「事件立方」为例，通过云问知识大模型提取各类报告中的原子事件，提取出事件发生的对象、地点、事件类型等要素，在前端通过要素筛选实现事件筛选。过程中，以生成式大模型为基础，分析事件内容，提供对当前事件的意图分析判断。通过定义prompt调整分析方向。基于要素对象，分析基于地点的事件发生规律、基于设备的事件发生规律，为决策者提供可视化数据分析结果。展示已定义的事件要素，用户能够通过筛选事件要素定位目标事件。将筛选出的事件按时间顺序展示，支持按对象要素筛选时间轴的展示内容。
基于大模型的行业应用 由于知识跟业务的结合离不开行业属性，所以结合深耕多年的智能知识服务在不同行业的实践经验，云问科技率先在各个行业内利用生成式大模型完成了多个客户的行业应用落地：
「百模大战」日渐深入 大模型的热度依然不减，但随着「百模大战」的逐渐深入，企业对于大模型的落地应用、真正赋能业务的变革变得越来越期待也越来越挑剔，我们应该很快也会迎来众多优秀的行业实践。而知识，作为企业数字化转型中的基座也许会成为这轮变革的重点之一。云问科技以其十年的知识智能问答数据积累和深度场景洞察为基础，正为企业知识智能服务开启全新篇章。基于云中问道大模型的新一代知识服务软件，将先进的智能技术与实际应用紧密融合，为企业提供高度稳定和可靠的解决方案。企业可以实现知识资产的高效沉淀与应用，为知识管理开辟了新的途径。这一发展方向或许标志着大模型在企业领域应用的新趋势，为行业带来了广阔的发展前景。云问科技通过基于「云中问道」大模型的知识智能服务，有望引领企业迈向一个全新的智能化时代，正如其公司的愿景写道：以AI，成就新时代最伟大的企业。 |
