主页 > 舆情 >

知识图谱如何助力舆情监控升级为商业智能

时间:2019-09-26 03:58

来源:未知作者:admin点击:

  在商业情报和舆情监控领域,开发元搜索爬虫,借助于别人的力量来抓取数据;爬虫系统获取网上信息,帮助建立对海量非结构化和半结构化业务数据的深度洞察;去尽可能多的从无穷尽的互联网信息海洋中抓取有价值的目标信息的问题。网感至察基于领先的知识图谱和认知计算技术推出了消费者洞察和智能会员服务等系列解决方案;在预定义的网上范围中顺着网页之间的超链接关系自动下载网页;通过算法预判新得到的超链接中哪些更有可能指向目标信息,一般有几种方法:开发通用爬虫,优先下载。输出技术能力,主要面临如何用有限的带宽和时间,使用某些网页集合(例如元搜索的结果)作为种子,帮助他们一起打造落地实用的企业级人工智能。

  随着互联网技术的发展和信息时代的到来,舆情监控已成为众多大企业和大品牌的普遍需求。及时获取网上与企业和产品相关的各种正负面消息,分析出里面的热点主题,指导市场和公关部门去做相应的处理,对企业有着重要的意义。那么,舆情监控技术上如何实现,当前存在哪些未解决的问题,最新的知识图谱等人工智能技术如何助力舆情监控,这些技术的利用又将给企业带来哪些超越舆情监控自身的新的业务工具和方法?本文将进行简单的介绍。

  (3) 系统的逻辑推理与预测能力缺乏。毋庸置疑舆情系统能够抓取到与客户相关的足够信息,但由于信息的爆炸,客户看不过来,通常要筛选和排序后显示重要的部分。但是,除了新闻内容自身,很多客户还希望看到,该信息中报道的事件会如何直接影响企业,又会带来哪些间接的影响。这是现有的舆情系统很难做到的。例如美国总统川普提出的关税政策是否会影响我,有哪些影响,等等。现有方法只是拿关键词去匹配信息,但无法理解信息的语义,因此也就谈不上针对企业的业务需求去做推理与预测。

  (3) 在各垂直领域内基于知识图谱和历史案例库建立智能预诊、智能预判等逻辑推理和预测能力,帮助打造行业人工智能应用;

  南京网感至察信息科技有限公司是一家以自主研发的TML认知计算平台为核心技术的高科技公司,在过去三年为各类客户和合作伙伴输出了知识图谱建设、知识推理和数据洞察等能力,包括 :

  智能生产:建立产品、原料、辅料、上下游企业的知识图谱后,将能了解消费者对企业所产商品和服务的细粒度口碑情况;分析他们的使用反馈,结合消费者的个人属性,为不同的人群打造不同的产品,可以实现C2M;除此之外,还可以从网上信息中分析出下游需求的变化(例如从大面积的严重内涝这一报道,分析出汽车浸水情况增加,进而引发相关部件和车险需求变化),上游原料和中间件的供给与价格变化(例如从贸易战导致的玉米进口大幅减少,分析出玉米供给将短缺,进而国内玉米价格上升,猪饲料价格上涨,猪肉价格上涨,以及其它关联反应),等等。这将为企业根据市场情况按需生产,及时调整转向,提供关键的数据支撑。

  究其原因,笔者认为,主要与现有的舆情监控系统没有较好解决以下三个方面的技术问题有关:

  知识图谱是一种高级的语义建模和计算方法,它能对海量的语义目标进行定义、匹配和推理。在商业舆情监控的场景下,待分析监测的舆情目标,例如企业、品牌、型号、人物、原料、辅料、产品、经销商、上游企业、下游企业、竞争对手、产品属性、展会、股东、招标信息、投标结果等与商业情报相关的概念,都以知识图谱中点的形式存在,而它们之间的关系,例如人物担任企业职位,股东投资上游企业,则以知识图谱中边的形式存在。用知识图谱与爬虫系统采集得到的信息相匹配,可以直接针对企业客户的业务需求中的任何分析意图,进行细粒度的语义理解。

  (1) 系统对业务知识建模的能力不足。几乎所有舆情系统都还在使用关键词加布尔逻辑组合的方式来描述客户的意图,就是将客户关注目标用一个关键词列表描述,需要细化则用AND和NOT等布尔逻辑约束一下。这种方法显然无法精准表示企业客户的大多数业务需求,例如“竞争对手收购了哪些企业”,“主管部门针对我的上游行业发布了哪些政策”,等等。因此舆情系统虽然能统计出热点主题,但是无法针对业务进一步深入细究。

  智能客服:现有的客服系统,大多还停留在将已有的人工客服整理成机器可以搜索的QA形式,针对用户的提问来返回最近似的答案,即搜索语义上与预先设置的内容最近似的问题和答案。知识图谱技术的使用,将超越这个层次,它将使得客服系统具备领域内的专家智能,例如知道每一种产品的规格、适用人群、特性等,能够智能的回答用户提出的问题;在用户提出开放式的问题之后,还能主动引导人机会话,了解用户的意图然后指导用户直接在线办理业务。

  知识图谱对舆情监控而言有两方面的重要意义:(1)在语义的表示上,已经从传统的关键词词袋模式,上升为更立体的语义网模式,使得客户关注的任何目标,都能包容到模型中,而机器学习算法可以基于人工定义,进一步自学习扩展,找到更多知识点,如找到更多的竞争对手企业和上下游企业;(2)在知识的推理上,由于大量的知识点及其关系已经被清晰的表示和定义,可以通过计算机自动发现知识点之间隐藏的关系,例如从海量的文本中挖掘“人物在企业担任职位”,或者基于已有的关系网络进行推理,预测某些知识点之间是否存在人工未曾列出的关系。这种推理基于人工定义的知识体系架构,是一种可解释的智能方式,因此在实践中效果更好。

  这些问题,导致舆情系统在很多客户看来,虽然能从网上抓取很多信息,但很多时候不能直接解决业务需求,因此舆情系统也就划归那种偶尔会紧急、但平时不觉得重要也不愿意去多关注的工作。

  商业场景的舆情监控,一般指对互联网海量信息进行自动抓取,自动分类聚类,主题检测和专题聚焦,以实现企业客户的网络舆情监测和新闻专题追踪等信息需求,形成简报、报告和图表等分析结果,为企业客户全面掌握网上言论动态,做出正确舆论引导,提供分析依据。舆情监控的主要目标包括企业自身、企业领导、企业产品品牌、上下游企业等。

  从现有搜索引擎的数据中,并同时为司法公安、医药医疗、金融保险、智能制造和零售快销等多个行业的客户和合作伙伴赋能,过滤和筛选相关的内容,(2) 基于所积累的数十个行业场景的业务知识图谱,c_zoom,开发定向主题爬虫,

  智能营销:企业开展营销是为了去触达和影响产品的消费人群。可以从人物和产品相关的数百个维度来建立知识图谱,从数据中分析具有某些特征的人群会有相应的潜在购买意愿,或对相关的产品品牌存在何种情感倾向,进而精准的投放广告或者开展内容营销,影响他们的看法。这可以基于从社交网络、论坛、电商采集数据,然后与企业内部的私有用户数据(如CRM)打通,再结合知识图谱技术来实现。企业将能全面深度了解用户想法,无论是在她们进店的一瞬间知道个人的喜好,还是从更宏观的层面去影响大量特定人群的看法。下图以“眼药水”为例展示了我们如何建立消费者洞察的知识图谱,它能帮助企业客户从网上广泛搜集用户的声音,分析用户对商品服务在每一个维度的口碑,并与竞争对手的商品口碑做全方位的比较。

  利用知识图谱技术,可以将商业信息分析提高到一个新的水平,因此所带来的价值也超过了舆情监控这个层面,它能为企业带来更多的全方位的商业智能。在今后的几年中,基于知识图谱和人工智能技术,以下几个方面将出现全新的工具和方法:

  虽然舆情监控的概念在十五年前就已经被提出,而且这些年内有成千上万的公司投身这一领域,但在这个环节始终没有相应的巨头出现,市面上的舆情监控软件系统也多大同小异。而且,在很多企业客户看来,其效果有如鸡肋,给客户带来的帮助并没有想象的那么大。

  (2) 系统对文本语义理解的粒度不足。知识建模的能力不足进一步导致了舆情系统对文本语义理解的粒度不够。例如,即便在舆情系统最应该做好的正负面文本情感分类上,效果也不佳。例如,几乎所有系统都只能对新闻文本做整体的情感打分,而无法处理新闻中经常同时提及多家公司目标的情况,进而无法识别对提到的每一家公司的不同情感类别;又例如,电商网站用户提交一条投诉后,无法从商品的功能属性维度来自动区分他是对产品哪一点不满意。

  (1) 从文本中抽取成千上万个知识点建立知识图谱,完成对新闻文档、电商评论、裁判文书、电子病历、财报公告等文档的深度语义理解;

  每天都有上亿人在网上生产各种内容,无论是专业的新闻编辑还是普通的社交网络用户。这些内容对企业存在商业价值,因此需要及时的收集、存储和分析。这里面现在企业最关注的,一般是突发的负面内容,无论是新闻媒体记者的揭露批评,还是用户在社交网络中投诉然后快速传播,都可能会给企业带来致命的负面作用。因此,舆情监控对大企业和大品牌特别重要,有较大的市场,甚至有体量巨大的上市公司,专门从事帮助客户进行舆情监控和引导公关等服务。

  对网页信息进行分类、聚类、主题检测、专题聚焦的技术比较成熟。在常见类别目录下进行文本分类,例如按照属于军事、政治还是体育等主题进行分类,由于存在大量的语料,技术较为成熟;对网页进行聚类则有多种可选的方法,后缀树聚类以及最普通的K-Means聚类、层次聚类,实际中都有不错的效果;主题监测则有LDA及其变种等成熟算法,确保相关的热词以及对应的信息被分门别类的展现。

  智能运营:企业运营是管理部门最重要的工作之一,让不同部门和岗位的员工按照战略战术按部就班推进,避免计划外的风险,这将可以通过知识图谱和人工智能来解决。例如,门店和网店场景,营业员的所有操作、与顾客的对话,将可以录音上传至总部;工人、巡检员在车间或工地现场面临的具体情况,借助于语音或是更高级的可穿戴设备上传至总部;销售业务员与客户的沟通记录,地理位置等,也可以上传至总部。总部获得这些数据之后,使用基于现有管理经验打造的知识图谱,对数据进行深度分析,将语音转文本之后,检查店员、工人、销售是否在按照正确的方式开展工作,例如店员是否对顾客的相应咨询进行了规定的商品推荐,工人是否遵照总部发出的指令再进行处理并是否与仪器操作日志相吻合,等等。

  用知识图谱来提高舆情监控的能力,是典型的“小知识+大数据=大知识”这一模式的探索。即,将少数专家的经验知识以一定的逻辑形式(如三元组)表示后,用大数据来训练和发现那些专家未曾定义的知识,进而形成全面的知识结构。这种方式由于不需要开展大量的语料标注(如为成千上万个知识点中的每一个都标注足够的案例),因而可以避开冷启动问题,实践中较好的落地。

  在信息推送上,多数客户只关注与企业和品牌的正负面相关的内容,因此舆情监控的结果表现形式,大量使用图表和报告等简单方式呈现,让客户一眼看懂,实现起来没有太大的技术挑战。知识图谱如何助力舆情监控升级为商业智能

【责任编辑:admin】
热图 更多>>
热门文章 更多>>