2019年3月情报探索第3期(总257期)MAR.2019InformationResearch No.3(Serial No.257)
覃显晶王祥伟庄卉卉
(西安电子科技大学图书馆陕西西安710071)
摘要:[目的/意义]旨在为人工智能技术在图书馆中的应用研究提供参考。[方法/过程]通过文献调研图书馆参考咨询机器人的应用研究现状,分析存在的问题以及需求。[结果/结论]提出基于深度学习技术的解决方案,并给出关键技术的实现流程。该方案能持续优化语料库,在很大程度上提高智能咨询解答的准确度。 关键词:智能咨询;图书馆机器人;人工智能;参考咨询;智慧图书馆
中图分类号:G252文献标志码:A Adoi:10.3969/j.issn.1005-8095.2019.03.0015
Design and Implementation of Library ConsultingRobot Based on Artificial Intelligence
Qin Xianjing Wang Xiangwei Zhuang Huihui
(Xidian University Library,Xi’an Shaanxi710071)
Abstract:[Purpose/significance]The paper is to provide references for the application of artificial intelligence in the library.[Method/process]The paper uses document research to study the application of library consulting robot,and analyze the existing problems and the requirements.[Result/conclusion]It puts forward a solution based on deep learning technology,and gives the imple-mentation process of the key technology.The solution can continuously optimize the corpus and greatly improve the accuracy of the in-telligent consultation.
Keywords:intelligent consulting;library robot;artificial intelligence;reference consultation;smart library
0引言
参考咨询服务是传统图书馆的核心服务之一,多年以来一直在读者服务中发挥着重要的作用[1]。随着信息时代数据的海量增加、互联网的渗透与发展,读者的网上咨询量越来越大,对获取信息的即时性要求也越来越高。然而,传统的咨询台、电话、网站留言、QQ、等方式只能在咨询馆员正常上班时间提供解答[2],无法满足读者实时咨询的需求;早期开发的图书馆智能咨询机器人由于专业语料库的缺乏、语义识别准确率低等原因,导致解答准确率低,无法真正解决读者的咨询问题。
因此,研究全天候的高准确率的图书馆智能咨询系统对提升图书馆的服务质量具有重要的意义。
与此同时,人工智能迅速发展,对于机器人取代人工去做一些重复的、人类不擅长的计算量大的工作有很大的想象空间[3-4]。在此背景下,一些巨头公司已经朝此方向发力推出了一系列问答类机器人的产品,例如苹果的Siri[5]、微软的小冰[6]、Google Now[7]、百度语音助手等,在一定程度上满足了人们获取百科知识,查询生活信息的需要。但是上述的问答机器人都是面向开放领域的系统,没有专业知识库的支撑,只能解答有限类型的问题,对于专业度较高的图书馆领域并不适用,无法深入解决专业问题[8]。对于图书馆来说,要在人工智能的浪潮中取得一席之地,必须及时跟进研究,探索应用与应对之道[9]。本文将研究如何构建网络环境下的智能咨询服务体系,运用智能机器人提升图书馆的服务质量,为读者提供人工智能时代实时、智能、便捷、高效的咨询服务,真正提高读者检索获取信息的效率。1图书馆智能咨询机器人的发展现状
图书馆智能咨询机器人的主要特点就是读者可以通过自然语言描述问题,机器人在理解问题的基础上在图书馆知识库中检索,返回相匹配的答案。使用咨询机器人的好处是用户可以以自然语言的聊天方式获取相关信息或者执行任务,使得人机交互更加人性化和个性化。智能咨询机器人虽然已经出
收稿日期:2018-11-16
作者简介:覃显晶(1987—),女,博士,馆员,研究方向为图书情报学;王祥伟(1990—),男,
硕士,馆员,研究方向为图书情报学;庄卉卉(1985—),女,博士,馆员,研究方向为图书情报学。
2019年3月情报探索第3期(总257期)
现很多年了,但是真正进入图书馆界的时间并不长,目前正处于一场机器人革命的早期阶段[10-11]。在国外,最早开展图书馆智能聊天机器人研究的是德国汉堡大学等一些欧洲图书馆,之后其他图书馆开始了进一步的研究。内布拉斯加大学林肯分校的聊天机器人通过对图书馆网站和聊天记录进行数据挖掘,构建知识库[12-13]。日本法政大学设计了一个聊天机器人学习系统,可以返回知识库中包含的所有相关信息的回答,并在与用户的交流中更新语法规则库。阿拉伯开放大学设计了一个基于语料库能自动生成不同ALICE原型的实验,这些原型可作为一个工具来进行不同语言的训练、语料库的可视化以及问题答案的提供[14]。国内最早开展图书馆智能咨询机器人研究的是清华大学图书馆,在2010年推出基于AIML人工智能标记语言的咨询机器人“小图”[15],受到了图书馆业界的广泛关注,为同行提供了很多值得借鉴的地方。后面陆续有一些图书馆也推出了智能咨询机器人,如上海交通大学图书馆基于MSN的智能聊天机器人[16]、重庆文理学院图书馆基于AIMLBot(文本自动回复)实时虚拟参考咨询服务机器人[17]、辽宁大学图书馆基于TQ的实时[18]等,以及省级公共图书馆浙江图书馆参考咨询机器人、上海闵行区图书馆机器人[19]。
目前的智能咨询机器人主要存在2个方面的问题。一是图书馆专业语料库的缺乏且不能动态自动更新,机器人没有丰富的知识库和足够聪明的大脑,在专业性咨询和服务上无法满足读者的需求。由于图书馆专业语料库的不足,相关技术应用的成熟度不够,目前大多数图书馆的人工智能咨询机器人还处于试用和性能改进阶段,真正能够进入图书馆真实场景的成熟机器人还很少。二是解答的准确性低,上述智能咨询机器人在构建语料库时使用的是中文分词,剔除无效词,建立倒排索引,通过计算查询语句和语料库中记录的相似度来获取解答,因此,只有符合查询格式的咨询语句才能得到比较准确的答案,而对于自然语言形式的提问,则往往会答非所问。
针对以上2个问题,本文提出基于深度学习技术的智能咨询机器人构建方法,随着机器人的不断使用,通过持续学习和训练,不断优化和完善语料库,机器人能力不断累积提升;在识别问题时,根据上下文和读者进行多轮对话,像真人一样完成复杂场景的任务,使得机器人识别准确率达到95%以上。
2人工智能时代图书馆咨询服务创新机制研究2.1工作模式
u型吊臂西安电子科技大学图书馆(以下简称我馆)智能咨询机器人系统以晓多智能科技公司提供的机器人平台为基础,主要借助网站、、QQ、APP等软件为读者提供咨询服务。具体的工作模式如图1所示,机器人通过接口对接方式与图书馆的网站、、QQ咨询、APP等客户端对接,而读
者通过这些客户端登录,这样读者和机器人之间就建立了一条通信链路;机器人接收到读者提出的问题后,对问题进行智能语义分析,并到图书馆知识库中检索答案返回给读者。该机器人系统支持多渠道智能咨询服务,、网页、QQ、APP等所有渠道的互动,后台一目了然,统一管理。智能机器人使用自然语言识别与智能检索体系,可以准确识别读者提问意图,并推送读者标准专业答案,与此同时还会推荐与读者提问相关的内容供读者选择
。图1多渠道智能咨询工作模式
2019年3月覃显晶等:基于人工智能技术的图书馆咨询机器人设计与实现第3期(总257期)
2.2系统框架
本文的智能机器人基于问法处理、语义识别解析、
对话流程、容错处理、信息检索实现全渠道接入和全媒体交互,
支持独立部署和云平台部署,后台训练系统支持自动学习、
车载数字电视深度学习训练引擎。除此之外对于无法识别的新问题可以做快速处理学习或转
人工回复,对于热门问题可以自学习添加,知识库分类,
并可实现标准问答和关联知识、问题的增删等。训练系统提供多样化的样本生成和同步学习训练功能支撑。具体架构见图2
。
图2图书馆智能咨询系统框架
整个系统划分为以下3层:
(1)访客端:该智能咨询机器人可以进行多种渠道的对接,
实现全面的人机交互。网站渠道可以嵌入生成的代码在站点嵌入窗口式会话框,
或自定义入口位置图标通过链接嵌入;仅需管理员账号扫描自动生成的二维码即可授权接入;QQ 咨询通过专用的QQ 插件登录QQ 机器人;APP 接入可通过标准化的接入接口进行对接。同一个语料库可以支持多个渠道多个站点同时工作,不同渠道可设置不同欢迎语、
热门问题和未识别问题的回复话。
(2)管理端:包括机器人管理、问题处理以及意图识别,
其中机器人管理主要包括语料库管理、热门问题推荐、
未回答问题自动转接至人工回复等,同时还可以对机器人进行管理员个性化需求的设置,查看历史记录、
数据统计报表。对于读者的问题进行全方位处理,包括对话切分、多维度特征提取、智能分词、
智能纠错,处理完成后,转化为高维向量。对于读者意图精准识别,
把转化的高维向量导入意图识别模型,
进行深度神经网络计算,输出识别结果,跟标准问题的匹配度概率判断,进行置信度达标判断,
最后将读者意图定位到目标问题。(3)训练系统:首先初始化语料库,让其具备初始智能识别能力;然后通过给语料库问答添加少量
样本后开启训练,
即可让机器人拥有强大的泛化能力,举一反三识别更多问题,识别准确度大大提高;
随着读者提问的增多,可以为学习度低的问答添加样本,持续优化,丰富完善语料库问答内容。2.3
无缝人机转换的服务体系
本文提出的智能咨询系统可以灵活切换智能问答接入模式:纯机器人模式和人机协作模式,如图3所示。无任何人工介入的时候机器人全面应答,有
2019年3月情报探索第3期(总257期)
人工介入时可切换为人机协作模式,在人机协作模
式下优先由机器人进行应答,
当机器人无法识别用户意图或无法匹配目标问题和答案时,
自动转接至人工客服,
并支持声音消息提示,实现机器人到人的无缝转换。人工接待模式下,
机器人以应答助手的角协助人工回复,
推荐高匹配度答案供人工客服快捷选择回复。人工可随时将接待任务全面托管给
机器人,机械制图标题栏
实现人工到机器人的无缝转换
。图3无缝人机转换模式
网站生成系统
2.4智能问答关键技术2.4.1
提问和应答处理
智能咨询提问和应答处理流程如图4所示。
(1)使用上下文对话系统进行session 切分;(2)对用户的问题进行多维度的特征提取,如
ngram 特征、正则表达式特征、题模型特征等;
(3)使用NLP 相关技术处理原始问题。如对问题进行智能分词,
利用海量数据训练积累的基础模型对分词进行纠错、
词嵌入转换等处理,融合上一步特征提取得到的多维度数据,
最终得到用户问题的高维空间向量表示。
蚀刻标牌
然后使用问题意图识别模型在线进行用户意图预测:
(1)将预处理得到的问题的高维空间向量表示
输入模型,
进行深度神经网络计算;(2)计算结果输出与标准知识库中知识的匹配概率分布,通过置信区间过滤将预测的用户意图和答案输出。
最后对未识别问题记录日志,通过在线日志挖
掘、
意图聚类等方法在线训练问题识别模型,使模型的能力不断增强
。
图4智能咨询提问和应答处理流程
2019年3月覃显晶等:基于人工智能技术的图书馆咨询机器人设计与实现第3期(总257期)
2.4.2学习和训练处理
问题识别模型构建主要包括训练集构建和问题识别模型生成2步。其中训练集构建包括问题收
集、语料库构建、语料标注等子步骤;问题识别模型
生成包括模型训练、模型评测等子步骤,如图5所示
。
图5智能咨询语料库学习和训练处理流程
问题收集和语料库构建采用人工和算法结合的
方式,
首先对问题领域进行分析,到种子问题。然后对种子问题进行智能分词,
每个词通过词嵌入等自然语言处理技术把相关的词出来,
结合词性标注、
位置序列等信息做笛卡尔积,构建大规模的语料库。再通过人工标注对语料进行标注,
去掉无效语料。最后结合深度学习的长短期记忆网络和卷积神
经网络,
对训练集进行训练,通过模型评测保证训练质量。当准确率达到判定阈值后模型上线运行。
3智能咨询的功能特点3.1
24小时实时在线,即时应答
智能机器人可以大大减少图书馆员日常重复性的工作,
为读者提供全天候的一对多咨询服务,且不受时间和地点限制,
不受疲劳度、情绪、环境的影响,真正做到随问随答即时性回复。针对网站、、
APP 各类渠道产生的大量咨询,支持高并发、大流
量响应,
准确快速解决读者问题并保证更多读者稳定的服务体验。
3.2多渠道快捷接入,便捷维护,统一管理
智能机器人可实现门户网站、、APP 、QQ 咨询等多种渠道的快捷接入,知识库只需做高频常见问题的初始化部署,
无需额外接口开发,
不改变原有网站结构,知识库可使用现有高频常见问题内容资源轻松导入,
随着使用自学习语料库会自动增长,
整体成本远小于多个图书馆馆员专门对接应答的投入。所有接入的渠道产生的数据实现电伴热带温控
统一管理。3.3
全面的应答场景处理
结构化的答案支撑各类回答类型,图片、链接、表格等富文本形式皆可兼容。针对用户提问类型的