第３８卷第３期 计算机应用与软件
Ｖｏｌ ３８Ｎｏ．３２０２１年３月
ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ｍａｒ．２０２１
刘浩翰 吕 鑫 李建伏
（中国民航大学计算机科学与技术学院 天津３００３００）
收稿日期：２０１９－０８－０９。刘浩翰，副教授，主研领域：图形图像与可视分析，推荐系统。吕鑫，硕士生。李建伏，副教授。
摘 要 基于循环神经网络的会话型推荐系统在建模用户点击行为时，无法同时考虑用户行为之间的时间间隔和用户的主要意图。针对该问题，在现有的基于注意力机制的会话型推荐系统和仅考虑用户行为时间间隔的Ｔｉｍｅ ＬＳＴＭ的深度学习模型的基础上提出一个新的基于会话的推荐系统ＴＡＳ Ｒ。利用Ｔｉｍｅ ＬＳＴＭ建模时间间隔影响用户行为，并利用注意力机制捕获用户的主要意图。在两个公开数据集上的实验验证了该算法的有效性。关键词 行为建模 基于会话的推荐系统 注意力机制 时间间隔 用户意图
中图分类号 ＴＰ３ 文献标志码 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００ ３８６ｘ．２０２１．０３．０２９
ＡＳＥＳＳＩＯＮ ＢＡＳＥＤＤＥＥＰＬＥＡＲＮＩＮＧＲＥＣＯＭＭＥＮＤＡＴＩＯＮＳＹＳＴＥＭＣＯＮＳＩＤＥＲＩＮＧ
ＵＳＥＲＰＵＲＰＯＳＥＡＮＤＴＩＭＥＩＮＴＥＲＶＡＬ
ＬｉｕＨａｏｈａｎ ＬüＸｉｎ ＬｉＪｉａｎｆｕ
（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＣｉｖｉｌＡｖｉａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，Ｔｉａｎｊｉｎ３００３００，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ Ｔｈｅｓｅｓｓｉｏｎ ｂａｓｅｄｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｓｗｉｔｈｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓｃａｎｎｏｔｓｉｍｕｌｔａｎｅｏ
ｕｓｌｙｃｏｎｓｉｄｅｒｔｈｅｔｉｍｅｉｎｔｅｒｖａｌｂｅｔｗｅｅｎｕｓｅｒｂｅｈａｖｉｏｒｓａｎｄｔｈｅｕｓｅｒ’ｓｍａｉｎｐｕｒｐｏｓｅｗｈｅｎｍｏｄｅｌｉｎｇｕｓｅｒｃｌｉｃｋｂｅｈａｖｉｏｒ．Ｂａｓｅｄｏｎｔｈｅｅｘｉｓｔｉｎｇｓｅｓｓｉｏｎ ｂａｓｅｄｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｗｉｔｈａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍａｎｄｔｈｅｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌｏｆＴｉｍｅ ＬＳＴＭｃｏｎｓｉｄｅｒｉｎｇｏｎｌｙｔｈｅｔｉｍｅｉｎｔｅｒｖａｌｏｆｕｓｅｒｂｅｈａｖｉｏｒ，ａｎｅｗｓｅｓｓｉｏｎ ｂａｓｅｄｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｎａｍｅｄＴＡＳＲｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ．ＩｔｕｓｅｄＴｉｍｅ ＬＳＴＭｔｏｍｏｄｅｌｔｉｍｅｉｎｔｅｒｖａｌｓｔｏｒｅｆｅｌｔｕｓｅｒｂｅｈａｖｉｏｒａｎｄｕｓｅｄｔｈｅａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｔｏｃａｐｔｕｒｅｔｈｅｕｓｅｒ ｓｍａｉｎｉｎｔｅｎｔ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｓｏｎｔｗｏｐｕｂｌｉｓｈｅｄｄａｔａｓｅｔｓｖｅｒｉｆｙｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅａｌｇｏｒｉｔｈｍ．Ｋｅｙｗｏｒｄｓ Ｂｅｈａｖｉｏｒｍｏｄｅｌｉｎｇ Ｓｅｓｓｉｏｎ ｂａｓｅｄｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍ Ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ Ｔｉｍｅｉｎｔｅｒｖａｌ Ｕｓｅｒｐｕｒｐｏｓｅ
０ 引 言
在Ｗｅｂ应用中，会话是指一个终端用户与服务器端进行通信的过程。会话中记录了用户的浏览点击
行为，该行为包含了用户的兴趣偏好。基于会话的推荐系统的目的是根据会话中所包含的用户的点击序列记录挖掘用户的兴趣偏好，为用户推荐其下一步可能感兴趣的物品。现有的基于会话的推荐系统主要分为以下两大类：主回路电阻
第一类是基于传统方法的会话推荐系统，其基本思路是基于马尔可夫链建模用户的序列行为。如Ｓｈａｎｉ
等［１］
提出了一种基于马尔可夫决策过程的会话推荐系
统。Ｚｉｍｄａｒｓ等［２］
在马尔可夫链的基础上，提出利用概
率决策树模型提取序列模式。Ｃｈｅｎ等［３］
将播放列表
作为马尔可夫链，提出利用潜在马尔可夫嵌入来学习歌曲的表示，用来解决音乐播放列表推荐问题。
虽然理论上基于马尔可夫链的方法可以很好地建模用户的序列行为，但是当组成序列的物品集和产生序列的用户集足够大时，马尔可夫链所需的状态空间会非常大，且状态空间将迅速变得难以控制。此外，由于马尔可夫链建模时默认下一状态的概率分布只与当前状态有关，使其无法很好地解决用户行为间的长期依赖关系。
第二类是基于深度学习的会话型推荐系统。伴随着ＲＮＮ在自然语言处理、语音识别和图像理解等领域
第３期 刘浩翰，等：考虑用户意图和时间间隔的会话型深度学习推荐系统１９１
中的成功应用，ＲＮＮ因其处理序列数据的能力而得到了人们的关注。Ｈｉｄａｓｉ等［４］首次将ＲＮＮ成功应用在了基于会话的推荐系统中。Ｔａｎ等［５］通过数据增强技术和特权信息方法改进了Ｈｉｄａｓｉ等的工作。Ｚｈａｎｇ等［６］也提出利用ＲＮＮ建模用户的序列点击行为。虽然以上研究都表明ＲＮＮ能很好地对用户的序列行为进行建模，但是会话记录不同于一般的行为序列，除了包括用户的序列行为之外，其还有两个重要的特征：第一个特征是用户行为之间有时间间隔，并且行为之间的时间间隔对用户行为之间的联系有非常重要的影响［７］；第二个特征是用户行为序列中往往包含很多无目的点击行为［８］，这些无关的点击行为产生的噪声数据模糊了用户的主要意图，从而影响到推荐结果的质量。
针对会话数据的以上两个特征，人们分别开展了相关研究。
（１）针对行为间的时间间隔问题，Ｓｈｅｉｌ等［８］提出了Ｔｉｍｅ ＬＳＴＭ模型，其在标准的ＬＳＴＭ［９］中加入了类似于ＬＳＴＭ中门结构的两个时间门Ｔ１和Ｔ２，用来单独处理用户点击序列的时间间隔信息。Ｌｉｕ等［１０］将用户的行为分为多种类型，利用ＲＮＮ和ｌｏｇ双线性模型分别建模用户多种行为之间的长期依赖关系和短期情景信息。通过将ｌｏｇ双线性中的特定位置转移矩阵替换为时间特定的转移矩阵，用来捕获时差信息在用户行为历史中的影响，从而得到了一个时间感知的循环ｌｏｇ双线性模型。Ｚｈｏｕ等［１１］提出了用户微动作及其持续时间对用户行为的影响。
（２）在用户意图方面，主要是利用注意力机制来消除用户无目的点击行为对捕获用户当前主要意图的影响。深度学习的注意力机制借鉴了人类视觉的注意力机制，其任务就是从众多信息中到对目标贡献最高的关键信息。Ｌｉ等［１２］通过一个混合的编码器同时建模用户的序列行为特征和用户意图。Ｌｉｕ等［１３］提出利用用户１至ｔ时刻的隐状态的均值、目标项目的向量表示、ｔ时刻的隐状态来计算注意力机制的权重系数。最后根据权重计算用户最终的隐状态。
针对会话序列的两个特征，人们已经分别开展了相关研究，但是还没有出现能同时考虑两个特征的相关研究。本文同时考虑了时间间隔和用户主要意图的影响，提出一个新的基于会话的推荐系统（Ｔｉ
ｍｅ ＡｗａｒｅＡｔｔｅｎｔｉｖｅＳｅｓｓｉｏｎ ｂａｓｅｄＲｅｃｏｍｍｅｎｄａｔｉｏｎ，ＴＡＳＲ）。ＴＡＳＲ为编码器 解码器结构。其中，编码器融合了现有的Ｔｉｍｅ ＬＳＴＭ和注意力机制，利用Ｔｉｍｅ ＬＳＴＭ建模时间间隔对用户行为的影响，采用注意力机制捕获用户的主要意图。最后两者的输出被拼接起来作为一个统一的会话表示，解码器根据该表示进行推荐。
１ 基本概念
１．１ 问题描述
假设Ｕ＝｛ｕ
１
，ｕ
２
，…，ｕ
ｎ
｝为用户集，Ｘ＝｛ｘ
１
，ｘ
２
，
…，ｘ
ｎ
｝为物品集，Ａ＝｛ａ
１
，ａ
２
，
…，ａ
ｎ
｝为评分集，代表
ｎ种等级评分。对于每个用户ｕ
ｉ
，已知其会话点击及评
分序列为Ｓｕｉ：＝［（ｘｕｉ
１
，ａｕｉ
１
，ｔｕｉ
１
），（ｘｕｉ
２
，ａｕｉ
２
，ｔｕｉ
２
），…，（ｘｕｉ
ｎｕ
，
ａｕｉ
ｎｕ
，ｔｕｉ
ｎｕ
）］，序列按照时间戳由小到大排列。其中（ｘｕｉ
ｍ
，
ａｕｉ
ｍ
，ｔｕｉ
ｍ
）表示用户ｕ
ｉ
在时刻ｔｕｉ
ｍ
点击了第ｍ个物品ｘｕｉ
ｍ
，并bimp
做出了评分ａｕｉ
ｍ
。会话型推荐系统的目标就是根据用户的历史点击序列Ｓ，给出某个用户在某个时刻可能感兴趣的物品列表。
１．２ Ｔｉｍｅ ＬＳＴＭ
Ｔｉｍｅ ＬＳＴＭ一共有三个变种，依次为：只有一个时间门的Ｔｉｍｅ ＬＳＴＭ１以及有两个时间门的Ｔｉｍｅ ＬＳＴＭ２和Ｔｉｍｅ ＬＳＴＭ３。与Ｔｉｍｅ ＬＳＴＭ１相比后两种提高了算法的效果。Ｔｉｍｅ ＬＳＴＭ２和Ｔｉｍｅ ＬＳＴＭ３的时间门结构相同，但是Ｔｉｍｅ ＬＳＴＭ３在不影响算法效果的前提下，采取耦合输入和遗忘门的方式减少了模型的参数。所以本文采用第三个变种。除非特别说明，下文中的Ｔｉｍｅ ＬＳＴＭ均指其第三个变种。Ｔｉｍｅ ＬＳＴＭ模型是在标准ＬＳＴＭ的基础上提出的。在ＬＳＴＭ中，每个细胞
Ｃ
ｍ
包含了输入门ｉ
ｍ
、遗忘门ｆ
ｍ
、输出门ｏ
ｍ
。这些门机制采用了一定的策略来控制旧信息的丢弃与新信息的更新。即在当前细胞中，遗忘门控制旧信息的遗忘程度；输入门控制新信息的接受程度；输出门控制了当前时刻下，细胞状态的值有多少是可输出的。
Ｔｉｍｅ ＬＳＴＭ借鉴ＬＳＴＭ的门机制，在ＬＳＴＭ的基础上增加两个时间门Ｔ１和Ｔ２，以实现时间间隔对用户当前行为和长期行为的影响的建模。其中Ｔ１根据当前行为与上一次行为之间的时间间隔的大小动态地计算当前用户行为对接下来推荐的影响，如式（１）所示。时间门Ｔ２用来计算时间间隔对用户行为的长期影响，如式（２）所示。
ｃ～
ｍ
＝（１－ｉ
ｍ
⊙Ｔ１ｍ）⊙ｃｍ－１＋ｉｍ⊙Ｔ１ｍ⊙
σｃ（ｘｍＷｘｃ＋ｈｍ－１Ｗｈｃ＋ｂｃ）（１）
ｃ
ｍ
＝（１－ｉ
ｍ
）⊙ｃ
ｍ－１
＋ｉ
ｍ
⊙Ｔ２ｍ⊙
σｃ（ｘｍＷｘｃ＋ｈｍ－１Ｗｈｃ＋ｂｃ）（２）
ｉ
ｍ
＝σ
ｉ
（ｘ
ｍ
Ｗ
ｘｉ
＋ｈ
ｍ－１
Ｗ
ｈｉ
＋ｗ
ｃｉ
⊙ｃｍ－１＋ｂｉ）（３）
ｏ
ｍ
＝σ
ｏ
（ｘ
DAPD001
ｍ
Ｗ
ｘｏ
＋Δｔ
ｍ
Ｗ
ｔｏ
＋ｈ
ｍ－１
Ｗ
ｈｆ
＋ｗ
ｃｏ
⊙ｃ～ｍ＋ｂｏ）（４）
ｈ
ｍ
＝ｏ
ｍ
⊙σｈ（ｃ～ｍ）（５）
１９２
计算机应用与软件
２０２１年
式中：Ｗ和ｂ分别为参数矩阵和参数向量；σｉ和σｏ是Ｓｉｇｍｏｉｄ函数；σｃ和σｈ是ｔａｎｈ函数；ｗｃｉ和ｗｃｏ是窥视孔连接权重。式（
３）为输入门，这里Ｔｉｍｅ ＬＳＴＭ耦合了输入门和遗忘门。新的细胞状态ｃ～ｍ用来存储时间间隔信息，如式（４）和式（５）所示，它参与了输出门和隐状态ｈｍ的计算，进而决定了输出的内容。式（１）和式（２）中的Ｔ１ｍ和Ｔ２ｍ为激活函数，这两个激活函数实现了时间门的作用，其定义如下：
Ｔ１ｍ＝σ１（ｘｍＷｘ１＋σΔ
ｔ（ΔｔｍＷｔ１）＋ｂ１）（６）
ｓ．ｔ． Ｗｔ１≤０
Ｔ２ｍ＝σ２（ｘｍＷｘ２＋σΔ
ｔ（ΔｔｍＷｔ２）＋ｂ２）（７）
式中：Δｔｍ是时间间隔；σΔｔ、σ１和σ２是Ｓｉｇｍｏｉｄ激活函数。可以看出，当Δｔｍ变小时，时间门Ｔ１ｍ的值变大，放大了ｘｍ对当前预测的影响，即更能体现时间间隔对当前行为的影响；当Δｔｍ变大，则Ｔ１ｍ变小，ｘｍ的影响变小进而Ｃｍ－１的影响变大，即在不确定短期影响的时候，就增加长期的影响。由式（２）可以看出，Ｔ２ｍ首先存储Δｔｍ的影响，然后将其传递到Ｃｍ，Ｃｍ＋１，…的更新当中，以便计算时间间隔对用户以后行为的长期影响。
１．３ 编码器 解码器结构
编码器 解码器结构最初在机器翻译领域使用，由
Ｃｈｏ等［１４］
提出。随着编码器 解码器结构在各领域的
应用，它已发展为深度学习中用来解决序列到序列问
题的通用模型，例如Ｒｅｎ等［１５］以及Ｓｈａｎｇ等［１６］的应
用。序列到序列问题为给定序列Ｘ
，通过已知模型来获得目标序列Ｙ的问题。在基于会话的推荐问题中，序列Ｘ指输入的用户点击序列；序列Ｙ为用户接下来可能点击的物品排序列表。
编码器将给定变长序列Ｘ编码为一个固定长度的中间向量。然后解码器利用该中间向量和已知的目标序列Ｙ，使产生目标序列的概率最大化即损失函数最小化，来学习到从序列Ｘ到目标序列Ｙ的映射关系。
但是，编码器 解码器结构存在一定的问题。Ｂａｈ
ｄａｎａｕ等［１７］指出该结构的中间向量不能很好地表示出
较长序列的全部特征。其次，当前输入的序列项会在一定程度上覆盖以往输入序列项的信息，继而造成一定程度的信息丢失。随着输入序列长度的增加，该现象将会越来越严重。而注意力机制可以有效地解决该问题。
１．４ 注意力机制
注意力机制可以解决在用户当前会话中动态计算用户当前主要意图的问题，以及编码器 解码器结构中
的信息丢失问题。ＲＮＮ中应用注意力机制［１２］
的流程
如下：给定ＲＮＮ各时刻的隐状态ｈ１，ｈ２，…，ｈｔ
分体挂壁式空调，在计算ｔ＋１时刻的输出时，注意力机制不仅考虑了ｈｔ对ｔ＋１时刻输出的影响，而且考虑了前面１～ｔ之间各时刻的影响。每个时刻对ｔ＋１时刻输出的影响程度由注意力权重系数决定：
αｉ＝
ｅｘｐ（ｆ（ｈｔ，ｈｉ
））∑ｔ
ｊ＝１
ｅｘｐ（ｆ（ｈｔ，ｈｊ
））（８）
ｃ＝∑ｔ
ｉ＝
１αｉｈｉ
（９）
式中：ｈｉ（１≤ｉ≤ｔ）为各时刻的隐状态；αｉ为注意力权重系数；ｆ（ｈｔ，ｈｉ）为计算各时刻隐状态相似度的函数，一般为计算两部分向量的点积或两部分Ｃｏｓｉｎｅ相似性；ｃ为各隐状态的加权和向量。
２ ＴＡＳＲ模型设计
２．１ 模型结构
ＴＡＳＲ的基本思路是利用Ｔｉｍｅ ＬＳＴＭ建模时间间隔对用户行为的影响和注意力机制捕获用户的主要意图。ＴＡＳＲ采用编码器和解码器结构。其中编码器由两部分组成，一部分是用户序列行为编码器层，用Ｔｉｍｅ ＬＳＴＭ来编码用户的序列行为；另一部分为用户意图编码器层，利用ＬＳＴＭ和注意力机制来编码用户意图。最后，解码器将两部分结合起来，从而实现预测。模型的整体框架结构如图１
所示。
图１ ＴＡＳＲ模型整体结构
２．２ 输入层
模型的输入是某个用户的点击、评分序列和对应
的时间间隔。用户点击的物品ｘｕｉｍ和对应的评分ａｕｉ
ｍ采用独热编码，在计算时间间隔Δｔｕｉ
ｍ时，本文按照公式ΔＴｕ∶＝［（ｘｕｉ１，ｘｕｉ２－ｔｕｉ１），（ｘｕｉ２，ｔｕｉ３－ｔｕｉ２），…，（ｘｕｉｎｕ，ｔｕｉ
ｑ－ｔｕｉｎｕ
）］进行计算。由于Ｔｉｍｅ ＬＳＴＭ学习到的是用户的序列行为特征，即用户序列形式上的长期和短期兴趣，
故模型把（ｘｕｉｍ，Δｔｕｉ
ｍ）
作为序列行为编码器层对应的输
第３期
刘浩翰，等：考虑用户意图和时间间隔的会话型深度学习推荐系统
１９３
入。本文将用户对不同物品的不同评分转化为用户对
不同物品的兴趣权重，故模型把（ｘｕｉｍ，ａｕｉ
ｍ）作为用户意
图编码器层的输入。
２．３ 混合编码器层
（１）序列行为编码器层：序列行为编码器层采用Ｔｉｍｅ ＬＳＴＭ编码用户的序列行为。该编码层的输出为
Ｔｉｍｅ ＬＳＴＭ最后一个隐状态表示ｈｓ。
（２）用户意图编码器层：用户意图编码器层由ＬＳＴＭ和注意力层组成。模型通过ＬＳＴＭ来获得物品
级别的用户序列行为表示，借用Ｌｉ等［１２］的思想，通过
注意力层来学习用户的主要意图。计算式为：
ｅｊ＝ｖＴ
ｔａｎｈ（Ａ１ｈｔ＋Ａ２ｈｊ
）（１０）αｊ＝
ｅｘｐ（ｅｊ
）∑ｔ
ｊ＝１
ｅｘｐ（ｅｊ
）（１１）
ｈａｔｔ
＝∑ｔ
ｊ＝１
αｊｈｊ
（１２）式中：ｖ、Ａ１和Ａ２为参数矩阵；ｈｔ表示由ＬＳＴＭ生成的用户最后一次点击的隐状态表示；ｈｊ表示由ＬＳＴＭ生成的用户以往点击的隐状态表示。式（１０）计算出每个隐状态对［ｈｔ，ｈｊ］之间的相似度ｅｊ，式（１１）根据这些相似度计算出注意力机制的权重系数αｊ。最终，根据该系数用式（１２）计算出用户意图作为编码器层的输出。
（３）特征的拼接：通过将用户序列行为编码器的输出ｈｓ
与用户主要意图编码器的输出ｈａｔｔ
拼接起来，
得到当前会话的一种混合的动态表示ｌ＝［ｈｓ，ｈａｔｔ
］。解
码器将根据该表示进行解码。拼接后的向量ｌ既包含了用户的序列行为特征，也可以体现出用户意图。
２．４ 解码器层
解码器层由全连接层和Ｓｏｆｔｍａｘ层组成，该层利用
［ｈｓ，ｈａｔｔ］得到一个物品推荐列表。列表中的物品根据
其接下来可能被用户点击的概率大小，按照从大到小的顺序排列。
２．５ 损失函数
ＴＡＳＲ模型在训练时采用的损失函数是交叉熵损失函数，计算式为：
Ｌ（ｐ，ｑ）＝－∑ｍ
ｉ＝１
ｐｉｌｏｇ（ｑｉ
）（１３）
式中：ｑ表示模型预测结果的概率分布；ｐ表示真实的
分布。模型的参数采用ＡｄａＧｒａｄｓ算法［１８］
进行优化，
该方法是随机梯度下降算法的一个变种。
３ 实 验
３．１ 数据集及数据预处理
（１）Ｍｏｖｉｅｌｅｎｓ：针对Ｍｏｖｉｅｌｅｎｓ数据集，本文提取元组（ｕｓｅｒ＿ｉｄ，ｍｏｖｉｅ＿ｉｄ，ｒａｔｅ，ｔｉｍｅｓｔａｍｐ）。每个元组表示某个用户ｕ
ｓｅｒ＿ｉｄ在时刻ｔｉｍｅｓｔａｍｐ给电影ｍｏｖｉｅ＿ｉｄ打出了评分ｒａｔｅ。由于ｔｉｍｅｓｔａｍｐ精确到天，即某个用户可能在同一天里对多个电影打出了评分。为了方便计算时间间隔，本文只保留了第一个。Ｍｏｖｉｅｌｅｎｓ将用户对每部电影的评分（０．５～５．０）离散化为从０到９共１０个等级。
（
２）ＬａｓｔＦＭ：针对ＬａｓｔＦＭ数据集，本文提取元组（ｕｓｅｒ＿ｉｄ，ｓｏｎｇ＿ｉｄ，ｔｉｍｅｓｔａｍｐ）。每个元组表示某个用户ｕｓｅｒ＿ｉｄ在时刻ｔｉｍｅｓｔａｍｐ点击了音乐ｓｏｎｇ＿ｉｄ。由于ＬａｓｔＦＭ数据集本身不包括用户的评分，因此在实验中
认为该数据集上每个用户对每首音乐的评分都相同。
以上两个数据集所包括的用户数、物品数、用户物品交互数的统计数据如表１所示。针对每个数据集，本文随机选取其中的８０％作为训练集，余下的２０％作为测试集。
表１ 数据集统计表内容ＭｏｖｉｅｌｅｎｓＬａｓｔＦＭ用户数６００９８７物品数９０００５０００用户物品交互数
１０００００
８１８７６７
３．２ 模型设置与实验环境
针对ＴＡＳＲ模型，物品的表示采取独热编码，限制个数为５０００，将超出范围的物品从用户点击序列中去除；初始学习率为０．０１；将长度超过５０的序列截断为５０；隐藏层编码长度设定为１２８；ｍｉｎｉ ｂａｔｃｈ的大小固定为１
０；模型迭代次数为３０。实验环境：操作系统是Ｕｂｕｎｔｕ１６．４；模型框架由基于Ｔｈｅａｎｏ的Ｌａｓａｇｎｅ实现；编程语言是Ｐｙｔｈｏｎ２．７。
３．３ 评估指标
为了评价模型的效果，实验采用了两个评价指标召回率和平均倒数排名：
（１）召回率（Ｒｅｃａｌｌ）：把每一个需要预测的目标
物品（真实值）都与其他随机的１００个物品混合在一起。然后将这１０１个物品按照本文提出的模型进行排序，选取排名前十的物品生成推荐列表。计算式为：
Ｒｅｃａｌｌ＝
ｎｈｉｔ
ｎｔｅｓｔｃａｓｅ
（１４）
１９４
计算机应用与软件
２０２１年
式中：ｎｈｉｔ为推荐列表中出现目标物品的次数；ｎｔｅｓｔｃａｓｅ为总的测试次数。
（
２）平均倒数排名（ＭＲＲ）是推荐列表中目标物品的排名倒数的均值。它可以体现目标物品在推荐列表中的排名。当目标物品在推荐列表中的排名超过１０时，其值将设置为０。计算式为：
ＭＲＲ＝１Ｑ∑Ｑ
ｉ＝１１
ｒａｎｋｉ
（１５）
式中：｜Ｑ｜是推荐的次数；ｒａｎｋｉ是对于第ｉ次推荐时，推荐列表中第一个在真实值结果中的物品的排名。
３．４ 实验对比方法与分析
实验从两个角度展开：其一将ＴＡＳＲ与现有的其他推荐方法进行了详细对比；其二在不同编码特征、不同会话长度的条件下，讨论了ＴＡＳＲ在同时考虑时间间隔和用户意图时的优势。具体对比方法如下：
（１）ＬＳＴＭ。一种基于ＬＳＴＭ的推荐方法。该方法在利用ＬＳＴＭ进行推荐时仅考虑了用户的点击序列，没有时间间隔信息。
（２）Ｔｉｍｅ ＬＳＴＭ。指Ｓｈｅｉｌ等［８］
提出的Ｔｉｍｅ ＬＳＴＭ
模型。此时考虑用户点击序列的同时，也考虑了时间
间隔信息。
（３）Ａｔｔ ＬＳＴＭ＿Ｔ。指利用ＬＳＴＭ和注意力机制进行推荐的方法。在推荐时考虑用户点击序列、时间间隔和用户意图。但是，时间间隔信息拼接在用户点击序列后由ＬＳＴＭ来计算，且同时采用注意力机制计算用户意图。
（４）Ａｔｔ ＬＳＴＭ。指利用ＬＳＴＭ和注意力机制进行推荐的方法。在推荐时仅考虑用户点击序列和用户主要意图，没有时间间隔信息。
（
５）ＮＡＲＭ。指Ｌｉ等［１２］
提出的通过一个混合的编码器同时建模用户的序列行为特征和主要意图的推荐方法。但是，该方法没有考虑用户时间间隔。３．４．１ ＴＡＳＲ与其他算法对比
ＴＡＳＲ与当前四种不同方法在两个数据集上的实验结果如表２所示。因为实验环境的硬件条件限制，表２中ＮＡＲＭ的实验结果来自Ｒｅｎ等
［１９］
的实验。
表２ 五种不同方法在两个数据集上的实验结果对比
方法
ＬａｓｔＦＭ
Ｍｏｖｉｅｌｅｎｓ
Ｒｅｃａｌｌ＠１０ＭＲＲ＠１０Ｒｅｃａｌｌ＠１０ＭＲＲ＠１０
ＬＳＴＭ０．２４４８０．０９９３０．５３９９０．２５７１Ｔｉｍｅ ＬＳＴＭ０．３８０２０．１７８５０．６７６８０．３５５３Ａｔｔ ＬＳＴＭ＿Ｔ
０．３９７２
０．１８６２
０．６７３９
０．２７３９续表２
方法ＬａｓｔＦＭ
Ｍｏｖｉｅｌｅｎｓ
Ｒｅｃａｌｌ＠１０ＭＲＲ＠１０Ｒｅｃａｌｌ＠１０ＭＲＲ＠１０ＮＡＲＭ０．２２０４０．１０３１——ＴＡＳＲ
０．４００１
０．２２３８
０．７０６５
０．３８４４
在与其他算法对比时，ＴＡＳＲ、Ｔｉｍｅ ＬＳＴＭ和Ａｔｔ
ＬＳＴＭ＿Ｔ的隐状态编码长度设为１２８。ＬＳＴＭ的隐状态编码长度设为５
１２。所有算法训练时都将序列最大长度限制为５０，ｍｉｎｉ ｂａｔｃｈ固定为１０，迭代次数设置为３０。
由表２可以得到如下结论：
（１）在ＬａｓｔＦＭ和Ｍｏｖｉｅｌｅｎｓ两个数据集上，ＴＡＳＲ在Ｒｅｃａｌｌ＠１０和ＭＲ
Ｒ＠１０这两个指标上的实验结果都是最好的。其中在ＬａｓｔＦＭ数据集上，ＴＡＳＲ比没有考虑用户时间间隔的ＮＡＲＭ的Ｒｅｃａｌｌ＠１０高出了０．１８左右、比ＭＲＲ＠１０高出了０．１２左右；并且ＴＡＳＲ比没有考虑用户意图的Ｔｉｍｅ ＬＳＴＭ在两个数据集的两个评价指标上都有提高，基本提高０．０３以上。这说明本文提出的同时考虑时间间隔和用户意图的必要性。
（２）在Ｍｏｖｉｅｌｅｎｓ数据集中，采用Ｔｉｍｅ ＬＳＴＭ作为用户序列行为编码器即ＴＡＳＲ，比采用ＬＳＴＭ作为用户序列行为编码器的Ａｔｔ ＬＳＴＭ＿Ｔ在ＭＲＲ＠１０上提高了０．１１左右。这说明序列行为编码器中，不同的时间间隔计算方式产生的效果也不同。
３．４．２ 编码长度以及会话长度对ＴＡＳＲ的影响
（１）不同隐状态编码长度的实验效果对比。不同的隐状态编码长度在ＬａｓｔＦＭ数据集上的实验结果见表３。可以看出，ＴＡＳＲ在隐状态编码长度为６４及１２８时都取得了最好的实验结果。
表３ ＬａｓｔＦＭ数据集上不同隐状态编码长度的实验结果对比
方法６４
１２８
Ｒｅｃａｌｌ＠１０ＭＲＲ＠１０Ｒｅｃａｌｌ＠１０ＭＲＲ＠１０Ｔｉｍｅ ＬＳＴＭ０．３４１０．１４５０．３８００．１７９Ａｔｔ ＬＳＴＭ０．３３６０．１２４０．３９７０．１８６ＴＡＳＲ
０．３９６
０．２２０
０．４００
０．２２４
agagcl参比电极Ｔｉｍｅ ＬＳＴＭ以及Ａｔｔ ＬＳＴＭ方法在编码为６４时比编码１２８时实验结果相差０．０３～０．０６。而ＴＡＳＲ在这两种编码条件下的实验结果相差仅在０．００４左右。这说明相对于Ｔｉｍｅ ＬＳＴＭ和Ａｔｔ ＬＳＴＭ，ＴＡＳＲ受编码长度的影响较小。
（２）不同会话长度下模型的效果对比。本节对比了在Ｌ
浆仓库
ａｓｔＦＭ和Ｍｏｖｉｅｌｅｎｓ数据集上、不同序列长度下ＴＡＳＲ、Ｔｉｍｅ ＬＳＴＭ、ＬＳＴＭ三种算法，实验结果如图２和
