您现在的位置是:首页 > 正文

【序列推荐】CIKM2020|S3---基于自监督学习的序列推荐模型

2024-04-01 06:48:13阅读 1

前言

文章发表在2020年CIKM会议上,与以往分享的端到端的模型不同,文章基于互信息最大化(mutual information maximization)原则,提出了一个自监督的序列推荐模型(预训练),来增强序列推荐中数据表示(item embedding),最终提供一个更高质量的推荐效果。
本文约2.4k字,预计阅读10分钟。

概要

对于当前的序列推荐模型,作者提出存在的两个缺点:

  1. 模型依赖于物品预测损失来学习模型,当上下文数据被纳入后,所涉及的参数也通过唯一的优化目标学习。研究发现【FPMC,AutoInt论文】,这种优化方法容易受到数据稀疏等问题的困扰;【有点难以理解】

  2. 模型过分强调了最终的性能,而上下文数据和序列数据之间的关联在数据表示中没有得到很好的捕捉;

针对这两个问题,作者想采用「自监督学习模型」来提高序列推荐的性能。

自监督模型可以利用数据内在相关性来设计辅助训练目标(重新定义优化的目标),并通过自监督信号的预训练方法来增强数据表示

因此,作者提出一个自监督学习模型---「S3」(self-supervised sequential recommendation model),以自注意力机制为模型架构的基础,互信息最大化(MIM)为优化目标,四种关系(item-attribute,sequence-item, sequence-attribute sequence subsequence)为具体内容。另外,通过预训练得到的item embedding,输入到微调模型(这里作者选择了SASRec的结构)训练。

【注】总结来说,采用自监督的预训练方式最大的好处就是更方便的融合上下文特征,采用其他的训练目标(例如互信息最大化)能从其他角度捕捉物品与上下文特征的相关性。

模型结构

文章的主要创新集中于自监督预训练模型,作者通过最大化四种关联关系的互信息来增强item embedding的表示,具体模型结构如下:

问题定义

定义用户集合 和物品集合 ,对于单个用户 ,其历史物品序列为 为交互物品的数量。为了方便,使用 代表子序列 。并且,对于单个物品 ,包含一些额外的属性

网站文章

  • 服务器访问系统盘 数据盘,云服务器系统盘数据盘

    服务器访问系统盘 数据盘,云服务器系统盘数据盘

    云服务器系统盘数据盘 内容精选换一换当服务器中的磁盘发生故障、或者由于人为误操作导致服务器数据丢失时,可以使用已经创建成功的备份恢复服务器。云服务器备份仅支持将服务器中的所有云硬盘作为整体进行备份和恢...

    2024-04-01 06:47:28
  • 用动态规划方法求解0-1背包问题

    如果你对动态规划方法求解0-1背包问题的思路不清晰,直接阅读代码并不是一个好的建议。推荐一个B站up主的视频讲解:0/1背包问题-动态规划练习地址(B站视频配套的网址)#include<iostrea...

    2024-04-01 06:47:21
  • IOS Object和javaScript相互调用

    在IOS开发中有时会用到Object和javaScript相互调用,具体步骤如下:1. Object中执行javascript代码,这个比较简单,苹果提供了很好的方法- (NSString *)stringByEvaluatingJavaScriptFromString:(NSString *)script2. javascript执行过程中返回给Object的数据或者调用Obje

    2024-04-01 06:47:15
  • html的浮动作用是什么意思,html中浮动是什么

    html的浮动作用是什么意思,html中浮动是什么

    在HTML中,浮动就是让元素可以向左或向右移动,直到它的外边距碰到其父级的内边距或者是上一个元素的外边距,只需要给元素设置“float:left|right|none|inherit”样式即可。本教程操作环境:windows7系统、CSS3&&HTML5版、Dell G3电脑。一.什么是浮动(float)?浮动就是让元素可以向左或向右移动,直到它的外边距碰到其父级的内边距或者是上一...

    2024-04-01 06:46:33
  • 多线程&多进程

    一、线程&进程对于操作系统来说,一个任务就是一个进程(Process),比如打开一个浏览器就是启动一个浏览器进程,打开一个记事本就启动了一个记事本进程,打开两个记事本就启动了两个记事本进程,打开一个Word就启动了一个Word进程。进程是很多资源的集合(进程相当于是一个工厂)。·线程是包含在进程里面的,线程是用来运行干活的,线程就是最小的单位(相当于是工厂里面的工人)· 进程...

    2024-04-01 06:46:26
  • Silverlight/Windows8/WPF/WP7/HTML5周学习导读(7月2日-7月8日)

    Silverlight/Windows8/WPF/WP7/HTML5周学习导读(7月2日-7月8日)

    Silverlight/Windows8/WPF/WP7/HTML5周学习导读(7月2日-7月8日) 本周Silverlight学习资源更新 Silverlight之Window Phone 中SqlCE应用(17) zhaoyu_1979 Silverlight 4系列 +VS2010 + ArcGIS9.3 最短路径分析 wuwangrun

    2024-04-01 06:46:19
  • win10自带计算机应用恢复,win10重置电脑后怎么恢复应用_win10重置后恢复软件的方法...

    win10自带计算机应用恢复,win10重置电脑后怎么恢复应用_win10重置后恢复软件的方法...

    在使用win10操作系统的过程中,我们经常需要通过重置系统来解决一些问题,可是win10重置电脑后怎么恢复应用呢?有许多小伙伴不是很清楚该如何操作,所以对于这一情况,今天系统城小编为大家整理分享的就是...

    2024-04-01 06:46:11
  • Spring Cache 集成 Caffeine实现项目缓存

    Spring Cache 集成 Caffeine实现项目缓存

    一、前言 Spring Cache本身是Spring框架中一个缓存体系的抽象实现,本身不具备缓存能力,需要配合具体的缓存实现来完成,如Ehcache、Caffeine、Guava、Redis等。 二、...

    2024-04-01 06:45:28
  • cookie

    将不同的计算机通过网络应用使用对应的传输介质进行传输物理层、数据链路层、网络层、传输层、会话层、表示层、应用层[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7sSptn...

    2024-04-01 06:45:21
  • 魔兽正式服5区服务器互通信息,《魔兽世界》一区合并服务器正式通告

    为了迎接1.12版本中的跨服务器战场功能,并进一步提升服务器表现以满足用户的需求,我们将对现有服务器的架构进行调整,一区至五区的服务器将进行小规模的服务器合并操作。我们已经从今天凌晨5点开始,对一区的...

    2024-04-01 06:45:14