DANSER

发表于 | 分类于

阅读笔记：Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recommender Systems

题目： Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recommender Systems

出处：WWW 2019

类别：recommendation system + dynamic/static mechanism + graph attention mechanism

1. Abstract 部分

重点：we propose dual graph attention networks to collaboratively learn representations for two-fold social effects, where one is modeled by a user-specific attention weight and the other is modeled by a dynamic and context-aware attention weight.

2. Introduction 部分

2.1 Innovation 部分

1

Innovation 部分源自于作者团队想利用多样化的信息来提升推荐的准确率，同时也想避免遇到数据稀疏性与推荐系统的冷启动问题，作者团队提出上图中的四部分内容：

  • Social homophily，静态用户偏好性（已经被他人实现）, which leads to intrinsic effect for user preference which stays unchanged and independent of external contexts.
  • Item-to-item homophily ，静态项目属性（已经被他人实现）, which means some related items tend to possess similar attractiveness when exposed to users.
  • Social influence，动态用户偏好性（论文创新部分）, which means a user’s friend who has purchased one item may recommend it to that user who then may be more likely to click such item.
  • Item-to-item influence，动态项目属性（论文创新部分）, which means that if one item is popular among a certain community, then other related items would become more likely to be clicked by users in this social group.

基于以上的多重机制，作者团队提出 DANSER 模型，该模型由两个 dual GATs（Graph attention network） 组成：

  • 一个 dual GATs 作用于用户，可以处理 Social homophily 和 Social influence，其中：
    • 一个 GAT 处理 Social homophily ，进而汇集影响某用户的邻近用户的偏好性的embedding信息，输出静态用户偏好性信息；
    • 另一个 GAT 处理 Social influence ，进而卷积影响某用户的邻近用户的相关项目信息，输出动态的用户偏好性信息；
  • 另一个作用于项目，可以处理 model items’ static 和 Item-to-item homophily and influence，两个 GAT 处理 homophily and influence，进而充分利用全局和局部的用户与产品的交互信息；

2.2 Contribution 部分

  • 提出双重社会影响机制作用于用户领域和产品领域；
  • 成功融入 dual GATs 到推荐系统中；
  • 利用了一个 benchmark dataset 和一个 commercial dataset 证明模型的有效性；

3. Methodologies 部分

9

3.1 GAT to capture social homopily

在进行user embedding之后，得到 $P$ 作为 inherent user preference factor，然后通过 GCN/GAT 操作输出用户静态偏好性因子 $P^{*}$：

​ 2

该计算式中：

  • $\sigma$、$W_p$、$b_p$ 是 激活函数；
  • $ Ap(G_u) = {a^{P}{uv}}_{M*M} $ 是 注意力权重

其中，$a^{P}_{uv}$ 计算方式如下：

3

该计算式中：

  • $W_E$ 是权重矩阵；
  • $attnU(x,y,z)=LeakyReLu(W^{T}_{U}z \bigotimes(x||y))$

通过上述计算可以发现，$P^{*}$ 针对具体用户来说是静态的，也即 social homophily 为用户的偏好性贡献了静态的影响；

3.2 GAT to capture social influence

首先，在embedding层之后，得到被用户 $u$ 点击的产品的 embedding $y_u$，随后让用户点击的每个项目与候选项目 $i^{+}$ 交互，计算式为：

该表达式能够集中于候选产品同时为给予特殊环境下的社会影响建模；

随后，定义 item-based user embedding，其依赖于候选项目 $i^+$，$M{i^+} = {m_u^{i^+}}{D*M}$, 其计算式为：

4

计算式中的 $d$ 代表 d-th feature，$m_u^{i^+}$ 包含两部分信息：

  • 用户 $u$ 的环境偏好性；
  • 用户 $u$ 的固有表达；

最后，为了定义用户动态偏好性因子 $M^{*}_{i^+}$, 论文提出利用来自用户的社交信息，其计算式为：

5

在上述表达式中，$ \alpha{uv,i^+}^{M} $ 依赖于用户的评分历史以及特定的候选项目 $ i^+ $ ，这就说明了 $ M{i^+}^{*} $ 是一个动态的因子；

3.3 GAT to capture item-to-item homophily

首先，作者团队利用 embedding Q 作为项目固有的属性因子，随后利用 GAT 去接受社交信息，其计算式为：

6

该表达式中：

  • $attn_I(x,y) = LeakyRelu(w^T(x||y))$；
  • $w_I$ 是权重向量；

在上面的表达式中，GAT 权重 $\alpha_{ij}^{Q}$ 在给定 $i,j$ 后保持不变，也即 item-to-item homophily 为产品的属性贡献了静态的影响，这也可以被称为静态属性因子；

3.4 GAT to capture item-to-item influence

类似于 social influence，对于一个给定的目标用户$u^+$, 其 user-based item $ N{u^+} = (n_i^{u^+})(D*N) $ 被定义为： 7

计算式中的 $d$ 代表 d-th feature；

随后，动态项目属性 $N^{*}_{u^+}$ 可以被计算为：

8

3.5 Pairwise Neural Interaction Layer

由于用户对一个产品的决议基于用户偏好性与项目属性，所以作者团队将两个偏好性因子与两个属性因子成对进行交互，得到四个不同的神经网络结果：

10

3.6 Policy-Based Fusion Layer

因子融合部分，只要融合上一步得到的四个 $s_a$ 为一个综合的因子即可，但是这里作者团队提出了一个新的问题；

虽然 homophily effect 和 influence effect 可以联合影响用户的偏好性和产品的属性，但是对于不同的用户和产品，two-fold 社交影响信息可能是不同的；基于上述的原因，作者团队提出一个新的动态的分配权重的方法根据特殊的用户产品对。

作者团队将权重分配问题（决定去选择哪一个特征）作为一个 contextual multi-armed bandit problem，这里将随机策略记作是一个条件概率的问题，也即求解 $p(\gamma|p_u,q_i)$;

为了求解上述问题，作者团队利用神经网络去逼近该条件概率：

11

因此策略融合中得到的 $s$ 可以计算为：

12

3.7 Output Layer

用户 $u$ 点击项目 $i$ 的概率可以被预测为：

13

4. Result

14

0%
undefined