RecModel.drawio

<mxfile host="app.diagrams.net" agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0" version="24.7.6">
  <diagram name="第 1 页" id="UGm5JvRGFB_UD_Ni14SP">
    <mxGraphModel dx="1460" dy="377" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="0" pageScale="1" pageWidth="827" pageHeight="1169" math="0" shadow="0">
      <root>
        <mxCell id="0" />
        <mxCell id="1" parent="0" />
        <mxCell id="qLKPpFvlpWNobKLwXuhB-1" value="&lt;b&gt;FM 因子分解机&lt;/b&gt;&lt;br&gt;&lt;div&gt;1）考虑一阶特征权重和，二阶权重和（为特征分配隐向量，通过内积计算权重），最后逻辑回归得到结果&lt;/div&gt;&lt;div&gt;2）&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;FM 域因子分解机&lt;/b&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;1）特征与不同特征交互时，应该有不同的表示，引入域的概念（一个特征有多个隐向量，针对不同域不同）&lt;b&gt;&lt;br&gt;&lt;/b&gt;&lt;/div&gt;&lt;div&gt;2）&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;DeepFM&amp;nbsp;&lt;/b&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;1）所有特征经过线性层&lt;b&gt;&lt;br&gt;&lt;/b&gt;&lt;/div&gt;&lt;div&gt;2）稀疏特征经过FM层&lt;/div&gt;&lt;div&gt;3）所有特征经过DNN层&lt;/div&gt;&lt;div&gt;4）最后加和后经过sigmod输出概率&lt;/div&gt;" style="rounded=0;whiteSpace=wrap;html=1;align=left;verticalAlign=top;spacingLeft=4;" parent="1" vertex="1">
          <mxGeometry x="-440" y="50" width="620" height="250" as="geometry" />
        </mxCell>
        <mxCell id="10POJ0Ot5cjL5zv7g6nm-1" value="&lt;b&gt;Rank 精排&lt;/b&gt;&lt;div&gt;&lt;b&gt;&lt;font color=&quot;#9933ff&quot;&gt;传统机器学习推荐模型&lt;/font&gt;&lt;br&gt;&lt;/b&gt;&lt;div&gt;1）FM 模型&lt;/div&gt;&lt;div&gt;解决稀疏特征数据的处理难点，引入了二阶特征组合&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;2）FFM模型&lt;/div&gt;&lt;div&gt;引入了域的概念，提高了模型的表达能力&lt;/div&gt;&lt;div&gt;但是增加了模型参数量与复杂度，增加了计算开销&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;3）GBDT+LR&amp;nbsp; （特征工程模型化）&lt;/div&gt;&lt;div&gt;利用GBDT筛选出特征组合，再输入LR进行预测，能够利用高阶关系&lt;/div&gt;&lt;div&gt;缺点为无法进行在线学习。需要提前进行GBDT的训练与特征组合提取&lt;/div&gt;&lt;div&gt;&lt;font color=&quot;#0066cc&quot;&gt;Facebook的经验：低频更新embedding网络，高频更新上层网络结构&lt;/font&gt;&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;4）MLR&amp;nbsp; （分组＋聚合）&lt;/div&gt;&lt;/div&gt;" style="rounded=0;whiteSpace=wrap;html=1;align=left;verticalAlign=top;spacingLeft=4;" vertex="1" parent="1">
          <mxGeometry x="200" y="50" width="630" height="250" as="geometry" />
        </mxCell>
        <mxCell id="10POJ0Ot5cjL5zv7g6nm-2" value="&lt;div&gt;&lt;b&gt;&lt;font color=&quot;#000099&quot;&gt;经过特征工程提前到了有效的特征，随后使用特征结合这些模型进行预测任务&lt;/font&gt;&lt;/b&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;WDL&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;Wide Deep Learning&lt;/span&gt;&lt;/b&gt;&lt;/div&gt;&lt;div style=&quot;&quot;&gt;&lt;font color=&quot;#009900&quot;&gt;Wide部分&lt;/font&gt;对特征进行LR，&lt;font color=&quot;#009900&quot;&gt;Deep部分&lt;/font&gt;则直接将特征输入神经网络，两边输出加权求和并经过sigmod作为预测结果&lt;/div&gt;&lt;div style=&quot;&quot;&gt;&lt;br&gt;&lt;/div&gt;&lt;b&gt;DCN&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;Deep Cross Network&lt;/b&gt;&lt;br&gt;&lt;div&gt;DCN使用&lt;font color=&quot;#009900&quot;&gt;Cross网络&lt;/font&gt;替代WDL的LR网络，&lt;span style=&quot;background-color: initial;&quot;&gt;使用&lt;font color=&quot;#009900&quot;&gt;多层交叉层&lt;/font&gt;对输入特征进行交叉，&lt;/span&gt;&lt;span style=&quot;background-color: initial;&quot;&gt;增加了特征之间的交互力度&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;font color=&quot;#808080&quot;&gt;（每一层的计算过程是：特征乘以x0转置乘权重向量，加上偏置）&lt;/font&gt;&lt;/div&gt;&lt;div&gt;&lt;font color=&quot;#808080&quot;&gt;（是先将稀疏特征embedding后再输入两个网络的，是的，两边都是网络）&lt;/font&gt;&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;DeepFM&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;/b&gt;&lt;b style=&quot;background-color: initial;&quot;&gt;Deep Factorization Machine&lt;/b&gt;&lt;/div&gt;&lt;div&gt;DeepFM则使用FM代替WDL的LR网络，&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;BST&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;B&lt;/b&gt;&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;" style="rounded=0;whiteSpace=wrap;html=1;align=left;verticalAlign=top;spacingLeft=4;" vertex="1" parent="1">
          <mxGeometry x="-440" y="320" width="620" height="380" as="geometry" />
        </mxCell>
        <mxCell id="10POJ0Ot5cjL5zv7g6nm-4" value="&lt;div&gt;&lt;div&gt;&lt;b style=&quot;background-color: initial;&quot;&gt;&lt;font color=&quot;#9933ff&quot;&gt;深度学习推荐模型&lt;/font&gt;&lt;/b&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;1）WDL&amp;nbsp; （Wide &amp;amp; Deep Learning）&lt;/div&gt;&lt;/div&gt;&lt;div&gt;Wide 用于记忆，Deep 用于泛化&lt;/div&gt;&lt;div&gt;两个结构的优化器不一样，Wide采样FTLR(处理稀疏性)，Deep采用AdaGrad&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;2）DCN&amp;nbsp; &amp;nbsp; （Deep&amp;amp;Cross Network）&lt;/div&gt;&lt;div&gt;将WDL模型的Wide部分替换为Cross网络，加强了特征信息的融合&lt;/div&gt;&lt;div&gt;Cross网络使用层层传递的形式，和零层相乘再乘以参数向量，加上偏置与残差&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;DCNv2 两种结构 stacked 与 parallel，好坏需要具体场景分析&lt;/div&gt;&lt;div&gt;改进分为两个方面：1）Cross网络的权重向量变为矩阵，表达能力变强；2）加入了MOE层&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;3）DIN&amp;nbsp; &amp;nbsp; &amp;nbsp; （Deep Interest Network）&lt;/div&gt;&lt;div&gt;用户的兴趣embedding通过历史列表计算，为静态的，然而面对不同候选物品&lt;/div&gt;&lt;div&gt;可以利用注意力机制动态编码用户向量，表现为对不同物体，兴趣应该是动态的&lt;/div&gt;&lt;div&gt;动态embedding&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;4）DIEN&amp;nbsp;&lt;/div&gt;&lt;div&gt;对序列数据进行建模，引入了GRU计算用户的兴趣趋势&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;5）BST&amp;nbsp;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;background-color: initial;&quot;&gt;Behavior Sequence Transformer&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;span style=&quot;background-color: initial;&quot;&gt;&lt;br&gt;&lt;/span&gt;&lt;/div&gt;" style="rounded=0;whiteSpace=wrap;html=1;align=left;verticalAlign=top;spacingLeft=4;" vertex="1" parent="1">
          <mxGeometry x="200" y="320" width="630" height="380" as="geometry" />
        </mxCell>
      </root>
    </mxGraphModel>
  </diagram>
</mxfile>