神经网络中 add 和 concatenate 融合方式区别？

[jayboxyz]

1、如何理解神经网络中通过add的方式融合特征？ - 知乎

回答节选：

1. 如何理解神经网络中通过add的方式融合特征？ - Hengkai Guo的回答 - 知乎
   https://www.zhihu.com/question/306213462/answer/562776112
2. 如何理解神经网络中通过add的方式融合特征？ - Hanjie WU的回答 - 知乎
   https://www.zhihu.com/question/306213462/answer/760147233

来自 2.

add操作经典代表网络是ResNet,concate操作经典代表网络是Inception系统网络中的Inception结构和DenseNet。

正如之前的回答有人说的，add操作相当于加入一种先验知识。我觉得也就是相当于你对原始特征进行人为的特征融合。而你选择的特征处理的操作是element-wise add。通过add操作，会得到新的特征，这个新的特征可以反映原始特征的一些特性，但是原始特征的一些信息也会在这个过程中损失。

但是concate就是将原始特征直接拼接，让网络去学习，应该如何融合特征，这个过程中信息不会损失。

所以我认为add其实只是concate的一种特殊情况。但是concate带来的计算量较大，在明确原始特征的关系可以使用add操作融合的话，使用add操作可以节省计算代价。

作者：Hanjie WU
链接：https://www.zhihu.com/question/306213462/answer/760147233
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。