我们经常在论文中看到 ⊕、⊗和 ⊙ 符号,那么有下面两个问题:

这三个符号有什么作用呢?
如何在论文中正确使用这三个数学符号
1. 两种符号的解释
1.1 逐元素相加:⊕
⊕  在论文中表示逐元素相加,如果用两个矩阵表示,即:

从公式可以看到,⊕ 表示对应元素相加,即两个矩阵的形状必须相同。

1.2 矩阵乘法:⊗
圈乘 ⊗ 表示传统线性代数学的矩阵乘法,用公式即:

可以看到就是普通的矩阵乘法,要求 A 矩阵第二维度与 B 矩阵第一维度相等。

1.3 矩阵点乘:⊙
矩阵点乘 ⊙表示矩阵对应位置元素相乘,例子如下: 

与矩阵加法 ⊕类似,也是要求两个矩阵的维度必须相同。

2. 两种符号的代码表示

名称    
 
符号    PyTorch 代码     含义     条件

矩阵乘法(element-wise)          

torch.mm() 或 torch.matmul() 

矩阵乘法(自动广播) 

 形状相同或满足广播机制

矩阵加法(element-wise)      

+ 或 torch.add(A, B)

两个矩阵对应位置元素相加 

 形状相同或满足广播机制

矩阵点乘

 * 或 torch.mul(A, B)

两个矩阵对应位置元素相乘(自动广播)

 形状相同或满足广播机制


 参考原文链接:https://blog.csdn.net/weixin_44878336/article/details/124501040

Logo

openvela 操作系统专为 AIoT 领域量身定制,以轻量化、标准兼容、安全性和高度可扩展性为核心特点。openvela 以其卓越的技术优势,已成为众多物联网设备和 AI 硬件的技术首选,涵盖了智能手表、运动手环、智能音箱、耳机、智能家居设备以及机器人等多个领域。

更多推荐