【信息科学与工程学】【制造工程】【解决方案体系】第一篇 黑灯工厂解决方案12 非标自动化
非标自动化算法及模型表
非标自动化算法及模型表（Dy-A-0001~0050）
编号: Dy-A-0001
类别: 信号处理与滤波
模型配方: 巴特沃斯低通滤波器 (二阶)
算法/模型/方法名称: 巴特沃斯滤波器模拟设计与数字化 (双线性变换法)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
设计指标：确定截止频率 ω_c (rad/s) 和采样周期 T_s。
-
模拟原型：二阶巴特沃斯低通滤波器传递函数 H(s) = ω_c^2 / (s^2 + √2 * ω_c * s + ω_c^2)。
-
预畸变：为防止数字频率扭曲，对截止频率进行预畸变：ω_a = (2/T_s) * tan(ω_c * T_s / 2)。
-
双线性变换：用 s = (2/T_s) * (z-1)/(z+1) 代入 H(s)，得到数字滤波器传递函数 H(z) = (b0 + b1z^-1 + b2z^-2) / (1 + a1z^-1 + a2z^-2)，其中系数通过代数计算得出。
精度/密度/误差/强度: 通带最大平坦度，阻带衰减约 -12dB/倍频程，相位非线性。
底层规律/理论定理: 模拟滤波器设计 (巴特沃斯近似)、双线性变换 (频率映射)。
典型应用场景: 1. 传感器信号去噪 2. 电机电流采样滤波 3. 图像边缘检测预处理 4. 音频信号处理 5. 振动信号分析 6. 电源纹波抑制 7. 通信信号基带提取 8. ADC抗混叠滤波 9. 伺服系统反馈滤波 10. 工业仪表读数平滑
各类特征、变量/常量/参数列表及说明:
-
ω_c: 截止角频率 (rad/s)
-
T_s: 系统采样周期 (s)
-
b0, b1, b2, a1, a2: 数字滤波器差分方程系数
-
s: 拉普拉斯算子
-
z: Z变换算子
数学特征: 连续性 (模拟域)、离散性 (数字域)、微分方程、差分方程、映射 (双线性变换)、频率响应、稳定性 (极点均在单位圆内)、对称性 (幅频响应偶对称)。
语言特征: 描述为“低通滤波”、“平滑”、“去噪”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：设置滤波器系数数组 b[ ]， a[ ]， 初始化输入/输出缓冲区 x_buf[ ], y_buf[ ]。
-
循环执行 (每个采样周期T_s)：
a. 读取新采样值 x_n。
b. 计算输出 y_n = b0x_n + b1x_buf[1] + b2x_buf[0] - a1y_buf[1] - a2*y_buf[0]。
c. 更新缓冲区：x_buf[0]=x_buf[1]， x_buf[1]=x_n， y_buf[0]=y_buf[1]， y_buf[1]=y_n。
d. 输出 y_n。
编号: Dy-A-0002
类别: 运动控制
模型配方: S曲线加减速规划 (七段式)
算法/模型/方法名称: 基于恒定加加速度 (Jerk) 的S曲线速度规划
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
输入参数：目标位移S， 最大速度V_max， 最大加速度A_max， 最大加加速度J_max。
-
阶段判断：计算达到V_max所需的最小位移。若S足够大，则为“七段式”(加加速T1，匀加速T2，减加速T3，匀速T4，加减速T5，匀减速T6，减减速T7)；否则为“无匀速段”或“无匀加/减速段”，需重新计算各段时间。
-
时间计算：基于V_max, A_max, J_max约束，联立方程求解各段时间T1~T7。例如，T1 = A_max / J_max, T2 = (V_max - J_maxT1^2) / (J_maxT1) - T1, 等，确保速度、加速度连续。
-
实时轨迹生成：在每一控制周期Δt， 根据当前所处阶段， 计算瞬时加加速度j(t)， 积分得加速度a(t)=∫j(t)dt， 积分得速度v(t)=∫a(t)dt， 积分得位移s(t)=∫v(t)dt。各阶段j(t)为常数(J_max, 0, -J_max)。
精度/密度/误差/强度: 规划位移与目标位移零误差，速度、加速度连续无突变，减小冲击。
底层规律/理论定理: 牛顿运动学、积分学、约束优化。
典型应用场景: 1. CNC机床进给 2. 工业机器人关节运动 3. 直线电机驱动 4. 晶圆传输机器人 5. 3D打印机头运动 6. 贴片机头运动 7. 龙门架同步控制 8. 绕线机 9. 激光切割路径 10. 高速分拣机器人
各类特征、变量/常量/参数列表及说明:
-
S: 总位移
-
V_max, A_max, J_max: 系统物理极限
-
T1~T7: 各阶段时间
-
t: 从规划起点开始的时间
-
s(t), v(t), a(t), j(t): 瞬时位移、速度、加速度、加加速度
数学特征: 分段函数、积分、连续性 (C2连续， 即加速度连续)、最优化 (时间最优或冲击最小)、代数方程求解。
语言特征: 描述为“平滑启停”、“柔性加减速”、“冲击抑制”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
离线规划：根据S, V_max, A_max, J_max计算完整的7段时间序列和阶段标志。
-
在线插补 (周期T_c)：
a. 更新总时间 t = t + T_c。
b. 判断t所属阶段 (如 t < T1 则为阶段1)。
c. 根据阶段选择j(t) (阶段1: j=J_max)。
d. 计算a(t) = a0 + ∫j(t)dt (a0为阶段初加速度)。
e. 计算v(t) = v0 + ∫a(t)dt (v0为阶段初速度)。
f. 计算s(t) = s0 + ∫v(t)dt (s0为阶段初位移)。
g. 将s(t)作为位置指令发送给下层位置环控制器。
编号: Dy-A-0003
类别: 计算机视觉
模型配方: 改进Canny边缘检测
算法/模型/方法名称: 多尺度自适应Canny边缘检测
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
高斯平滑：用高斯核G(x,y,σ)= (1/(2πσ^2)) * exp(-(x^2+y^2)/(2σ^2))与图像I卷积， 去噪：I_smooth = G * I。
-
梯度计算：用Sobel算子等计算梯度幅值G和方向θ。Gx = Sobel_x * I_smooth, Gy = Sobel_y * I_smooth, G = √(Gx^2+Gy^2)， θ = atan2(Gy, Gx)。
-
非极大值抑制 (NMS)：沿梯度方向θ比较中心像素梯度幅值与其前后两个像素的幅值， 若非最大则抑制 (置0)。
-
双阈值检测与边缘连接：设定高阈值T_high、低阈值T_low。G > T_high为强边缘， G < T_low为非边缘， 中间为弱边缘。从强边缘出发， 连接相邻的弱边缘， 形成连续边缘。
-
改进点 (自适应阈值)：T_low, T_high可根据图像局部梯度直方图 (如Otsu法) 或全局统计 (均值、标准差) 自适应计算。
精度/密度/误差/强度: 边缘定位精度 (亚像素级)、抗噪性、连续性。受阈值选择影响大。
底层规律/理论定理: 图像梯度、信号多尺度分析、统计决策 (阈值)。
典型应用场景: 1. 工件尺寸视觉测量 2. 二维码定位 3. PCB板缺陷检测 4. 零件轮廓提取 5. 自动对焦辅助 6. 光学字符识别预处理 7. 机器人视觉引导 8. 焊缝跟踪 9. 液晶屏Mura检测 10. 生物细胞图像分析
各类特征、变量/常量/参数列表及说明:
-
I(x,y): 输入灰度图像
-
σ: 高斯核标准差， 控制平滑程度
-
G, θ: 梯度幅值和方向
-
T_high, T_low: 高低阈值
-
Sobel_x, Sobel_y: 水平与垂直方向Sobel卷积核
数学特征: 卷积、偏微分 (近似)、梯度、统计 (均值、方差)、逻辑判断 (NMS)、连通性分析 (边缘连接)、最优化 (自适应阈值)。
语言特征: 描述为“边缘提取”、“轮廓检测”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
输入：读取一帧图像I。
-
平滑：对I进行高斯卷积。
-
求梯度：用两个方向的Sobel核分别卷积， 计算G和θ。
-
NMS：对每个像素的G， 根据其θ在3x3邻域内进行比较和抑制。
-
双阈值处理：
a. 创建强边缘图S， 弱边缘图W， 初始化为0。
b. 对每个像素， 若G> T_high， S(x,y)=1； 若T_low<G≤T_high， W(x,y)=1。
-
边缘连接：遍历S中每个为1的像素， 在其8邻域内查找W中为1的像素， 将其在W中置0并在S中置1， 递归进行。
-
输出：S即为最终边缘图像。
编号: Dy-A-0004
类别: 系统辨识
模型配方: 递推最小二乘法 (RLS)
算法/模型/方法名称: 带遗忘因子的递推最小二乘参数估计
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
系统模型：假设系统为ARX模型：y(k) = -a1y(k-1) - ... - anay(k-na) + b1u(k-1) + ... + bnbu(k-nb) + e(k)， 可写为 y(k) = φ(k)^T * θ + e(k)。其中φ为数据向量， θ为待估参数向量。
-
目标：最小化加权误差平方和 J(θ) = Σ λ^(k-i) * (y(i) - φ(i)^Tθ)^2， λ为遗忘因子 (0<λ≤1)。
-
递推公式：
a. 增益更新：L(k) = P(k-1)φ(k) / (λ + φ(k)^T P(k-1) φ(k))
b. 参数更新：θ_hat(k) = θ_hat(k-1) + L(k) [y(k) - φ(k)^T θ_hat(k-1)]
c. 协方差更新：P(k) = (1/λ) [P(k-1) - L(k)φ(k)^T P(k-1)]
-
初始化：θ_hat(0)=0 或小随机数， P(0)=δI (δ为大数， 如1e5)。
精度/密度/误差/强度: 参数估计收敛速度较快， 对时变系统有一定跟踪能力。估计误差协方差由P(k)表征。
底层规律/理论定理: 最小二乘估计、矩阵求逆引理 (Sherman–Morrison–Woodbury公式)、随机过程。
典型应用场景: 1. 伺服系统在线辨识 2. 热工过程模型辨识 3. 机器人关节动力学参数在线估计 4. 自适应控制的前置环节 5. 传感器动态补偿 6. 电力系统负荷建模 7. 化学过程反应速率估计 8. 音频回声抵消 9. 通信信道均衡 10. 财务数据趋势跟踪
各类特征、变量/常量/参数列表及说明:
-
y(k), u(k): k时刻系统输出和输入
-
φ(k): 回归向量， 包含过去的y和u
-
θ: 待估参数向量 [a1, ..., ana, b1, ..., bnb]^T
-
λ: 遗忘因子， 接近1
-
P(k): 估计误差协方差矩阵
-
L(k): 增益向量
数学特征: 线性代数 (矩阵运算)、最优化 (最小二乘)、递归、加权和、收敛性、随机性 (噪声e(k))。
语言特征: 描述为“在线学习”、“参数估计”、“模型更新”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化 (k=0)：设定θ_hat(0), P(0)， λ， 模型阶次na, nb。
-
循环 (k=1,2,...)：
a. 采集新数据y(k), u(k)。
b. 构建回归向量φ(k)=[-y(k-1), ..., -y(k-na), u(k-1), ..., u(k-nb)]^T。
c. 计算先验误差：e_pri = y(k) - φ(k)^T θ_hat(k-1)。
d. 计算增益：L(k) = P(k-1)φ(k) / (λ + φ(k)^T P(k-1) φ(k))。
e. 更新参数：θ_hat(k) = θ_hat(k-1) + L(k) * e_pri。
f. 更新协方差：P(k) = (1/λ) * (P(k-1) - L(k)φ(k)^T P(k-1))。
编号: Dy-A-0005
类别: 优化算法
模型配方: 模拟退火算法
算法/模型/方法名称: 基于Metropolis准则的模拟退火全局优化
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
初始化：随机生成一个初始解s， 设定初始温度T_high， 终止温度T_low， 降温系数α (0<α<1)， 每个温度下的迭代次数L。
-
马尔可夫链生成 (内循环)：在当前温度T下， 重复L次：
a. 产生新解s‘ (例如， 对当前解s进行微小随机扰动)。
b. 计算能量差 ΔE = Cost(s’) - Cost(s)。
c. 若ΔE < 0， 则接受s‘为新当前解 (s = s’)。
d. 若ΔE >= 0， 则以概率P = exp(-ΔE / (k*T)) 接受s‘。其中k为玻尔兹曼常数 (常设为1)。
-
降温 (外循环)：更新温度 T = α * T。
-
终止：重复步骤2-3， 直到温度T降至T_low以下， 或满足其他停止准则。输出当前找到的最优解。
精度/密度/误差/强度: 能以一定概率找到全局最优解， 而非陷入局部最优。解的质量和计算时间受降温计划影响。
底层规律/理论定理: 统计力学 (Metropolis准则)、蒙特卡洛方法、退火过程。
典型应用场景: 1. PCB自动布线 2. 旅行商问题 (TSP) 在AGV路径规划中的应用 3. 车间作业调度 4. 集成电路版图设计 5. 图像分割阈值寻优 6. 神经网络权重训练 7. 机械结构参数优化 8. 滤波器设计 9. 数据聚类 10. 金融投资组合优化
各类特征、变量/常量/参数列表及说明:
-
s: 当前解
-
Cost(s): 目标函数 (能量函数)
-
T: 当前温度
-
α: 温度衰减率
-
L: 马尔可夫链长度
-
k: 玻尔兹曼常数 (通常归一化为1)
数学特征: 概率与统计 (接受概率)、随机性 (扰动生成、概率接受)、迭代、最优化 (全局搜索)、收敛性 (理论上以概率1收敛到全局最优， 当降温无限慢时)。
语言特征: 描述为“全局寻优”、“跳出局部最优”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：s = RandomInit()， T = T_high， best_s = s。
-
外循环 (while T > T_low)：
a. 内循环 (for i=1 to L)：
i. s_new = Perturb(s) //产生邻域解
ii. ΔE = Cost(s_new) - Cost(s)
iii. if (ΔE < 0) OR (Random(0,1) < exp(-ΔE/T)):
s = s_new
if Cost(s) < Cost(best_s): best_s = s
b. T = α * T //降温
-
输出：best_s
编号: Dy-A-0006
类别: 机器学习/分类
模型配方: 支持向量机 (线性)
算法/模型/方法名称: 硬间隔与软间隔线性支持向量机
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题定义：给定训练集{(x_i, y_i)}, y_i ∈ {+1, -1}， 寻找一个超平面 w^T * x + b = 0 将两类分开， 且间隔最大。
-
硬间隔SVM (线性可分)：最大化间隔 margin = 2 / ||w||， 等价于最小化 (1/2)||w||^2， 约束为 y_i (w^T * x_i + b) ≥ 1。
-
软间隔SVM (线性不可分)：引入松弛变量ξ_i ≥ 0， 允许一些样本被错分。目标变为最小化 (1/2)||w||^2 + C * Σξ_i， 约束为 y_i (w^T * x_i + b) ≥ 1 - ξ_i。C为惩罚参数。
-
对偶问题：通过拉格朗日乘子法转化为对偶问题， 只涉及样本点内积， 便于核扩展。最终决策函数为 f(x) = sign( Σα_i y_i (x_i^T x) + b )， 其中α_i为拉格朗日乘子， 大部分为0， 非零α_i对应的x_i即支持向量。
精度/密度/误差/强度: 分类准确率、泛化能力 (结构风险最小化)。间隔越大， 泛化误差上界越小。
底层规律/理论定理: 统计学习理论 (VC维、结构风险最小化)、凸优化、拉格朗日对偶。
典型应用场景: 1. 工业产品表面缺陷分类 2. 手写字符识别 3. 文本情感分类 4. 生物信息学 (基因分类) 5. 人脸检测 6. 故障诊断 7. 信用评分 8. 图像分类 9. 目标跟踪中的前景/背景分类 10. 传感器模式识别
各类特征、变量/常量/参数列表及说明:
-
x_i: 第i个样本的特征向量
-
y_i: 第i个样本的标签 (+1或-1)
-
w: 超平面法向量
-
b: 偏置项
-
ξ_i: 松弛变量
-
C: 惩罚参数， 控制间隔大小与分类错误的权衡
-
α_i: 拉格朗日乘子
数学特征: 几何 (间隔)、最优化 (带约束的凸二次规划)、代数 (向量内积)、对偶理论、集合 (支持向量)。
语言特征: 描述为“最大间隔分类”、“支持向量”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
训练阶段：
a. 输入训练集{(x_i, y_i)}， 选择参数C。
b. 求解对偶问题：max_α Σα_i - (1/2) Σ_i Σ_j α_i α_j y_i y_j (x_i^T x_j)， s.t. 0 ≤ α_i ≤ C， Σα_i y_i = 0。
c. 得到最优α_i*。
d. 计算 w* = Σ α_i* y_i x_i。
e. 选取一个0<α_i<C的支持向量x_s， 计算 b= y_s - (w*)^T x_s。
-
预测阶段：
a. 对于新样本x， 计算 f(x) = sign((w)^T x + b)。
编号: Dy-A-0007
类别: 时序预测
模型配方: 自回归积分滑动平均模型
算法/模型/方法名称: ARIMA(p,d,q) 模型
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
差分：对非平稳时间序列{Y_t}进行d阶差分， 得到平稳序列{X_t}。X_t = ∇^d Y_t， 其中∇为一阶差分算子∇Y_t = Y_t - Y_{t-1}。
-
模型识别：对平稳序列{X_t}， 用自相关函数 (ACF) 和偏自相关函数 (PACF) 的截尾/拖尾特性， 初步判断自回归阶数p和移动平均阶数q。
-
模型构建：ARIMA(p,d,q) 模型定义为：X_t = c + φ_1X_{t-1} + ... + φ_pX{t-p} + θ_1*ε{t-1} + ... + θ_q*ε_{t-q} + ε_t。其中ε_t是白噪声。代入差分关系， 得到关于原始序列{Y_t}的方程。
-
参数估计：用最大似然估计 (MLE) 或最小二乘法估计参数φ_i, θ_i, c。
-
模型检验：检验残差ε_t是否为白噪声 (如Ljung-Box检验)。若否， 则调整p, d, q重新建模。
-
预测：利用估计的模型向前预测未来值。
精度/密度/误差/强度: 预测误差可用均方误差 (MSE)、平均绝对百分比误差 (MAPE) 等衡量。适用于具有趋势和季节性的序列。
底层规律/理论定理: 时间序列分析、随机过程 (自回归、滑动平均)、差分平稳化、最大似然估计。
典型应用场景: 1. 产品销量预测 2. 股票价格分析 3. 电力负荷预测 4. 气象数据预测 5. 经济指标预测 6. 网络流量预测 7. 设备故障率预测 8. 库存需求预测 9. 语音信号处理 10. 振动信号趋势分析
各类特征、变量/常量/参数列表及说明:
-
Y_t: 原始时间序列
-
X_t: 差分后的平稳序列
-
p: 自回归阶数
-
d: 差分阶数
-
q: 移动平均阶数
-
φ_i: 自回归系数
-
θ_i: 移动平均系数
-
ε_t: 白噪声序列， 均值为0， 方差为σ^2
-
c: 常数项
数学特征: 时间序列、差分、自相关、偏自相关、统计推断 (假设检验)、概率分布 (正态分布假设)、回归、最优化 (MLE)。
语言特征: 描述为“时间序列预测”、“趋势外推”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
数据准备：获取历史序列{Y_1, Y_2, ..., Y_n}。
-
平稳性检验：ADF检验等。若不平稳， 进行d阶差分直到平稳， 得到{X_t}。
-
模型定阶：观察{X_t}的ACF和PACF图， 初步确定p, q。
-
参数估计：用MLE等方法估计φ_i, θ_i, c, σ^2。
-
模型诊断：检验残差是否为白噪声。若通过， 进入下一步；否则返回步骤3调整(p,d,q)。
-
预测：在时刻n预测未来h步的值。例如， 1步预测：Ŷ{n+1} = f(Y_n, Y{n-1}, ..., ε_n, ε_{n-1}, ...)。
编号: Dy-A-0008
类别: 数据融合
模型配方: 卡尔曼滤波器
算法/模型/方法名称: 标准线性离散卡尔曼滤波
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
系统模型：状态方程：x_k = A * x_{k-1} + B * u_k + w_k， w_k ~ N(0, Q)。观测方程：z_k = H * x_k + v_k， v_k ~ N(0, R)。其中A是状态转移矩阵， B是控制输入矩阵， H是观测矩阵， Q是过程噪声协方差， R是观测噪声协方差。
-
预测 (先验估计)：状态预测：x̂k^- = A * x̂{k-1} + B * u_k。误差协方差预测：P_k^- = A * P_{k-1} * A^T + Q。
-
更新 (后验估计)：计算卡尔曼增益：K_k = P_k^- * H^T * (H * P_k^- * H^T + R)^{-1}。状态更新：x̂k = x̂k^- + K_k * (z_k - H * x̂_k^-)。误差协方差更新：P_k = (I - K_k * H) * P_k^-。
-
迭代：将x̂_k, P_k作为下一时刻的初始值， 重复预测-更新步骤。
精度/密度/误差/强度: 在满足线性高斯假设下， 是最小均方误差意义下的最优估计。估计误差由P_k描述。
底层规律/理论定理: 最优估计理论、贝叶斯推断、递归最小二乘的特例。
典型应用场景: 1. GPS/IMU组合导航 2. 机器人定位 (SLAM) 3. 飞行器姿态估计 4. 目标跟踪 5. 传感器数据融合 (多摄像头、激光雷达) 6. 经济状态估计 7. 电池电量 (SOC) 估计 8. 信号处理 (去噪) 9. 过程监控 10. 视频稳像
各类特征、变量/常量/参数列表及说明:
-
x_k: k时刻系统状态向量
-
u_k: k时刻控制输入向量
-
z_k: k时刻观测向量
-
A, B, H: 系统矩阵
-
Q, R: 噪声协方差矩阵
-
P_k: 状态估计误差协方差矩阵
-
K_k: 卡尔曼增益矩阵
-
x̂k^-, x̂k: 先验和后验状态估计
数学特征: 线性代数、概率论 (高斯分布、协方差)、贝叶斯定理、递归、最优化 (最小均方误差)、矩阵运算 (求逆)。
语言特征: 描述为“最优估计”、“数据融合”、“预测-校正”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：设定初始状态估计x̂_0和误差协方差P_0。
-
预测步骤 (每个周期开始时)：
a. 预测状态：x̂k^- = A * x̂{k-1} + B * u_k。
b. 预测误差协方差：P_k^- = A * P_{k-1} * A^T + Q。
-
更新步骤 (获得观测z_k后)：
a. 计算卡尔曼增益：K_k = P_k^- * H^T * (H * P_k^- * H^T + R)^{-1}。
b. 更新状态估计：x̂k = x̂k^- + K_k * (z_k - H * x̂_k^-)。
c. 更新误差协方差：P_k = (I - K_k * H) * P_k^-。
编号: Dy-A-0009
类别: 路径规划
模型配方: A* 搜索算法
算法/模型/方法名称: 启发式图搜索A*算法
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题定义：在赋权图G=(V,E)中， 从起点s到目标点g找一条代价最小的路径。代价函数f(n) = g(n) + h(n)。g(n)是从s到节点n的实际代价， h(n)是从n到g的启发式估计代价 (启发函数)。
-
算法步骤：维护两个列表：开放列表Open (待考察节点) 和关闭列表Closed (已考察节点)。
a. 将起点s加入Open， f(s)=h(s)。
b. 当Open非空， 从中取出f值最小的节点n。
c. 如果n是目标g， 回溯路径， 成功结束。
d. 将n从Open移入Closed。
e. 遍历n的每个邻居m：
i. 如果m在Closed中， 跳过。
ii. 计算从s经n到m的临时g值：tentative_g = g(n) + cost(n, m)。
iii. 如果m不在Open中， 或tentative_g < g(m)， 则更新g(m)=tentative_g， f(m)=g(m)+h(m)， 并设置m的父节点为n。如果m不在Open中， 将其加入Open。
-
如果Open为空仍未找到目标， 则失败。
精度/密度/误差/强度: 在启发函数h(n)满足可采纳性 (不高估实际代价) 时， A*能找到最优解。如果h还满足一致性， 则效率更高。
底层规律/理论定理: 图论、动态规划、最佳优先搜索。
典型应用场景: 1. 游戏AI寻路 2. 机器人全局路径规划 3. 物流仓库AGV调度 4. 网络路由 5. 拼图游戏求解 6. 语音识别中的词图搜索 7. 集成电路布线 8. 三维打印路径规划 9. 无人机航路规划 10. 自动化导引车 (AGV) 导航
各类特征、变量/常量/参数列表及说明:
-
V: 图中所有节点的集合
-
E: 边的集合， 每条边有权重cost(u,v)
-
s, g: 起点和目标点
-
g(n): 从s到n的最小已知代价
-
h(n): 从n到g的启发式估计代价 (如曼哈顿距离、欧几里得距离)
-
f(n): 节点的总估计代价 f(n)=g(n)+h(n)
-
parent(n): 节点n在最优路径上的前驱节点
数学特征: 图论 (节点、边、路径)、搜索算法、启发式函数、最优性 (在可采纳启发下)、集合运算 (Open, Closed列表)、排序 (按f值)。
语言特征: 描述为“启发式搜索”、“最优路径规划”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：Open = {s}， g(s)=0, f(s)=h(s)。 Closed = {}。
-
循环：while Open不为空：
a. n = Open中f值最小的节点 (通常用优先队列实现)。
b. if n == g: 从g开始， 沿着parent链回溯到s， 输出路径。
c. 从Open移除n， 加入Closed。
d. for each 邻居 m of n:
i. if m in Closed: continue。
ii. tentative_g = g(n) + cost(n, m)。
iii. if m not in Open OR tentative_g < g(m):
parent(m) = n
g(m) = tentative_g
f(m) = g(m) + h(m)
if m not in Open: 将m加入Open。
-
结束：如果循环退出， 表示路径不存在。
编号: Dy-A-0010
类别: 控制理论
模型配方: 增量式PID控制器
算法/模型/方法名称: 位置式PID的增量形式
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
位置式PID：u(k) = K_p * e(k) + K_i * Σ_{j=0}^{k} e(j) * T_s + K_d * [e(k) - e(k-1)] / T_s。其中u(k)是控制输出， e(k)是误差， T_s是采样周期。
-
增量式计算：计算控制量的变化Δu(k) = u(k) - u(k-1)。
Δu(k) = K_p * [e(k)-e(k-1)] + K_i * T_s * e(k) + K_d / T_s * [e(k) - 2e(k-1) + e(k-2)]。
-
输出：u(k) = u(k-1) + Δu(k)。实际中会对u(k)进行限幅。
-
优点：增量式算法只与最近几次误差有关， 计算量小， 且输出是增量， 误动作影响小， 易于实现无扰切换。
精度/密度/误差/强度: 控制精度取决于K_p, K_i, K_d参数整定。可消除静差 (积分项)， 提高响应速度 (微分项)。
底层规律/理论定理: 经典控制理论 (频域法、根轨迹)、Z变换 (数字化)。
典型应用场景: 1. 恒温控制 2. 电机转速控制 3. 液位控制 4. 压力控制 5. 流量控制 6. 张力控制 7. 位置伺服控制 8. 无人机姿态控制 9. 3D打印机加热头控制 10. 汽车巡航控制
各类特征、变量/常量/参数列表及说明:
-
u(k): k时刻控制器输出
-
e(k): k时刻设定值与反馈值的误差， e(k)=r(k)-y(k)
-
K_p: 比例系数
-
K_i: 积分系数， 常写为K_p * T_s / T_i， T_i为积分时间
-
K_d: 微分系数， 常写为K_p * T_d / T_s， T_d为微分时间
-
T_s: 采样周期
-
r(k), y(k): 设定值和过程输出值
数学特征: 差分方程、求和 (积分近似)、差分 (微分近似)、线性组合、离散性。
语言特征: 描述为“PID控制”、“比例积分微分”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：设定K_p, K_i, K_d, T_s。设置e(k-1)=e(k-2)=0, u(k-1)=0 (或初始输出值)。
-
循环 (每个采样周期T_s)：
a. 采样当前过程输出y(k)， 读取设定值r(k)。
b. 计算当前误差：e(k) = r(k) - y(k)。
c. 计算控制增量：
Δu(k) = K_p * (e(k)-e(k-1)) + K_i * e(k) + K_d * (e(k) - 2*e(k-1) + e(k-2))。
(注意：此处的K_i, K_d已包含了T_s因子， 即K_i' = K_p * T_s / T_i, K_d' = K_p * T_d / T_s)
d. 计算当前控制输出：u(k) = u(k-1) + Δu(k)。
e. 对u(k)进行限幅：if u(k) > u_max, u(k) = u_max; if u(k) < u_min, u(k) = u_min。
f. 输出u(k)到执行机构。
g. 更新误差历史：e(k-2) = e(k-1), e(k-1) = e(k), u(k-1) = u(k)。
编号: Dy-A-0011
类别: 图像处理
模型配方: 大津法 (Otsu‘s Method)
算法/模型/方法名称: 最大类间方差图像自动阈值分割
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题：对灰度图像I(x,y)， 寻找一个最佳阈值T， 将像素分为前景C0 (0~T) 和背景C1 (T+1~L-1)， 使得两类间的方差最大。
-
计算直方图：统计图像中每个灰度级i (0 ≤ i ≤ L-1) 的像素数n_i， 总像素数N = Σ n_i。
-
计算概率：每个灰度级的概率p_i = n_i / N。
-
遍历候选阈值t (0 ≤ t < L-1)：
a. 计算C0类的概率：ω0(t) = Σ_{i=0}^{t} p_i。
b. 计算C1类的概率：ω1(t) = 1 - ω0(t)。
c. 计算C0类的平均灰度：μ0(t) = ( Σ_{i=0}^{t} i * p_i ) / ω0(t)。
d. 计算C1类的平均灰度：μ1(t) = ( Σ_{i=t+1}^{L-1} i * p_i ) / ω1(t)。
e. 计算类间方差：σ_B^2(t) = ω0(t) * ω1(t) * [μ0(t) - μ1(t)]^2。
-
确定最佳阈值：T = argmax_{t} σ_B^2(t)。即使得类间方差最大的t值。
精度/密度/误差/强度: 自动确定阈值， 对双峰直方图效果最好。计算简单快速。
底层规律/理论定理: 统计学 (方差分析)、最大分离性准则。
典型应用场景: 1. 文档图像二值化 2. 细胞图像分割 3. 红外热成像目标提取 4. 车牌字符分割 5. 工件与背景分离 6. 指纹图像预处理 7. 医学图像 (X光) 分割 8. 遥感图像水体提取 9. 缺陷检测中的前景提取 10. 动态场景运动目标检测
各类特征、变量/常量/参数列表及说明:
-
L: 图像的灰度级数 (如256)
-
n_i: 灰度级为i的像素个数
-
p_i: 灰度级i出现的概率
-
t: 候选阈值
-
ω0(t), ω1(t): 前景和背景的类概率
-
μ0(t), μ1(t): 前景和背景的类平均灰度
-
σ_B^2(t): 在阈值t下的类间方差
数学特征: 概率与统计 (直方图、概率、均值、方差)、最优化 (求最大值)、遍历搜索、集合 (前景/背景像素集)。
语言特征: 描述为“自动阈值”、“图像二值化”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
输入：读取灰度图像I， 尺寸MxN。
-
计算直方图：初始化数组hist[0..L-1]=0。遍历每个像素I(x,y)， hist[I(x,y)]++。
-
计算概率：N = M*N。for i=0 to L-1: p_i = hist[i] / N。
-
初始化：max_var = -1, best_T = 0。 设置累积概率ω0=0， 累积均值sum0=0， 全局均值μ_G = Σ i * p_i。
-
遍历阈值t从0到L-2：
a. ω0 += p_t
b. if ω0 == 0: continue
c. if ω0 == 1: break
d. sum0 += t * p_t
e. μ0 = sum0 / ω0
f. ω1 = 1 - ω0
g. μ1 = (μ_G - sum0) / ω1
h. σ_B^2 = ω0 * ω1 * (μ0 - μ1)^2
i. if σ_B^2 > max_var: max_var = σ_B^2, best_T = t
-
输出：最佳阈值best_T。用此阈值对图像二值化。
编号: Dy-A-0012
类别: 模式识别
模型配方: K-近邻分类器
算法/模型/方法名称: 基于距离度量的K-最近邻分类
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
训练：存储所有训练样本{(x_i, y_i)}， 其中x_i是特征向量， y_i是标签。这是“懒惰学习”， 没有显式的模型训练过程。
-
预测：对于一个新样本x_q：
a. 计算x_q与所有训练样本x_i之间的距离d(x_q, x_i)。常用欧氏距离：d = √( Σ_j (x_q^(j) - x_i^(j))^2 )， 或曼哈顿距离等。
b. 选出距离最小的K个训练样本， 记为集合N_K。
c. 根据N_K中样本的标签进行投票， 将x_q预测为得票最多的类别。即 y_pred = argmax{c} Σ{(x_i, y_i) ∈ N_K} I(y_i = c)， 其中I是指示函数。
-
可选：距离加权投票， 近距离样本权重更高。
精度/密度/误差/强度: 分类精度受K值和距离度量影响。简单， 但预测时计算开销大， 对噪声和冗余特征敏感。
底层规律/理论定理: 基于实例的学习、贝叶斯决策理论 (在大样本下， KNN错误率接近贝叶斯最优)。
典型应用场景: 1. 手写数字识别 2. 推荐系统 (用户相似度) 3. 图像分类 4. 简单故障诊断 5. 信用评估 6. 基因表达数据分析 7. 文本分类 8. 异常检测 9. 医学诊断辅助 10. 行为识别
各类特征、变量/常量/参数列表及说明:
-
{(x_i, y_i)}: 训练集， i=1..N
-
x_q: 待预测的查询样本
-
K: 近邻数量， 奇数以避免平票
-
d(., .): 距离函数
-
N_K: 包含K个最近邻样本索引的集合
数学特征: 距离度量、集合、投票 (多数表决)、排序 (按距离)、非参数方法。
语言特征: 描述为“最近邻”、“基于实例的分类”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
训练阶段：简单存储所有训练样本和标签。
-
预测阶段 (对每个查询样本x_q)：
a. 初始化一个大小为K的最小堆 (或最大堆存储最远距离)， 用于存储当前K个最近邻及其距离和标签。
b. 遍历所有训练样本i=1 to N：
i. 计算距离 dist = d(x_q, x_i) (如欧氏距离)。
ii. 如果当前堆中元素数小于K， 或dist小于堆顶元素的距离：
-
将 (dist, y_i) 插入堆。
-
如果堆大小超过K， 弹出距离最大的元素。
c. 统计堆中K个近邻的标签， 计数每个类别c的出现次数 count_c。
d. 预测结果为 y_pred = argmax_c count_c。
-
编号: Dy-A-0013
类别: 统计分析
模型配方: 主成分分析
算法/模型/方法名称: 基于特征值分解的PCA降维
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
数据标准化：对原始m维数据矩阵X (n个样本) 进行中心化 (每维减去均值) 或标准化 (中心化后除以标准差)。
-
计算协方差矩阵：C = (1/(n-1)) * X^T * X。C是m×m的对称矩阵。
-
特征值分解：求解C的特征值和特征向量， 即满足 C * v_i = λ_i * v_i。λ_i是特征值， v_i是对应的特征向量。
-
选择主成分：将特征值从大到小排序：λ_1 ≥ λ_2 ≥ ... ≥ λ_m。对应的特征向量v_1, v_2, ..., v_m即为主成分方向。选择前k个最大特征值对应的特征向量， 构成投影矩阵W = [v_1, v_2, ..., v_k] (m×k)。
-
降维投影：得到降维后的数据 Y = X * W (n×k)。Y的第j列是数据在第j个主成分上的投影 (得分)。
精度/密度/误差/强度: 前k个主成分的方差贡献率 = (Σ{i=1}^k λ_i) / (Σ{i=1}^m λ_i)。保留了原始数据的主要方差结构。
底层规律/理论定理: 线性代数 (特征值分解)、统计学 (方差最大化)。
典型应用场景: 1. 高维数据可视化 (降至2/3维) 2. 数据压缩 3. 特征提取 4. 去冗余 5. 人脸识别 (特征脸) 6. 噪声过滤 7. 金融风险因子分析 8. 基因数据分析 9. 图像压缩 10. 过程监控中的故障检测
各类特征、变量/常量/参数列表及说明:
-
X: 原始数据矩阵 (n个样本， m个特征)
-
C: 协方差矩阵
-
λ_i: 第i个特征值
-
v_i: 第i个特征向量 (主成分方向)
-
W: 投影矩阵
-
Y: 降维后的数据矩阵
-
k: 选择的主成分个数
数学特征: 线性代数 (矩阵乘法、特征值分解)、统计 (协方差、方差)、最优化 (最大投影方差)、几何 (坐标变换)。
语言特征: 描述为“降维”、“特征提取”、“去相关”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
数据预处理：计算每个特征的均值μ_j， 标准差σ_j。标准化：X'_ij = (X_ij - μ_j) / σ_j。得到中心化/标准化矩阵X'。
-
计算协方差矩阵：C = (1/(n-1)) * (X')^T * X'。
-
特征值分解：调用数值计算库 (如SVD) 计算C的特征值和特征向量。SVD: X' = U Σ V^T， 则C = V (Σ^T Σ/(n-1)) V^T， 特征向量在V中， 特征值为Σ对角线元素的平方除以(n-1)。
-
选择k：按特征值从大到小排序， 选择最小的k使得累计贡献率超过预定阈值 (如95%)。
-
投影：W = 前k个特征向量组成的矩阵。Y = X' * W。
编号: Dy-A-0014
类别: 最优化
模型配方: 梯度下降法
算法/模型/方法名称: 批量梯度下降
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
目标：最小化目标函数J(θ)， θ为参数向量。
-
梯度计算：计算目标函数关于参数的梯度∇θ J(θ)。对于许多机器学习模型， J(θ)是损失函数L的均值， 如J(θ)=(1/m)Σ L(f(x_i;θ), y_i)。则梯度∇J(θ)=(1/m)Σ ∇θ L(f(x_i;θ), y_i)。
-
参数更新：沿负梯度方向更新参数：θ := θ - α * ∇_θ J(θ)。其中α是学习率 (步长)。
-
迭代：重复步骤2-3， 直到梯度足够小或达到最大迭代次数。
-
变种：随机梯度下降 (SGD) 每次用一个样本估计梯度；小批量梯度下降 (Mini-batch GD) 用一小批样本。
精度/密度/误差/强度: 能找到局部最小值 (对于凸函数是全局最小)。收敛速度受学习率、初始点和目标函数曲率影响。
底层规律/理论定理: 微积分 (梯度)、最优化理论 (一阶方法)。
典型应用场景: 1. 线性回归参数训练 2. 逻辑回归 3. 神经网络训练 (反向传播核心) 4. 支持向量机求解 5. 矩阵分解 6. 推荐系统 7. 深度学习 8. 自适应滤波 9. 控制中的参数优化 10. 经济模型校准
各类特征、变量/常量/参数列表及说明:
-
θ: 待优化参数向量
-
J(θ): 目标函数 (损失函数)
-
α: 学习率 (>0)
-
∇_θ J(θ): 目标函数关于θ的梯度向量
-
m: 训练样本总数
-
(x_i, y_i): 第i个训练样本
数学特征: 微积分 (梯度)、向量运算、迭代、收敛性 (在适当条件下收敛到驻点)、最优化 (无约束优化)。
语言特征: 描述为“梯度下降”、“参数更新”、“学习”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：随机初始化参数向量θ， 设定学习率α， 最大迭代次数T， 容差ε。
-
for t = 1 to T:
a. 计算梯度：g_t = ∇θ J(θ) = (1/m) Σ{i=1}^m ∇_θ L(f(x_i; θ), y_i)。
b. 检查收敛：if ||g_t|| < ε: break。
c. 更新参数：θ = θ - α * g_t。
-
输出：优化后的参数θ。
编号: Dy-A-0015
类别: 决策与规划
模型配方: 决策树 (ID3算法)
算法/模型/方法名称: 基于信息增益的ID3决策树学习算法
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
信息熵：度量样本集合D的纯度。H(D) = - Σ_{k=1}^{K} p_k * log_2(p_k)， 其中p_k是D中第k类样本的比例。
-
条件熵：已知特征A的条件下， 集合D的不确定性。H(D|A) = Σ_{v=1}^{V} (|D_v|/|D|) * H(D_v)， 其中A有V个可能取值， D_v是D中特征A取值为v的子集。
-
信息增益：特征A对分类带来的信息增益 Gain(D, A) = H(D) - H(D|A)。增益越大， 意味着用特征A划分后纯度提升越大。
-
ID3算法 (递归构建树)：
a. 创建根节点， 包含所有样本D。
b. 如果D中所有样本属于同一类C， 则节点标记为叶节点， 类别为C， 返回。
c. 如果特征集为空， 则节点标记为叶节点， 类别为D中样本最多的类， 返回。
d. 否则， 计算每个特征A的信息增益Gain(D, A)。选择增益最大的特征A_g。
e. 对A_g的每一个可能值a_v， 为根节点生成一个分支。令D_v为D中在A_g上取值为a_v的子集。
f. 如果D_v为空， 则分支指向一个叶节点， 类别为D中样本最多的类。
g. 否则， 以D_v为样本集， 以剩余特征为特征集， 递归调用本算法， 将返回的子树作为该分支。
-
剪枝：为防止过拟合， 后续需要进行剪枝 (预剪枝或后剪枝)。
精度/密度/误差/强度: 分类准确率。易于过拟合， 可解释性强。
底层规律/理论定理: 信息论 (信息熵、信息增益)。
典型应用场景: 1. 客户分类 2. 信用风险评估 3. 医疗诊断 4. 市场细分 5. 故障诊断规则提取 6. 游戏AI决策 7. 文本分类 8. 制造过程质量控制 9. 目标检测中的快速筛选 10. 入侵检测
各类特征、变量/常量/参数列表及说明:
-
D: 当前节点的训练样本集
-
A: 某个特征
-
p_k: 样本中第k类所占比例
-
H(D): 集合D的信息熵
-
H(D|A): 特征A给定的条件下D的条件熵
-
Gain(D, A): 特征A的信息增益
-
K: 类别总数
-
V: 特征A的取值个数
数学特征: 信息论 (熵、信息增益)、递归、树结构、集合划分、逻辑判断。
语言特征: 描述为“决策树”、“规则提取”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
函数 ID3(D, Features, Target_Attribute)：
a. 创建根节点Root。
b. if D中所有样本的Target_Attribute值相同: Root.label = 该类; return Root。
c. if Features为空: Root.label = D中最普遍的Target_Attribute值; return Root。
d. 计算Target_Attribute在D中的熵 H(D)。
e. for each feature A in Features:
i. 计算条件熵 H(D|A)。
ii. 计算信息增益 Gain(D, A) = H(D) - H(D|A)。
f. 选择 Gain(D, A) 最大的特征 A_best。
g. Root的测试特征 = A_best。
h. for each 可能取值 v of A_best:
i. 创建分支 Branch， 条件为 A_best = v。
ii. 令 D_v = D中满足 A_best = v 的样本子集。
iii. if D_v 为空: 在Branch下添加一个叶节点， 标签为D中最普遍的Target_Attribute值。
iv. else: Branch下的子树 = ID3(D_v, Features - {A_best}, Target_Attribute)。
i. return Root。
编号: Dy-A-0016
类别: 信号处理
模型配方: 快速傅里叶变换
算法/模型/方法名称: 库利-图基基2-FFT算法
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
目标：高效计算离散傅里叶变换 (DFT)。DFT定义：X[k] = Σ_{n=0}^{N-1} x[n] * W_N^{kn}， 其中W_N = e^{-j2π/N}， 直接计算复杂度O(N^2)。
-
分治思想：将长度为N (假设N是2的幂) 的序列x[n]按奇偶下标分解为两个长度为N/2的子序列：
x_even[m] = x[2m], x_odd[m] = x[2m+1]， m=0,1,...,N/2-1。
-
推导：X[k] = Σ{m=0}^{N/2-1} x[2m] * W_N^{k*(2m)} + Σ{m=0}^{N/2-1} x[2m+1] * W_N^{k*(2m+1)}
= Σ{m=0}^{N/2-1} x_even[m] * W{N/2}^{km} + W_N^k * Σ{m=0}^{N/2-1} x_odd[m] * W{N/2}^{km}
= X_even[k] + W_N^k * X_odd[k]。
其中X_even和X_odd分别是偶数和奇数子序列的N/2点DFT。但k的范围是0到N-1， 而X_even和X_odd的周期是N/2， 所以：
X[k] = X_even[k mod N/2] + W_N^k * X_odd[k mod N/2]。
X[k+N/2] = X_even[k] - W_N^k * X_odd[k] (利用了W_N^{k+N/2} = -W_N^k)。
-
递归：对两个N/2点DFT继续分解， 直到2点DFT为止。2点DFT：X[0]=x[0]+x[1]， X[1]=x[0]-x[1]。
-
蝶形运算：每一步分解对应一个蝶形运算单元：输入a, b， 输出 a+Wb, a-Wb。
精度/密度/误差/强度: 精确计算DFT (不考虑舍入误差)。计算复杂度O(N log N)。
底层规律/理论定理: 离散傅里叶变换、复数运算、分治策略。
典型应用场景: 1. 频谱分析 2. 音频处理 (压缩、滤波) 3. 图像处理 (频域滤波) 4. 数字通信 (OFDM) 5. 雷达信号处理 6. 振动分析 7. 卷积加速 8. 偏微分方程数值解 9. 数据压缩 (JPEG, MP3) 10. 密码学
各类特征、变量/常量/参数列表及说明:
-
x[n]: 输入序列， 长度为N， n=0,1,...,N-1
-
X[k]: 输出频谱， k=0,1,...,N-1
-
W_N: 旋转因子， W_N = e^{-j2π/N} = cos(2π/N) - j sin(2π/N)
-
N: 序列长度， 通常为2的整数幂
数学特征: 复数运算、指数函数、三角函数、递归、分治、蝶形图、离散变换、周期性、对称性。
语言特征: 描述为“频域变换”、“频谱分析”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
预处理 (位反转)：将输入序列x[n]按照索引n的二进制位反转顺序重新排列， 得到序列x'[n]。
-
迭代计算 (L = log2(N) 级)：
for 级数 s = 1 to L:
m = 2^s //当前蝶形运算跨度的一半
W_m = e^{-j2π/m} //本级的旋转因子基
for 蝶形组 k = 0 to N-1 step m:
W = 1
for 蝶形 j = 0 to m/2 - 1:
t = W * x'[k + j + m/2] //蝶形运算
u = x'[k + j]
x'[k + j] = u + t
x'[k + j + m/2] = u - t
W = W * W_m //更新旋转因子
-
输出：最终的x'[n] 就是X[k]， 即DFT结果。
编号: Dy-A-0017
类别: 聚类分析
模型配方: K-均值聚类
算法/模型/方法名称: Lloyd’s K-means 聚类算法
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
初始化：随机选择K个点作为初始聚类中心μ_1, μ_2, ..., μ_K。
-
分配步骤：对于每个数据点x_i， 计算其到所有聚类中心的距离d(x_i, μ_j) (通常为欧氏距离)。将其分配给距离最近的聚类中心所属的类。即 c_i = argmin_j ||x_i - μ_j||^2。
-
更新步骤：对于每个聚类j， 重新计算其中心为该类所有数据点的均值。即 μ_j = (1/|S_j|) * Σ_{x_i ∈ S_j} x_i， 其中S_j是被分配到类j的数据点集合。
-
迭代：重复分配和更新步骤， 直到聚类中心不再发生显著变化， 或达到最大迭代次数。
-
目标：最小化类内平方误差和 (WCSS)：J = Σ{j=1}^{K} Σ{x_i ∈ S_j} ||x_i - μ_j||^2。
精度/密度/误差/强度: 聚类结果受初始中心影响， 可能陷入局部最优。以WCSS衡量聚类紧密度。
底层规律/理论定理: 期望最大化 (EM) 算法的特例 (硬分配)。
典型应用场景: 1. 客户细分 2. 图像分割 3. 文档聚类 4. 异常检测 (远离任何簇的点) 5. 特征学习预处理 6. 社交网络社区发现 7. 市场分析 8. 基因表达模式分析 9. 矢量量化 (图像压缩) 10. 运动捕获数据分类
各类特征、变量/常量/参数列表及说明:
-
K: 预设的聚类数量
-
x_i: 第i个数据点
-
μ_j: 第j个聚类的中心
-
c_i: 数据点x_i所属的聚类标签
-
S_j: 属于第j类的数据点集合
-
J: 目标函数 (WCSS)
数学特征: 距离度量、最优化 (最小化WCSS)、迭代、收敛性 (单调递减)、集合划分、均值。
语言特征: 描述为“聚类”、“无监督分类”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
输入：数据集X={x_1, ..., x_n}， 聚类数K， 最大迭代次数T， 容差ε。
-
初始化：随机选择K个点作为初始聚类中心μ_1, ..., μ_K。
-
for t = 1 to T:
a. 分配 (E-step)：
for i = 1 to n:
for j = 1 to K:
计算距离 d_ij = ||x_i - μ_j||^2。
c_i = argmin_j d_ij。 //将x_i分配给距离最近的簇
b. 更新 (M-step)：
for j = 1 to K:
S_j = {x_i | c_i == j}。
if S_j 非空: μ_j_new = (1/|S_j|) * Σ_{x_i ∈ S_j} x_i。
else: μ_j_new 可随机重置或保持不变。
c. 检查收敛：计算中心变化量 Δ = Σ_{j=1}^K ||μ_j_new - μ_j||^2。
if Δ < ε: break。
else: μ_j = μ_j_new for all j。
-
输出：聚类分配{c_i} 和 最终聚类中心{μ_j}。
编号: Dy-A-0018
类别: 控制系统
模型配方: 状态观测器 (龙伯格观测器)
算法/模型/方法名称: 全维状态观测器设计
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
系统模型：线性时不变系统：ẋ = A x + B u, y = C x。假设(A, C)可观。
-
观测器结构：构造一个与系统并联的模拟系统， 并用输出误差进行校正：d(𝑥̂ )/dt = A 𝑥̂ + B u + L (y - C 𝑥̂ )。其中𝑥̂ 是状态估计， L是观测器增益矩阵。
-
误差动态：定义估计误差 e = x - 𝑥̂ 。则误差动态为：ė = (A - L C) e。
-
设计目标：通过选择L， 使得矩阵(A-LC)的所有特征值具有负实部， 且位于期望的位置 (通常比原系统A的特征值快3-5倍)。这样误差e将指数收敛到0。
-
L的选取：可以使用极点配置方法。给定期望的观测器极点集合 {p_1, p_2, ..., p_n}， 求解L使得 det(sI - (A - LC)) = (s-p_1)(s-p_2)...(s-p_n)。
精度/密度/误差/强度: 在无模型失配和噪声的理想情况下， 估计误差指数收敛到零。收敛速度由(A-LC)的特征值决定。
底层规律/理论定理: 现代控制理论 (状态空间、能观性)、线性系统理论、极点配置。
典型应用场景: 1. 传感器故障下的状态估计 2. 降阶传感器系统 3. 伺服系统全状态反馈 (当部分状态不可测时) 4. 电机无速度传感器控制 5. 过程监控 6. 故障检测与隔离 7. 软测量 8. 机器人状态估计 9. 电力系统动态状态估计 10. 汽车电子稳定程序中侧偏角估计
各类特征、变量/常量/参数列表及说明:
-
x: 系统状态向量 (n维)
-
u: 控制输入向量
-
y: 系统输出向量 (通常维数低于状态)
-
A, B, C: 系统矩阵
-
𝑥̂ : 状态估计向量
-
L: 观测器增益矩阵
-
e: 估计误差向量
数学特征: 线性代数 (矩阵、特征值)、微分方程、稳定性 (特征值实部为负)、可控性/可观性、极点配置。
语言特征: 描述为“状态重构”、“软传感器”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
系统建模：获得或辨识出系统的状态空间模型 (A, B, C)。
-
检查可观性：验证可观性矩阵满秩。若不可观， 则全维观测器无法构造。
-
确定期望极点：根据期望的误差收敛速度， 选择一组具有负实部的期望极点 {p_i}。
-
计算观测器增益L：利用极点配置算法 (如Ackermann公式， 或place命令) 计算L， 使得 eig(A - L*C) = {p_i}。
-
实现观测器 (数字域)：
a. 离散化连续系统: A_d, B_d, C_d, D_d = c2d(A, B, C, D, T_s)。
b. 离散化观测器: 𝑥̂ (k+1) = A_d 𝑥̂ (k) + B_d u(k) + L_d (y(k) - C_d 𝑥̂ (k))。其中L_d需根据离散期望极点单独设计或由连续L离散化得到。
c. 在每个控制周期：
i. 读取系统输出y(k)。
ii. 计算观测器输出: 𝑦̂ (k) = C_d 𝑥̂ (k)。
iii. 计算校正项: e_y(k) = y(k) - 𝑦̂ (k)。
iv. 更新状态估计: 𝑥̂ (k+1) = A_d 𝑥̂ (k) + B_d u(k) + L_d * e_y(k)。
v. 输出𝑥̂ (k) 用于反馈或其他用途。
编号: Dy-A-0019
类别: 非线性优化
模型配方: 列文伯格-马夸尔特算法
算法/模型/方法名称: LM算法 (阻尼最小二乘法)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题：最小化非线性最小二乘问题：min_θ S(θ) = (1/2) Σ_{i=1}^{m} [r_i(θ)]^2 = (1/2) ||r(θ)||^2。其中r(θ)是残差向量。
-
高斯-牛顿法近似：在当前参数θ附近对r(θ)进行一阶泰勒展开：r(θ+δ) ≈ r(θ) + J(θ)δ， 其中J是残差对参数的雅
编号: Dy-A-0020
类别: 计算机视觉/配准
模型配方: 最大稳定极值区域
算法/模型/方法名称: MSER图像区域检测
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
原理：对灰度图像I， 从黑色(0)到白色(255)逐渐改变二值化阈值t， 得到一系列二值图像B_t。随着t变化， 图像中连通区域(CC)会生成、合并、消失。
-
区域变化：记录每个连通区域R_i随阈值t变化的面积函数A_i(t)。当区域最稳定(即面积变化率最小)时， 该区域即为MSER。变化率定义为 q_i(t) = |A_i(t+Δt) - A_i(t-Δt)| / A_i(t)。
-
检测：寻找q_i(t)的局部最小值点t， 对应的区域R_i(t)即为一个最大稳定极值区域。通常对暗区域(从黑到白)和亮区域(从白到黑)分别检测。
-
拟合：用椭圆拟合检测到的区域， 输出椭圆的中心、方向、长短轴。
精度/密度/误差/强度: 对仿射变换、光照变化具有良好不变性。检测出的区域具有重复性高、稳定性好的特点。
底层规律/理论定理: 数学形态学 (阈值分解)、极值原理、仿射几何。
典型应用场景: 1. 自然场景文本检测 2. 图像宽基线匹配 3. 目标识别 4. 图像检索 5. 视觉SLAM中的路标提取 6. 工业零件特征点提取 7. 文档图像分析 8. 遥感图像变化检测 9. 血管图像分析 10. 材料表面纹理分析
各类特征、变量/常量/参数列表及说明:
-
I(x,y): 输入灰度图像
-
t: 二值化阈值， 从0到255
-
B_t: 阈值为t时的二值图像
-
R_i(t): 在阈值t下第i个连通区域
-
A_i(t): 区域R_i(t)的面积
-
q_i(t): 区域R_i的面积变化率
-
Δt: 阈值变化步长
数学特征: 集合 (连通区域)、函数 (面积随阈值变化)、极值、仿射变换不变性、稳定性 (对参数变化不敏感)、离散性 (像素网格)。
语言特征: 描述为“仿射不变区域检测”、“斑点检测”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：设定灰度阈值序列 t = 0, 1, ..., 255。 为每个像素预分配存储， 用于记录其所属区域随阈值的变化。
-
遍历阈值 (递增)：
for t = 0 to 255:
a. 计算二值图像 B_t: B_t(x,y) = 1 if I(x,y) ≤ t else 0。
b. 对B_t进行连通成分标记， 得到当前所有区域R_i(t)及其面积A_i(t)。
c. 跟踪每个区域从其父区域(在t-1时)的演变(继承、合并、新生成)， 更新区域树结构。
-
计算稳定性：遍历区域树中的每个区域R_i， 计算其面积函数A_i(t)在所有阈值区间的变化率 q_i(t)。寻找所有的局部最小值点(t, q_i(t))， 若q_i(t)小于设定阈值， 则R_i(t)为一个MSER。
-
区域拟合：对每个MSER， 计算其二阶矩， 拟合一个椭圆。输出椭圆参数。
编号: Dy-A-0021
类别: 机器学习/集成学习
模型配方: 随机森林
算法/模型/方法名称: Bagging与随机子空间集成的决策森林
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
Bootstrap采样：从原始训练集D (大小为N) 中， 有放回地随机抽取N个样本， 构成一个Bootstrap训练集D_b。重复此过程B次， 得到B个不同的训练集。
-
构建决策树：对每个Bootstrap训练集D_b， 训练一棵决策树T_b。在树的每个节点进行分裂时， 不是从所有m个特征中选择最佳特征， 而是随机选择m_try个特征 (m_try ≤ m)， 然后从这m_try个特征中选择信息增益最大的进行分裂。这增加了树之间的多样性。
-
组合预测：
-
分类：对于新样本x， 每棵树T_b给出一个类别预测C_b(x)。随机森林的最终预测是B棵树预测的多数投票：C_rf(x) = mode{C_1(x), C_2(x), ..., C_B(x)}。
-
回归：最终预测是B棵树预测值的平均：y_rf(x) = (1/B) Σ_{b=1}^B T_b(x)。
精度/密度/误差/强度: 通常比单棵决策树精度更高， 更不易过拟合。能评估特征重要性。泛化误差有上界。
底层规律/理论定理: 集成学习 (Bagging)、大数定律、多样性-准确性权衡。
典型应用场景: 1. 高维数据分类 (如基因表达) 2. 遥感图像地物分类 3. 客户流失预测 4. 医学诊断 5. 股价波动预测 6. 推荐系统 7. 网络入侵检测 8. 工业过程故障分类 9. 手写体识别 10. 生态学物种分布建模
各类特征、变量/常量/参数列表及说明:
-
B: 森林中树的数量
-
D_b: 第b个Bootstrap训练集
-
T_b: 第b棵决策树
-
m_try: 每次节点分裂时随机考虑的特征数
-
C_b(x): 第b棵树对样本x的分类预测
-
y_rf(x): 随机森林对样本x的回归预测
数学特征: 概率 (Bootstrap采样)、集合 (特征子集、样本子集)、投票/平均、决策树的所有特征 (信息增益、递归)、大数定律、方差减少 (Bagging)。
语言特征: 描述为“集成学习”、“多棵树投票”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
训练阶段：
for b = 1 to B:
a. 从原始训练集D中有放回采样N次， 得到Bootstrap样本集D_b。
b. 用D_b训练一棵决策树T_b， 训练时在每个节点：
i. 随机选择m_try个特征。
ii. 在这m_try个特征中， 用信息增益/基尼指数等标准选择最佳特征和分裂点。
iii. 递归分裂， 直到满足停止条件 (如节点纯度足够、样本数太少)。
-
预测阶段 (分类)：
a. 对于新样本x， 让森林中每棵树T_b进行预测， 得到B个类别标签C_b。
b. 统计每个类别c的得票数：Vote_c = Σ_{b=1}^B I(C_b == c)。
c. 输出得票最多的类别：C_rf = argmax_c Vote_c。
编号: Dy-A-0022
类别: 优化算法
模型配方: 粒子群优化
算法/模型/方法名称: 标准粒子群优化算法
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
初始化：在解空间内随机初始化一群粒子， 每个粒子i有一个位置x_i和一个速度v_i。记录每个粒子经历过的最佳位置p_i (个体最优)， 以及整个群体中所有粒子经历过的最佳位置p_g (全局最优)。
-
迭代更新：在每一代， 对每个粒子i更新其速度和位置：
a. 速度更新：v_i(t+1) = w * v_i(t) + c1 * r1 * (p_i - x_i(t)) + c2 * r2 * (p_g - x_i(t))。
b. 位置更新：x_i(t+1) = x_i(t) + v_i(t+1)。
-
w: 惯性权重， 平衡全局和局部搜索。
-
c1, c2: 加速常数 (认知系数和社会系数)。
-
r1, r2: [0,1]区间内的随机数。
-
-
评估与更新：计算每个新位置x_i(t+1)的适应度f(x_i)。如果f(x_i)优于f(p_i)， 则更新p_i = x_i。如果f(p_i)优于f(p_g)， 则更新p_g = p_i。
-
终止：重复步骤2-3， 直到达到最大迭代次数或满足精度要求。
精度/密度/误差/强度: 能够找到复杂、非线性、不可微问题的近似全局最优解。收敛速度较快， 但可能陷入局部最优。
底层规律/理论定理: 社会行为模拟 (鸟群、鱼群)、自组织、协同优化。
典型应用场景: 1. 神经网络权重训练 2. 电力系统经济调度 3. 天线阵列设计 4. PID控制器参数整定 5. 旅行商问题 6. 数据聚类 7. 图像分割 8. 滤波器设计 9. 机械设计优化 10. 化工过程优化
各类特征、变量/常量/参数列表及说明:
-
x_i: 粒子i的位置 (解向量)
-
v_i: 粒子i的速度向量
-
p_i: 粒子i的个体历史最优位置
-
p_g: 群体全局历史最优位置
-
w: 惯性权重
-
c1, c2: 加速常数
-
r1, r2: 随机数
-
f(.): 适应度函数 (目标函数)
数学特征: 向量运算、随机性、迭代、社会认知模型、最优化 (全局搜索)、收敛性。
语言特征: 描述为“群体智能”、“仿生优化”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：设定粒子数M， 最大迭代T， 参数w, c1, c2。 for i=1 to M: 随机初始化x_i, v_i。 计算f(x_i)， 令p_i = x_i。 找出全局最优p_g。
-
for t = 1 to T:
a. for i = 1 to M:
i. 生成随机数r1, r2 ~ U(0,1)。
ii. 更新速度: v_i = wv_i + c1r1(p_i - x_i) + c2r2*(p_g - x_i)。
iii. 可选地对v_i进行速度限幅。
iv. 更新位置: x_i = x_i + v_i。
b. for i = 1 to M:
i. 计算新适应度 f_new = f(x_i)。
ii. if f_new 优于 f(p_i): 更新 p_i = x_i。
iii. if f(p_i) 优于 f(p_g): 更新 p_g = p_i。
-
输出：全局最优解p_g及其适应度f(p_g)。
编号: Dy-A-0023
类别: 控制理论
模型配方: 滑模变结构控制
算法/模型/方法名称: 基于趋近律的滑模控制器设计
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
系统模型：考虑二阶非线性系统：ẋ1 = x2, ẋ2 = f(x) + b(x)u + d(t)。其中d(t)为有界扰动|d| ≤ D。
-
定义滑模面：选择滑模面s = ce + ė， 其中e = x1 - x1_d为跟踪误差， c>0。当系统状态到达滑模面s=0时， 误差动态为ė = -ce， 指数收敛到零。
-
设计控制律：设计控制u使得系统状态在有限时间内到达滑模面s=0， 并保持在上面。通常采用趋近律方法， 如等速趋近律：ṡ = -ε * sgn(s) - k*s。 其中ε>D, k>0。sgn为符号函数。
-
推导控制量：对s求导：ṡ = cė + ë = c(x2 - ẋ1_d) + (f+bu+d - ẍ1_d)。令其等于趋近律：c(x2-ẋ1_d) + f+bu+d-ẍ1_d = -εsgn(s) - ks。 可解出控制律：u = b^{-1} * [-c(x2-ẋ1_d) - f + ẍ1_d - εsgn(s) - ks] (在实现时忽略未知扰动d， 但通过ε保证鲁棒性)。
-
抖振抑制：常用饱和函数sat(s/φ) 或 sigmoid函数替代符号函数sgn(s)， 在边界层内连续化， 减小抖振。
精度/密度/误差/强度: 对匹配不确定性 (满足特定条件的扰动和模型误差) 具有完全鲁棒性。稳态误差理论上为零， 但存在抖振现象。
底层规律/理论定理: 变结构系统理论、李雅普诺夫稳定性、滑模面的到达条件。
典型应用场景: 1. 机器人轨迹跟踪 2. 电机伺服控制 3. 飞行器姿态控制 4. 导弹制导 5. 电力电子变换器控制 6. 汽车ABS/ESP 7. 磁悬浮控制 8. 倒立摆平衡 9. 机床进给系统 10. 船舶航向控制
各类特征、变量/常量/参数列表及说明:
-
x1, x2: 系统状态
-
e, ė: 跟踪误差及其导数
-
s: 滑模面变量
-
c: 滑模面系数， 决定收敛速度
-
ε, k: 趋近律参数， ε决定抗扰能力， k影响趋近速度
-
u: 控制输入
-
f, b: 系统非线性函数和输入增益
-
d: 有界扰动
-
φ: 边界层厚度
数学特征: 微分方程、非线性、不连续性 (符号函数)、李雅普诺夫函数 (用于稳定性证明)、变结构、鲁棒性、有限时间收敛。
语言特征: 描述为“变结构控制”、“鲁棒控制”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：设定参数c, ε, k, φ， 获取期望轨迹x1_d及其导数。
-
每个控制周期：
a. 测量或估计当前状态x1, x2。
b. 计算跟踪误差: e = x1 - x1_d, ė = x2 - ẋ1_d。
c. 计算滑模面: s = c*e + ė。
d. 计算切换控制项(用饱和函数平滑): u_sw = -ε * sat(s/φ)， 其中sat(z) = z if |z|≤1 else sgn(z)。
e. 计算等效控制(忽略扰动d): u_eq = b^{-1} * [-c(x2-ẋ1_d) - f + ẍ1_d - ks]。
f. 计算总控制量: u = u_eq + u_sw。
g. 输出u， 并施加到被控对象。
编号: Dy-A-0024
类别: 信号处理/滤波
模型配方: 维纳滤波器
算法/模型/方法名称: 最小均方误差线性估计 (维纳滤波)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题：从被噪声污染的信号d(n) = s(n) + v(n)中估计原始信号s(n)。设计一个线性滤波器h(n)， 使得估计值ŝ(n) = h(n) * d(n) 与真实信号s(n)的均方误差E{|s(n) - ŝ(n)|^2}最小。
-
正交性原理：最优估计误差e(n)=s(n)-ŝ(n)必须与观测数据d(n)正交， 即E{e(n)d(n-k)} = 0, ∀k。 由此导出维纳-霍夫方程*：R_sd(k) = Σ_{m=-∞}^{∞} h(m) R_dd(k-m)。其中R_sd是s与d的互相关， R_dd是d的自相关。
-
求解：
-
非因果IIR维纳滤波器：在频域求解， H_opt(ω) = P_sd(ω) / P_dd(ω)。其中P是功率谱密度。若信号与噪声不相关， 则H_opt(ω) = P_ss(ω) / [P_ss(ω) + P_vv(ω)]。
-
因果FIR维纳滤波器：假设滤波器长度为M， 则维纳-霍夫方程变为线性方程组：R_dd * h = r_sd。其中R_dd是M×M的自相关矩阵， r_sd是M×1的互相关向量。求解h = R_dd^{-1} * r_sd。
精度/密度/误差/强度: 在均方误差意义下最优的线性滤波器。需要已知信号和噪声的统计特性 (自相关/功率谱)。
底层规律/理论定理: 估计理论、正交性原理、随机过程 (相关函数、功率谱)。
典型应用场景: 1. 语音增强 2. 图像去模糊 3. 通信信道均衡 4. 雷达信号处理 5. 生物医学信号 (EEG/ECG) 去噪 6. 声纳信号处理 7. 经济时间序列预测 8. 控制器设计 (LQG问题) 9. 地理物理数据分析 10. 视频编码中的运动估计
各类特征、变量/常量/参数列表及说明:
-
s(n): 期望信号
-
v(n): 加性噪声
-
d(n): 观测信号
-
h(n): 滤波器冲激响应 (FIR时为h[0..M-1])
-
ŝ(n): 估计信号
-
R_sd(k): s与d的互相关函数
-
R_dd(k): d的自相关函数
-
P_ss(ω), P_vv(ω): 信号和噪声的功率谱密度
数学特征: 随机过程、相关函数、功率谱、线性代数 (求解线性方程组)、最优化 (最小均方误差)、卷积、正交投影。
语言特征: 描述为“最优线性滤波”、“去噪/去模糊”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
统计估计：从训练数据估计观测信号d的自相关矩阵R_dd和d与期望信号s的互相关向量r_sd。若s未知， 可从干净信号样本或模型估计其统计量。
-
求解滤波器系数 (FIR情况)：
a. 构建M×M的托普利兹矩阵R_dd， 其元素R_dd(i,j) = E{d(n-i)d(n-j)}， 0≤i,j<M。
b. 构建向量r_sd， 元素r_sd(i) = E{s(n)d(n-i)}， i=0..M-1。
c. 求解线性方程组 R_dd * h = r_sd， 得到最优FIR系数h[0..M-1]。
-
在线滤波：对于新来的数据流d(n)， 计算估计 ŝ(n) = Σ_{m=0}^{M-1} h[m] * d(n-m)。
编号: Dy-A-0025
类别: 计算机视觉/匹配
模型配方: 随机抽样一致算法
算法/模型/方法名称: RANSAC鲁棒模型拟合
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
输入：一组包含“内点” (符合模型) 和“外点” (不符合模型， 噪声、异常值) 的观测数据。
-
随机采样：从数据集中随机选取拟合模型所需的最小样本子集 (例如， 直线需要2个点， 单应矩阵需要4个点)。
-
模型估计：用这个最小子集计算出一个模型参数M。
-
一致性检验：用模型M测试整个数据集， 计算每个数据点到模型的“距离” (如点到直线的距离)。如果距离小于设定的阈值t， 则该点被认为是模型M的“内点”。统计内点数量inliers。
-
迭代与选择：重复步骤2-4 N次。选择具有最多内点数的模型M_best。如果某次迭代得到的内点数足够多 (超过预期内点比例)， 可以提前终止。
-
重新估计：用M_best的所有内点， 通过最小二乘法等重新估计一个更精确的模型M_refined。
精度/密度/误差/强度: 能抵抗高比例的异常值 (可达50%以上)。最终模型精度取决于内点噪声水平和阈值t。迭代次数N需足够高以保证以概率p至少有一次采样全是内点。
底层规律/理论定理: 概率统计、假设检验、鲁棒估计。
典型应用场景: 1. 图像拼接中的特征匹配提纯 2. 点云平面/形状拟合 3. 双目视觉基础矩阵估计 4. 运动结构恢复 5. 直线/圆检测 6. 雷达多目标跟踪起始 7. 地理数据对齐 8. 异常检测 9. 工业视觉中工件位姿估计 10. 传感器标定
各类特征、变量/常量/参数列表及说明:
-
数据点集: P = {p_i}
-
模型M: 待估计的数学描述 (如直线参数)
-
最小样本集大小: m
-
距离阈值: t
-
内点集: I
-
迭代次数: N
-
内点比例: w (估计值)
-
成功概率: p (通常设为0.99)
数学特征: 概率 (组合、伯努利试验)、集合 (内点/外点)、几何距离、最优化 (最大化内点集)、随机抽样、假设检验。
语言特征: 描述为“鲁棒拟合”、“异常值剔除”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：给定数据点集P， 阈值t， 期望成功概率p， 估计内点比例w。计算迭代次数 N = log(1-p) / log(1 - w^m)。
-
最佳模型初始化：best_model = None, best_inlier_count = 0。
-
for iter = 1 to N：
a. 从P中随机选择m个点， 组成样本子集S。
b. 用S拟合一个临时模型M_temp。
c. 计算P中所有点到M_temp的距离d_i。
d. 确定当前内点集I_temp = {p_i | d_i < t}。
e. 如果 |I_temp| > best_inlier_count:
best_inlier_count = |I_temp|
best_model = M_temp
(可选) 动态更新迭代次数 N' = log(1-p)/log(1-(|I_temp|/|P|)^m)， 若N' < N， 则令N = N'。
-
精细化：用best_model对应的所有内点I_best， 采用最小二乘法等重新估计最终模型M_final。
-
输出: M_final 和 内点集I_best。
编号: Dy-A-0026
类别: 机器学习/集成学习
模型配方: AdaBoost
算法/模型/方法名称: 自适应提升算法
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
初始化权重：给每个训练样本赋予初始权重 D_1(i) = 1/N, i=1..N。
-
训练弱分类器：在第t轮迭代， 用当前权重分布D_t训练一个弱分类器h_t， 目标是最小化加权错误率 ε_t = Σ_{i=1}^N D_t(i) * I(h_t(x_i) ≠ y_i)。
-
计算分类器权重：根据弱分类器的错误率计算其话语权 α_t = (1/2) * ln((1 - ε_t) / ε_t)。错误率越低， α_t越大。
-
更新样本权重：增加被错误分类样本的权重， 减少正确分类样本的权重：D{t+1}(i) = D_t(i) * exp(-α_t * y_i * h_t(x_i)) / Z_t。其中Z_t是归一化因子， 使得D{t+1}是一个概率分布。这使得下一轮分类器更关注之前分错的样本。
-
组合：经过T轮迭代， 得到T个弱分类器及其权重。最终强分类器为 H(x) = sign( Σ_{t=1}^T α_t * h_t(x) )。
精度/密度/误差/强度: 可将一系列仅比随机猜测略好的弱分类器提升为一个高精度的强分类器。训练误差上界指数下降。
底层规律/理论定理: 概率近似正确 (PAC) 学习框架、加性模型、前向分步加法建模。
典型应用场景: 1. 人脸检测 (Viola-Jones) 2. 文本分类 3. 客户流失预测 4. 垃圾邮件过滤 5. 医学图像分析 6. 生物信息学 7. 信用评分 8. 工业产品缺陷检测 9. 目标识别 10. 语音情感识别
各类特征、变量/常量/参数列表及说明:
-
D_t(i): 第t轮迭代时样本i的权重
-
h_t: 第t轮训练出的弱分类器
-
ε_t: h_t的加权错误率
-
α_t: 弱分类器h_t的权重
-
H(x): 最终强分类器
-
T: 最大迭代次数 (弱分类器数量)
数学特征: 加性模型、指数损失函数、最优化 (前向分步)、权重更新、投票加权、概率分布、误差边界。
语言特征: 描述为“提升方法”、“关注错样本”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
输入：训练集{(x_i, y_i)}, y_i ∈ {-1, +1}， 弱学习算法， 迭代次数T。
-
初始化权重: for i=1 to N: D_1(i) = 1/N。
-
for t = 1 to T:
a. 使用权重分布D_t， 调用弱学习算法， 得到一个弱分类器h_t: X -> {-1, +1}。
b. 计算h_t的加权错误率: ε_t = Σ_{i: h_t(x_i)≠y_i} D_t(i)。
c. if ε_t > 0.5: break (或调整)。
d. 计算h_t的权重: α_t = 0.5 * ln((1-ε_t)/ε_t)。
e. 更新样本权重: for i=1 to N:
D_{t+1}(i) = D_t(i) * exp(-α_t * y_i * h_t(x_i))。
f. 归一化权重: Z_t = Σ_i D{t+1}(i); D{t+1}(i) = D_{t+1}(i) / Z_t。
-
输出：最终分类器 H(x) = sign( Σ_{t=1}^T α_t * h_t(x) )。
编号: Dy-A-0027
类别: 最优化/多目标优化
模型配方: 非支配排序遗传算法
算法/模型/方法名称: NSGA-II (带精英策略的非支配排序遗传算法)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
初始化：随机生成大小为N的父代种群P_t。
-
非支配排序：将种群P_t中的个体按Pareto支配关系进行分层排序 (非支配排序)。不被任何其他个体支配的个体属于第一前沿面F1；移除F1后， 剩下的个体中不被支配的属于F2， 以此类推。
-
拥挤度计算：在同一前沿面F_i内， 为每个个体计算“拥挤度”， 即其在目标空间中与相邻个体的平均距离， 用于衡量个体的分布密度。拥挤度大表示该个体周围比较稀疏。
-
选择、交叉、变异：从P_t中选择个体生成子代种群Q_t (大小为N)。选择时， 优先选择前沿面序号小的个体；若在同一前沿面， 则选择拥挤度大的个体 (锦标赛选择)。
-
精英保留：合并父代P_t和子代Q_t， 得到大小为2N的种群R_t。对R_t进行非支配排序和拥挤度计算。然后从R_t中依次选取整个前沿面放入新父代P{t+1}， 直到放入F_i时种群大小将超过N。对F_i中的个体按拥挤度从大到小排序， 并选取足够个体填满P{t+1}。这保证了精英个体 (在好前沿面的个体) 被保留。
-
迭代：重复步骤2-5， 直到达到终止条件。
精度/密度/误差/强度: 能得到一组逼近真实Pareto前沿的、分布均匀的解集 (Pareto最优解集)。收敛性和分布性较好。
底层规律/理论定理: 多目标优化、进化计算、Pareto最优性、精英策略。
典型应用场景: 1. 工程设计多目标优化 (如轻量化与高强度) 2. 控制器参数整定 (响应速度与超调) 3. 投资组合优化 (收益与风险) 4. 水资源调度 5. 路径规划 (距离与风险) 6. 机器学习超参数调优 7. 供应链优化 8. 航空航天器设计 9. 环境与经济协调发展 10. 芯片布线优化
各类特征、变量/常量/参数列表及说明:
-
P_t: 第t代父代种群
-
Q_t: 第t代子代种群
-
R_t: 合并种群
-
F_i: 第i个非支配前沿面
-
个体x的拥挤度: crowding_distance(x)
-
N: 种群大小
-
M: 目标函数的个数
数学特征: 多目标优化、Pareto支配关系、偏序集、排序、密度估计 (拥挤度)、进化算法 (选择、交叉、变异)、集合操作。
语言特征: 描述为“多目标优化”、“Pareto解集”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：随机生成初始种群P_0 (大小N)， 代数t=0。
-
while 不满足终止条件:
a. 对P_t进行非支配排序， 得到前沿面F1, F2, ...。
b. 计算每个前沿面内每个个体的拥挤度。
c. 通过锦标赛选择 (基于前沿面等级和拥挤度)、交叉和变异， 从P_t生成子代种群Q_t。
d. 合并: R_t = P_t ∪ Q_t。
e. 对R_t进行非支配排序， 得到新的前沿面。
f. 初始化P_{t+1} = ∅， i = 1。
g. while |P_{t+1}| + |F_i| ≤ N:
P{t+1} = P{t+1} ∪ F_i
i = i + 1
h. 对F_i中的个体按拥挤度降序排序。
i. 将F_i中前(N - |P{t+1}|)个个体加入P{t+1}。
j. t = t + 1。
-
输出：P_t中的前沿面F1作为近似Pareto最优解集。
编号: Dy-A-0028
类别: 信号处理/变换
模型配方: 离散小波变换
算法/模型/方法名称: Mallat快速小波变换算法 (塔式算法)
算法/模型/方法名称: 基于Mallat算法的快速离散小波变换
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
多分辨率分析：将信号空间分解为一系列嵌套的近似子空间V_j和细节子空间W_j， 满足V_{j+1} = V_j ⊕ W_j。存在尺度函数φ(t)生成V_j， 小波函数ψ(t)生成W_j。
-
分解：信号f(t) ∈ V_{j+1} 可以分解为V_j中的粗糙近似和W_j中的细节。近似系数a_j[k]和细节系数d_j[k]可通过与低通滤波器h[n]和高通滤波器g[n]卷积并下采样得到：
a_j[k] = Σ_n h[n-2k] * a_{j+1}[n]
d_j[k] = Σ_n g[n-2k] * a_{j+1}[n]
其中h[n] = <φ{1,0}, φ{0,n}>， g[n] = <ψ{1,0}, φ{0,n}>， 且g[n] = (-1)^n h[1-n] (对于正交小波)。
-
重构：近似系数和细节系数可以通过上采样和卷积重构上一层的系数：
a_{j+1}[n] = Σ_k (h[n-2k] * a_j[k] + g[n-2k] * d_j[k])
-
迭代：从最精细尺度J (原始信号) 开始， 重复分解过程， 得到多尺度系数 {a_J0, d_J0, d{J0+1}, ..., d{J-1}}。
精度/密度/误差/强度: 具有时频局部化能力， 适合分析非平稳信号。可实现无损重构 (对于正交/双正交小波)。计算复杂度O(N)。
底层规律/理论定理: 多分辨率分析、滤波器组理论、子带编码。
典型应用场景: 1. 信号奇异性检测 2. 图像压缩 (JPEG2000) 3. 语音信号处理 4. 故障诊断 (轴承、齿轮) 5. 心电图QRS波检测 6. 数值分析 7. 图像去噪 8. 金融时间序列分析 9. 湍流研究 10. 数据融合
各类特征、变量/常量/参数列表及说明:
-
f(t) 或 序列 x[n]: 输入信号
-
φ(t): 尺度函数
-
ψ(t): 小波函数
-
a_j[k]: 尺度j上的近似系数
-
d_j[k]: 尺度j上的细节系数
-
h[n]: 低通分解滤波器 (与尺度函数相关)
-
g[n]: 高通分解滤波器 (与小波函数相关)
-
˜h[n], ˜g[n]: 低通和高通重构滤波器
数学特征: 多分辨率分析、卷积、下采样/上采样、滤波器组、正交/双正交基、时频分析、递归。
语言特征: 描述为“多尺度分析”、“时频局部化”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
分解 (正向DWT)：
a. 初始化：令 a_{J}[n] = x[n], n=0,...,N-1 (原始信号)。
b. for j = J-1 downto J0 (目标最粗尺度):
i. 计算近似系数: a_j[k] = Σ_n h[n-2k] * a_{j+1}[n], for all k。
ii. 计算细节系数: d_j[k] = Σ_n g[n-2k] * a_{j+1}[n], for all k。
(实际操作是：A = conv(a{j+1}, h_reverse), 然后下采样2； D = conv(a{j+1}, g_reverse), 然后下采样2)
-
重构 (逆向DWT)：
a. 从最粗尺度J0开始: 令 a_{J0} 已知。
b. for j = J0 to J-1:
i. 上采样: 将a_j上采样2倍 (在样本间插0)， 得到a_j_up。 同样处理d_j得到d_j_up。
ii. 滤波: A = conv(a_j_up, ˜h), B = conv(d_j_up, ˜g)。
iii. 求和: a_{j+1} = A + B (可能需截断到正确长度)。
编号: Dy-A-0029
类别: 系统建模/仿真
模型配方: 有限状态机
算法/模型/方法名称: 确定性有限自动机
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
定义：一个DFA是一个五元组 M = (Q, Σ, δ, q0, F)。
-
Q: 有限状态集合。
-
Σ: 有限输入字母表。
-
δ: 状态转移函数， δ: Q × Σ -> Q。
-
q0 ∈ Q: 初始状态。
-
F ⊆ Q: 接受状态集合。
-
-
运行：从初始状态q0开始， 读入输入字符串w的每个字符a， 根据当前状态q和输入a， 通过δ(q, a)确定下一个状态。重复直到字符串结束。
-
接受：如果读完整个字符串后， 机器所处的状态q_f ∈ F， 则称DFA M接受字符串w， 否则拒绝。
-
扩展：Mealy机和Moore机是带有输出的FSM， 输出与转移 (Mealy) 或状态 (Moore) 相关。
精度/密度/误差/强度: 能够精确描述具有有限个离散状态， 且状态转移由输入序列严格决定的系统行为。无法处理并发或连续动态。
底层规律/理论定理: 自动机理论、形式语言 (正则语言)、离散事件动态系统。
典型应用场景: 1. 数字电路设计 2. 通信协议建模 3. 词法分析 (编译器) 4. 电梯控制逻辑 5. 自动售货机控制 6. 工业生产线节拍控制 7. 游戏AI行为 8. 用户界面流程 9. 网络安全策略模型 10. 业务流程建模
各类特征、变量/常量/参数列表及说明:
-
Q: 状态集合， 如 {Idle, Running, Paused, Fault}
-
Σ: 输入事件集合， 如 {Start, Stop, Pause, Resume, Error}
-
δ: 转移函数， 通常用状态转移表或图表示
-
q0: 初始状态
-
F: 终止/接受状态集 (在控制系统中可能不强调)
-
w: 输入事件序列
数学特征: 集合、函数 (转移函数)、离散、序列、图 (状态转移图)、形式语言、确定性。
语言特征: 描述为“状态转移”、“逻辑控制”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：当前状态 current_state = q0。
-
循环处理输入事件：
while 有输入事件到来:
a. 读取下一个输入事件 a ∈ Σ。
b. 查找转移函数: next_state = δ(current_state, a)。
c. 执行离开 current_state 的动作 (可选)。
d. 执行进入 next_state 的动作 (可选)。
e. 执行转移动作 (对于Mealy机， 输出与a和current_state相关； 对于Moore机， 输出与next_state相关)。
f. 更新状态: current_state = next_state。
-
结束：当系统被要求停止或无新事件时结束。如果用于字符串识别， 则在字符串结束时检查 current_state ∈ F。
编号: Dy-A-0030
类别: 时序分析/预测
模型配方: 隐马尔可夫模型
算法/模型/方法名称: HMM的前向-后向算法与维特比算法
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
模型定义：HMM由以下参数λ=(A, B, π)描述：
-
A: 状态转移概率矩阵， A{ij} = P(q{t+1}=j | q_t=i)。
-
B: 观测概率矩阵， B_j(k) = P(o_t = v_k | q_t = j)。
-
π: 初始状态概率分布， π_i = P(q_1 = i)。
-
-
三个基本问题：
a. 评估：给定模型λ和观测序列O， 计算P(O|λ)。用前向算法 (动态规划) 解决：定义前向变量α_t(i)=P(o1,o2,...,ot, q_t=i | λ)， 递归计算 α{t+1}(j) = [Σ_i α_t(i) A{ij}] B_j(o_{t+1})。
b. 解码：给定模型λ和观测序列O， 求最可能的状态序列Q* = argmax_Q P(Q,O|λ)。用维特比算法 (动态规划) 解决：定义变量δ_t(i)=max{q1,...,q{t-1}} P(q1,..,q{t-1}, q_t=i, o1,..,o_t | λ)， 递归计算 δ{t+1}(j) = max_i [δ_t(i) A{ij}] B_j(o{t+1})， 并记录路径。
c. 学习：给定观测序列O， 估计模型参数λ使得P(O|λ)最大。用Baum-Welch算法 (EM算法特例) 解决。
精度/密度/误差/强度: 能够建模具有隐藏状态的序列数据。预测和解码的精度取决于模型与数据的匹配程度。
底层规律/理论定理: 概率图模型、马尔可夫过程、动态规划、期望最大化算法。
典型应用场景: 1. 语音识别 2. 手写体识别 3. 自然语言处理 (词性标注) 4. 生物序列分析 (DNA) 5. 故障诊断 6. 金融时间序列建模 7. 目标跟踪 8. 行为识别 9. 网络入侵检测 10. 信道解码
各类特征、变量/常量/参数列表及说明:
-
λ = (A, B, π): HMM参数
-
Q = {q_1, q_2, ..., q_T}: 隐藏状态序列
-
O = {o_1, o_2, ..., o_T}: 观测序列
-
α_t(i): 前向概率
-
β_t(i): 后向概率
-
δ_t(i): 维特比概率
-
ψ_t(j): 维特比路径回溯指针
数学特征: 概率与统计 (条件概率、联合概率)、矩阵、动态规划、递归、期望最大化、马尔可夫性、图模型。
语言特征: 描述为“隐藏状态推断”、“序列标注”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
评估 (前向算法)：
a. 初始化: α_1(i) = π_i * B_i(o_1)。
b. 递归: for t=1 to T-1, for j=1 to N: α{t+1}(j) = [Σ{i=1}^N α_t(i) * A{ij}] * B_j(o{t+1})。
c. 终止: P(O|λ) = Σ_{i=1}^N α_T(i)。
-
解码 (维特比算法)：
a. 初始化: δ_1(i) = π_i * B_i(o_1)， ψ_1(i)=0。
b. 递归: for t=1 to T-1, for j=1 to N:
δ{t+1}(j) = max{1≤i≤N} [δ_t(i) * A{ij}] * B_j(o{t+1})
ψ{t+1}(j) = argmax_i [δ_t(i) * A{ij}]
c. 终止: P* = max_i δ_T(i)， q_T* = argmax_i δ_T(i)。
d. 路径回溯: for t=T-1 downto 1: q_t* = ψ{t+1}(q{t+1}*)。
编号: Dy-A-0031
类别: 机器学习/降维
模型配方: t-分布随机邻域嵌入
算法/模型/方法名称: t-SNE非线性降维
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
高维空间相似度：对于高维数据点x_i, x_j， 用高斯核将其相似度转化为条件概率p{j|i}， 表示x_j作为x_i邻居的概率：p{j|i} = exp(-||x_i - x_j||^2 / 2σ_i^2) / Σ{k≠i} exp(-||x_i - x_k||^2 / 2σ_i^2)。然后定义联合概率 p{ij} = (p{j|i} + p{i|j}) / 2N。其中σ_i是为每个点i自适应选择的， 使得其困惑度 Perp(P_i) = 2^{H(P_i)} 等于一个预设值 (如30)。
-
低维空间相似度：在低维映射空间 (如2维) 中， 使用自由度为1的t分布 (柯西分布) 来定义点y_i, y_j之间的相似度q{ij}: q{ij} = (1 + ||y_i - y_j||^2)^{-1} / Σ_{k≠l} (1 + ||y_k - y_l||^2)^{-1}。
-
目标：最小化高维分布P和低维分布Q之间的KL散度：C = KL(P||Q) = Σ_i Σ{j≠i} p{ij} log(p{ij} / q{ij})。
-
优化：梯度下降法优化目标C。梯度为 ∂C/∂y_i = 4 Σ_j (p{ij} - q{ij}) (y_i - y_j) (1 + ||y_i - y_j||^2)^{-1}。
-
特点：t分布的重尾特性使得在低维空间中， 相似点更靠近， 不相似点距离被拉得很开， 有利于保持局部结构并显露全局结构 (如簇)。
精度/密度/误差/强度: 能有效保留数据的局部和部分全局结构， 特别适合高维数据可视化。计算开销大， 结果对超参数 (困惑度) 敏感。
底层规律/理论定理: 信息论 (KL散度)、概率分布 (高斯、t分布)、流形学习。
典型应用场景: 1. 高维数据可视化 (如基因表达、单细胞RNA-seq) 2. 图像数据集探索 (如MNIST) 3. 文档主题可视化 4. 神经网络中间层激活可视化 5. 异常检测可视化 6. 语音特征分析 7. 客户分群可视化 8. 材料科学数据探索 9. 社交网络图可视化 10. 工业过程多变量监控
各类特征、变量/常量/参数列表及说明:
-
x_i: 高维数据点
-
y_i: 低维映射点
-
p_{ij}: 高维空间中点i和j的联合相似概率
-
q_{ij}: 低维空间中点i和j的联合相似概率
-
σ_i: 以点i为中心的高斯核的带宽
-
Perp: 困惑度， 控制邻居的有效数量
-
C: 损失函数 (KL散度)
数学特征: 概率分布、KL散度、梯度下降、高维几何、流形、随机邻域、最优化、信息论。
语言特征: 描述为“非线性降维”、“流形学习”、“高维可视化”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
输入：高维数据集X={x_1,...,x_n}， 目标维度d (通常2或3)， 困惑度Perp， 迭代次数T， 学习率η。
-
计算高维相似度P：
a. 对每个点i， 二分搜索寻找σ_i， 使得其条件分布P_i的困惑度等于设定值。
b. 用找到的σ_i计算p{j|i}， 然后得到对称的p{ij}。
-
初始化低维映射：随机初始化低维点Y={y_1,...,y_n} (如从N(0,10^-4)采样)。
-
迭代优化：
for iter = 1 to T:
a. 根据当前Y计算低维相似度q_{ij}。
b. 计算损失C的梯度 ∂C/∂Y。
c. 更新Y: Y = Y - η * ∂C/∂Y + momentum * (Y_prev - Y_prev_prev) (通常使用动量)。
d. 可选地进行早压缩 (在初始迭代中夸大p_{ij})。
-
输出：低维表示Y。
编号: Dy-A-0032
类别: 控制系统
模型配方: 模型预测控制
算法/模型/方法名称: 线性约束MPC (二次规划形式)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
预测模型：使用系统的离散状态空间模型：x(k+1) = A x(k) + B u(k), y(k) = C x(k)。在每一时刻k， 以当前测量/估计的状态x(k)为初始状态。
-
滚动优化：在预测时域N_p内， 优化未来控制输入序列u(k), u(k+1), ..., u(k+N_c-1) (控制时域N_c ≤ N_p)， 使得如下目标函数最小：
J(k) = Σ{i=1}^{N_p} ||y(k+i) - r(k+i)||Q^2 + Σ{i=0}^{N_c-1} ||Δu(k+i)||R^2
其中Δu(k+i)=u(k+i)-u(k+i-1)， Q和R是权重矩阵。同时满足约束：u_min ≤ u ≤ u_max, Δu_min ≤ Δu ≤ Δu_max, y_min ≤ y ≤ y_max。
-
开环优化问题：将预测方程代入目标函数， 可将J(k)转化为关于未来控制增量序列ΔU(k) = [Δu(k), ..., Δu(k+N_c-1)]^T 的二次型：J(k) = ΔU^T * H * ΔU + 2 * f^T * ΔU + const。约束化为关于ΔU的线性不等式约束。这是一个二次规划问题。
-
实施：在线求解该QP， 得到最优控制增量序列ΔU(k)。但只实施序列的第一个元素Δu(k)， 计算u(k)=u(k-1)+Δu*(k)并作用于系统。
-
滚动：在下一采样时刻k+1， 用新的状态测量值x(k+1)重新求解新的QP问题， 重复此过程。
精度/密度/误差/强度: 能够显式处理多变量、约束， 是最优控制。控制性能取决于模型准确性和优化求解效率。
底层规律/理论定理: 最优控制、滚动时域、二次规划、约束优化。
典型应用场景: 1. 化工过程多变量控制 2. 自动驾驶轨迹跟踪 3. 无人机编队控制 4. 机器人操作臂力/位混合控制 5. 能源管理 (智能电网) 6. 汽车自适应巡航 7. 航空航天器姿态控制 8. 楼宇暖通空调控制 9. 造纸过程控制 10. 金融市场交易策略
各类特征、变量/常量/参数列表及说明:
-
x(k): 当前时刻状态
-
u(k), y(k): 控制输入和输出
-
r(k): 参考轨迹
-
N_p: 预测时域
-
N_c: 控制时域
-
Q, R: 输出误差和控制增量变化的权重矩阵
-
ΔU: 优化变量 (未来控制增量序列)
-
H, f: QP问题的矩阵和向量
数学特征: 线性代数、二次规划、约束优化、滚动时域、预测、多变量、最优化。
语言特征: 描述为“预测控制”、“滚动优化”、“带约束控制”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：获取系统模型(A,B,C)， 设定N_p, N_c, Q, R， 约束条件。 初始化u(k-1)=0。
-
每个控制周期k：
a. 测量或估计当前状态x(k)。
b. 构造QP问题：
-
根据预测模型， 将未来输出Y = [y(k+1),...,y(k+N_p)]^T 表示为 Y = S_x * x(k) + S_u * U_prev + S_Δu * ΔU 的形式。其中U_prev包含过去控制量。
-
将目标函数J(k)用ΔU表示， 得到Hessian矩阵H和梯度向量f。
-
将输入、输出约束转化为关于ΔU的线性不等式 A_ineq * ΔU ≤ b_ineq。
c. 求解QP: ΔU* = argmin_{ΔU} { (1/2)ΔU^T H ΔU + f^T ΔU, s.t. A_ineq ΔU ≤ b_ineq }。
d. 提取ΔU的第一个元素Δu(k)。
e. 计算实际控制量: u(k) = u(k-1) + Δu*(k)。 (并做限幅)
f. 将u(k)输出到执行器。
g. 为下一时刻准备: u(k-1) = u(k)。
-
编号: Dy-A-0033
类别: 计算机视觉/特征
模型配方: 方向梯度直方图
算法/模型/方法名称: HOG特征描述子
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
图像预处理：可进行Gamma校正和颜色归一化， 但通常直接使用灰度图像。
-
计算梯度：对图像I， 计算每个像素的水平梯度G_x和垂直梯度G_y (如用[-1,0,1]滤波器)。计算梯度幅值G = √(G_x^2 + G_y^2) 和方向θ = arctan(G_y / G_x)， 将方向范围量化到0-180° (无符号) 或0-360° (有符号)。
-
单元划分与方向投票：将图像划分为小的空间区域， 称为“细胞”(Cell)， 如8x8像素。每个细胞内的每个像素， 根据其梯度方向θ (属于哪个方向区间) 和幅值G， 为对应的方向直方图区间进行加权投票 (权重为G)。
-
块归一化：将相邻的多个细胞 (如2x2个) 组合成一个“块”(Block)。块在图像上滑动 (有重叠)。对块内所有细胞的直方图向量进行拼接， 然后对这个长向量进行归一化 (常用L2范数: v -> v / √(||v||^2 + ε))。归一化可提高对光照和阴影的鲁棒性。
-
HOG特征向量：将所有块的归一化后的直方图向量按顺序拼接起来， 就得到整个图像 (或检测窗口) 的HOG特征描述子。
精度/密度/误差/强度: 对物体的局部形状表征能力强， 对光照和小量形变鲁棒。特征维度较高。
底层规律/理论定理: 局部梯度统计、方向直方图、空间金字塔。
典型应用场景: 1. 行人检测 2. 车辆检测 3. 手势识别 4. 人脸检测 5. 图像分类 6. 行为识别 7. 工业零件识别 8. 遥感图像目标检测 9. 视频监控 10. 生物特征识别
各类特征、变量/常量/参数列表及说明:
-
I(x,y): 输入图像
-
G, θ: 像素点的梯度幅值和方向
-
Cell: 细胞， 基本统计单元 (如8x8像素)
-
Bin: 方向直方图的区间， 通常9个 (0°,20°,40°,...,160°)
-
Block: 块， 归一化单元 (如2x2个细胞)
-
HOG描述子: 最终的特征向量
数学特征: 梯度计算、直方图统计、向量拼接、范数归一化、滑动窗口、空间分块。
语言特征: 描述为“梯度直方图”、“形状特征”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
输入：灰度图像或检测窗口。
-
梯度计算：计算每个像素的G_x, G_y, G, θ。将θ量化到N个方向区间 (bins)。
-
构建细胞直方图：将图像划分为MxN个细胞。对每个细胞， 创建一个长度为Bins的直方图数组hist[0..B-1]， 初始为0。遍历细胞内每个像素， 将其梯度幅值G按双线性插值累加到与θ最接近的两个直方图区间中。
-
块归一化：
a. 定义块大小 (如2x2个细胞) 和滑动步长 (如1个细胞)。
b. 对每个块位置， 将其覆盖的细胞直方图拼接成一个向量v_block。
c. 计算v_block的L2范数: norm = sqrt( sum(v_block[i]^2) + epsilon )。
d. 归一化: v_block_norm = v_block / norm。
-
生成特征向量：将所有v_block_norm按块扫描顺序拼接成一个一维向量， 即HOG特征。
编号: Dy-A-0034
类别: 优化算法/元启发式
模型配方: 蚁群优化算法
算法/模型/方法名称: Ant System for TSP
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
信息素初始化：在图的每条边(i,j)上放置初始信息素τ_ij(0) = τ_0。
-
蚂蚁构造解：将m只蚂蚁随机放置在不同城市。每只蚂蚁k根据状态转移规则选择下一个未访问的城市j。规则通常是伪随机比例规则：以概率p_k(i,j) = [τ_ij]^α * [η_ij]^β / Σ_{l∈allowed_k} [τ_il]^α * [η_il]^β 选择城市j。其中η_ij=1/d_ij是启发式信息 (能见度)， α和β控制信息素和启发式信息的相对重要性。allowed_k是蚂蚁k未访问的城市集合。
-
信息素更新：
a. 挥发：所有边上的信息素按比例ρ挥发: τ_ij = (1-ρ) * τ_ij。
b. 增强：每只蚂蚁k在其走过的路径L_k上释放信息素: Δτ_ij^k = Q / L_k， 如果边(i,j)在蚂蚁k的路径上， 否则为0。Q是常数。所有蚂蚁释放的信息素相加: Δτ_ij = Σ_{k=1}^m Δτ_ij^k。然后更新: τ_ij = τ_ij + Δτ_ij。
-
迭代：重复步骤2-3， 直到达到最大迭代次数。记录历代找到的最短路径。
精度/密度/误差/强度: 能有效求解组合优化问题， 具有正反馈、分布式计算特点。收敛速度可能较慢， 可能陷入局部最优。
底层规律/理论定理: 群体智能、自组织、正反馈。
典型应用场景: 1. 旅行商问题 2. 车辆路径规划 3. 作业车间调度 4. 网络路由 5. 数据聚类 6. 图像处理 (边缘检测) 7. 集成电路布线 8. 背包问题 9. 蛋白质结构预测 10. 电力系统故障区段定位
各类特征、变量/常量/参数列表及说明:
-
τ_ij: 边(i,j)上的信息素浓度
-
η_ij: 边(i,j)的启发式值 (通常为距离倒数)
-
α: 信息素重要程度因子
-
β: 启发式因子重要程度因子
-
ρ: 信息素挥发系数 (0<ρ<1)
-
Q: 信息素强度常数
-
L_k: 蚂蚁k所走路径的总长度
-
m: 蚂蚁数量
数学特征: 概率 (状态转移规则)、正反馈 (信息素更新)、挥发、迭代、图论、组合优化、随机性。
语言特征: 描述为“蚁群算法”、“仿生优化”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：设置参数α,β,ρ,Q,m,迭代次数NC_max。初始化信息素矩阵τ_ij = τ_0 for all edges。
-
for NC = 1 to NC_max:
a. 将m只蚂蚁随机置于不同城市。
b. for 每只蚂蚁k = 1 to m:
i. 清空禁忌表tabu_k， 将起点城市加入。
ii. while 未访问所有城市:
-
当前城市i = tabu_k的最后一个城市。
-
根据状态转移概率公式p_k(i,j)选择下一个城市j。
-
将城市j加入tabu_k。
iii. 计算蚂蚁k的路径长度L_k。
c. 信息素全局更新：
i. 挥发: for all edges (i,j): τ_ij = (1-ρ)*τ_ij。
ii. 增强: for 每只蚂蚁k=1 to m:
for 路径tabu_k中的每条边(i,j):
τ_ij = τ_ij + Q / L_k。
d. 记录本次迭代的最短路径和全局最短路径。
-
-
输出：全局最短路径。
编号: Dy-A-0035
类别: 控制理论/自适应控制
模型配方: 模型参考自适应控制
算法/模型/方法名称: 基于Lyapunov稳定性的MRAC
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
参考模型：定义一个稳定、性能理想的参考模型：ẋ_m = A_m x_m + B_m r。其中r是参考输入， x_m是期望的系统状态。
-
可调系统：被控对象为 ẋ_p = A_p x_p + B_p u， 但其参数A_p, B_p未知或慢时变。设计控制器为状态反馈形式：u = K_x(t) x_p + K_r(t) r。其中K_x(t)和K_r(t)是可调参数。
-
误差动态：定义跟踪误差 e = x_p - x_m。目标是设计参数自适应律， 使得e→0。推导误差方程：ė = A_m e + (A_p + B_p K_x - A_m)x_p + (B_p K_r - B_m)r。
-
匹配条件：假设存在理想常数参数K_x和K_r， 使得A_p + B_p K_x* = A_m 且 B_p K_r* = B_m。则误差方程可写为：ė = A_m e + B_p Φ_x x_p + B_p Φ_r r， 其中Φ_x = K_x - K_x， Φ_r = K_r - K_r是参数误差。
-
自适应律设计：选择Lyapunov函数 V = e^T P e + trace(Φ_x^T Γ_x^{-1} Φ_x) + trace(Φ_r^T Γ_r^{-1} Φ_r)， 其中P是满足A_m^T P + P A_m = -Q的正定矩阵。计算V的导数， 通过使V负定， 可推导出自适应律：
K̇_x^T = -Γ_x B_p^T P e x_p^T
K̇_r^T = -Γ_r B_p^T P e r^T
其中Γ_x, Γ_r是正定自适应增益矩阵。
精度/密度/误差/强度: 在理想匹配条件下， 能保证全局稳定和渐近跟踪。对模型失配和干扰敏感。
底层规律/理论定理: 自适应控制、Lyapunov稳定性理论、模型参考。
典型应用场景: 1. 飞行器姿态自适应控制 2. 伺服系统参数自适应 3. 机器人轨迹跟踪 (关节动力学参数未知) 4. 船舶航向自适应控制 5. 电机驱动 6. 过程控制 7. 电力系统稳定器 8. 汽车主动悬架 9. 磁轴承控制 10. 柔性结构振动控制
各类特征、变量/常量/参数列表及说明:
-
x_m: 参考模型状态
-
x_p: 被控对象状态
-
r: 参考输入
-
e: 跟踪误差
-
K_x(t), K_r(t): 可调控制器参数
-
K_x, K_r: 理想控制器参数 (未知)
-
Φ_x, Φ_r: 参数误差
-
P, Q: Lyapunov方程中的正定矩阵
-
Γ_x, Γ_r: 自适应增益矩阵
数学特征: 微分方程、Lyapunov稳定性、矩阵运算、自适应律 (积分型)、参数估计、匹配条件。
语言特征: 描述为“模型参考自适应”、“在线调参”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
离线设计：选择稳定的参考模型(A_m, B_m)。选择Q>0， 解Lyapunov方程得P>0。选择自适应增益矩阵Γ_x, Γ_r。
-
在线运行 (每个控制周期)：
a. 测量被控对象状态x_p， 获取参考输入r。
b. 计算参考模型输出: 积分 ẋ_m = A_m x_m + B_m r (或离散化计算)。
c. 计算跟踪误差: e = x_p - x_m。
d. 计算控制量: u = K_x * x_p + K_r * r。
e. 输出u到被控对象。
f. 更新可调参数 (数字实现):
K_x = K_x - (Γ_x * (B_p^T P e) * x_p^T) * T_s
K_r = K_r - (Γ_r * (B_p^T P e) * r^T) * T_s
(其中B_p通常用其估计值或标称值)
编号: Dy-A-0036
类别: 系统工程/可靠性
模型配方: 故障树分析
算法/模型/方法名称: 基于布尔代数的故障树定量与定性分析
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
建树：定义顶事件 (系统故障)， 自上而下逐级分析导致其发生的直接原因 (中间事件和底事件)， 用逻辑门 (与门、或门等) 连接， 形成树状图。
-
定性分析 (求最小割集)：从顶事件开始， 自上而下将故障树结构函数用布尔代数表示。通过递归展开， 最终将结构函数化为底事件积之和的析取范式。其中每个乘积项对应一个割集， 若该乘积项中任意底事件不发生， 则割集失效， 称为最小割集。可用下行
编号: Dy-A-0036
类别: 机器学习/强化学习
模型配方: 深度Q网络
算法/模型/方法名称: DQN (Deep Q-Network with Experience Replay and Target Network)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
Q-Learning核心：目标是学习一个最优动作价值函数Q*(s, a)， 它表示在状态s下采取动作a后， 遵循最优策略所能获得的期望累积回报。更新规则基于贝尔曼最优方程: Q(s, a) ← Q(s, a) + α [ r + γ * max_{a'} Q(s', a') - Q(s, a) ]， 其中α是学习率， γ是折扣因子。
-
函数近似：使用深度神经网络 (Q-network) 参数化Q函数， 即Q(s, a; θ) ≈ Q*(s, a)。输入是状态s， 输出是每个动作a对应的Q值。
-
经验回放：将智能体与环境交互得到的转移经验(s_t, a_t, r_t, s_{t+1})存储到一个固定大小的回放缓冲区中。训练时， 从缓冲区中随机采样小批量的经验， 打破数据间的相关性， 提高样本效率和数据稳定性。
-
目标网络：引入一个结构相同但参数不同的目标网络 (Target Network)， 其参数θ'定期从在线网络(Online Network)参数θ复制 (硬更新) 或缓慢跟踪 (软更新)。在计算TD目标时使用目标网络: y = r + γ * max_{a'} Q(s', a'; θ')。这减少了目标值Q(s', a'; θ')与当前估计值Q(s, a; θ)之间的相关性， 稳定了训练。
-
训练损失：最小化均方时序差分误差: L(θ) = E_{(s,a,r,s')~D} [ ( y - Q(s, a; θ) )^2 ]， 其中D是经验回放缓冲区， y是使用目标网络计算的目标Q值。
精度/密度/误差/强度: 能够处理高维状态空间 (如图像)， 是深度强化学习的里程碑。但存在Q值过估计、探索效率等问题。后续有Double DQN、Dueling DQN等改进。
底层规律/理论定理: 强化学习 (时序差分学习、贝尔曼方程)、深度学习、经验回放、固定目标。
典型应用场景: 1. 雅达利游戏AI 2. 机器人离散动作控制 3. 资源管理 4. 广告投放策略 5. 网络路由 6. 库存管理 7. 游戏对战AI (如《星际争霸》的部分场景) 8. 交通信号控制 9. 推荐系统 10. 金融交易 (离散动作)
各类特征、变量/常量/参数列表及说明:
-
s, a, r, s': 状态、动作、奖励、下一状态
-
Q(s, a; θ): 在线Q网络， 参数为θ
-
Q(s, a; θ'): 目标Q网络， 参数为θ'
-
γ: 折扣因子 (0≤γ<1)
-
α: 学习率
-
D: 经验回放缓冲区
-
ε: ε-greedy策略中的探索率
-
L(θ): 损失函数
数学特征: 贝尔曼最优方程、时序差分误差、随机梯度下降、经验回放 (独立同分布采样)、目标网络 (延迟更新)、ε-greedy探索。
语言特征: 描述为“深度Q学习”、“价值函数近似”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：初始化在线Q网络参数θ， 目标网络参数θ' = θ。清空经验回放缓冲区D。设定总步数T， 目标网络更新频率C。
-
循环 (对于每一局游戏或每个时间步)：
a. 观察与探索：根据当前状态s_t， 以ε概率随机选择动作a_t， 或以1-ε概率选择a_t = argmax_a Q(s_t, a; θ)。
b. 执行与存储：执行动作a_t， 观测奖励r_t和下一状态s{t+1}。将转移(s_t, a_t, r_t, s{t+1})存入缓冲区D。
c. 采样与训练：如果缓冲区数据足够， 从中随机采样一个小批量样本 {(s_i, a_i, r_i, s_{i+1})}。
i. 对于每个样本， 计算目标值: 如果s{i+1}是终止状态， y_i = r_i； 否则， y_i = r_i + γ * max{a'} Q(s_{i+1}, a'; θ')。
ii. 计算损失: L = (1/N) Σ_i ( y_i - Q(s_i, a_i; θ) )^2。
iii. 执行梯度下降步骤更新在线网络参数θ。
d. 更新目标网络：每经过C步， 将目标网络参数更新为在线网络参数: θ' ← θ (硬更新) 或 θ' ← τθ + (1-τ)θ' (软更新， τ≪1)。
-
输出：训练完成后， 最优策略为 π*(s) = argmax_a Q(s, a; θ)。
编号: Dy-A-0037
类别: 机器学习/强化学习
模型配方: 深度确定性策略梯度
算法/模型/方法名称: DDPG (Actor-Critic with Experience Replay)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
框架：基于Actor-Critic架构处理连续动作空间。Actor网络μ(s|θ^μ)输出确定性动作a， Critic网络Q(s, a|θ^Q)评价该动作的价值。
-
目标网络：引入目标Actor网络μ'和Critic网络Q'， 参数θ^μ', θ^Q'通过软更新缓慢跟踪在线网络：θ' ← τθ + (1-τ)θ'， τ≪1， 以稳定训练。
-
经验回放：存储转移经验(s_t, a_t, r_t, s_{t+1})到回放缓冲区， 训练时随机采样小批量， 打破数据相关性。
-
Critic更新：最小化时序差分误差。目标值 y_i = r_i + γ Q'(s{i+1}, μ'(s{i+1}|θ^μ')|θ^Q')。Critic损失 L = (1/N) Σ_i (y_i - Q(s_i, a_i|θ^Q))^2， 用梯度下降更新θ^Q。
-
Actor更新：通过确定性策略梯度定理， 沿提升Q值的方向更新Actor参数：∇{θ^μ} J ≈ (1/N) Σ_i ∇a Q(s, a|θ^Q)|{s=s_i, a=μ(s_i)} ∇{θ^μ} μ(s|θ^μ)|_{s_i}。即用Critic指导Actor改进策略。
-
探索：在Actor输出的动作上添加噪声过程N_t (如OU噪声) 进行探索：a_t = μ(s_t|θ^μ) + N_t。
精度/密度/误差/强度: 能学习连续空间的高维策略， 但训练不稳定， 对超参数敏感。最终策略性能取决于训练充分性。
底层规律/理论定理: 强化学习 (确定性策略梯度定理)、深度学习、时序差分学习。
典型应用场景: 1. 机器人连续动作控制 (如机械臂抓取) 2. 自动驾驶决策 3. 无人机姿态控制 4. 交易策略 5. 能源管理 6. 机器人 locomotion 7. 化工过程控制 8. 游戏AI (连续控制类) 9. 柔性制造单元调度 10. 智能电网频率控制
各类特征、变量/常量/参数列表及说明:
-
θ^μ, θ^Q: Actor和Critic网络参数
-
θ^μ', θ^Q': 目标网络参数
-
μ(s): Actor策略， 输出动作a
-
Q(s, a): Critic Q函数
-
γ: 折扣因子
-
τ: 目标网络软更新系数
-
N_t: 探索噪声
-
(s, a, r, s'): 状态、动作、奖励、下一状态
数学特征: 时序差分误差、梯度下降、确定性策略梯度、随机过程 (探索噪声)、经验回放 (独立同分布采样)、目标网络 (延迟更新)。
语言特征: 描述为“离线策略”、“连续控制”、“深度强化学习”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：随机初始化在线网络θ^μ, θ^Q， 目标网络θ^μ'=θ^μ, θ^Q'=θ^Q。清空回放缓冲区R。
-
循环 (每回合)：
a. 初始化状态s。
b. 循环 (每步)：
i. 选择动作: a_t = μ(s_t|θ^μ) + N_t。
ii. 执行a_t， 观察r_t, s_{t+1}。
iii. 存储(s_t, a_t, r_t, s_{t+1})到R。
iv. 从R中随机采样一个小批量转移样本。
v. 计算目标值: y_i = r_i + γ * Q'(s{i+1}, μ'(s{i+1}|θ^μ')|θ^Q')。
vi. 更新Critic: 最小化 L = Σ_i (y_i - Q(s_i, a_i|θ^Q))^2。
vii. 更新Actor: ∇{θ^μ} J ≈ Σ_i ∇a Q(s_i, a|θ^Q) ∇_{θ^μ} μ(s_i|θ^μ)。
viii. 软更新目标网络: θ^Q' ← τθ^Q + (1-τ)θ^Q'， θ^μ' ← τθ^μ + (1-τ)θ^μ'。
编号: Dy-A-0038
类别: 计算机视觉/深度学习
模型配方: 卷积神经网络
算法/模型/方法名称: 基于反向传播的CNN训练
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
卷积层：用多个滤波器 (卷积核) 在输入特征图上滑动， 进行局部连接和权值共享的卷积操作， 提取局部特征。输出特征图: (Y_l){i,j,k} = σ( Σ{m} Σ{p,q} (W_l){k,m,p,q} * (X_l){i+p, j+q, m} + (b_l)k )， σ为激活函数 (如ReLU)。
-
池化层：对特征图进行下采样， 增强平移不变性， 减少参数。常用最大池化: (Y_l){i,j,k} = max{(p,q)∈R} (X_l)_{is+p, js+q, k}， s为步长。
-
全连接层：将高层特征图展平为向量， 进行全局综合， 用于分类或回归: y = σ(W * x + b)。
-
训练：前向传播计算预测值， 用损失函数 (如交叉熵) 计算误差L。通过反向传播算法， 利用链式法则计算损失对每一层参数的梯度∂L/∂W， 然后用梯度下降法更新参数: W = W - η * ∂L/∂W。
精度/密度/误差/强度: 在图像、语音等任务上达到高精度。模型容量大， 需要大量标注数据和计算资源。
底层规律/理论定理: 神经科学 (感受野)、深度学习、误差反向传播、卷积的平移等变性。
典型应用场景: 1. 图像分类 2. 目标检测 3. 图像分割 4. 人脸识别 5. 医学影像分析 6. 自动驾驶场景理解 7. 工业视觉缺陷检测 8. 视频分析 9. 自然语言处理 (文本分类) 10. 语音识别
各类特征、变量/常量/参数列表及说明:
-
X_l: 第l层输入特征图
-
W_l: 第l层卷积核权重
-
b_l: 第l层偏置
-
σ: 非线性激活函数
-
s: 卷积/池化步长
-
p: 填充大小
-
L: 损失函数
-
η: 学习率
数学特征: 卷积运算、下采样 (池化)、非线性激活、链式求导、梯度下降、张量运算、局部连接、权值共享。
语言特征: 描述为“深度学习”、“特征提取”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
前向传播：输入图像I。依次通过卷积层(Conv)、激活(ReLU)、池化(Pool)的堆叠， 最后通过全连接层(FC)和Softmax， 输出类别概率分布ŷ。
-
计算损失：L = -Σ_c y_c log(ŷ_c)， 其中y是one-hot真实标签。
-
反向传播：
a. 计算输出层梯度: ∂L/∂z^{[L]} = ŷ - y。
b. 对于l = L-1 downto 1:
根据链式法则， 计算∂L/∂W^{[l]}, ∂L/∂b^{[l]}, 以及传递到前一层的梯度∂L/∂a^{[l-1]}。对于卷积层， 梯度计算涉及转置卷积操作。
-
参数更新：对每一层l: W^{[l]} = W^{[l]} - η * ∂L/∂W^{[l]}, b^{[l]} = b^{[l]} - η * ∂L/∂b^{[l]}。
编号: Dy-A-0039
类别: 点云处理/配准
模型配方: 迭代最近点算法
算法/模型/方法名称: 基于SVD的ICP点云精配准
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
数据准备：给定源点云P={p_i}和目标点云Q={q_i}， 及初始位姿估计R_0, t_0。
-
最近点关联：对于变换后的源点云P'=R*P+t中的每个点p_i’， 在目标点云Q中寻找其最近邻点q_i， 形成对应点对(p_i, q_i)。
-
去除错误对：可基于距离阈值或法向一致性剔除不可靠的对应点对。
-
计算最优变换：求解最小化对应点距离平方和的旋转R和平移t： min_{R,t} Σ_i || R * p_i + t - q_i ||^2。该问题有闭式解：
a. 计算质心: μ_p = (1/N) Σ p_i, μ_q = (1/N) Σ q_i。
b. 去中心化: p_i' = p_i - μ_p, q_i' = q_i - μ_q。
c. 计算矩阵 H = Σ_i p_i' * q_i'^T。
d. 对H进行SVD分解: H = UΣV^T。则最优旋转 R = V * U^T (需确保det(R)=1， 否则调整V)。最优平移 t = μ_q - R * μ_p。
-
迭代：用计算出的R, t更新源点云位置: P ← R*P + t。重复步骤2-5， 直到变换参数的变化小于阈值或达到最大迭代次数。
精度/密度/误差/强度: 能够实现高精度的点云配准， 但需要良好的初始位姿， 否则易陷入局部最优。对异常值和噪声敏感。
底层规律/理论定理: 最小二乘、刚体变换、奇异值分解、最近邻搜索。
典型应用场景: 1. 三维重建中的多视角点云对齐 2. 机器人定位与地图构建 3. 工业零件三维检测 4. 文物数字化 5. 自动驾驶中的激光雷达里程计 6. 医学图像配准 7. 逆向工程 8. 增强现实 9. 地形匹配 10. 点云压缩
各类特征、变量/常量/参数列表及说明:
-
P, Q: 源点云和目标点云
-
R, t: 待求的旋转矩阵和平移向量
-
p_i, q_i: 对应点对
-
μ_p, μ_q: 点云质心
-
H: 协方差矩阵
-
U, Σ, V: H的SVD分解结果
数学特征: 最近邻搜索、最小二乘、刚体变换、奇异值分解、迭代、收敛性、几何距离。
语言特征: 描述为“点云配准”、“点云对齐”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
输入：源点云P， 目标点云Q， 初始变换R_0, t_0 (可为单位阵和零向量)， 最大迭代次数K， 容差ε。
-
初始化：R = R_0, t = t_0。
-
for iter = 1 to K:
a. 应用当前变换: P' = R * P + t。
b. 数据关联：对P'中每个点p_i'， 在Q中用KD-Tree等快速查找最近点q_i， 形成对应集C = {(p_i, q_i)}。
c. 剔除外点：计算所有对应点距离d_i = ||p_i' - q_i||， 移除d_i > threshold的对应对。
d. 计算变换：
i. 计算质心: μ_p = mean({p_i}), μ_q = mean({q_i})。
ii. 计算H = Σ_i (p_i - μ_p)(q_i - μ_q)^T。
iii. SVD: [U, S, V] = svd(H)。
iv. 计算R_iter = V * U^T， 若det(R_iter)<0， 则V最后一列乘-1后重新计算R_iter。
v. 计算t_iter = μ_q - R_iter * μ_p。
e. 更新全局变换: R = R_iter * R, t = R_iter * t + t_iter。
f. 检查收敛: if (||R_iter - I|| + ||t_iter||) < ε: break。
-
输出：最终变换R, t。
编号: Dy-A-0040
类别: 控制理论/智能控制
模型配方: 模糊逻辑控制器
算法/模型/方法名称: Mamdani型模糊推理与重心法解模糊
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
模糊化：将清晰的输入变量e (误差) 和 ec (误差变化) 通过隶属度函数μ_A(x) 转化为模糊量。常用三角形、梯形隶属度函数。
-
规则库：基于专家经验建立模糊规则， 形式为“If e is A and ec is B then u is C”。其中A, B, C是模糊语言值 (如NB, NM, ZO, PM, PB)。
-
模糊推理：采用Mamdani蕴含运算。对于每条规则， 计算其激活度 (触发强度) α_i = min(μ_A(e), μ_B(ec))。然后， 将该规则结论模糊集C_i按激活度α_i进行“削顶” (min运算) 或“缩放” (prod运算)， 得到输出模糊集C_i'。
-
聚合：将所有被触发的规则的输出模糊集C_i'进行聚合， 通常采用取大(∪)运算， 得到总的输出模糊集C_total: μ{C_total}(u) = max_i(μ{C_i'}(u))。
-
解模糊：将聚合后的模糊输出集C_total转化为清晰的控制量u。常用重心法: u = (∫ u * μ{C_total}(u) du) / (∫ μ{C_total}(u) du)。对于离散论域， u = Σ_j u_j * μ{C_total}(u_j) / Σ_j μ{C_total}(u_j)。
精度/密度/误差/强度: 不依赖于精确数学模型， 利用经验知识， 鲁棒性强。控制精度取决于规则库和隶属度函数的設計。
底层规律/理论定理: 模糊集合论、近似推理、语言变量。
典型应用场景: 1. 家电控制 (空调、洗衣机) 2. 水泥窑、锅炉等复杂过程控制 3. 汽车自动变速 4. 电梯群控 5. 机器人路径跟踪 6. 医疗诊断辅助 7. 经济预测 8. 水质处理 9. 自动驾驶的局部决策 10. 智能家居系统
各类特征、变量/常量/参数列表及说明:
-
e, ec: 输入变量 (误差、误差变化)
-
u: 输出变量 (控制量)
-
μ_A(x): 隶属度函数， 表示x属于模糊集A的程度
-
α_i: 第i条规则的激活度
-
C_i': 第i条规则触发后的输出模糊集
-
C_total: 聚合后的总输出模糊集
数学特征: 模糊集合、隶属度函数、逻辑运算 (min, max)、积分 (解模糊)、规则推理、近似推理。
语言特征: 描述为“模糊控制”、“基于规则的控制”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：定义输入/输出变量的模糊集及其隶属度函数。建立模糊规则库。
-
每个控制周期：
a. 采样， 计算清晰误差e和误差变化ec。
b. 模糊化：计算e对每个输入模糊集A_k的隶属度μ_{A_k}(e)， 同理计算ec对B_l的隶属度。
c. 模糊推理：
i. 对每条规则R_i: If e is A_k and ec is B_l then u is C_m。
ii. 计算该规则激活度 α_i = min(μ{A_k}(e), μ{B_l}(ec))。
iii. 计算该规则输出模糊集: μ{C_i'}(u) = min(α_i, μ{C_m}(u)) (Mamdani最小运算)。
d. 聚合：对所有被触发的规则， μ{C_total}(u) = max_i (μ{C_i'}(u))。
e. 解模糊 (重心法)：
-
离散化解空间u， 计算每个离散点u_j处的隶属度值 μ_{C_total}(u_j)。
-
计算清晰输出: u = Σ{j} (u_j * μ{C_total}(u_j)) / Σ{j} μ{C_total}(u_j)。
f. 输出u到被控对象。
-
编号: Dy-A-0041
类别: 优化算法
模型配方: 遗传算法
算法/模型/方法名称: 基本遗传算法 (选择、交叉、变异)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
编码：将问题的解表示为染色体， 常用二进制串或浮点数向量。
-
初始化种群：随机生成N个个体构成初始种群P(0)。
-
适应度评估：计算每个个体x_i的适应度值f(x_i)， 反映其解的优劣。
-
选择：根据适应度比例选择个体进入交配池。常用轮盘赌选择：个体i被选中的概率 p_i = f_i / Σ_j f_j。适应度高的个体有更高几率被选中。
-
交叉：从交配池中随机配对父代个体， 以概率p_c交换部分基因， 产生新个体。单点交叉：随机选择一点， 交换该点后的基因段。
-
变异：对新个体以较小概率p_m随机改变某些基因位 (二进制翻转或实值扰动)， 引入新基因， 维持种群多样性。
-
产生新一代：用经过选择、交叉、变异产生的新个体组成新一代种群P(t+1)。检查是否满足终止条件 (如最大代数、适应度收敛)， 若不满足则返回步骤3。
精度/密度/误差/强度: 全局搜索能力强， 适用于复杂、非线性、不可微问题。但收敛速度慢， 可能“早熟”。
底层规律/理论定理: 进化论 (自然选择、遗传、变异)、群体智能。
典型应用场景: 1. 函数优化 2. 组合优化 (TSP) 3. 神经网络结构搜索 4. 图像处理参数优化 5. 调度问题 6. 控制器参数整定 7. 机器学习特征选择 8. 电路设计 9. 金融模型优化 10. 生物信息学
各类特征、变量/常量/参数列表及说明:
-
P(t): 第t代种群
-
x_i: 个体 (染色体)
-
f(x_i): 个体适应度
-
N: 种群大小
-
p_c: 交叉概率
-
p_m: 变异概率
-
L: 染色体长度
数学特征: 编码、适应度函数、概率选择、随机操作 (交叉、变异)、迭代进化、全局搜索。
语言特征: 描述为“进化算法”、“遗传进化”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：t=0， 随机生成初始种群P(0)， 评估适应度。
-
while 不满足终止条件:
a. 选择：根据适应度， 用轮盘赌法从P(t)中选择N个个体到交配池。
b. 交叉：对交配池中个体两两随机配对， 以概率p_c进行交叉， 生成临时子代种群O1。
c. 变异：对O1中每个个体， 以概率p_m对每个基因位进行变异， 得到子代种群O2。
d. 评估：计算O2中每个个体的适应度。
e. 生成新一代：P(t+1) = O2 (或采用精英保留策略， 将P(t)中最优个体直接保留到P(t+1)中)。
f. t = t + 1。
-
输出：历代最优个体。
编号: Dy-A-0042
类别: 估计理论/滤波
模型配方: 扩展卡尔曼滤波器
算法/模型/方法名称: 基于一阶泰勒展开的EKF
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
非线性模型：状态方程: x_k = f(x_{k-1}, u_k) + w_k; 观测方程: z_k = h(x_k) + v_k。其中f和h为非线性函数， w_k, v_k为高斯噪声。
-
线性化：在上一时刻的最优估计x̂{k-1}处对f进行一阶泰勒展开， 在当前预测值x̂k^-处对h进行一阶泰勒展开， 得到雅可比矩阵：
F_k = ∂f/∂x |{x̂{k-1}}
H_k = ∂h/∂x |{x̂k^-}
-
预测：
状态预测: x̂k^- = f(x̂{k-1}, u_k)
误差协方差预测: P_k^- = F_k P_{k-1} F_k^T + Q
-
更新：
卡尔曼增益: K_k = P_k^- H_k^T (H_k P_k^- H_k^T + R)^{-1}
状态更新: x̂k = x̂k^- + K_k (z_k - h(x̂_k^-))
协方差更新: P_k = (I - K_k H_k) P_k^-
-
迭代：重复预测-更新步骤。
精度/密度/误差/强度: 对弱非线性系统有良好估计效果。线性化误差可能导致滤波发散， 且需计算雅可比矩阵。
底层规律/理论定理: 卡尔曼滤波、一阶泰勒近似、非线性系统线性化。
典型应用场景: 1. GPS/INS组合导航 2. 移动机器人定位 3. 目标跟踪 (非线性运动模型) 4. 电池状态估计 (SOC) 5. 化学反应过程状态估计 6. 飞行器姿态估计 (使用四元数时) 7. 经济学状态空间模型 8. 气象数据同化 9. 传感器融合 (摄像头与IMU) 10. 电力系统动态状态估计
各类特征、变量/常量/参数列表及说明:
-
f: 非线性状态转移函数
-
h: 非线性观测函数
-
F_k: 状态转移雅可比矩阵
-
H_k: 观测雅可比矩阵
-
x̂k^-, x̂k: 先验和后验状态估计
-
P_k: 误差协方差矩阵
-
K_k: 卡尔曼增益
-
Q, R: 过程与观测噪声协方差
数学特征: 非线性函数、一阶泰勒展开、雅可比矩阵、高斯假设、递归贝叶斯估计、近似最优。
语言特征: 描述为“非线性卡尔曼滤波”、“线性化估计”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化: x̂_0, P_0。
-
预测步骤:
a. 计算雅可比矩阵: F_k = ∂f/∂x |{x̂{k-1}}。
b. 状态预测: x̂k^- = f(x̂{k-1}, u_k)。
c. 协方差预测: P_k^- = F_k P_{k-1} F_k^T + Q。
-
更新步骤:
a. 计算观测雅可比: H_k = ∂h/∂x |{x̂k^-}。
b. 计算卡尔曼增益: K_k = P_k^- H_k^T (H_k P_k^- H_k^T + R)^{-1}。
c. 计算创新: y ̃k = z_k - h(x̂k^-)。
d. 状态更新: x̂k = x̂k^- + K_k * y ̃_k。
e. 协方差更新: P_k = (I - K_k H_k) P_k^-。
编号: Dy-A-0043
类别: 信号处理/变换
模型配方: 希尔伯特-黄变换
算法/模型/方法名称: 经验模态分解与希尔伯特谱分析
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
经验模态分解：将信号x(t)分解为本征模态函数之和: x(t) = Σ_{i=1}^{n} IMF_i(t) + r_n(t)。每个IMF需满足：(1)极值点与过零点数量相等或差1；(2)上下包络均值为零。EMD通过“筛选”过程得到IMF：
a. 找出信号所有极值点。
b. 用三次样条插值拟合上下包络线e_max(t), e_min(t)。
c. 计算均值包络: m(t) = (e_max(t)+e_min(t))/2。
d. 计算细节: h(t) = x(t) - m(t)。
e. 判断h(t)是否满足IMF条件， 若是则得到一个IMF， 否则以h(t)为新信号重复a-d。
-
希尔伯特谱分析：对每个IMF_i(t)进行希尔伯特变换， 得到解析信号: z_i(t) = IMF_i(t) + j * H{IMF_i(t)}。从而得到瞬时幅度A_i(t)和瞬时频率ω_i(t): A_i(t) = √(IMF_i^2 + H{IMF_i}^2), ω_i(t) = d( arctan(H{IMF_i}/IMF_i) )/dt。
-
希尔伯特谱：将幅度表示为时间和瞬时频率的函数H(ω, t)， 可绘制时频谱图， 能量集中在瞬时频率线上。
精度/密度/误差/强度: 自适应、适用于非线性非平稳信号。但EMD存在模态混叠、端点效应等问题。
底层规律/理论定理: 瞬时频率概念、自适应基分解、希尔伯特变换。
典型应用场景: 1. 机械故障诊断 (轴承、齿轮) 2. 地震信号分析 3. 心电图分析 4. 海洋波分析 5. 结构健康监测 6. 语音信号处理 7. 金融时间序列分析 8. 气候变化研究 9. 脑电图分析 10. 电力系统暂态分析
各类特征、变量/常量/参数列表及说明:
-
x(t): 原始信号
-
IMF_i(t): 第i个本征模态函数
-
r_n(t): 残余项
-
H{.}: 希尔伯特变换算子
-
A_i(t), ω_i(t): 瞬时幅度和频率
-
H(ω, t): 希尔伯特谱
数学特征: 极值点、包络线拟合 (样条插值)、筛选过程、希尔伯特变换、瞬时频率、自适应分解、非线性、非平稳。
语言特征: 描述为“自适应时频分析”、“模态分解”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
EMD分解：
a. 令 r_0(t) = x(t), i = 1。
b. while r_{i-1}(t)不是单调趋势：
i. h_0(t) = r_{i-1}(t), k = 0。
ii. 筛选:
-
找出h_k(t)的所有极值点。
-
拟合上下包络e_max(t), e_min(t)。
-
计算均值m_k(t)。
-
h_{k+1}(t) = h_k(t) - m_k(t)。
-
若h{k+1}满足IMF条件， 则IMF_i(t)=h{k+1}(t); 否则k=k+1， 继续筛选。
iii. r_i(t) = r_{i-1}(t) - IMF_i(t)。
iv. i = i+1。
-
-
希尔伯特变换：对每个IMF_i(t)， 计算其希尔伯特变换， 得到解析信号， 进而计算瞬时幅频。
-
谱绘制：在时频平面上， 以幅度为颜色绘制H(ω_i(t), t)。
编号: Dy-A-0044
类别: 机器学习/聚类
模型配方: DBSCAN密度聚类
算法/模型/方法名称: 基于密度可达性的聚类
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
概念：给定邻域半径ε和最小点数MinPts。
-
核心点：若点p的ε-邻域内至少包含MinPts个点 (包括p自身)， 则p是核心点。
-
直接密度可达：点q在p的ε-邻域内， 且p是核心点， 则q从p直接密度可达。
-
密度可达：存在点链p1, p2, ..., pn， 其中p1=p, pn=q， 且p_{i+1}从p_i直接密度可达， 则q从p密度可达。
-
密度相连：若存在点o， 使得p和q都从o密度可达， 则p和q密度相连。
-
-
算法：从任意未访问点p开始， 检查其ε-邻域。如果它是核心点， 则创建一个新簇C， 并将p及其所有密度可达的点 (通过广度/深度优先搜索) 都添加到C中。如果p不是核心点， 则将其标记为噪声 (但后续可能被其他核心点吸收进簇)。重复直到所有点被访问。
-
噪声：不属于任何簇的点被标记为噪声 (离群点)。
精度/密度/误差/强度: 能发现任意形状的簇， 对噪声鲁棒。不需要预先指定簇数K。对参数ε和MinPts敏感。
底层规律/理论定理: 基于密度的聚类、图的可达性。
典型应用场景: 1. 空间数据聚类 (如地图上的位置点) 2. 异常检测 3. 图像分割 4. 社交网络社区发现 5. 文档聚类 6. 传感器网络事件检测 7. 客户细分 8. 天文数据分类 9. 生物信息学 10. 制造业中的异常批次识别
各类特征、变量/常量/参数列表及说明:
-
ε: 邻域半径
-
MinPts: 核心点所需的最小邻域点数
-
N_ε(p): 点p的ε-邻域内的点集
-
核心点、边界点、噪声点: 点的类型
-
簇C: 点的集合
数学特征: 距离度量、邻域、密度、图论 (可达性)、集合、噪声处理。
语言特征: 描述为“密度聚类”、“噪声鲁棒”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：所有点标记为未访问。簇ID初始为0。
-
for 每个点p in 数据集D:
a. if p 已被访问: continue。
b. 标记p为已访问。
c. 找出p的ε-邻域N_ε(p)。
d. if |N_ε(p)| < MinPts: 标记p为噪声。
e. else:
i. 创建一个新簇C， 将p加入C。
ii. 令种子集合 seeds = N_ε(p) \ {p}。
iii. for 每个点q in seeds:
-
if q 未被访问: 标记q为已访问， 找其邻域N_ε(q)； if |N_ε(q)| >= MinPts: 将N_ε(q)中未处理点加入seeds。
-
if q 还不属于任何簇: 将q加入簇C。
-
-
输出：所有簇C及其中的点， 以及噪声点。
编号: Dy-A-0045
类别: 自然语言处理/深度学习
模型配方: 循环神经网络
算法/模型/方法名称: 简单RNN及其通过时间的反向传播
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
循环单元：在时间步t， RNN单元接收当前输入x_t和上一时刻的隐藏状态h_{t-1}， 计算当前隐藏状态h_t和输出y_t。
隐藏状态: h_t = tanh(W{hh} * h{t-1} + W_{xh} * x_t + b_h)
输出: y_t = softmax(W_{hy} * h_t + b_y) (用于分类)
-
序列处理：将序列(x_1, x_2, ..., x_T)依次输入RNN， 得到隐藏状态序列(h_1, h_2, ..., h_T)和输出序列(y_1, y_2, ..., y_T)。h_t包含了到t时刻为止的序列历史信息。
-
损失函数：对于序列标注任务， 损失通常是各时间步交叉熵之和: L = Σ{t=1}^T L_t = -Σ_t Σ_c y{t,c}^{true} log(y_{t,c})。
-
BPTT：通过时间的反向传播。从最后时刻T开始， 将损失L对参数W{hh}, W{xh}, W_{hy}的梯度沿着时间轴反向传播。由于链式法则， 梯度会连乘多个tanh的导数， 可能导致梯度消失或爆炸。
精度/密度/误差/强度: 能够处理变长序列， 捕捉时间依赖关系。但简单RNN存在长程依赖学习困难 (梯度消失)。
底层规律/理论定理: 序列建模、递归计算、动态系统、梯度反向传播的链式法则。
典型应用场景: 1. 文本分类 2. 情感分析 3. 机器翻译 (编码器) 4. 时间序列预测 5. 语音识别 6. 视频帧序列分析 7. 股票预测 8. 音乐生成 9. 命名实体识别 10. 自动写作
各类特征、变量/常量/参数列表及说明:
-
x_t: t时刻输入向量
-
h_t: t时刻隐藏状态
-
y_t: t时刻输出
-
W{xh}, W{hh}, W_{hy}: 权重矩阵
-
b_h, b_y: 偏置
-
L: 总损失
数学特征: 递归方程、序列、矩阵乘法、非线性激活 (tanh)、梯度反向传播 (沿时间展开)、链式法则、梯度消失/爆炸。
语言特征: 描述为“序列模型”、“循环网络”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
前向传播：
a. 初始化h_0 (如零向量)。
b. for t = 1 to T:
h_t = tanh(W{xh} x_t + W{hh} h_{t-1} + b_h)
y_t = softmax(W_{hy} h_t + b_y)
-
计算损失：L = Σ_t L_t(y_t, y_t^{true})。
-
反向传播 (BPTT)：
a. 初始化梯度: dW{xh}=0, dW{hh}=0, dW_{hy}=0, db_h=0, db_y=0。
b. 计算输出层梯度: ∂L/∂y_t。
c. 从t=T downto 1:
-
计算∂L/∂h_t， 包含来自y_t的梯度和来自h_{t+1}的梯度 (t<T时)。
-
计算参数梯度: dW{xh} += (∂L/∂h_t) * (1 - h_t^2) * x_t^T; dW{hh} += (∂L/∂h_t) * (1 - h_t^2) * h_{t-1}^T; db_h += (∂L/∂h_t) * (1 - h_t^2)。
-
计算传递给前一时刻的梯度: ∂L/∂h{t-1} = W{hh}^T * ( (∂L/∂h_t) * (1 - h_t^2) )。
-
-
参数更新：用梯度下降更新所有参数。
编号: Dy-A-0046
类别: 计算机视觉/目标检测
模型配方: YOLO (单阶段检测器)
算法/模型/方法名称: You Only Look Once v3
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
网格划分：将输入图像划分为S×S的网格。
-
边界框预测：每个网格单元预测B个边界框。每个框预测5个值: (x, y, w, h, confidence)。(x, y)是框中心相对于网格单元左上角的偏移， (w, h)是相对于整个图像宽高的比例。置信度 confidence = P(Object) * IOU_{pred}^{truth}， 反映框内是否有物体及定位准确度。
-
类别预测：每个网格单元还预测C个条件类别概率P(Class_i | Object)。在测试时， 将条件类别概率与每个框的置信度相乘， 得到每个框的类别置信度分数: Score = P(Class_i | Object) * P(Object) * IOU = P(Class_i) * IOU。这分数编码了该类出现在该框的概率以及预测框拟合目标的程度。
-
多尺度预测：YOLOv3在3个不同尺度的特征图上进行预测， 以检测不同大小的物体。特征图经过上采样并与浅层特征拼接， 融合多尺度信息。
-
损失函数：包括坐标误差 (中心点和宽高)、置信度误差 (有物体和无物体)、分类误差的加权和。宽高误差用平方根以缓解大小框敏感度差异。
-
非极大值抑制：预测后， 对每个类别， 根据类别置信度分数进行阈值过滤， 然后用NMS去除冗余框。
精度/密度/误差/强度: 检测速度快， 可实现实时检测。精度低于两阶段检测器， 对小目标和密集目标检测效果较弱。
底层规律/理论定理: 深度学习、边界框回归、多任务学习 (分类与回归)、多尺度特征融合。
典型应用场景: 1. 实时视频监控 2. 自动驾驶环境感知 3. 无人机目标检测 4. 工业流水线产品计数与缺陷定位 5. 智慧零售客流分析 6. 体育赛事分析 7. 农业病虫害检测 8. 医学影像病灶检测 9. 机器人视觉引导 10. 社交媒体内容审核
各类特征、变量/常量/参数列表及说明:
-
S: 网格数
-
B: 每个网格预测的边界框数
-
C: 类别数
-
(x, y, w, h, confidence): 边界框预测值
-
P(Class_i | Object): 条件类别概率
-
类别置信度分数: Score
-
IOU: 交并比
数学特征: 边界框参数化、交并比计算、多尺度特征图、损失函数 (加权和)、逻辑回归 (用于对象置信度)、NMS。
语言特征: 描述为“单阶段检测”、“端到端检测”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
前向传播：输入图像通过Darknet-53等骨干网络提取特征， 并在三个不同尺度的特征层进行卷积预测， 输出形状为 [S, S, B*(5+C)] 的张量。
-
解码预测：对每个尺度的输出， 解析出每个网格的边界框参数和类别概率， 计算每个框的绝对坐标和类别置信度分数。
-
过滤：根据置信度阈值 (如0.5) 过滤掉分数低的框。
-
NMS：对每个类别， 将剩下的框按分数排序， 依次选取最高分框， 并剔除与其IOU大于阈值 (如0.45) 的其他框， 直到处理完所有框。
-
输出：经过滤和NMS后剩余的边界框及其类别标签、置信度。
编号: Dy-A-0047
类别: 控制理论/自适应控制
模型配方: 自抗扰控制
算法/模型/方法名称: ADRC (跟踪微分器、扩张状态观测器、非线性状态误差反馈)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
跟踪微分器：安排过渡过程， 提取光滑的参考信号v及其微分v̇。例如， 最速跟踪微分器: v̇1 = v2, v̇2 = -r * sign(v1 - v + v2|v2|/(2r))， 其中v1跟踪v， v2是v1的微分， r为速度因子。
-
扩张状态观测器：将系统内扰、外扰和模型不确定性总和视为“总扰动”， 扩张为一个新的状态x3。对二阶系统 ẍ = f(x, ẋ, w, t) + b*u， 令x1=x, x2=ẋ, x3=f。构建非线性ESO：
e = z1 - y
ż1 = z2 - β01 * fal(e, α1, δ)
ż2 = z3 - β02 * fal(e, α2, δ) + b0 * u
ż3 = -β03 * fal(e, α3, δ)
其中fal(e,α,δ) = { e/δ^{1-α}, |e|≤δ; |e|^α sign(e), |e|>δ }， 是一个非线性函数。z1, z2估计x1, x2， z3实时估计总扰动x3。
-
非线性状态误差反馈：计算跟踪误差e1=v1-z1, e2=v2-z2。设计非线性控制律: u0 = k1 * fal(e1, α1, δ) + k2 * fal(e2, α2, δ)。
-
扰动补偿：最终控制量: u = (u0 - z3) / b0。通过减去估计的总扰动z3， 实现动态补偿线性化， 将原不确定非线性系统补偿为串联积分器型。
精度/密度/误差/强度: 不依赖于精确模型， 对内外扰动有强鲁棒性。参数较多， 整定复杂。
底层规律/理论定理: 状态观测器扩张、总扰动估计与补偿、非线性反馈。
典型应用场景: 1. 高性能伺服系统 2. 飞行器姿态控制 3. 精密运动平台 4. 电力电子变换器控制 5. 机器人关节控制 6. 热工过程控制 7. 电机调速 8. 汽车主动悬架 9. 磁悬浮控制 10. 智能制造装备
各类特征、变量/常量/参数列表及说明:
-
v1, v2: TD安排的过渡过程及其微分
-
z1, z2, z3: ESO估计的系统状态和总扰动
-
e: ESO观测误差
-
fal(.): 非线性函数
-
β0i: ESO增益
-
k1, k2: NLSEF增益
-
b0: 系统控制增益的估计值
-
u0, u: 初步控制量和最终控制量
数学特征: 微分方程、非线性函数、状态观测器、扰动估计、误差反馈、补偿线性化。
语言特征: 描述为“自抗扰”、“扰动估计与补偿”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
TD安排过渡：根据给定参考信号v， 求解TD微分方程， 得到光滑的v1和v2。
-
ESO实时估计：在每个控制周期， 读取系统输出y， 计算观测误差e， 更新ESO状态z1, z2, z3。
-
NLSEF计算：计算误差e1=v1-z1, e2=v2-z2， 通过fal函数计算非线性反馈量u0。
-
扰动补偿：计算最终控制量 u = (u0 - z3) / b0。
-
输出控制：将u施加到被控对象。
编号: Dy-A-0048
类别: 机器学习/生成模型
模型配方: 变分自编码器
算法/模型/方法名称: 基于重参数化的VAE训练
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
编码器：将输入数据x映射到潜在空间z。编码器网络q_φ(z|x)输出潜在变量z分布的参数 (通常假设为高斯， 输出均值μ和方差σ^2)。
-
重参数化技巧：为了可微， 从N(μ, σ^2)采样通过 z = μ + σ ⊙ ε 实现， 其中ε ~ N(0, I)， ⊙是逐元素乘法。这使得梯度可以回传到编码器参数φ。
-
解码器：从潜在变量z重构数据， 解码器网络p_θ(x|z)输出重构数据x'的分布参数 (如Bernoulli或Gaussian)。
-
损失函数：证据下界。L(θ, φ; x) = -D{KL}(q_φ(z|x) || p(z)) + E{z~q_φ(z|x)}[log p_θ(x|z)]。其中p(z)是先验分布 (通常为标准正态N(0, I))。
-
第一项KL散度， 鼓励后验分布q_φ(z|x)接近先验p(z)， 起到正则化作用。
-
第二项重构项， 鼓励解码器重构数据x。
-
-
训练：最大化ELBO， 等价于最小化负的ELBO作为损失函数。用梯度下降联合优化编码器参数φ和解码器参数θ。
精度/密度/误差/强度: 能学习数据的平滑潜在表示， 可用于生成新样本、插值、去噪。生成样本质量通常低于GAN， 但训练更稳定。
底层规律/理论定理: 变分推断、自编码器、概率图模型、重参数化技巧。
典型应用场景: 1. 图像生成 2. 数据去噪 3. 半监督学习 4. 异常检测 5. 对话生成 6. 药物发现 7. 推荐系统 8. 数据压缩 9. 风格迁移 10. 分子设计
各类特征、变量/常量/参数列表及说明:
-
x: 输入数据
-
z: 潜在变量
-
q_φ(z|x): 编码器 (近似后验分布)
-
p_θ(x|z): 解码器 (生成模型)
-
p(z): 先验分布
-
μ, σ: 编码器输出的均值和标准差
-
ε: 辅助噪声变量
-
L: 证据下界
数学特征: 概率分布 (高斯、伯努利)、KL散度、期望、重参数化、变分推断、神经网络、最大似然。
语言特征: 描述为“生成模型”、“潜在表示学习”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
前向传播：
a. 编码器输入x， 输出μ, log(σ^2)。
b. 重参数化: z = μ + exp(0.5 * log(σ^2)) * ε, ε ~ N(0, I)。
c. 解码器输入z， 输出重构数据x'的分布参数 (如图像像素的伯努利概率)。
-
计算损失：
a. 重构损失: L_{recon} = -log p_θ(x|z) (如二元交叉熵)。
b. KL散度: L_{KL} = 0.5 * Σ_i (1 + log(σ_i^2) - μ_i^2 - σ_i^2)。
c. 总损失: L = L{recon} + L{KL}。
-
反向传播：计算损失对θ和φ的梯度。通过重参数化， 梯度可流过随机采样步骤。
-
参数更新：用梯度下降更新θ和φ。
编号: Dy-A-0049
类别: 机器学习/优化
模型配方: Adam优化器
算法/模型/方法名称: 自适应矩估计优化算法
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
一阶矩估计 (动量)：计算梯度的一阶指数移动平均， 估计梯度均值 (动量项)。
m_t = β1 * m_{t-1} + (1 - β1) * g_t
-
二阶矩估计：计算梯度平方的二阶指数移动平均， 估计梯度未中心化的方差。
v_t = β2 * v_{t-2} + (1 - β2) * g_t^2 (元素平方)
-
偏差校正：由于m_0, v_0初始为0， 在初期会偏向0， 需进行偏差校正。
m̂_t = m_t / (1 - β1^t)
v̂_t = v_t / (1 - β2^t)
-
参数更新：用校正后的矩估计更新参数。
θ_t = θ{t-1} - α * m̂t / (√(v̂_t) + ε)
α是学习率， ε是防止除零的小常数。
-
特性：结合了动量和RMSProp的优点， 自适应调整每个参数的学习率。
精度/密度/误差/强度: 通常收敛速度快， 对稀疏梯度友好， 是深度学习默认优化器之一。需要调节超参数α, β1, β2。
底层规律/理论定理: 随机优化、自适应学习率、指数移动平均。
典型应用场景: 1. 深度神经网络训练 2. 自然语言处理模型训练 3. 计算机视觉模型训练 4. 推荐系统模型训练 5. 强化学习策略优化 6. 图神经网络训练 7. 生成对抗网络训练 8. 时间序列预测模型训练 9. 自动机器学习 10. 联邦学习
各类特征、变量/常量/参数列表及说明:
-
g_t: 当前迭代的梯度
-
m_t: 一阶矩估计 (动量)
-
v_t: 二阶矩估计
-
β1, β2: 指数衰减率 (通常0.9, 0.999)
-
α: 学习率
-
ε: 数值稳定常数 (1e-8)
-
t: 时间步 (迭代次数)
-
m̂t, v̂t: 偏差校正后的矩估计
数学特征: 指数移动平均、偏差校正、自适应学习率、元素级运算、最优化 (一阶方法)。
语言特征: 描述为“自适应优化器”、“动量+自适应学习率”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：θ_0 (初始参数)， m_0 = 0, v_0 = 0, t = 0。设置α, β1, β2, ε。
-
循环 (每个mini-batch)：
a. t = t + 1。
b. 计算当前mini-batch的梯度 g_t = ∇θ L(θ{t-1})。
c. 更新一阶矩: m_t = β1 * m_{t-1} + (1-β1) * g_t。
d. 更新二阶矩: v_t = β2 * v_{t-1} + (1-β2) * (g_t ⊙ g_t)。
e. 偏差校正: m̂t = m_t / (1 - β1^t), v̂t = v_t / (1 - β2^t)。
f. 更新参数: θ_t = θ{t-1} - α * m̂t / (√(v̂_t) + ε)。
-
输出：训练结束时的参数θ。
编号: Dy-A-0050
类别: 自然语言处理/深度学习
模型配方: Transformer编码器-解码器
算法/模型/方法名称: 基于自注意力与交叉注意力的序列到序列模型
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
输入表示：词嵌入 + 位置编码。位置编码PE(pos, 2i)=sin(pos/10000^{2i/d_model}), PE(pos,2i+1)=cos(pos/10000^{2i/d_model})。
-
自注意力机制：
a. 对输入序列X， 计算查询Q = XW_Q， 键K = XW_K， 值V = XW_V。
b. 注意力分数: Attention(Q, K, V) = softmax( QK^T / √{d_k} ) V。除以√{d_k}稳定梯度。
-
多头注意力：将Q, K, V线性投影h次到不同子空间， 分别计算注意力后拼接再投影: MultiHead = Concat(head1, ..., head_h)W^O。 head_i = Attention(QW_i^Q, KW_i^K, VW_i^V)。
-
前馈网络：每个位置独立应用两层全连接网络与ReLU激活: FFN(x) = max(0, xW_1 + b_1)W_2 + b_2。
-
编码器：由N个相同层堆叠， 每层包含一个多头自注意力子层和一个前馈网络子层， 每个子层后接残差连接和层归一化。
-
解码器：类似编码器， 但包含两个注意力子层：掩码多头自注意力 (防止看到未来信息) 和编码器-解码器交叉注意力 (K, V来自编码器输出， Q来自解码器上一子层)。最后接线性层和softmax输出概率。
精度/密度/误差/强度: 并行计算能力强， 能建模长程依赖， 在NLP任务上达到SOTA。参数量大， 计算开销大。
底层规律/理论定理: 注意力机制、序列建模、并行计算、残差网络、层归一化。
典型应用场景: 1. 机器翻译 2. 文本摘要 3. 问答系统 4. 语音识别 5. 代码生成 6. 图像描述生成 7. 文本生成 8. 蛋白质结构预测 9. 时间序列预测 10. 文档分类
各类特征、变量/常量/参数列表及说明:
-
X: 输入序列矩阵
-
Q, K, V: 查询、键、值矩阵
-
d_k: 键的维度
-
h: 注意力头数
-
PE: 位置编码
-
FFN: 前馈网络
-
LayerNorm: 层归一化
-
Residual: 残差连接
数学特征: 矩阵乘法、softmax、注意力权重、残差连接、层归一化、位置编码 (正弦函数)、并行计算、自回归 (解码器)。
语言特征: 描述为“注意力模型”、“序列到序列”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
编码：
a. 输入序列加上位置编码。
b. 通过N个编码器层， 每层: x' = LayerNorm(x + MultiHeadAttention(x, x, x)); x'' = LayerNorm(x' + FFN(x'))。
-
解码 (训练时)：
a. 目标序列右移一位， 加上位置编码和掩码 (防止看未来)。
b. 通过N个解码器层， 每层: y' = LayerNorm(y + MaskedMultiHeadAttention(y, y, y)); y'' = LayerNorm(y' + MultiHeadAttention(y', 编码器输出, 编码器输出)); y''' = LayerNorm(y'' + FFN(y''))。
c. 线性投影 + softmax 输出词汇表概率分布。
-
解码 (推理时)：自回归生成， 每次用已生成的部分作为解码器输入， 预测下一个词， 直到结束符。
非标自动化算法及模型表（Dy-A-0051~0100）
编号: Dy-A-0051
类别: 机器学习/微调
模型配方: 低秩适应
算法/模型/方法名称: LoRA (大语言模型高效微调)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
核心思想：冻结预训练模型的权重， 在Transformer层的自注意力模块中， 为查询Q、键K、值V、输出O的投影矩阵注入可训练的低秩分解矩阵， 从而大幅减少可训练参数量。
-
低秩参数化：对于预训练权重矩阵W0 ∈ ℝ^{d×k}， 其前向传播变为: h = W0 * x + ΔW * x = W0 * x + B * A * x。其中A ∈ ℝ^{r×k}， B ∈ ℝ^{d×r}， 秩r ≪ min(d, k)。训练时W0冻结， 仅训练A和B。
-
初始化：A用随机高斯初始化， B初始化为零矩阵， 从而在训练开始时ΔW = B*A = 0， 保证微调开始时模型输出与原始模型一致。
-
推理：训练完成后， 可将低秩矩阵合并回原权重: W' = W0 + B*A (可选)， 不增加推理延迟。或者保留单独结构， 动态相加。
-
优点：极大减少显存占用和存储开销， 允许在有限资源下微调大模型。多个任务可共用基础模型， 只需保存不同的低秩适配器。
精度/密度/误差/强度: 能达到与全参数微调相近的性能， 但可训练参数少1-2个数量级。是一种参数高效微调方法。
底层规律/理论定理: 低秩假设、适配器、迁移学习。
典型应用场景: 1. 大语言模型指令微调 2. 领域自适应 (医疗、法律、金融) 3. 多任务学习 4. 快速模型定制 5. 资源受限环境下的模型部署 6. 个性化AI助手 7. 代码生成模型微调 8. 文本风格迁移 9. 少样本学习 10. 模型持续学习
各类特征、变量/常量/参数列表及说明:
-
W0: 预训练模型的冻结权重矩阵
-
A, B: 可训练的低秩矩阵
-
r: 低秩矩阵的秩 (内在秩)
-
d: 输出维度
-
k: 输入维度
-
ΔW: 权重更新量， 约束为低秩
-
h: 模块输出
数学特征: 低秩分解、矩阵乘法、参数高效、迁移学习、微调、权重更新约束。
语言特征: 描述为“参数高效微调”、“低秩适配器”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
准备：加载预训练模型， 冻结所有权重。
-
注入LoRA模块：在指定的Transformer层 (如Q, V投影) 旁， 插入可训练的A和B矩阵， 其前向传播计算为: h = W0 * x + (B * A) * x。
-
训练：在特定下游任务数据上训练， 仅更新LoRA矩阵A和B的参数。计算损失， 反向传播梯度只通过A和B。
-
推理 (合并方式)：
a. 加载基础模型权重W0和训练好的A, B。
b. 可选合并: W' = W0 + B * A。
c. 用W'进行推理， 与原始模型结构完全相同。
-
推理 (非合并方式)：保存W0和BA， 推理时实时计算 h = W0x + (BA)*x。
编号: Dy-A-0052
类别: 系统建模/仿真
模型配方: 系统动力学
模型配方: 基于牛顿-欧拉法的多体系统动力学建模
算法/模型/方法名称: 牛顿-欧拉迭代动力学算法
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
外推 (前向迭代， 从基座到末端)：已知关节位置q、速度q̇、加速度q̈。从连杆1到连杆n， 迭代计算每个连杆的角速度、角加速度、质心线加速度。
-
连杆i的角速度: ω_i = i-1^R * ω{i-1} + b_i * q̇i (对于旋转关节， b_i为旋转轴； 移动关节为0)。
-
连杆i的角加速度: α_i = i-1^R * α{i-1} + b_i * q̈i + ω_i × (b_i * q̇_i)。
-
连杆i质心线加速度: a_i = i-1^R [a{i-1} + α{i-1} × r{i-1,ci} + ω{i-1} × (ω{i-1} × r{i-1,ci})] + 2ω_i × (b_i * q̇i) + b_i * q̈i (移动关节) 或类似形式。
-
-
内推 (后向迭代， 从末端到基座)：已知末端执行器所受外力/力矩。从连杆n到连杆1， 迭代计算每个关节的力和力矩。
-
连杆i质心所受合力: F_i = m_i * a_i。
-
连杆i质心所受合力矩: N_i = I_i * α_i + ω_i × (I_i * ω_i)。
-
关节i的力/力矩: f_i = i+1_i^R * f{i+1} + F_i; n_i = i+1_i^R * n{i+1} + r{i,ci} × F_i + r{i,i+1} × (i+1_i^R * f_{i+1}) + N_i。
-
关节i的驱动扭矩: τ_i = n_i^T * b_i (旋转关节) 或 f_i^T * b_i (移动关节)。
-
-
动力学方程：最终得到关节空间动力学方程: M(q)q̈ + C(q, q̇)q̇ + G(q) = τ + J^T(q)F_{ext}。
精度/密度/误差/强度: 可精确计算多体系统逆动力学 (已知运动求力矩) 和正动力学 (已知力矩求运动)。是控制器设计和仿真的基础。
底层规律/理论定理: 牛顿力学、欧拉方程、刚体运动学、旋量理论。
典型应用场景: 1. 工业机器人控制器设计 2. 航天器姿态动力学 3. 车辆多体动力学仿真 4. 生物力学分析 5. 机械臂轨迹规划 6. 外骨骼机器人 7. 柔性机器人动力学简化 8. 运动模拟器 9. 机器人操作系统 10. 游戏物理引擎
各类特征、变量/常量/参数列表及说明:
-
q, q̇, q̈: 关节位置、速度、加速度向量
-
ω_i, α_i: 连杆i的角速度、角加速度
-
a_i: 连杆i质心的线加速度
-
F_i, N_i: 作用在连杆i质心上的合力和合力矩
-
f_i, n_i: 关节i传递的力和力矩
-
τ_i: 关节i的驱动扭矩
-
m_i: 连杆i的质量
-
I_i: 连杆i关于其质心的惯性张量
-
r_{i-1,ci}: 从坐标系{i-1}原点到连杆i质心的向量
-
i-1^R: 从坐标系{i-1}到{i}的旋转矩阵
数学特征: 刚体运动学、向量叉乘、旋转矩阵、递归算法、牛顿第二定律、欧拉方程、非线性耦合。
语言特征: 描述为“多体动力学”、“逆动力学计算”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
外推 (i=1 to n)：
a. 计算从连杆i-1到i的旋转矩阵i-1^R。
b. 计算连杆i的角速度ω_i和角加速度α_i。
c. 计算连杆i质心的线加速度a_i。
-
内推 (i=n to 1)：
a. 计算作用在连杆i质心上的惯性力F_i = m_i a_i 和惯性力矩 N_i = I_i α_i + ω_i × (I_i ω_i)。
b. 计算传递到关节i的力f_i和力矩n_i (包括子连杆的作用力和外力)。
c. 计算关节i的驱动力/力矩τ_i = (n_i^T * z_i) 对于旋转关节， 或 (f_i^T * z_i) 对于移动关节， 其中z_i是关节轴。
编号: Dy-A-0053
类别: 优化算法/凸优化
模型配方: 内点法
算法/模型/方法名称: 原对偶内点法求解线性规划
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题：标准线性规划: min c^T x, s.t. Ax = b, x ≥ 0。
-
扰动KKT条件：引入松弛变量s ≥ 0将不等式约束转化为等式， 并添加中心路径参数μ>0。得到扰动KKT条件:
Ax = b
A^T y + s = c
x_i * s_i = μ, for all i (互补松弛条件的扰动)
x, s > 0
-
牛顿方向：在每次迭代， 固定μ， 用牛顿法求解上述非线性方程组。对当前点(x, y, s)， 求解以下线性系统得到搜索方向(Δx, Δy, Δs):
[ 0 A^T I ] [ Δx ] [ ξ_d ]
[ A 0 0 ] [ Δy ] = [ ξ_p ]
[ S 0 X ] [ Δs ] [ ξ_c ]
其中ξ_d = c - A^T y - s, ξ_p = b - Ax, ξ_c = μ1 - XS1， X=diag(x), S=diag(s)。右边是当前点对KKT条件的偏离。
-
步长选择：为保证x, s>0， 计算最大步长α_max， 并乘以一个系数σ (如0.995) 得到实际步长α: x_new = x + α Δx, s_new = s + α Δs, y_new = y + α Δy。
-
更新μ：通常令μ = σ * (x^T s) / n， 其中n是变量数， σ∈(0,1)是中心参数。
-
迭代：重复求解牛顿方向、更新点、减小μ， 直到对偶间隙x^T s小于容差。
精度/密度/误差/强度: 多项式时间算法， 可高精度求解大规模线性规划。每次迭代需求解线性系统， 计算成本高。
底层规律/理论定理: 凸优化、对偶理论、内点法、中心路径、牛顿法。
典型应用场景: 1. 供应链网络优化 2. 资源分配 3. 投资组合优化 4. 生产计划 5. 网络流问题 6. 支持向量机求解 7. 模型预测控制中的QP求解 8. 结构设计 9. 芯片布局布线 10. 经济均衡计算
各类特征、变量/常量/参数列表及说明:
-
x: 原始变量
-
y: 对偶变量 (等式约束的拉格朗日乘子)
-
s: 对偶松弛变量
-
μ: 中心路径参数
-
A, b, c: LP问题数据
-
X, S: 以x, s为对角元素的对角矩阵
-
Δx, Δy, Δs: 牛顿搜索方向
-
α: 步长
-
σ: 中心参数和步长缩减因子
数学特征: 线性规划、对偶理论、KKT条件、牛顿法、线性方程组求解、对数障碍函数、中心路径、多项式时间复杂性。
语言特征: 描述为“内点法”、“多项式时间算法”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：选择
编号: Dy-A-0054
类别: 机器学习/强化学习
模型配方: 近端策略优化
算法/模型/方法名称: PPO-Clip (带剪切比率的目标函数)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
目标：在策略梯度方法基础上， 通过限制策略更新的幅度来提升训练稳定性。最大化替代目标函数L(θ)。
-
概率比率：计算新策略π_θ与旧策略π_θ_old在给定状态动作下的概率比: r_t(θ) = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)。
-
剪切替代目标：替代目标函数为 L(θ) = E_t [ min( r_t(θ) * Ât, clip(r_t(θ), 1-ε, 1+ε) * Ât ) ]。其中Â_t是优势函数的估计 (通常用GAE估计)， ε是剪切参数 (如0.2)。
-
解读：
-
当Â_t > 0 (动作优于平均)， 目标鼓励增大r_t， 但被上界1+ε限制， 防止更新过大。
-
当Â_t < 0 (动作差于平均)， 目标鼓励减小r_t， 但被下界1-ε限制。
-
min操作确保即使clip后目标变差， 也取未clip的原始值 (保守更新)。
-
-
训练：用多个epoch在小批量数据上优化该目标， 然后重新采样数据。通常与一个价值函数损失L^VF(θ)和一个策略熵奖励Sπ_θ结合， 总目标为 L_total = E_t[L_t(θ) - c1 * L_t^VF(θ) + c2 * Sπ_θ]。
精度/密度/误差/强度: 比TRPO更简单高效， 是当前最主流的on-policy强化学习算法之一。训练稳定， 样本效率相对较高。
底层规律/理论定理: 策略梯度、信赖域优化、重要性采样、优势函数。
典型应用场景: 1. 机器人复杂技能学习 (行走、抓取) 2. 游戏AI (如Dota2, StarCraft) 3. 自动驾驶决策 4. 机械臂灵巧操作 5. 无人机竞速 6. 资源管理 7. 金融交易 8. 对话策略优化 9. 芯片布局 10. 化学反应路径优化
各类特征、变量/常量/参数列表及说明:
-
π_θ: 带参数θ的策略网络
-
r_t(θ): 新/旧策略概率比
-
Â_t: 在时间t估计的优势函数
-
ε: 剪切比率参数
-
L(θ): 剪切替代目标
-
c1, c2: 价值函数和熵项的权重系数
-
S: 策略熵， 鼓励探索
数学特征: 策略梯度、重要性采样、比值剪切、最小化操作、优势函数估计 (GAE)、随机优化、信赖域思想。
语言特征: 描述为“近端策略优化”、“剪切目标”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
并行收集数据：用当前策略π_θ_old在多个环境中并行运行N步， 收集状态、动作、奖励序列。
-
计算优势估计：用GAE等方法， 基于收集的数据和当前价值网络V_φ， 计算每个时间步的优势估计Â_t。
-
优化代理目标：对收集的数据随机洗牌， 用mini-batch进行K个epoch的优化：
a. 对每个mini-batch， 计算概率比 r_t(θ) = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)。
b. 计算未剪切目标: L_unclip = r_t(θ) * Â_t。
c. 计算剪切目标: L_clip = clip(r_t(θ), 1-ε, 1+ε) * Â_t。
d. 计算策略损失: L_policy = -E_t[ min(L_unclip, L_clip) ] (取负是因为要最大化)。
e. 计算价值函数损失: L_VF = (V_φ(s_t) - R_t)^2， 其中R_t是回报目标。
f. 计算熵奖励: S = Σ_a π_θ(a|s) log π_θ(a|s)。
g. 总损失: L_total = L_policy + c1 * L_VF - c2 * S。
h. 用梯度下降更新策略网络参数θ和价值网络参数φ。
-
更新旧策略：将优化后的策略参数π_θ复制给π_θ_old， 回到步骤1。
编号: Dy-A-0055
类别: 机器学习/图学习
模型配方: 图卷积网络
算法/模型/方法名称: 基于谱图理论的GCN (Kipf & Welling)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
图拉普拉斯：定义图的拉普拉斯矩阵L = D - A， 其中A是邻接矩阵， D是度矩阵。正则化拉普拉斯 L_sym = D^{-1/2} L D^{-1/2} = I - D^{-1/2} A D^{-1/2}。
-
谱卷积近似：在图上定义卷积操作。通过切比雪夫多项式近似谱卷积， 并进一步简化到一阶: H^{(l+1)} = σ( D^{-1/2} Ã D^{-1/2} H^{(l)} W^{(l)} )。其中Ã = A + I (加入自环)， D是Ã的度矩阵， H^{(l)}是第l层的节点特征矩阵， W^{(l)}是可学习权重矩阵， σ是激活函数。
-
层间传播：每一层GCN聚合节点自身及其一阶邻居的特征， 经过线性变换和非线性激活， 生成新的节点表示。这使得每个节点的表示都融入了其局部图结构的信息。
-
节点分类：对于半监督节点分类， 通常堆叠2-3层GCN， 最后一层输出每个节点的类别概率。损失函数为标注节点的交叉熵。
精度/密度/误差/强度: 能够有效利用图结构信息， 对节点进行分类、预测或生成图级表示。计算高效， 但通常限于浅层模型。
底层规律/理论定理: 谱图理论、图上的傅里叶变换、消息传递神经网络。
典型应用场景: 1. 社交网络用户分类 2. 推荐系统 (用户-商品二部图) 3. 分子属性预测 4. 知识图谱补全 5. 交通流量预测 6. 欺诈检测 7. 代码缺陷检测 (程序依赖图) 8. 物理系统模拟 9. 脑网络分析 10. 集成电路故障定位
各类特征、变量/常量/参数列表及说明:
-
A: 图的邻接矩阵 (N×N)
-
D: 度矩阵， D_ii = Σ_j A_ij
-
L_sym: 对称归一化拉普拉斯矩阵
-
H^{(l)}: 第l层的节点特征矩阵 (N×F_l)
-
W^{(l)}: 第l层的可学习权重矩阵 (F_l×F_{l+1})
-
Ã: 带自环的邻接矩阵， Ã = A + I
-
D ̃: Ã的度矩阵
数学特征: 图论 (邻接矩阵、度矩阵、拉普拉斯矩阵)、矩阵乘法、特征聚合、消息传递、谱滤波近似。
语言特征: 描述为“图神经网络”、“节点特征传播”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
输入：邻接矩阵A (N×N)， 节点特征矩阵X (N×F0)。
-
预处理：计算带自环的邻接矩阵Ã = A + I_N， 并计算其度矩阵D ̃ii = Σ_j Ãij。计算对称归一化矩阵: Â = D ̃^{-1/2} Ã D ̃^{-1/2}。
-
GCN前向传播 (L层)：
a. 令 H^{(0)} = X。
b. for l = 0 to L-2:
H^{(l+1)} = σ( Â * H^{(l)} * W^{(l)} )， 其中σ是ReLU。
c. 最后一层 (输出层): H^{(L)} = softmax( Â * H^{(L-1)} * W^{(L-1)} )。
-
训练：计算标注节点上的交叉熵损失， 反向传播更新所有权重矩阵W^{(l)}。
编号: Dy-A-0056
类别: 控制理论/最优控制
模型配方: 线性二次型调节器
算法/模型/方法名称: 无限时域连续时间LQR
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题定义：对于线性时不变系统 ẋ = A x + B u， 设计状态反馈控制律 u = -K x， 使如下二次型性能指标最小: J = ∫_0^∞ (x^T Q x + u^T R u) dt。其中Q≥0是状态权重矩阵， R>0是控制权重矩阵。
-
Riccati方程：最优反馈增益K由求解连续时间代数Riccati方程得到: A^T P + P A - P B R^{-1} B^T P + Q = 0。其中P是半正定对称矩阵。
-
计算增益：最优反馈增益矩阵为 K = R^{-1} B^T P。最优控制律为 u* = -K x。
-
闭环系统：闭环系统动态为 ẋ = (A - B K) x， 在(A, B)可控且(Q, A)可观的条件下， 闭环系统渐近稳定。
-
最优代价：从初始状态x0出发的最优代价为 J* = x0^T P x0。
精度/密度/误差/强度: 在二次型性能指标下是最优控制。需要全状态可测。对模型精度敏感。
底层规律/理论定理: 最优控制理论、动态规划、Riccati方程。
典型应用场景: 1. 倒立摆平衡 2. 无人机/四旋翼姿态镇定 3. 机器人臂定点控制 4. 航天器姿态控制 5. 过程控制中的设定点跟踪 6. 汽车巡航控制 7. 主动悬挂系统 8. 电机位置控制 9. 柔性结构振动抑制 10. 经济系统的稳定性控制
各类特征、变量/常量/参数列表及说明:
-
A, B: 系统状态空间矩阵
-
Q: 状态误差权重矩阵 (半正定)
-
R: 控制输入权重矩阵 (正定)
-
P: Riccati方程的解矩阵 (半正定对称)
-
K: 最优状态反馈增益矩阵
-
J: 性能指标 (代价函数)
-
x: 系统状态向量
-
u: 控制输入向量
数学特征: 线性系统、二次型性能指标、Riccati代数方程、矩阵运算、最优反馈、稳定性 (闭环极点配置)、动态规划原理。
语言特征: 描述为“最优状态反馈”、“二次型调节器”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
系统建模：获得或辨识系统的线性化状态空间模型(A, B)。
-
设计权重：根据性能要求 (响应速度、控制量限制) 选择Q和R。
-
求解Riccati方程：调用数值求解器 (如care in MATLAB, solve_continuous_are in Python) 求解 A^T P + P A - P B R^{-1} B^T P + Q = 0， 得到P。
-
计算反馈增益：K = R^{-1} B^T P。
-
实现控制：在每个控制周期， 测量(或估计)全状态x， 计算控制量 u = -K * x， 并输出。
编号: Dy-A-0056
类别: 信号处理/自适应滤波
模型配方: 最小均方自适应滤波器
算法/模型/方法名称: LMS自适应滤波算法
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
滤波器结构：采用FIR滤波器， 输出 y(n) = w^T(n) * x(n) = Σ_{i=0}^{M-1} w_i(n) * x(n-i)。其中w(n)是时刻n的滤波器权向量， x(n)是输入向量。
-
误差计算：期望响应d(n)与滤波器输出之差为误差: e(n) = d(n) - y(n)。
-
权值更新：根据最速下降法， 权向量沿瞬时均方误差的负梯度方向更新。梯度估计为 ∇_w e^2(n) ≈ -2 e(n) x(n)。因此LMS更新公式: w(n+1) = w(n) + μ * e(n) * x(n)。其中μ是步长参数， 控制收敛速度和稳定性。
-
收敛条件：为保证均方收敛， 步长需满足 0 < μ < 2 / (M * P_x)， 其中P_x是输入信号的功率， M是滤波器阶数。
精度/密度/误差/强度: 算法简单， 计算量小。但收敛速度慢， 稳态误差大于最优化算法 (如RLS)。性能受步长μ和输入信号统计特性影响。
底层规律/理论定理: 最速下降法、随机梯度下降、维纳滤波。
典型应用场景: 1. 系统辨识 2. 自适应噪声对消 3. 回声消除 4. 信道均衡 5. 预测编码 6. 波束形成 7. 生物医学信号处理 (如ECG中工频干扰消除) 8. 主动噪声控制 9. 传感器线性化 10. 相位锁定环
各类特征、变量/常量/参数列表及说明:
-
x(n): 时刻n的输入向量 [x(n), x(n-1), ..., x(n-M+1)]^T
-
w(n): 时刻n的滤波器权向量
-
y(n): 滤波器输出
-
d(n): 期望响应
-
e(n): 误差信号
-
μ: 步长 (学习率)
-
M: 滤波器长度 (阶数)
数学特征: 卷积、向量内积、梯度下降、随机近似、最优化、均方误差。
语言特征: 描述为“自适应滤波”、“在线学习”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：设定滤波器长度M， 步长μ。 初始化权向量w(0)=0， 初始化输入缓冲区x_buf (长度M) 为0。
-
循环 (每个采样时刻n)：
a. 读取新输入样本x(n)和期望响应d(n)。
b. 更新输入缓冲区: x_buf = [x(n), x_buf[0], ..., x_buf[M-2]]。
c. 计算滤波器输出: y(n) = Σ_{i=0}^{M-1} w_i(n) * x_buf[i]。
d. 计算误差: e(n) = d(n) - y(n)。
e. 更新滤波器权重: for i=0 to M-1: w_i(n+1) = w_i(n) + μ * e(n) * x_buf[i]。
-
输出：y(n) (或 e(n)， 取决于应用)。
编号: Dy-A-0057
类别: 计算机视觉/实例分割
模型配方: Mask R-CNN
算法/模型/方法名称: 基于Faster R-CNN的实例分割框架
算法/模型方法的逐步思考推理过程及每一个步骤的数学方程式:
-
骨干网络：输入图像通过CNN骨干网络 (如ResNet-FPN) 提取多尺度特征图。
-
区域提议网络：在特征图上运行RPN， 生成候选目标框 (区域提议)。
-
区域对齐：对每个区域提议， 使用RoIAlign层从特征图上精确提取固定大小的特征 (如7x7)。RoIAlign通过双线性插值解决RoIPooling的量化误差。
-
并行分支：每个对齐后的区域特征送入两个并行分支：
-
分类与回归分支：预测类别概率和边界框偏移 (同Faster R-CNN)。
-
掩码预测分支：一个小的全卷积网络， 为每个类别预测一个二值掩码 (分辨率如28x28)。该分支对每个类别独立预测， 避免了类间竞争。
-
-
训练损失：总损失 L = L_cls + L_box + L_mask。其中L_mask是平均二值交叉熵损失， 只对正样本区域计算。
-
推理：应用分类分支的结果选择类别， 并用该类别对应的预测掩码作为最终分割结果。
精度/密度/误差/强度: 能够同时完成目标检测和像素级实例分割， 精度高。计算开销较大。
底层规律/理论定理: 两阶段检测、特征金字塔、全卷积网络、多任务学习。
典型应用场景: 1. 自动驾驶场景理解 (车辆、行人分割) 2. 医学图像细胞/器官实例分割 3. 机器人抓取中的物体分割 4. 工业质检中的缺陷区域分割 5. 卫星图像建筑物提取 6. 视频监控中的人物分割 7. 农业中的果实计数与分割 8. 零售货架分析 9. 生物显微镜图像分析 10. 增强现实中的物体遮挡处理
各类特征、变量/常量/参数列表及说明:
-
Feature Maps: 骨干网络提取的多尺度特征图
-
RPN Proposals: 区域提议网络生成的候选框
-
RoI Features: 经过RoIAlign对齐后的区域特征
-
cls_score: 分类得分
-
bbox_pred: 边界框回归偏移
-
mask_logits: 掩码预测逻辑值 (未归一化的概率)
-
L_cls, L_box, L_mask: 分类、边界框回归、掩码预测损失
数学特征: 卷积神经网络、区域提议、兴趣区域对齐 (双线性插值)、多任务损失函数、全卷积网络、二值掩码预测。
语言特征: 描述为“实例分割”、“检测与分割并行”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
特征提取：图像通过ResNet等骨干网络+FPN， 得到多尺度特征金字塔{P2, P3, P4, P5}。
-
区域提议：在特征金字塔上运行RPN， 生成一系列候选区域 (proposals)。
-
RoIAlign：对每个候选区域， 根据其尺寸将其映射到特征金字塔的特定层级， 并用双线性插值提取固定大小 (如7x7) 的特征。
-
预测头：每个RoI特征同时送入三个全连接层/卷积层：
a. 分类头: 输出K+1个类别的softmax概率。
b. 边界框回归头: 输出4K个回归参数 (dx, dy, dw, dh)。
c. 掩码头: 一个小的FCN， 输出K个 m×m 的二值掩码逻辑图 (K为类别数)。
-
后处理：应用NMS， 对保留的检测框， 取其对应类别的掩码， 并缩放到原图尺寸， 得到实例分割结果。
编号: Dy-A-0058
类别: 机器学习/生成模型
模型配方: 去噪扩散概率模型
算法/模型/方法名称: DDPM (前向与反向扩散过程)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
前向过程 (加噪)：在T步内逐步向数据x_0添加高斯噪声。定义马尔可夫链: q(x_t | x{t-1}) = N(x_t; √(1-β_t) * x{t-1}, β_t I)。其中β_t是预定义的方差表。经过推导， 任意时刻t的分布可直接从x_0得到: q(x_t | x_0) = N(x_t; √(α ̄t) * x_0, (1-α ̄t) I)， 其中α_t = 1-β_t, α ̄t = Π{s=1}^t α_s。因此， x_t = √(α ̄t) * x_0 + √(1-α ̄t) * ε， ε ~ N(0, I)。
-
反向过程 (去噪)：学习一个神经网络p_θ(x{t-1} | x_t)来近似逆过程。该网络预测在给定x_t和步数t时， 从x_t中去除的噪声ε_θ(x_t, t)。具体地， p_θ(x{t-1} | x_t) = N(x{t-1}; μ_θ(x_t, t), Σ_θ(x_t, t))。通常固定方差Σ， 均值μ_θ由预测的噪声ε_θ计算: μ_θ(x_t, t) = 1/√(α_t) * ( x_t - (β_t/√(1-α ̄t)) * ε_θ(x_t, t) )。
-
训练目标：简化后的训练目标是最小化预测噪声ε_θ与真实添加噪声ε的差距: L_simple = E{t, x_0, ε}[ || ε - ε_θ( √(α ̄t)x_0 + √(1-α ̄_t)ε, t ) ||^2 ]。
-
采样：从随机噪声x_T ~ N(0, I)开始， 迭代运行反向过程: x{t-1} = 1/√(α_t) * ( x_t - (β_t/√(1-α ̄t)) * ε_θ(x_t, t) ) + σ_t z， 其中z ~ N(0, I)， σ_t是噪声方差。最终得到生成样本x_0。
精度/密度/误差/强度: 生成质量高， 多样性好， 训练稳定。但采样过程慢， 需要多次网络前向传播。
底层规律/理论定理: 变分推断、马尔可夫链、得分匹配、朗之万动力学。
典型应用场景: 1. 高保真图像生成 2. 图像超分辨率 3. 图像修复 4. 图像编辑 5. 分子构象生成 6. 音频合成 7. 文本生成 8. 3D形状生成 9. 药物设计 10. 物理仿真数据生成
各类特征、变量/常量/参数列表及说明:
-
x_0: 原始数据
-
x_t: 第t步加噪后的数据
-
β_t: 前向过程方差表
-
α_t, α ̄_t: 由β_t定义的累积乘积
-
ε: 标准高斯噪声
-
ε_θ: 噪声预测网络
-
t: 扩散步数索引
-
T: 总扩散步数
数学特征: 马尔可夫链、高斯分布、重参数化技巧、变分下界、得分函数、迭代去噪、扩散过程。
语言特征: 描述为“扩散模型”、“迭代去噪生成”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
训练：
a. 从数据集中采样真实样本x_0。
b. 均匀采样步数t ~ Uniform({1, ..., T})。
c. 采样噪声ε ~ N(0, I)。
d. 计算加噪样本: x_t = √(α ̄t) * x_0 + √(1-α ̄t) * ε。
e. 将(x_t, t)输入噪声预测网络ε_θ， 得到预测噪声。
f. 计算损失 L = || ε - ε_θ(x_t, t) ||^2。
g. 反向传播更新网络参数θ。
-
采样 (生成)：
a. 采样初始噪声 x_T ~ N(0, I)。
b. for t = T, T-1, ..., 1:
-
预测噪声: ε_θ = ε_θ(x_t, t)。
-
计算去噪均值: μ_θ = 1/√(α_t) * ( x_t - (β_t/√(1-α ̄_t)) * ε_θ )。
-
采样: x_{t-1} = μ_θ + σ_t * z, 其中z ~ N(0, I) (当t>1)， 当t=1时， x_0 = μ_θ。
c. 输出 x_0 作为生成样本。
-
编号: Dy-A-0059
类别: 机器学习/特征学习
模型配方: 自编码器
算法/模型/方法名称: 去噪自编码器
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
构造损坏数据：对原始输入x， 应用一个随机损坏函数C(˜x|x)。例如， 随机将部分输入元素置零 (掩码噪声)， 或添加高斯噪声。
-
编码：将损坏后的输入˜x映射到隐藏表示 (编码): h = f_θ(˜x) = σ(W * ˜x + b)。
-
解码：从隐藏表示h重构原始输入x: x' = g_θ'(h) = σ(W' * h + b')。通常使用捆绑权重: W' = W^T。
-
训练目标：最小化重构误差， 即原始输入x与重构x'之间的差异: L(x, x') = ||x - x'||^2 (对实值数据) 或交叉熵 (对二值数据)。网络学习从损坏版本中恢复原始数据， 从而迫使隐藏层捕获数据中更鲁棒的特征和结构。
-
特征提取：训练完成后， 编码器f_θ可用于将新数据映射到有意义的低维特征表示h， 用于下游任务。
精度/密度/误差/强度: 能学习数据的鲁棒表示， 对输入噪声有一定的免疫性。是无监督特征学习方法。
底层规律/理论定理: 表示学习、流形假设、自动编码器、去噪。
典型应用场景: 1. 图像去噪 2. 数据降维可视化 3. 异常检测 4. 特征预训练 5. 推荐系统 6. 文本表示学习 7. 基因表达数据分析 8. 工业过程监控 9. 语音信号增强 10. 金融欺诈检测
各类特征、变量/常量/参数列表及说明:
-
x: 原始输入数据
-
˜x: 经过随机损坏的输入
-
h: 编码后的隐藏表示
-
x': 解码重构的输出
-
f_θ: 编码器函数， 参数θ={W, b}
-
g_θ': 解码器函数， 参数θ'={W', b'}
-
L: 重构损失
数学特征: 神经网络、重构误差、随机损坏、无监督学习、特征提取、表示学习。
语言特征: 描述为“自编码器”、“无监督特征学习”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
前向传播：
a. 对输入样本x， 应用损坏函数: ˜x = C(x) (例如， 以概率p将每个输入维度的值设为0)。
b. 编码: h = ReLU(W * ˜x + b)。
c. 解码: x' = sigmoid(W^T * h + b')。
-
计算损失：L = Σ_i (x_i * log(x'i) + (1-x_i)*log(1-x'i)) (对于二值输入)。
-
反向传播：计算损失对W, b, b'的梯度 (W'与W捆绑)。
-
参数更新：用梯度下降更新参数。
编号: Dy-A-0060
类别: 计算机视觉/特征检测
模型配方: 加速稳健特征
算法/模型/方法名称: SIFT特征检测与描述
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
尺度空间极值检测：用不同尺度的高斯核与图像卷积， 构建高斯金字塔L(x, y, σ) = G(x, y, σ) * I(x, y)。然后通过相邻尺度相减得到高斯差分金字塔D(x, y, σ)。在D中搜索三维 (x, y, σ) 空间的局部极值点作为关键点的候选位置。
-
关键点定位：通过三维二次函数拟合精确确定关键点的位置和尺度， 并去除低对比度和边缘响应不稳定的点。
-
方向分配：在关键点所在尺度图像L(x, y, σ)的邻域内， 计算梯度幅值m(x, y)和方向θ(x, y)。生成梯度方向直方图 (36个bin， 每个10度)， 将主峰方向 (及大于主峰80%的辅峰方向) 分配给该关键点， 实现旋转不变性。
-
关键点描述：以关键点为中心， 将坐标轴旋转到关键点方向。取16x16的邻域， 划分为4x4的子区域。对每个子区域计算8个方向的梯度方向直方图 (共4 * 4 * 8=128维)。对描述子进行归一化， 进一步增强对光照变化的鲁棒性。
精度/密度/误差/强度: 对图像缩放、旋转、亮度变化具有高度不变性， 对视角变化、仿射变换、噪声也保持一定程度的稳定性。计算量大。
底层规律/理论定理: 尺度空间理论、局部图像梯度、方向直方图。
典型应用场景: 1. 图像配准与拼接 2. 三维重建 3. 物体识别 4. 机器人定位与地图构建 5. 视频跟踪 6. 动作识别 7. 生物特征识别 8. 工业零件识别与定位 9. 医学图像配准 10. 卫星图像匹配
各类特征、变量/常量/参数列表及说明:
-
I(x, y): 输入图像
-
L(x, y, σ): 尺度空间表示
-
D(x, y, σ): 高斯差分
-
(x, y, σ): 关键点的位置和尺度
-
m(x, y), θ(x, y): 梯度幅值和方向
-
Keypoint Descriptor: 128维的SIFT描述向量
数学特征: 高斯卷积、尺度空间、极值检测、梯度计算、方向直方图、坐标旋转、归一化、仿射不变性 (近似)。
语言特征: 描述为“尺度不变特征”、“局部特征描述子”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
构建高斯金字塔：对图像进行下采样构建octave， 每个octave内用不同σ的高斯核卷积， 得到尺度空间。
-
构建DOG金字塔：计算相邻高斯图像之差。
-
检测极值点：在DOG金字塔中， 将每个像素与其同尺度的8邻域和相邻尺度的9×2个邻域共26个点比较， 如果是极值， 则为候选关键点。
-
关键点精炼：通过泰勒展开和Hessian矩阵去除低对比度和边缘响应点。
-
分配方向：在关键点邻域内计算梯度方向直方图， 确定主方向。
-
生成描述子：旋转坐标轴， 在16x16窗口内计算4x4个子区域的8bin方向直方图， 拼接成128维向量， 并做归一化。
编号: Dy-A-0061
类别: 最优化/组合优化
模型配方: 匈牙利算法
算法/模型/方法名称: Kuhn-Munkres算法 (指派问题)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题：在二分图中， 寻找最优的完美匹配， 使总权重最大或最小。通常表述为: 给定n个工人和n个任务， 以及效益矩阵C， 求一个指派方案， 使总效益最大 (或成本最小)。
-
标准化：为求最小化， 用矩阵中最大元素减去每个元素， 转化为最大化问题 (或直接处理最小化)。
-
算法步骤 (对于最大化)：
a. 行归约：从每行减去该行的最大值。
b. 列归约：从每列减去该列的最大值。
c. 用最少的线覆盖所有零：尝试用最少的水平或垂直线覆盖矩阵中的所有0元素。如果最少线数等于n， 则找到了最优指派 (选择n个独立的0元素)。否则进入下一步。
d. 矩阵变换：在未被线覆盖的元素中找出最小值m。所有未被线覆盖的元素减去m， 所有被两条线覆盖的元素加上m。返回步骤c。
-
确定指派：当用n条线能覆盖所有0时， 可以通过试指派 (如DFS) 找到n个独立的0元素， 其位置即为最优指派方案。
精度/密度/误差/强度: 能在多项式时间内精确求解指派问题。是组合优化中的经典精确算法。
底层规律/理论定理: 图论 (二分图匹配)、线性规划对偶理论、König定理。
典型应用场景: 1. 任务分配 2. 资源调度 3. 目标跟踪中的关联 4. 机器人路径规划 5. 生产线平衡 6. 传感器-目标配对 7. 人员排班 8. 交通分配 9. 电路板元件布局 10. 广告投放优化
各类特征、变量/常量/参数列表及说明:
-
C: n×n的成本或效益矩阵
-
n: 工人/任务的数量
-
x_ij: 二元决策变量， 表示是否将任务j分配给工人i
-
覆盖线: 用于覆盖矩阵中零元素的水平或垂直线
-
独立零元素: 位于不同行不同列的零元素
数学特征: 二分图、完美匹配、矩阵变换、覆盖、组合优化、精确算法、匈牙利树 (扩展算法中)。
语言特征: 描述为“指派问题”、“最优匹配”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：给定效益矩阵C。如需最小化， 令C' = max(C) - C。
-
行归约：对每一行i， 令 row_max = max(C'i)， 然后 C'ij = C'_ij - row_max。
-
列归约：对每一列j， 令 col_max = max(C'[:,j])， 然后 C'ij = C'ij - col_max。
-
覆盖零：
a. 尝试用最少的线覆盖所有零。这是一个迭代过程， 通常从标记行开始， 用类似二分图匹配的算法寻找最大匹配， 并根据未匹配的行/列划线。
b. 如果最少线数l < n， 找到未覆盖元素中的最小值m。未覆盖的元素减去m， 被两条线覆盖的元素加上m。返回步骤4a。
c. 如果l = n， 进入步骤5。
-
确定指派：在最终矩阵中， 找到n个独立的0元素 (每行每列恰好一个)。这些位置(i,j)即为最优指派。
编号: Dy-A-0062
类别: 控制理论/鲁棒控制
模型配方: H∞控制
算法/模型/方法名称: 基于状态空间的H∞控制器综合
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
广义 plant：将被控对象、加权函数、干扰和性能输出整合为一个广义系统P， 其状态空间实现为:
ẋ = A x + B1 w + B2 u
z = C1 x + D11 w + D12 u
y = C2 x + D21 w + D22 u
其中w是外部输入 (干扰、参考指令)， u是控制输入， z是被调输出 (反映性能， 如跟踪误差、控制量)， y是测量输出。
-
设计目标：寻找一个控制器K， 使得闭环系统稳定， 且从w到z的传递函数T{zw}的H∞范数小于给定的正数γ: ||T{zw}||_∞ < γ。H∞范数是系统最大奇异值在所有频率上的上确界， 这保证了在最坏情况干扰下， 性能输出的能量增益有界。
-
求解：通过求解两个Riccati方程 (或线性矩阵不等式LMIs) 来得到控制器。对于状态反馈情形， 需解: A^T X + X A + X (γ^{-2} B1 B1^T - B2 B2^T) X + C1^T C1 = 0。若存在半正定解X≥0使得A + (γ^{-2}B1B1^T - B2B2^T)X是稳定矩阵， 则控制器为 u = -B2^T X x， 且闭环系统满足||T{zw}||∞ < γ。
-
γ迭代：通常通过二分法寻找最小的γ (γ_opt)， 使得Riccati方程有解， 从而得到最优H∞控制器。
精度/密度/误差/强度: 能保证系统在最坏情况干扰下的性能鲁棒性和稳定鲁棒性。控制器阶数可能与广义plant相同。对模型不确定性有较好的处理能力。
底层规律/理论定理: 鲁棒控制理论、算子理论、Riccati方程、小增益定理。
典型应用场景: 1. 飞行器鲁棒自动驾驶仪 2. 硬盘驱动头精密定位 3. 柔性结构振动抑制 4. 过程控制中的抗干扰 5. 汽车主动悬架 6. 机器人轨迹跟踪 (存在模型误差) 7. 电力系统稳定器 8. 网络化控制系统 9. 半导体制造设备控制 10. 精密光学平台隔离
各类特征、变量/常量/参数列表及说明:
-
P: 广义被控对象
-
K: 待求的控制器
-
w, u, z, y: 外部输入、控制输入、被调输出、测量输出
-
γ: 性能水平 (H∞范数上界)
-
X, Y: Riccati方程的解矩阵
-
T_{zw}: 从w到z的闭环传递函数
数学特征: 状态空间模型、传递函数、H∞范数、Riccati方程、线性矩阵不等式、鲁棒稳定性、性能鲁棒性、最坏情况设计。
语言特征: 描述为“鲁棒控制”、“H∞综合”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
问题建模：根据性能要求和不确定性的描述， 选择加权函数， 构建广义plant P的状态空间表示。
-
选择γ：设定一个初始的γ值 (通常较大)。
-
求解Riccati方程：针对当前γ， 尝试求解相应的Riccati方程。检查解是否存在且满足正定性、稳定性条件。
-
γ迭代：如果方程有解， 则减小γ； 如果无解， 则增大γ。用二分法迭代， 直到找到满足精度的最小γ_opt。
-
构造控制器：用γ_opt和对应的Riccati方程解X, Y， 构造出控制器K的状态空间实现 (对于输出反馈， 是动态补偿器)。
-
验证：分析或仿真验证闭环系统的H∞性能和鲁棒性。
编号: Dy-A-0063
类别: 时序分析/异常检测
模型配方: 局部离群因子
算法/模型/方法名称: LOF (基于密度的局部异常检测)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
k-距离：对于对象p， 定义其k-距离k-distance(p)为p与其第k个最近邻之间的距离。
-
k-距离邻域：p的k-距离邻域N_k(p)包含所有与p距离不超过k-distance(p)的对象。
-
可达距离：对象o关于p的可达距离 reach-dist_k(p, o) = max{ k-distance(o), d(p, o) }。这平滑了统计波动。
-
局部可达密度：对象p的局部可达密度 lrd_k(p) = 1 / ( ( Σ_{o∈N_k(p)} reach-dist_k(p, o) ) / |N_k(p)| )。即p的k-近邻的平均可达距离的倒数。密度越高， 该值越大。
-
局部离群因子：对象p的LOF是其k-近邻的平均局部可达密度与p的局部可达密度之比: LOF_k(p) = ( Σ_{o∈N_k(p)} lrd_k(o) / lrd_k(p) ) / |N_k(p)|。
-
解释：LOF ≈ 1 表示p的密度与其邻居相近， 可能是内点。LOF显著大于1 (如>1.5或2) 表示p的密度低于其邻居， 可能是离群点。
精度/密度/误差/强度: 能检测局部密度变化的异常点， 对密度不均匀的数据集有效。不需要假设数据分布。计算复杂度O(n^2) (可通过索引优化)。
底层规律/理论定理: 基于密度的异常检测、局部性比较。
典型应用场景: 1. 网络入侵检测 2. 信用卡欺诈检测 3. 工业传感器异常读数识别 4. 生态系统监测 5. 医疗诊断异常检测 6. 文本中的垃圾信息检测 7. 制造业缺陷产品识别 8. 金融市场异常交易检测 9. 基因序列异常 10. 社交网络虚假账号检测
各类特征、变量/常量/参数列表及说明:
-
p, o: 数据对象
-
k: 近邻数量参数
-
k-distance(p): p的第k距离
-
N_k(p): p的k-距离邻域
-
reach-dist_k(p, o): o关于p的可达距离
-
lrd_k(p): p的局部可达密度
-
LOF_k(p): p的局部离群因子
数学特征: 距离度量、k近邻、局部密度、比值、异常分数、无监督。
语言特征: 描述为“局部异常检测”、“密度比较”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
计算k-距离和k-邻域：对每个点p， 计算其到所有其他点的距离， 排序， 确定k-distance(p)和N_k(p)。
-
计算局部可达密度：对每个点p， 计算其到每个邻居o的可达距离， 求平均， 再取倒数得到lrd_k(p)。
-
计算LOF：对每个点p， 计算其所有邻居的lrd与自身lrd的比值， 再求平均， 得到LOF_k(p)。
-
判定异常：设定阈值， 将LOF大于阈值的点判定为异常。
编号: Dy-A-0064
类别: 系统工程/调度
模型配方: 作业车间调度
算法/模型/方法名称: 基于析取图的JSP建模与调度生成
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题描述：有n个工件在m台机器上加工， 每个工件有预先确定的工序序列， 每道工序在指定机器上加工， 加工时间已知。一台机器一次只能加工一个工件， 一道工序开始后不能中断。目标通常是最小化最大完工时间 (makespan)。
-
析取图模型：G = (V, C ∪ D)。V是节点集合， 每个节点代表一道工序 (加上虚拟开始和结束节点)。C是连接弧集合， 表示同一工件的工序顺序约束 (合取弧)。D是析取弧集合， 表示在同一机器上加工的工序间的互斥约束， 表示为双向弧。
-
求解：调度对应于为每对析取弧选择一个方向， 使得结果图是无环的 (避免时间冲突)， 并且关键路径长度 (makespan) 最小。这是一个NP-hard问题。
-
启发式方法：常用优先派工规则 (如SPT, EDD, MWKR) 或元启发式算法 (遗传算法、模拟退火、禁忌搜索) 来生成调度方案。在析取图框架下， 可通过插入法等构造可行调度。
-
makespan计算：在确定的析取弧方向下， 得到一个有向无环图。从虚拟开始节点出发， 按拓扑顺序计算每个节点的最早开始时间， 虚拟结束节点的最早开始时间即为makespan。
精度/密度/误差/强度: 精确求解 (如分支定界) 只能用于小规模问题。启发式方法可在可接受时间内得到满意解， 但不一定最优。
底层规律/理论定理: 调度理论、图论 (有向无环图、关键路径)、组合优化、NP-hard问题。
典型应用场景: 1. 离散制造业生产调度 2. 半导体晶圆制造 3. 飞机制造装配线平衡 4. 港口集装箱装卸调度 5. 医院手术室排程 6. 印刷电路板组装 7. 服装生产线调度 8. 实验设备共享调度 9. 云计算任务调度 10. 公共交通车辆维修调度
各类特征、变量/常量/参数列表及说明:
-
n: 工件数量
-
m: 机器数量
-
O_ij: 工件i的第j道工序
-
p_ij: 工序O_ij的加工时间
-
G: 析取图
-
V: 节点集 (工序)
-
C: 合取弧 (工件内顺序)
-
D: 析取弧 (机器上冲突工序对)
-
makespan: 最大完工时间
数学特征: 图论 (节点、有向弧、路径长度)、组合优化、排序、资源约束、NP-hard、关键路径法、启发式搜索。
语言特征: 描述为“作业车间调度”、“析取图”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
建模：为每道工序创建节点， 加工时间为节点权重。为同一工件的连续工序添加合取弧 (方向从前往后)。为每台机器上加工的所有工序两两之间添加无向的析取弧。
-
生成调度 (例如， 基于优先规则)：
a. 初始化：所有工序未调度， 所有机器空闲。
b. 循环， 直到所有工序被调度：
i. 确定当前可调度的工序集合 (其所有前序工序已完成， 且对应机器空闲)。
ii. 根据优先规则 (如选择加工时间最短的SPT) 从可调度工序中选择一道。
iii. 将该工序安排到其机器上尽可能早的开始时间 (考虑机器空闲窗口和工件前序工序完工时间)。
iv. 在析取图中， 为该工序与同机器上已安排且时间冲突的工序之间的析取弧确定方向 (后安排的工序弧指向先安排的工序， 表示顺序约束)。
-
计算 makespan：基于确定方向的析合图， 用关键路径法计算从虚拟开始到虚拟结束的最长路径长度。
编号: Dy-A-0065
类别: 信号处理/谱估计
模型配方: 多重信号分类算法
算法/模型/方法名称: MUSIC (基于子空间分解的DOA估计)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
数据模型：假设D个远场窄带信号从不同方向{θ_1, ..., θ_D}入射到由M个阵元组成的阵列。阵列接收数据向量 x(t) = A(θ) s(t) + n(t)。其中A(θ)=[a(θ_1), ..., a(θ_D)]是阵列流形矩阵， a(θ_i)是方向θ_i对应的导向矢量， s(t)是信号向量， n(t)是噪声。
-
计算协方差矩阵：R_xx = E[x(t) x^H(t)] ≈ (1/N) Σ_{t=1}^N x(t) x^H(t)。理论上， R_xx = A R_ss A^H + σ_n^2 I， 其中R_ss是信号协方差矩阵， σ_n^2是噪声功率。
-
特征值分解：对样本协方差矩阵R_xx进行特征分解: R_xx = U Λ U^H。将特征值从大到小排序， 对应的特征向量分为两部分：大特征值对应的张成信号子空间U_s， 小特征值对应的张成噪声子空间U_n。理论上， 信号子空间与阵列流形矩阵A的列张成同一空间， 且与噪声子空间正交。
-
MUSIC谱：由于导向矢量a(θ)与噪声子空间正交， 定义空间谱函数: P_MUSIC(θ) = 1 / ( a^H(θ) U_n U_n^H a(θ) )。当θ等于真实来波方向时， 分母理论上为零， 谱峰趋于无穷大。实际中， 搜索θ， 使P_MUSIC(θ)的峰值位置即为波达方向估计。
-
估计信号数：通过特征值分布 (如MDL, AIC准则) 估计信源数D。
精度/密度/误差/强度: 在信号不相关、噪声为白噪声的理想条件下， 能实现超分辨率DOA估计。分辨力优于传统波束形成。对相干信号失效。
底层规律/理论定理: 阵列信号处理、子空间理论、正交性。
典型应用场景: 1. 雷达目标测向 2. 声纳信号源定位 3. 无线通信中用户DOA估计 4. 麦克风阵列声源定位 5. 地震波到达方向估计 6. 射电天文 7. 故障机械的振动源定位 8. 脑电图/脑磁图源定位 9. 无线传感器网络节点定位 10. 无人机信号追踪
各类特征、变量/常量/参数列表及说明:
-
M: 阵元数
-
D: 信源数 (小于阵元数)
-
θ: 波达方向
-
a(θ): 导向矢量
-
R_xx: 阵列接收数据协方差矩阵
-
U_s, U_n: 信号子空间和噪声子空间的正交基
-
P_MUSIC(θ): MUSIC空间谱
-
λ_i: 特征值
数学特征: 协方差矩阵、特征值分解、子空间、正交投影、谱估计、超分辨率、阵列流形。
语言特征: 描述为“子空间方法”、“超分辨测向”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
数据采集：采集N个快拍的阵列数据X = [x(1), x(2), ..., x(N)]。
-
计算样本协方差矩阵：R = (1/N) * X * X^H。
-
特征分解：[U, Λ] = eig(R)。对特征值排序， 确定信号子空间维数D (如通过MDL准则)。令U_n为对应最小M-D个特征值的特征向量组成的矩阵。
-
谱峰搜索：在可能的DOA范围θ内离散化， 对每个θ计算导向矢量a(θ)， 并计算 P(θ) = 1 / ( a(θ)^H * (U_n * U_n^H) * a(θ) )。
-
确定DOA：找出P(θ)的D个最高峰值， 其对应的θ即为估计的波达方向。
编号: Dy-A-0066
类别: 机器学习/度量学习
模型配方: 孪生神经网络
算法/模型/方法名称: 基于对比损失的Siamese Network
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
网络结构：两个共享权重的相同子网络 (分支)， 每个分支处理一个输入样本。子网络通常是一个CNN或MLP， 将输入映射到一个低维嵌入空间。
-
距离度量：计算两个分支输出嵌入向量G_W(x1)和G_W(x2)之间的距离D_W(x1, x2)。常用欧氏距离或余弦距离。
-
对比损失：损失函数鼓励相似样本对 (正对) 的嵌入距离小， 不相似样本对 (负对) 的嵌入距离大， 且大于一个边界值m。损失函数定义为:
L(W) = (1/2)[ (Y) * D_W^2 + (1-Y) * max(0, m - D_W)^2 ]
其中Y是标签: Y=0表示正对， Y=1表示负对。m是边界参数。
-
训练：通过最小化损失L(W)来更新共享网络的参数W。网络学会将输入映射到一个有意义的度量空间， 使得在该空间中， 相似性由距离直接反映。
-
应用：训练完成后， 可用一个分支计算新样本的嵌入， 通过比较嵌入距离进行人脸验证、签名验证等任务。
精度/密度/误差/强度: 能够学习任务相关的相似性度量。对样本对的质量和数量有要求。
底层规律/理论定理: 度量学习、表示学习、对比学习。
典型应用场景: 1. 人脸验证与识别 2. 签名验证 3. 指纹匹配 4. 图像检索 5. 文本相似性比较 6. 工业零件缺陷匹配 7. 声纹识别 8. 商品同款识别 9. 医学图像病灶匹配 10. 安防中的人脸搜索
各类特征、变量/常量/参数列表及说明:
-
G_W: 共享权重的子网络， 参数为W
-
x1, x2: 输入样本对
-
D_W(x1, x2): 两个嵌入向量间的距离
-
Y: 样本对标签， 0表示相似， 1表示不相似
-
m: 边界参数， 负对希望达到的最小距离
-
L(W): 对比损失
数学特征: 神经网络、距离度量、对比损失、成对学习、度量学习、嵌入空间。
语言特征: 描述为“孪生网络”、“对比学习”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
构建样本对：从数据集中构建大量的正样本对 (同一类/同一对象) 和负样本对 (不同类/不同对象)。
-
前向传播：将样本对(x1, x2)分别输入两个共享权重的分支网络， 得到嵌入向量f1=G_W(x1)， f2=G_W(x2)。
-
计算距离：计算欧氏距离 D = ||f1 - f2||_2。
-
计算损失：L = 0.5 * [ Y * D^2 + (1-Y) * max(0, m - D)^2 ]。
-
反向传播：计算损失对网络参数W的梯度， 并更新参数。
编号: Dy-A-0067
类别: 机器学习/特征选择
模型配方: 递归特征消除
算法/模型/方法名称: RFE with Cross-Validation
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
训练初始模型：使用所有特征训练一个估计器 (如SVM、线性回归)， 该估计器能提供特征重要性度量 (如SVM的权重系数绝对值、线性回归系数绝对值、树模型的特征重要性)。
-
排序特征：根据特征重要性对特征进行排序。
-
剔除特征：剔除重要性排名最低的一个或一个比例的特征。
-
在缩减的特征集上重新训练模型：用剩余的特征重新训练模型。
-
递归：重复步骤2-4， 直到达到指定的特征数量。
-
交叉验证选择最优特征数：在RFE的每一步， 通过交叉验证评估模型性能 (如准确率、F1分数)。选择在交叉验证中性能最佳的特征子集。
-
输出：最终选定的特征子集和对应的模型。
精度/密度/误差/强度: 是一种封装式特征选择方法， 性能通常优于过滤法。计算成本高， 因为需要多次训练模型。
底层规律/理论定理: 特征选择、模型评估、递归消除。
典型应用场景: 1. 基因表达数据特征选择 2. 医学影像生物标志物发现 3. 高维文本分类特征选择 4. 金融风险预测变量筛选 5. 工业过程关键参数辨识 6. 消费者行为预测变量选择 7. 化学信息学 8. 遥感图像分类波段选择 9. 信用评分 10. 传感器数据降维
各类特征、变量/常量/参数列表及说明:
-
X: 原始特征矩阵
-
y: 目标变量
-
estimator: 用于评估特征重要性的基础学习器
-
n_features_to_select: 最终要选择的特征数量
-
step: 每次递归消除的特征数量或比例
-
cv: 交叉验证策略
-
scoring: 模型评估指标
-
feature_ranking: 特征重要性排名
数学特征: 特征重要性度量、递归、排序、交叉验证、最优化 (寻找最优特征子集以最大化验证性能)。
语言特征: 描述为“递归特征消除”、“向后选择”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：令特征集F = 所有特征。令最优分数best_score = -∞， 最优特征集best_features = F。
-
for k = |F| down to 1 (或到预设的最小特征数):
a. 用特征集F训练估计器， 并评估其重要性。
b. 用交叉验证评估当前特征集F上的模型性能， 得到平均得分score_k。
c. if score_k > best_score: 更新 best_score = score_k, best_features = F 的副本。
d. 根据重要性排序特征， 移除重要性最低的step个特征， 更新F。
-
输出：best_features 以及在该特征集上重新训练的最终模型。
编号: Dy-A-0068
类别: 计算机视觉/点云处理
模型配方: 内部形状描述子
算法/模型/方法名称: ISS关键点检测
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
邻域搜索：对点云中每个点p_i， 在其周围给定半径r内搜索其邻域点集Ω_i。
-
加权协方差矩阵计算：计算p_i邻域内点的协方差矩阵， 并为每个邻域点赋予一个与距离相关的权重w_ij = 1/||p_i - p_j|| (j ∈ Ω_i)。加权协方差矩阵为: cov(p_i) = Σ_{j∈Ω_i} w_ij (p_j - μ_i)(p_j - μ_i)^T， 其中μ_i是p_i邻域的加权质心。
-
特征值分解：对cov(p_i)进行特征值分解， 得到按从大到小排列的特征值λ_1, λ_2, λ_3及其对应的特征向量v_1, v_2, v_3。
-
关键点判别：设定阈值ε_1, ε_2。点p_i被认为是ISS关键点， 如果其满足: λ_2/λ_1 ≤ ε_1 且 λ_3/λ_2 ≤ ε_2。这确保关键点在其邻域内沿三个主方向都有显著的形状变化 (即该点位于角点、边界等显著区域， 而非平坦区域)。
-
非极大值抑制：在以p_i为中心， 半径为r_nms的球形邻域内， 如果p_i的λ_3不是最大的， 则将其剔除， 以确保关键点的稀疏性和均匀性。
精度/密度/误差/强度: 能提取具有重复性和高信息量的关键点， 对噪声和点云密度变化具有一定鲁棒性。计算复杂度较高。
底层规律/理论定理: 局部几何、主成分分析、特征值分析。
典型应用场景: 1. 点云配准 (如粗配准的对应点匹配) 2. 三维物体识别与检索 3. 点云特征描述 (结合FPFH等) 4. 三维场景理解 5. 工业零件定位 6. 建筑物点云特征提取 7. 机器人抓取点检测 8. 点云压缩 9. 地形特征提取 10. 文物数字化细节捕捉
各类特征、变量/常量/参数列表及说明:
-
p_i: 待评估的点
-
Ω_i: p_i的邻域点集
-
w_ij: 邻域点的权重
-
cov(p_i): 加权协方差矩阵
-
λ_1, λ_2, λ_3: 特征值， λ_1 ≥ λ_2 ≥ λ_3 ≥ 0
-
ε_1, ε_2: 特征值比率阈值
-
r: 邻域搜索半径
-
r_nms: 非极大值抑制半径
数学特征: 局部邻域、协方差矩阵、特征值分解、比率阈值、非极大值抑制、几何特征 (曲率近似)。
语言特征: 描述为“点云关键点检测”、“内部形状特征”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
构建空间索引：对输入点云P建立KD-Tree或Octree， 用于加速邻域搜索。
-
遍历每个点：for each point p_i in P:
a. 在半径r内搜索其所有邻域点， 得到Ω_i。
b. 计算加权质心μ_i = (Σ w_ij * p_j) / (Σ w_ij)。
c. 计算加权协方差矩阵cov(p_i)。
d. 计算cov(p_i)的特征值和特征向量。
e. 如果 λ_2/λ_1 < ε_1 且 λ_3/λ_2 < ε_2， 则将p_i加入候选关键点列表， 并记录其λ_3值。
-
非极大值抑制：对候选关键点列表按λ_3值降序排序。依次处理每个点p_i， 如果p_i未被抑制， 则将其标记为最终关键点， 并抑制其r_nms邻域内的所有其他候选点。
-
输出：最终的关键点集合。
编号: Dy-A-0069
类别: 机器学习/半监督学习
模型配方: 标签传播算法
算法/模型/方法名称: 基于图的标签传播
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
构图：将所有数据点 (标记和未标记) 作为节点， 构建一个全连接图或k近邻图。边权重W_ij通常用高斯核函数: W_ij = exp( -||x_i - x_j||^2 / (2σ^2) )， 如果i≠j且j是i的k近邻 (或反之)， 否则为0。构建度矩阵D， D_ii = Σ_j W_ij。
-
标签矩阵初始化：定义n×c的标签矩阵Y， 其中n是样本总数， c是类别数。对于有标签样本， Y_ij = 1 如果样本i属于类j， 否则为0。对于无标签样本， 所有元素初始化为0。
-
传播矩阵：计算归一化的传播矩阵 T = D^{-1/2} W D^{-1/2} 或 随机游走矩阵 P = D^{-1} W。
-
迭代传播：标签矩阵F通过以下方式迭代更新: F(t+1) = α T F(t) + (1-α) Y。其中α∈(0,1)是控制从邻居获取信息与保持初始标签的权衡参数 (聚类时α=1)。或者使用形式 F(t+1) = P F(t)， 然后固定有标签样本的F值。
-
收敛：迭代直到F收敛 (变化小于阈值)。最终， 对于每个无标签样本i， 其类别预测为 argmax_j F_ij。
-
本质：求解图上的正则化框架: min_F Σ_{i,j} W_ij ||F_i/√D_ii - F_j/√D_jj||^2， 约束有标签点的F值与Y一致。
精度/密度/误差/强度: 利用图结构平滑性假设， 在标记数据少时能有效利用未标记数据。对图构建 (参数σ, k) 敏感。
底层规律/理论定理: 图论、流形假设、谐波函数、随机游走。
典型应用场景: 1. 网络社区发现 2. 图像分割 3. 文本分类 (标记文档少) 4. 蛋白质功能预测 5. 社交网络用户分类 6. 遥感图像分类 7. 医学图像标注 8. 传感器网络事件分类 9. 客户细分 10. 故障诊断
各类特征、变量/常量/参数列表及说明:
-
W: 图的邻接权重矩阵
-
D: 度矩阵
-
T: 归一化传播矩阵
-
Y: 初始标签矩阵
-
F: 迭代过程中的标签/置信度矩阵
-
α: clamping factor (标签保持因子)
-
σ: 高斯核宽度
-
k: 近邻数
数学特征: 图论 (权重、度矩阵)、矩阵迭代、随机游走、图拉普拉斯、正则化、平滑性假设。
语言特征: 描述为“图标签传播”、“半监督分类”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
构图：计算所有样本对之间的距离， 根据k近邻或半径构建稀疏邻接矩阵W。
-
初始化：创建标签矩阵Y， 创建F(0)=Y。
-
计算传播矩阵：计算度矩阵D (对角阵)， 然后计算 T = D^{-1/2} W D^{-1/2}。
-
迭代：
while not converged:
F_new = α * T * F_old + (1-α) * Y
// 或者: F_new = P * F_old; 然后 F_new(labled) = Y(labled)
if ||F_new - F_old|| < threshold: break
F_old = F_new
-
预测：对每个无标签样本i， 预测其类别为 argmax(F_i)。
编号: Dy-A-0070
类别: 优化算法/多目标优化
模型配方: 多目标粒子群优化
算法/模型/方法名称: MOPSO (基于帕累托支配和外部档案)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
初始化：随机初始化粒子群， 每个粒子有位置x_i和速度v_i。初始化外部档案A (存储非支配解)， 为空。
-
评估与更新档案：计算每个粒子的所有目标函数值。根据Pareto支配关系更新外部档案A: 将当前种群中的非支配解加入A， 并移除A中被新解支配的个体。如果A大小超过预设容量， 则基于某种密度指标 (如拥挤度) 进行修剪。
-
全局最优 (gbest) 选择：对每个粒子i， 从外部档案A中为其选择一个引导者 (gbest)。选择策略可以是轮盘赌 (基于档案个体的拥挤距离， 优先选择稀疏区域的解)， 或随机选择。
-
个体最优 (pbest) 更新：每个粒子记录其历史最优位置pbest。更新规则基于支配关系: 如果当前位置支配pbest， 则更新pbest为当前位置； 如果pbest支配当前位置， 则保持不变； 如果互不支配， 则随机选择一个。
-
速度与位置更新：采用标准PSO更新公式， 但gbest来自外部档案: v_i(t+1) = w * v_i(t) + c1 * r1 * (pbest_i - x_i(t)) + c2 * r2 * (gbest_i - x_i(t)); x_i(t+1) = x_i(t) + v_i(t+1)。
6
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式 (续):
-
速度与位置更新：采用标准PSO更新公式， 但gbest来自外部档案: v_i(t+1) = w * v_i(t) + c1 * r1 * (pbest_i - x_i(t)) + c2 * r2 * (gbest_i - x_i(t)); x_i(t+1) = x_i(t) + v_i(t+1)。
-
迭代：重复步骤2-5， 直到达到最大迭代次数或其他终止条件。最终， 外部档案A中的解集即为找到的近似Pareto前沿。
精度/密度/误差/强度: 能生成一组分布良好的Pareto最优解集。算法性能受参数 (w, c1, c2, 档案大小) 和引导者选择策略影响。
底层规律/理论定理: 粒子群优化、多目标优化、Pareto支配、外部档案、精英策略。
典型应用场景: 1. 无人机航路多目标规划 2. 汽车造型空气动力学与美学优化 3. 供应链成本与时效优化 4. 机器学习模型多目标调参 5. 水资源分配 6. 天线多频段设计 7. 化工过程经济与环境效益权衡 8. 机器人能耗与时间轨迹规划 9. 投资组合收益-风险优化 10. 芯片功耗-性能优化
各类特征、变量/常量/参数列表及说明:
-
x_i: 粒子i的位置 (解向量)
-
v_i: 粒子i的速度向量
-
pbest_i: 粒子i的个体历史最优位置 (基于Pareto支配更新)
-
gbest_i: 为粒子i从外部档案中选择的全局引导者
-
w: 惯性权重
-
c1, c2: 加速常数
-
A: 外部档案， 存储非支配解
-
f_k(x): 第k个目标函数
-
CrowdingDistance: 档案中解的拥挤度， 用于维持分布性
数学特征: 多目标优化、Pareto支配、向量比较、粒子群更新公式、拥挤度计算、档案维护、迭代进化。
语言特征: 描述为“多目标粒子群”、“Pareto前沿搜索”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：初始化粒子群位置速度， 初始化空外部档案A。
-
评估：计算每个粒子的所有目标函数值。
-
更新档案A：将当前种群中的非支配解加入A。移除A中被新解支配的个体。如果|A|>N_A (档案容量上限)， 则按拥挤度从大到小排序， 保留前N_A个解。
-
更新pbest：对每个粒子， 比较当前位置x_i与pbest_i。如果x_i支配pbest_i， 则pbest_i = x_i； 如果pbest_i支配x_i， 则不变； 如果互不支配， 随机选择一个。
-
为每个粒子选择gbest：
a. 如果A为空， 随机选择一个粒子作为gbest。
b. 否则， 计算A中每个解的拥挤距离。用轮盘赌选择， 选择概率与拥挤距离成正比 (优先选稀疏区域的解)， 选出的解作为该粒子的gbest_i。
-
更新速度与位置：v_i = wv_i + c1r1(pbest_i - x_i) + c2r2*(gbest_i - x_i); x_i = x_i + v_i。
-
循环：重复步骤2-6直到终止。输出档案A作为近似Pareto最优解集。
编号: Dy-A-0071
类别: 机器学习/强化学习
模型配方: 软演员-评论家
算法/模型/方法名称: SAC (Maximum Entropy RL with Stochastic Policy)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
最大熵目标：在标准累积回报目标上增加策略的熵， 鼓励探索: J(π) = Σ_t E_{(s_t, a_t)~ρ_π} [ r(s_t, a_t) + α H(π(·|s_t)) ]。其中α是温度参数， 平衡回报与熵。
-
软Q函数：定义软Q函数， 包含未来熵的期望: Q{soft}(s_t, a_t) = r_t + γ E{s{t+1}} [ V{soft}(s{t+1}) ]。软状态值函数: V{soft}(s_t) = E{a_t~π} [ Q{soft}(s_t, a_t) - α log π(a_t|s_t) ]。
-
策略改进：通过最小化KL散度来更新策略: π_new = argmin{π'} D_KL( π'(·|s_t) || exp( (1/α) Q{soft}^{π_old}(s_t, ·) ) / Z{soft}(s_t) )。这导出策略更新目标: J_π(φ) = E{s_t~D} [ E_{a_t~π_φ} [ α log π_φ(a_t|s_t) - Q_θ(s_t, a_t) ] ]。
-
网络结构：使用五个网络: 两个Q网络 (Q_θ1, Q_θ2) 减轻过估计， 一个策略网络π_φ， 以及对应的两个目标Q网络 (Q_θ'1, Q_θ'2)。策略网络输出高斯分布的均值和方差 (对角)。
-
Q函数更新：最小化软贝尔曼残差: J_Q(θ) = E{(s_t, a_t)~D} [ ( Q_θ(s_t, a_t) - (r_t + γ ( min{j=1,2} Q{θ'j}(s{t+1}, a{t+1}) - α log π_φ(a{t+1}|s{t+1}) ) ) )^2 ]， 其中a{t+1}~π_φ(·|s{t+1})。
-
自动调整α：通过优化损失 J(α) = E_{a_t~π_t} [ -α ( log π_t(a_t|s_t) + H ̄) ] 来自动调整温度参数α， 其中H ̄是目标熵。
精度/密度/误差/强度: 样本效率高， 探索能力强， 对超参数鲁棒， 是当前最先进的off-policy深度强化学习算法之一。
底层规律/理论定理: 最大熵强化学习、随机策略、策略迭代、KL散度。
典型应用场景: 1. 机器人复杂连续控制 2. 机械臂灵巧操作 3. 自动驾驶决策 4. 四足机器人 locomotion 5. 游戏AI (连续) 6. 资源分配 7. 金融交易 8. 能源管理 9. 化工过程控制 10. 智能电网调度
各类特征、变量/常量/参数列表及说明:
-
π_φ: 随机策略网络， 参数φ
-
Q_θ1, Q_θ2: 两个软Q网络， 参数θ1, θ2
-
Q_θ'1, Q_θ'2: 目标Q网络
-
α: 温度参数， 可自动调整
-
H ̄: 目标熵， 通常设为 -dim(A)
-
γ: 折扣因子
-
D: 经验回放缓冲区
数学特征: 最大熵目标、软贝尔曼方程、KL散度最小化、重参数化技巧、双Q学习、目标网络、自动温度调节。
语言特征: 描述为“最大熵强化学习”、“随机策略”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
数据收集：用当前策略与环境交互， 存储(s,a,r,s',d)到回放缓冲区D。
-
更新Q网络：从D采样batch， 计算目标: y = r + γ * ( min{j=1,2} Q{θ'_j}(s', a ̃') - α log π_φ(a ̃'|s') )， 其中a ̃'~π_φ(·|s')。用梯度下降最小化(Q_θ(s,a) - y)^2更新θ1,θ2。
-
更新策略网络：用重参数化采样动作 a ̃ = f_φ(ε; s)， 最小化 J_π(φ) = E_s [ E_ε [ α log π_φ(a ̃|s) - min{j=1,2} Q{θ_j}(s, a ̃) ] ]。
-
调整α：最小化 J(α) = E_s [ E_{a~π} [ -α ( log π(a|s) + H ̄ ) ] ]。
-
更新目标网络：θ'j ← τ θ_j + (1-τ) θ'j。
编号: Dy-A-0072
类别: 机器学习/集成学习
模型配方: 梯度提升决策树
算法/模型/方法名称: GBDT (Gradient Boosting with Decision Trees)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
初始化：对于回归， 用常数初始化模型， 如 F_0(x) = argmin_γ Σ_i L(y_i, γ) (例如， γ = mean(y))。
-
迭代 (m=1 to M)：
a. 计算伪残差: r{im} = -[ ∂L(y_i, F(x_i)) / ∂F(x_i) ]{F(x)=F{m-1}(x)}。对于平方损失， 这就是残差 y_i - F{m-1}(x_i)。
b. 用决策树h_m(x)拟合伪残差{r{im}}， 即用数据{(x_i, r{im})}训练一棵树。
c. 对于树的每个叶节点区域R{jm}， 计算最优的权重更新: γ{jm} = argmin_γ Σ{x_i∈R{jm}} L(y_i, F{m-1}(x_i) + γ)。对于平方损失， γ{jm}是R_{jm}中残差的平均值。
d. 更新模型: F_m(x) = F{m-1}(x) + ν * Σ_j γ{jm} I(x ∈ R_{jm})， 其中ν是学习率 (缩减因子)。
-
输出：最终模型 F_M(x)。
精度/密度/误差/强度: 预测精度高， 能处理非线性关系， 对异常值相对鲁棒。容易过拟合， 需控制树深度、学习率和迭代次数。
底层规律/理论定理: 梯度下降、函数空间优化、加法模型、决策树。
典型应用场景: 1. 点击率预测 2. 金融风险评分 3. 客户流失预测 4. 搜索排序 5. 异常检测 6. 疾病风险预测 7. 销量预测 8. 图像分类 9. 特征转换 10. 多标签分类
各类特征、变量/常量/参数列表及说明:
-
F_m(x): 第m轮迭代后的模型
-
L(y, F): 损失函数 (如均方误差、对数损失)
-
r_{im}: 第i个样本在第m轮的伪残差
-
h_m(x): 第m轮训练的决策树
-
R_{jm}: 第m棵树第j个叶节点区域
-
γ_{jm}: 对应叶节点的最优权重
-
ν: 学习率
-
M: 提升迭代次数
数学特征: 梯度下降 (在函数空间)、加法模型、决策树、最优化 (损失函数最小化)、递归。
语言特征: 描述为“梯度提升”、“集成树”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：F_0(x) = argmin_γ Σ_i L(y_i, γ)。
-
for m=1 to M:
a. 计算伪残差: r_i = -[∂L(y_i, F)/∂F] at F=F_{m-1}(x_i)。
b. 用{(x_i, r_i)}训练一棵回归树h_m， 生成J个叶节点区域R_{jm}。
c. for j=1 to J: γ_j = argmin_γ Σ{x_i∈R{jm}} L(y_i, F_{m-1}(x_i)+γ)。
d. 更新: F_m(x) = F{m-1}(x) + ν * Σ{j=1}^J γ_j I(x ∈ R_{jm})。
-
输出: F_M(x)。
编号: Dy-A-0073
类别: 机器学习/降维
模型配方: 等距特征映射
算法/模型/方法名称: Isomap (等距映射)
算法/模型方法的逐步思考推理过程及每一个步骤的数学方程式:
-
构建邻域图：对每个数据点x_i， 找到其k个最近邻 (或ε-半径内的点)， 在图中连接这些点， 边权为欧氏距离d_X(i,j)。
-
计算测地距离：计算图中所有点对之间的最短路径距离， 作为流形上测地距离的近似。常用Floyd-Warshall或Dijkstra算法。得到测地距离矩阵D_G。
-
多维缩放：对测地距离矩阵D_G应用经典MDS。计算中心化矩阵: B = -1/2 * H * D_G^(2) * H， 其中H是中心化矩阵 (H=I - (1/N)11^T)， D_G^(2)是元素平方的矩阵。对B进行特征值分解: B = V Λ V^T。
-
低维嵌入：选择最大的d个特征值λ_1 ≥ ... ≥ λ_d及其对应的特征向量v_1, ..., v_d。低维嵌入坐标Y的第i行是: y_i = [√λ_1 v_1(i), ..., √λ_d v_d(i)]^T。
精度/密度/误差/强度: 能学习流形的全局几何结构， 对非线性流形降维有效。对噪声和邻域参数k敏感， 计算复杂度高 (O(N^3))。
底层规律/理论定理: 流形学习、图论、多维缩放、测地距离。
典型应用场景: 1. 人脸图像姿态降维 2. 手写数字流形可视化 3. 三维形状分析 4. 运动捕捉数据降维 5. 基因表达数据可视化 6. 语音信号声学空间建模 7. 传感器网络定位 8. 地球科学数据可视化 9. 金融时间序列模式发现 10. 工业过程监控
各类特征、变量/常量/参数列表及说明:
-
D_X: 原始空间的距离矩阵 (欧氏距离)
-
D_G: 测地距离矩阵
-
k: 邻域大小
-
B: 中心化内积矩阵
-
λ_i, v_i: 特征值和特征向量
-
Y: 低维嵌入坐标矩阵 (N×d)
数学特征: 图论 (最短路径)、多维缩放、特征值分解、流形、等距映射、全局几何保持。
语言特征: 描述为“等距映射”、“流形学习”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
构建邻域图：计算所有点对的欧氏距离。对每个点， 连接其k个最近邻， 构成邻接图G， 边权为距离。
-
计算测地距离：在G上， 计算所有点对的最短路径距离， 得到矩阵D_G。
-
中心化：计算 D^(2) (元素平方)。计算 B = -0.5 * H * D^(2) * H。
-
特征分解：B = V Λ V^T。
-
嵌入：取前d大特征值对角阵Λ_d和对应特征向量V_d。Y = V_d * Λ_d^{1/2}。
编号: Dy-A-0074
类别: 控制系统/自适应控制
模型配方: 模型参考自适应控制 (直接法)
算法/模型/方法名称: 基于李雅普诺夫稳定性的直接MRAC
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
参考模型：ẋ_m = A_m x_m + B_m r。期望的动态。
-
可调系统：被控对象: ẋ_p = A_p x_p + B_p u。假设A_p, B_p未知， 但B_p的符号已知 (控制方向已知)。
-
控制器结构：采用并联结构: u = K_x(t) x_p + K_r(t) r。目标是使跟踪误差 e = x_p - x_m → 0。
-
误差动态：假设存在理想参数K_x, K_r使 A_p + B_p K_x* = A_m, B_p K_r* = B_m。定义参数误差 Φ_x = K_x - K_x， Φ_r = K_r - K_r。则 ė = A_m e + B_p (Φ_x x_p + Φ_r r)。
-
李雅普诺夫函数：V(e, Φ_x, Φ_r) = e^T P e + tr( Φ_x^T Γ_x^{-1} Φ_x / |b_p| ) + tr( Φ_r^T Γ_r^{-1} Φ_r / |b_p| )， 其中P满足 A_m^T P + P A_m = -Q, Q>0。b_p是B_p的标量符号 (SISO) 或推广到矩阵。
-
自适应律：求V的导数， 通过选择自适应律使V负定。得到: K̇x^T = -Γ_x B_p^T P e x_p^T， K̇r^T = -Γ_r B_p^T P e r^T。保证了全局渐近稳定。
精度/密度/误差/强度: 保证跟踪误差收敛到零， 无需系统参数知识， 只需控制方向。对高频未建模动态敏感。
底层规律/理论定理: 李雅普诺夫稳定性、直接自适应控制、模型参考。
典型应用场景: 1. 电机速度控制 2. 飞行器姿态控制 3. 机械臂轨迹跟踪 4. 船舶航向控制 5. 过程控制 6. 汽车巡航控制 7. 电力系统稳定 8. 机器人柔顺控制 9. 航空航天器再入控制 10. 精密运动平台
各类特征、变量/常量/参数列表及说明:
-
x_m, x_p: 参考模型和被控对象状态
-
e: 跟踪误差
-
K_x(t), K_r(t): 可调控制器参数
-
Φ_x, Φ_r: 参数误差
-
P, Q: 李雅普诺夫方程矩阵
-
Γ_x, Γ_r: 自适应增益矩阵
-
A_m, B_m: 参考模型矩阵
数学特征: 微分方程、李雅普诺夫函数、矩阵运算、参数自适应、全局渐近稳定。
语言特征: 描述为“直接自适应控制”、“模型参考”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
选择参考模型 (A_m, B_m) 和 Q>0， 解李雅普诺夫方程得P。
-
初始化可调参数K_x(0), K_r(0)。
-
在线运行 (每个周期):
a. 测量x_p, 获取r。
b. 计算 e = x_p - x_m。
c. 计算控制 u = K_x * x_p + K_r * r。
d. 更新参数: dK_x/dt = -Γ_x * (B_p^T P e) * x_p^T, dK_r/dt = -Γ_r * (B_p^T P e) * r^T (数字实现用欧拉法)。
e. 输出u。
编号: Dy-A-0075
类别: 优化算法/元启发式
模型配方: 布谷鸟搜索算法
算法/模型/方法名称: CS (Cuckoo Search via Lévy Flights)
算法/模型/方法名称:
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
莱维飞行：使用莱维飞行产生新的解。莱维飞行是一种步长服从重尾分布的随机游走， 有利于全局探索。新解产生: x_i^{t+1} = x_i^t + α ⊕ Lévy(λ)。其中⊕是点乘， α>0是步长缩放因子， Lévy(λ) ~ u = t^{-λ}, (1<λ≤3)。
-
偏好随机游走：以一定概率Pa发现并抛弃较差解， 并用偏好随机游走产生相同数量的新解。例如: x_{new} = x_i^t + r ⊕ (x_j^t - x_k^t)， 其中r是[0,1]均匀随机数， x_j, x_k是随机选择的解。
-
选择：比较新解与旧解的适应度， 保留较好的解。
-
精英保留：总是保留当前最优解。
精度/密度/误差/强度: 全局搜索能力强， 参数少 (主要是Pa和α)。收敛速度可能较慢。
底层规律/理论定理: 仿生算法 (布谷鸟寄生育雏)、莱维飞行、随机游走。
典型应用场景: 1. 工程优化设计 2. 神经网络训练 3. 图像处理 4. 调度问题 5. 数据聚类 6. 经济调度 7. 特征选择 8. PID整定 9. 天线设计 10. 路径规划
各类特征、变量/常量/参数列表及说明:
-
x_i: 第i个鸟窝 (解)
-
α: 步长缩放因子
-
λ: 莱维分布指数
-
Pa: 被发现概率 (弃巢概率)
-
f_i: 解x_i的适应度
-
N: 鸟窝数量
数学特征: 莱维飞行 (重尾随机游走)、随机搜索、精英选择、迭代优化。
语言特征: 描述为“布谷鸟搜索”、“莱维飞行”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：随机生成N个鸟窝(解)， 评估适应度。
-
while 未达到停止准则:
a. 通过莱维飞行产生一个新解: x_new = x_i + α * randn() * (randn() / abs(randn())^(1/β)) (常用Mantegna算法模拟莱维飞行)。
b. 评估新解适应度f_new。
c. 随机选择一个鸟窝j， 如果f_new优于f_j， 则用x_new替换x_j。
d. 以概率Pa发现并抛弃一部分最差的解， 并用偏好随机游走产生相同数量的新解替换。
e. 保留当前最优解。
-
输出：最优解。
编号: Dy-A-0076
类别: 机器学习/生成模型
模型配方: 生成对抗网络
算法/模型/方法名称: GAN (原始 minimax 博弈)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
博弈框架：包含一个生成器G和一个判别器D。G从先验噪声z~p_z(z)生成数据G(z)， 试图欺骗D。D接收真实数据x~p_data(x)或生成数据G(z)， 输出其为真的概率D(·)， 试图区分真假。
-
目标函数：min_G max_D V(D, G) = E{x~p_data}[log D(x)] + E{z~p_z}[log(1 - D(G(z)))]。判别器D最大化该函数 (正确分类)， 生成器G最小化它 (使D将G(z)误判为真)。
-
最优判别器：对于固定的G， 最优D为 D_G*(x) = p_data(x) / (p_data(x) + p_g(x))。其中p_g是G生成的数据分布。
-
全局最优：当且仅当p_g = p_data时达到全局最优， 此时D_G*(x)=1/2。
-
训练：交替训练D和G。通常训练D k步， 训练G 1步。用梯度上升更新D的参数以最大化V， 用梯度下降更新G的参数以最小化V (或最大化 E_z[log D(G(z))] 以提供更强梯度)。
精度/密度/误差/强度: 能生成高质量、多样性的样本。但训练不稳定， 易模式崩溃， 评估困难。
底层规律/理论定理: 博弈论、神经网络、散度最小化 (Jensen-Shannon散度)。
典型应用场景: 1. 图像生成 2. 图像到图像翻译 3. 图像超分辨率 4. 数据增强 5. 文本生成图像 6. 药物发现 7. 视频生成 8. 艺术创作 9. anomaly detection 10. 3D形状生成
各类特征、变量/常量/参数列表及说明:
-
G(z; θ_g): 生成器， 参数θ_g
-
D(x; θ_d): 判别器， 参数θ_d
-
p_z(z): 噪声先验分布 (如标准正态)
-
p_data(x): 真实数据分布
-
p_g(x): 生成数据分布
-
V(D, G): 价值函数
数学特征: 双人极小极大博弈、概率分布、期望、梯度交替上升/下降、散度最小化、对抗训练。
语言特征: 描述为“生成对抗网络”、“对抗训练”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
for 训练迭代次数:
a. 训练判别器k步：
-
采样小批量真实样本{x}， 噪声样本{z}。
-
计算判别器损失: L_D = -[ E{x} log D(x) + E{z} log(1 - D(G(z))) ]。
-
用梯度上升更新θ_d: θ_d = θ_d + η_d * ∇_{θ_d} (-L_D)。
b. 训练生成器1步：
-
采样噪声样本{z}。
-
计算生成器损失: L_G = -E_z log D(G(z)) (或 L_G = E_z log(1 - D(G(z))) )。
-
用梯度下降更新θ_g: θ_g = θ_g - η_g * ∇_{θ_g} L_G。
-
编号: Dy-A-0077
类别: 计算机视觉/目标检测
模型配方: 单发多框检测器
算法/模型/方法名称: SSD (Single Shot Multibox Detector)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
多尺度特征图预测：使用CNN骨干网络 (如VGG) 提取特征， 并在多个不同尺度的特征图 (如Conv4_3, Conv7, Conv8_2, Conv9_2, Conv10_2, Conv11_2) 上独立进行预测。浅层特征图分辨率高， 适合检测小物体；深层特征图语义信息强， 适合检测大物体。
-
先验框 (Default Boxes)：在每个特征图的每个单元上， 设置不同尺度和长宽比的先验框。例如， 一个单元可能有6个先验框。这些先验框提供了目标位置和尺寸的初始猜测。
-
预测输出：对于每个先验框， 网络预测两类值：(1) 相对于先验框的位置偏移 (4个值: Δcx, Δcy, Δw, Δh)；(2) 每个类别的置信度分数 (包括背景类)。因此， 对于有m个先验框的特征图位置， 输出维度为 m * (c+4)， 其中c是类别数。
-
匹配策略：训练时， 将每个真实框与所有先验框进行匹配。采用Jaccard重叠 (IoU) 作为标准。通常， 与真实框IoU大于阈值 (如0.5) 的先验框被视为正样本， 否则为负样本。并且， 每个真实框至少与一个先验框匹配 (与最大IoU的先验框匹配)。
-
损失函数：总损失是定位损失 (Smooth L1) 和置信度损失 (Softmax交叉熵) 的加权和: L(x, c, l, g) = (1/N) ( L_conf(x, c) + α L_loc(x, l, g) )。其中N是匹配的正样本数， l是预测框， g是真实框。
-
推理：对每个类别的预测， 应用置信度阈值过滤， 然后使用非极大值抑制 (NMS) 去除冗余框。
精度/密度/误差/强度: 检测速度快， 精度较高， 尤其对小物体检测有优势。模型相对轻量。
底层规律/理论定理: 深度学习、多尺度特征金字塔、边界框回归、先验框。
典型应用场景: 1. 实时视频监控 2. 自动驾驶环境感知 3. 移动端物体检测 4. 机器人视觉 5. 工业视觉缺陷定位 6. 无人机目标检测 7. 行人检测 8. 文本检测 9. 零售货架分析 10. 医学影像病灶检测
各类特征、变量/常量/参数列表及说明:
-
Feature maps: 多尺度特征图
-
Default boxes/priors: 先验框， 预设的尺度、长宽比
-
(cx, cy, w, h): 边界框中心坐标和宽高
-
Confidence scores: 类别置信度
-
IoU: 交并比
-
L_conf, L_loc: 分类和定位损失
-
NMS: 非极大值抑制
数学特征: 卷积神经网络、边界框参数化、IoU计算、Smooth L1损失、Softmax交叉熵、多任务学习、多尺度预测。
语言特征: 描述为“单阶段检测”、“多尺度先验框”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
前向传播：输入图像通过骨干网络， 得到多个特征图。在每个特征图的每个空间位置， 应用3x3卷积预测每个先验框的类别和偏移。
-
解码预测：将预测的偏移量应用到对应的先验框， 得到最终的检测框坐标。
-
匹配 (训练)：对每个真实框， 计算其与所有先验框的IoU。匹配正样本， 其余为负样本。采样负样本以控制正负样本比例。
-
计算损失：定位损失用Smooth L1: L_loc = Σ smoothL1( predicted_offset - matched_default_box_offset )。分类损失用交叉熵。
-
推理：对每张图， 解码所有预测框， 对每个类别应用置信度阈值， 然后执行NMS。
编号: Dy-A-0078
类别: 机器学习/深度学习
模型配方: 残差网络
算法/模型/方法名称: ResNet (深度残差学习)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
退化问题：深度神经网络增加层数时， 训练误差可能先减小后增大， 这不是过拟合， 而是优化困难， 称为退化。
-
残差块：引入“快捷连接” (shortcut connection)。对于要学习的底层映射H(x)， 让堆叠的非线性层拟合残差函数F(x) = H(x) - x， 则原始映射变为 H(x) = F(x) + x。前向传播: y = F(x, {W_i}) + x。其中F通常由两个或三个卷积层组成。
-
恒等快捷连接：当输入输出维度相同时， 直接使用 x。当维度增加时 (下采样)， 快捷连接执行线性投影: y = F(x, {W_i}) + W_s * x， 其中W_s是1x1卷积， 用于匹配维度。
-
网络结构：堆叠多个残差块， 构建极深的网络 (如ResNet-50, 101, 152)。整体包含一个初始卷积和池化， 四个阶段 (每个阶段多个残差块， 阶段间下采样)， 全局平均池化和全连接层。
-
优势：通过快捷连接， 梯度可以直接反向传播到浅层， 缓解梯度消失/爆炸， 使训练极深网络成为可能。
精度/密度/误差/强度: 极大地促进了深度学习的发展， 使训练数百甚至上千层的网络成为可能， 并在多项视觉任务上取得突破性成绩。
底层规律/理论定理: 深度学习、残差学习、快捷连接、表征学习。
典型应用场景: 1. 图像分类 2. 目标检测 3. 图像分割 4. 人脸识别 5. 行为识别 6. 图像超分辨率 7. 风格迁移 8. 医学图像分析 9. 视频分析 10. 强化学习视觉编码器
各类特征、变量/常量/参数列表及说明:
-
x: 残差块输入
-
F(x, {W_i}): 要学习的残差映射 (通常为2-3层卷积+BN+ReLU)
-
H(x) = F(x) + x: 期望的底层映射
-
W_s: 维度匹配的1x1卷积权重 (可选)
-
bottleneck: 1x1 conv (降维) -> 3x3 conv -> 1x1 conv (升维)， 减少计算量
数学特征: 残差映射、快捷连接、恒等映射、梯度流、深度网络优化、卷积运算、批归一化。
语言特征: 描述为“残差网络”、“深度残差学习”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
前向传播 (一个残差块)：
a. 输入x。
b. 通过权重层: a1 = ReLU(BN(Conv(x))); a2 = ReLU(BN(Conv(a1)))。
c. 如果维度匹配: y = a2 + x。
d. 如果维度不匹配: y = a2 + Conv_1x1(x) (下采样)。
e. 输出 y = ReLU(y)。
-
训练：用标准反向传播和SGD等优化器训练整个网络， 损失函数 (如交叉熵) 的梯度可通过快捷连接无阻碍地回传。
编号: Dy-A-0079
类别: 机器学习/无监督学习
模型配方: 高斯混合模型
算法/模型/方法名称: GMM with EM Algorithm
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
模型：假设数据由K个高斯分布混合生成: p(x) = Σ_{k=1}^K π_k N(x | μ_k, Σ_k)。其中π_k是混合系数， 满足 Σ π_k = 1, π_k ≥ 0。
-
隐变量：引入隐变量z， 表示样本x来自哪个高斯分量。z是一个K维one-hot向量。
-
EM算法：
-
E步 (期望)：计算后验概率γ(z{nk})， 即样本x_n属于第k个分量的责任度: γ(z{nk}) = π_k N(x_n | μ_k, Σ_k) / Σ_{j=1}^K π_j N(x_n | μ_j, Σ_j)。
-
M步 (最大化)：利用当前γ更新模型参数: N_k = Σ_n γ(z{nk})， π_k^{new} = N_k / N， μ_k^{new} = (1/N_k) Σ_n γ(z{nk}) x_n， Σ_k^{new} = (1/N_k) Σ_n γ(z_{nk}) (x_n - μ_k^{new})(x_n - μ_k^{new})^T。
-
-
迭代：重复E步和M步， 直到对数似然收敛: log p(X|π, μ, Σ) = Σ_n log Σ_k π_k N(x_n | μ_k, Σ_k)。
精度/密度/误差/强度: 能够对数据进行软聚类， 并能估计每个聚类的概率分布。对初始化敏感， 可能陷入局部最优。
底层规律/理论定理: 概率模型、最大似然估计、期望最大化算法、混合分布。
典型应用场景: 1. 数据聚类 2. 图像分割 3. 语音信号建模 4. 异常检测 5. 数据压缩 6. 特征提取 7. 密度估计 8. 推荐系统 9. 运动分割 10. 生物信息学
各类特征、变量/常量/参数列表及说明:
-
π_k: 第k个高斯分量的混合系数
-
μ_k, Σ_k: 第k个高斯分量的均值和协方差矩阵
-
γ(z_{nk}): 样本n属于分量k的后验概率 (责任度)
-
N_k: 属于分量k的样本的“有效”数量
-
K: 高斯分量个数
数学特征: 概率分布 (高斯)、混合模型、期望最大化、最大似然、后验概率、协方差矩阵、对数似然。
语言特征: 描述为“高斯混合模型”、“软聚类”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化：随机初始化π_k, μ_k, Σ_k。
-
E步：计算所有样本对所有分量的责任度γ(z_{nk})。
-
M步：用γ(z_{nk})重新估计参数π_k, μ_k, Σ_k。
-
评估：计算对数似然， 检查是否收敛。若未收敛， 返回E步。
编号: Dy-A-0080
类别: 优化算法/凸优化
模型配方: 增广拉格朗日乘子法
算法/模型/方法名称: ALM (Method of Multipliers)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题：min f(x), s.t. Ax = b。其中f是凸函数。
-
增广拉格朗日函数：L_ρ(x, λ) = f(x) + λ^T (Ax - b) + (ρ/2) ||Ax - b||_2^2。其中λ是拉格朗日乘子， ρ>0是惩罚参数。
-
算法步骤：
a. x-更新：x^{k+1} = argmin_x L_ρ(x, λ^k)。
b. λ-更新：λ^{k+1} = λ^k + ρ (Ax^{k+1} - b)。
-
解释：在标准拉格朗日函数中加入二次惩罚项， 使得在固定λ时， 关于x的子问题是强凸的， 更容易求解。λ的更新是梯度上升步。
-
收敛：在适当条件下， 算法收敛到原问题的最优解， 且对ρ的选择不如纯罚函数法敏感。
精度/密度/误差/强度: 结合了拉格朗日对偶的精确性和罚函数法的可行性。通常比纯罚函数法收敛更快。
底层规律/理论定理: 凸优化、拉格朗日对偶、增广拉格朗日、对偶上升。
典型应用场景: 1. 分布式优化 2. 基追踪去噪 3. 鲁棒PCA 4. 图像恢复 5. 网络流问题 6. 支持向量机 7. 最优控制 8. 统计学习 9. 压缩感知 10. 矩阵补全
各类特征、变量/常量/参数列表及说明:
-
f(x): 目标函数
-
A, b: 等式约束矩阵和向量
-
λ: 拉格朗日乘子向量
-
ρ: 惩罚参数
-
L_ρ: 增广拉格朗日函数
数学特征: 拉格朗日函数、二次惩罚、对偶更新、交替最小化、凸优化、收敛性。
语言特征: 描述为“增广拉格朗日”、“乘子法”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化: λ^0, ρ, 容差ε。
-
迭代 k=0,1,2,...:
a. 求解无约束子问题: x^{k+1} = argmin_x { f(x) + (λ^k)^T (Ax - b) + (ρ/2)||Ax - b||^2 }。
b. 更新乘子: λ^{k+1} = λ^k + ρ (A x^{k+1} - b)。
c. 检查收敛: if ||A x^{k+1} - b|| ≤ ε, break。
编号: Dy-A-0081
类别: 计算机视觉/三维重建
模型配方: 运动恢复结构
算法/模型/方法名称: SfM (Incremental Structure from Motion)
算法/模型/方法名称:
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
特征提取与匹配：从多张图像中提取特征点 (如SIFT)， 并进行匹配， 得到图像对间的特征点对应关系。
-
增量重建：
a. 初始化：选择匹配良好的两幅图像， 计算基础矩阵F或本质矩阵E， 进而恢复相对姿态 (旋转R和平移t)， 并通过三角化得到初始的三维点云。
b. 图像注册：对于新图像， 用PnP (Perspective-n-Point) 算法求解其相机位姿 (R, t)， 该算法利用当前三维点云与当前图像中2D特征点的对应关系。
c. 三角化：用新图像的位姿和已有的相机位姿， 对新的匹配点进行三角化， 增加新的三维点。
d. 捆绑调整：定期执行全局捆绑调整， 优化所有相机参数 (位姿、内参) 和三维点坐标， 最小化重投影误差: min Σ_i Σ_j v_ij || x_ij - proj(P_i, X_j) ||^2。其中v_ij是可见性指示器， P_i是投影矩阵， X_j是三维点， x_ij是观测到的2D点。
-
循环：重复图像注册、三角化、捆绑调整步骤， 直到所有图像被处理。
精度/密度/误差/强度: 能够从无序图像集中重建三维场景和相机轨迹。精度高， 但计算复杂度高， 对匹配错误敏感。
底层规律/理论定理: 多视图几何、对极几何、三角化、光束法平差、PnP问题。
典型应用场景: 1. 文物数字化重建 2. 城市三维建模 3. 自动驾驶场景重建 4. 机器人视觉SLAM 5. 虚拟现实内容创建 6. 电影特效 7. 地质勘探 8. 室内导航地图构建 9. 工业检测 10. 无人机测绘
各类特征、变量/常量/参数列表及说明:
-
x_ij: 图像i中点j的2D坐标
-
X_j: 第j个三维点
-
P_i = K_i [R_i | t_i]: 图像i的投影矩阵， 包含内参K和外参(R,t)
-
proj(P, X): 投影函数， 将3D点X投影到2D: x = P * [X; 1] (齐次坐标)。
-
v_ij: 点j在图像i中是否可见
-
BA: 捆绑调整
数学特征: 对极几何、本质矩阵、PnP、三角化、最小二乘、非线性优化 (如Levenberg-Marquardt)、重投影误差。
语言特征: 描述为“运动恢复结构”、“多视图三维重建”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
特征匹配：提取所有图像的SIFT特征， 进行两两匹配， 建立特征轨迹。
-
选择初始图像对：选择匹配点数量多且基线适中的两幅图像。
-
初始重建：计算基础矩阵， 分解得到相对位姿， 三角化得到初始点云。
-
循环注册：while 有未注册图像:
a. 选择看到最多已有点的图像。
b. 用PnP求解其位姿。
c. 三角化新的点。
d. 执行局部或全局BA。
-
输出：相机位姿集合和三维点云。
编号: Dy-A-0082
类别: 机器学习/时间序列
模型配方: 长短期记忆网络
算法/模型/方法名称: LSTM (Long Short-Term Memory)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
记忆细胞：核心是记忆细胞状态c_t， 它在序列传播中携带信息， 通过门控结构进行添加或删除。
-
遗忘门：决定从细胞状态中丢弃什么信息: f_t = σ(W_f * [h_{t-1}, x_t] + b_f)。
-
输入门：决定什么新信息被存放到细胞状态中: i_t = σ(W_i * [h{t-1}, x_t] + b_i)。候选值: c ̃t = tanh(W_c * [h_{t-1}, x_t] + b_c)。
-
更新细胞状态：c_t = f_t ⊙ c{t-1} + i_t ⊙ c ̃t。其中⊙是逐元素乘法。遗忘门控制旧状态的保留， 输入门控制新候选值的加入。
-
输出门：基于细胞状态决定输出什么: o_t = σ(W_o * [h_{t-1}, x_t] + b_o)。隐状态: h_t = o_t ⊙ tanh(c_t)。
-
通过门控缓解梯度消失：遗忘门允许梯度在记忆细胞中较长时间地流动， 从而缓解RNN的长程依赖问题。
精度/密度/误差/强度: 能有效学习长序列中的长期依赖关系， 广泛用于各种序列建模任务。参数多， 计算量大。
底层规律/理论定理: 循环神经网络、门控机制、梯度流控制。
典型应用场景: 1. 机器翻译 2. 语音识别 3. 文本生成 4. 时间序列预测 5. 视频分析 6. 手写识别 7. 音乐生成 8. 股票预测 9. 异常检测 10. 强化学习
各类特征、变量/常量/参数列表及说明:
-
x_t: t时刻输入
-
h_t: t时刻隐状态
-
c_t: t时刻细胞状态
-
f_t, i_t, o_t: 遗忘、输入、输出门
-
c ̃_t: 候选细胞状态
-
σ: sigmoid函数
-
W*, b*: 权重和偏置
数学特征: 门控机制 (sigmoid, tanh)、逐元素运算、循环连接、梯度流、长期记忆。
语言特征: 描述为“长短期记忆”、“门控循环单元”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
前向传播 (t从1到T)：
a. 计算遗忘门: f_t = σ(W_f·[h_{t-1}, x_t] + b_f)。
b. 计算输入门和候选值: i_t = σ(W_i·[h{t-1}, x_t] + b_i), c ̃t = tanh(W_c·[h_{t-1}, x_t] + b_c)。
c. 更新细胞状态: c_t = f_t ⊙ c{t-1} + i_t ⊙ c ̃t。
d. 计算输出门: o_t = σ(W_o·[h_{t-1}, x_t] + b_o)。
e. 计算隐状态: h_t = o_t ⊙ tanh(c_t)。
-
反向传播 (BPTT)：误差沿时间反向传播， 通过各个门控， 梯度在细胞状态c_t中可较长距离传播。
编号: Dy-A-0083
类别: 机器学习/异常检测
模型配方: 孤立森林
算法/模型/方法名称: iForest (Isolation Forest)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
孤立概念：异常点是“少且不同”， 因此更容易被孤立。在特征空间中， 可以通过随机选择特征和分割值来构建二叉树 (隔离树)， 将样本点隔离。异常点预期在树的较浅深度被隔离。
-
构建隔离树：递归地随机选择一个特征q和一个分割点p (在特征q的当前最小最大值之间)， 将数据分成两个子集， 直到满足停止条件: 树达到高度限制， 或节点中只有一个样本， 或所有样本值相同。
-
构建森林：构建t棵隔离树， 组成孤立森林。
-
计算异常分数：对于样本x， 计算其在每棵树中的路径长度h(x) (从根节点到叶子节点经过的边数)。计算平均路径长度E(h(x))。异常分数定义为: s(x, n) = 2^{-E(h(x))/c(n)}。其中c(n)是给定样本数n时路径长度的平均值， 用于标准化。s接近1表示很可能是异常， s远小于0.5表示很可能是正常样本。
精度/密度/误差/强度: 对高维大数据集计算高效， 无需距离或密度计算。对局部密度变化不敏感， 不适合细粒度检测。
底层规律/理论定理: 随机划分、孤立性、集成学习。
典型应用场景: 1. 网络入侵检测 2. 欺诈检测 3. 工业传感器异常 4. 医疗诊断 5. 生态系统干扰 6. 文本异常检测 7. 制造业质量控制 8. 金融交易监控 9. 基因序列变异 10. 服务器性能监控
各类特征、变量/常量/参数列表及说明:
-
T: 隔离树的数量
-
ψ: 子采样大小
-
h(x): 样本x在树中的路径长度
-
c(n): 给定n时的平均路径长度， c(n) = 2H(n-1) - 2(n-1)/n， H是调和数。
-
s(x, n): 异常分数
数学特征: 随机划分、二叉树、路径长度、调和数、集成平均、异常分数函数。
语言特征: 描述为“孤立森林”、“基于隔离的异常检测”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
构建森林：从数据集中子采样ψ个样本， 构建一棵隔离树iTree。重复T次。
-
评估：对每个测试样本x， 将其传入每棵iTree， 计算路径长度h_i(x)。
-
计算分数：计算平均路径长度 E(h(x)) = (1/T) Σ_i h_i(x)。计算 c(ψ)。计算 s(x, ψ) = 2^{-E(h(x))/c(ψ)}。
编号: Dy-A-0084
类别: 机器学习/深度学习
模型配方: 胶囊网络
算法/模型/方法名称: CapsNet (Dynamic Routing between Capsules)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
胶囊：一组神经元， 其活动向量表示特定类型实体 (如对象或对象部分) 的实例化参数。向量的长度表示实体存在的概率， 方向表示实例化参数 (如姿态)。
-
动态路由：低层胶囊的预测向量 û{j|i} = W{ij} u_i， 其中u_i是低层胶囊i的输出， W{ij}是权重矩阵。高层胶囊s_j的输入是所有预测的加权和: s_j = Σ_i c{ij} û{j|i}。耦合系数c{ij}由动态路由算法确定: a. 初始化对数先验b{ij}=0。 b. 迭代r次: 计算c{ij}=softmax(b{ij}) (对i)； 计算高层胶囊输出 v_j = squash(s_j)； 更新 b{ij} = b{ij} + û{j|i} · v_j。squash函数: v = ||s||^2 / (1+||s||^2) * (s/||s||)， 使向量长度在0-1之间。
-
网络结构：输入图像 -> 卷积层 -> PrimaryCaps层 (多个卷积胶囊) -> DigitCaps层 (通过动态路由)。用边际损失训练: L_k = T_k max(0, m^+ - ||v_k||)^2 + λ (1 - T_k) max(0, ||v_k|| - m^-)^2， 其中T_k=1 iff 类别k存在。
精度/密度/误差/强度: 对视角变化等具有更强的鲁棒性， 保留了更多的姿态信息。计算成本高， 动态路由效率低。
底层规律/理论定理: 胶囊、姿态表示、动态路由、等变性。
典型应用场景: 1. 图像分类 2. 目标检测 3. 姿态估计 4. 部件关系推理 5. 少样本学习 6. 三维物体识别 7. 医学图像分析 8. 场景理解 9. 对抗样本防御 10. 机器人视觉
各类特征、变量/常量/参数列表及说明:
-
u_i: 低层胶囊i的输出向量
-
v_j: 高层胶囊j的输出向量
-
W_{ij}: 变换权重矩阵
-
c_{ij}: 耦合系数
-
b_{ij}: 对数先验
-
squash: 压缩非线性函数
数学特征: 向量表示、动态路由 (迭代的softmax和点积)、squash函数、边际损失、等变性。
语言特征: 描述为“胶囊网络”、“动态路由”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
前向传播：
a. 通过卷积层和PrimaryCaps层， 得到初始胶囊输出。
b. 动态路由 (从PrimaryCaps到DigitCaps)：
for r iterations:
c = softmax(b) # over i for each j
s_j = Σ_i c{ij} û{j|i}
v_j = squash(s_j)
b = b + û_{j|i} · v_j
-
计算损失：用DigitCaps输出的向量长度计算边际损失。
-
反向传播：训练权重矩阵W_{ij}和卷积层参数。
编号: Dy-A-0085
类别: 系统工程/可靠性
模型配方: 故障树分析 (续Dy-A-0036)
算法/模型/方法名称: 基于布尔代数的故障树定量与定性分析 (续)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式 (续):
-
定性分析 (求最小割集)：从顶事件开始， 自上而下将故障树结构函数用布尔代数表示。通过递归展开， 最终将结构函数化为底事件积之和的析取范式。其中每个乘积项对应一个割集， 若该乘积项中任意底事件不发生， 则割集失效， 称为最小割集。可用下行法或Fussell-Vesely算法。
-
定量分析：若底事件发生概率已知， 假设相互独立， 可计算顶事件发生概率。通过最小割集近似: P(T) ≈ 1 - Π{k=1}^{K} (1 - Π{i∈C_k} p_i)， 其中C_k是最小割集， p_i是底事件i的概率。或通过不交化精确计算。
-
重要度分析：计算底事件或割集的重要度， 如概率重要度、结构重要度、关键重要度， 以识别系统的薄弱环节。
精度/密度/误差/强度: 能系统分析系统故障的逻辑原因， 识别关键部件。但假设底事件独立， 且难以处理动态故障。
底层规律/理论定理: 布尔代数、可靠性理论、概率论。
典型应用场景: 1. 航空航天系统安全性分析 2. 核电站风险评价 3. 化工过程危险识别 4. 汽车电子功能安全 (ISO 26262) 5. 医疗设备故障分析 6. 电力系统可靠性评估 7. 软件故障传播分析 8. 供应链中断风险分析 9. 网络安全威胁建模 10. 金融操作风险分析
各类特征、变量/常量/参数列表及说明:
-
T: 顶事件
-
x_i: 底事件 (基本部件故障)
-
p_i: 底事件发生概率
-
C_k: 最小割集
-
P(T): 顶事件发生概率
-
I_i: 底事件i的重要度
数学特征: 布尔代数、集合 (割集)、概率计算、组合数学、不交化、重要度指标。
语言特征: 描述为“故障树分析”、“可靠性分析”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
建树：定义顶事件， 逐级分解， 用与门、或门等逻辑门连接。
-
求最小割集：用下行法， 从顶事件开始， 将门事件替换为输入事件， 展开直到全是底事件， 得到割集， 再化简为最小割集。
-
计算顶事件概率：用最小割集不交化或近似公式计算P(T)。
-
重要度分析：计算各底事件的概率重要度 ∂P(T)/∂p_i 等。
编号: Dy-A-0086
类别: 机器学习/生成模型
模型配方: 变分自编码器 (续Dy-A-0048， 条件型)
模型配方: 条件变分自编码器
算法/模型/方法名称: CVAE (Conditional Variational Autoencoder)
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
条件生成：目标是在给定条件信息c (如类别标签、其他模态数据) 下， 学习数据x的生成分布p_θ(x|z, c)。同时学习一个近似后验q_φ(z|x, c)。
-
ELBO：证据下界变为条件形式: L(θ, φ; x, c) = -D{KL}(q_φ(z|x, c) || p(z|c)) + E{z~q_φ(z|x, c)}[log p_θ(x|z, c)]。通常假设先验p(z|c)=p(z)=N(0, I)， 即潜在变量与条件独立。
-
网络结构：编码器输入为[x, c]， 输出后验参数μ, σ。解码器输入为[z, c]， 输出重构x'的分布参数。
-
训练与生成：训练同VAE， 但所有网络都以c为额外输入。生成时， 从先验采样z， 连同目标条件c输入解码器， 生成与c相关的样本x。
精度/密度/误差/强度: 可实现可控生成， 例如生成指定类别的图像。保留了VAE的优点和缺点。
底层规律/理论定理: 条件概率模型、变分推断、自编码器。
典型应用场景: 1. 条件图像生成 2. 图像到图像转换 3. 对话生成 (给定上下文) 4. 音乐生成 (给定风格) 5. 数据增强 (给定属性) 6. 缺失数据补全 7. 风格迁移 8. 分子设计 (给定性质) 9. 文本生成图像 10. 个性化推荐生成
各类特征、变量/常量/参数列表及说明:
-
c: 条件变量
-
q_φ(z|x, c): 条件近似后验
-
p_θ(x|z, c): 条件生成模型
-
其他同VAE
数学特征: 条件概率分布、变分下界、重参数化、神经网络。
语言特征: 描述为“条件变分自编码器”、“可控生成”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
训练：对样本(x, c)， 编码器输入(x,c)输出μ,σ。采样z~N(μ,σ)。解码器输入(z,c)输出重构x'。损失为条件ELBO。
-
生成：给定条件c， 从N(0,I)采样z， 解码器输入(z,c)生成x。
编号: Dy-A-0087
类别: 控制系统/学习控制
模型配方: 迭代学习控制
算法/模型/方法名称: P-type ILC
算法/模型/方法名称:
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
问题：系统在有限区间[0, T]上重复运行。第k次运行时， 系统输出y_k(t)跟踪期望轨迹y_d(t)。目标是利用前k次运行的数据， 更新第k+1次运行的控制输入u_{k+1}(t)， 使得跟踪误差渐近收敛到零。
-
P型更新律：u_{k+1}(t) = u_k(t) + K_p * e_k(t+1)。其中e_k(t) = y_d(t) - y_k(t)， K_p是学习增益。这是一个利用前一周期同一时刻误差的比例型更新。
-
收敛条件：对于线性系统， 收敛的充分条件是 ||I - G(e^{jω}) K_p|| < 1, ∀ω， 其中G是系统频率响应。选择合适的K_p保证收敛。
-
初始化：通常u_0(t)=0。学习从第一次运行开始。
精度/密度/误差/强度: 能在重复运行中逐步消除重复性扰动和模型不确定性， 实现高精度跟踪。对非重复性扰动无效。
底层规律/理论定理: 迭代学习、重复控制、2D系统理论。
典型应用场景: 1. 工业机器人轨迹跟踪 2. 数控机床加工 3. 半导体晶圆制造 4. 光盘驱动 5. 注射成型 6. 坐标测量机 7. 无人机 repetitive maneuver 8. 康复机器人辅助训练 9. 化工批次过程 10. 3D打印
各类特征、变量/常量/参数列表及说明:
-
k: 迭代次数索引
-
t: 时间索引 (离散)
-
u_k(t): 第k次迭代t时刻的控制输入
-
y_k(t): 第k次迭代t时刻的系统输出
-
y_d(t): 期望输出轨迹
-
e_k(t): 跟踪误差
-
K_p: 比例学习增益
数学特征: 迭代更新、收敛性分析、2D系统、重复运行、渐近跟踪。
语言特征: 描述为“迭代学习控制”、“重复运行优化”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
第0次运行：设定u_0(t)=0 (或其他初始猜测)， 运行系统， 记录y_0(t)， 计算e_0(t)。
-
for k = 0, 1, 2, ...:
a. 用更新律计算新控制序列: u_{k+1}(t) = u_k(t) + K_p * e_k(t+1) (对t=0,...,N-1)。
b. 应用u{k+1}(t)运行系统， 记录y{k+1}(t)。
c. 计算新误差: e{k+1}(t) = y_d(t) - y{k+1}(t)。
d. 检查是否满足停止准则 (如max|e_{k+1}|<ε)。
编号: Dy-A-0088
类别: 优化算法/全局优化
模型配方: 协方差矩阵自适应进化策略
算法/模型/方法名称: CMA-ES
算法/模型/方法名称:
算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式:
-
采样：在每次迭代g， 从当前多元正态分布N(m(g), σ(g)^2 C(g))中采样λ个候选解: x_k(g) = m(g) + σ(g) * y_k, y_k ~ N(0, C(g))。
-
选择和重组：评估采样点的适应度， 选择μ个最好的点。更新分布均值m为这些选中点的加权平均: m(g+1) = Σ{i=1}^μ w_i x{i:λ}， 其中w_i是正权值， Σ w_i=1。
-
协方差矩阵自适应：
a. 演化路径更新：累积成功搜索方向的信息: p_c(g+1) = (1-c_c) p_c(g) + √(c_c(2-c_c)μ_eff) (m(g+1)-m(g))/σ(g)。
b. 协方差矩阵更新：C(g+1) = (1-c_cov) C(g) + (c_cov/μ_cov) p_c(g+1) p_c(g+1)^T + c_cov (1-1/μ_cov) Σ{i=1}^μ w_i y{i:λ} y_{i:λ}^T。
-
步长控制：通过另一个演化路径p_σ更新步长σ: p_σ(g+1) = (1-c_σ) p_σ(g) + √(c_σ(2-c_σ)μ_eff) C(g)^{-1/2} (m(g+1)-m(g))/σ(g)。然后 σ(g+1) = σ(g) exp( (c_σ/d_σ) (||p_σ(g+1)||/E||N(0,I)|| - 1) )。
精度/密度/误差/强度: 是连续域黑箱优化最先进的算法之一， 能自动调整搜索分布的形状、大小和方向。对多峰、非光滑、噪声问题有效。
底层规律/理论定理: 进化策略、信息几何、自然梯度、自适应协方差。
典型应用场景: 1. 神经网络超参数优化 2. 机器人控制器参数整定 3. 空气动力学外形优化 4. 化工过程优化 5. 金融模型校准 6. 传感器布局优化 7. 集成电路参数调优 8. 蛋白质结构预测 9. 游戏AI策略优化 10. 机器学习模型选择
各类特征、变量/常量/参数列表及说明:
-
m: 搜索分布的均值
-
σ: 全局步长
-
C: 协方差矩阵
-
λ: 子代数量
-
μ: 父代数量
-
w_i: 重组权重
-
p_c, p_σ: 演化路径
-
c_c, c_σ, c_cov: 学习率
-
μ_eff: 方差有效选择质量
数学特征: 多元正态分布、加权重组、协方差矩阵更新、演化路径、步长控制、自适应、黑箱优化。
语言特征: 描述为“协方差矩阵自适应”、“进化策略”。
时序和交互流程的所有细节/分步骤时序情况及数学方程式:
-
-
初始化 m, σ, C=I, p_c=0, p_σ=0。
-
while 不满足停止条件:
a. 采样: 生成λ个样本 x_i = m + σ * N(0, C
openvela 操作系统专为 AIoT 领域量身定制，以轻量化、标准兼容、安全性和高度可扩展性为核心特点。openvela 以其卓越的技术优势，已成为众多物联网设备和 AI 硬件的技术首选，涵盖了智能手表、运动手环、智能音箱、耳机、智能家居设备以及机器人等多个领域。
更多推荐
8
0- 0
已为社区贡献9条内容
所有评论(0)