杂

1. 梯度下降更新 $x_1=x_0-\alpha \mathrm{\nabla }f(x_0)$
2. 如果一个矩阵$A$是symmetric，而且Positive Quadratic Form $x^{T}Ax>0$,那它是正定的
3. 正定矩阵eigenvalues全大于零
4. 正定矩阵的必要条件
   1. 对角线元素 (Diagonal Elements): 正定矩阵的主对角线元素必须全部大于 0。
   2. 可逆性 (Invertibility): 正定矩阵必须是非奇异 (Non-singular) 的，即行列式 det(A)>0，其零空间 (Null Space) 仅包含零向量。
5. matrix normal
   1. 1-norm (列和范数)：矩阵每一列元素绝对值之和的最大值：
   2. Spectral Norm (谱范数 / 2-norm)$$||A|{|}_2=\underset{x\ne 0}{max}\frac{||Ax|{|}_2}{||x|{|}_2}$$
      • 计算方法： 它是 $A^{T}A$ 的最大特征值 (eigenvalue) 的平方根，也就是 $A$ 的最大奇异值 (largest singular value) ${\sigma }_1$。 $$ ||A||_2 = \sqrt{\rho(A^T A)} = \sigma_1 $$ 其中 $\rho (\cdot )$ 表示 Spectral Radius (谱半径)。
   3. Infinity norm (行和范数)，这是 $p=\mathrm{\infty }$ 时的诱导范数。它的计算方法是矩阵每一行元素绝对值之和的最大值 ： $$ ||A||\infty = \max{i=1,\dots,n} \sum_{j=1}^m |a_{ij}| $$
   4. Frobenius Norm (F-范数)，类似于把矩阵展平（flatten）成向量后求欧几里得范数。 所有元素平方和的根。