EKF(Extended Kalman Filter)是一种基于卡尔曼滤波的非线性状态估计方法。核心在于持续更新状态变量,使其逼近真实值。
EKF依赖过程模型,像大疆的飞控,就有用到EKF,用多维的状态变量来描述飞行器的状态,包括位置、速度、加速度、角度、角速度等。
1. 协方差矩阵
协方差矩阵简单来说就是用一个整齐的矩阵,把一堆随机变量之间的“个体波动”(方差)和“两两关联”(协方差)全部打包压缩在了一起。
回顾一下协方差的计算公式:
cov(xi,xj)=E[(xi−E[xi])(xj−E[xj])]=n−11k=1∑n(xi−xiˉ)(xj−xjˉ)我们先来看一下随机变量的协方差如何计算:
σij=cov(xi,xj)=E((xi−E[xi])(xj−E[xj]))=E(xixj−xiE[xj]−xjE[xi]+E[xi]E[xj])=E(xixj)−E(xiE[xj])−E(xjE[xi])+E(E[xi]E[xj])=E(xixj)−E(xi)E(xj)−E(xj)E(xi)+E(xi)E(xj)=E(xixj)−E(xi)E(xj)当xi和xj相等时。此时σij就是xi的方差。这说明,方差就是一个随机变量与他自身的协方差。
而如果xi和xj相互独立,那么E(xixj)=E(xi)E(xj),此时σij=0。这说明,如果两个随机变量相互独立,那么它们的协方差为0。
假设现在有一组随机向量,维度为d,可表示为x=[x1,x2,⋯,xd]T,它的协方差矩阵 Σ(通常用希腊字母 Σ 表示)定义为:
Σ=E[(X−E[X])(X−E[X])T]可展开为:
Σ=Cov(X1,X1)Cov(X2,X1)⋮Cov(Xd,X1)Cov(X1,X2)Cov(X2,X2)⋮Cov(Xd,X2)⋯⋯…⋯Cov(X1,Xd)Cov(X2,Xd)⋮Cov(Xd,Xd)展开之后我们很容易看出它能够干什么。首先他是基于方差计算方法计算的,任何一个变量与它自身的协方差,就是它自身的方差(Variance)。
Cov(Xi,Xi)=Var(Xi)对角线上的数据,就是方差功能,他们反映了每一个维度数据各自的离散程度,也就是说如果这个数据越接近0,说明这个维度数据越稳定,如果这个数据越大,说明这个维度数据越不稳定。
再来看一下协方差Cov(Xi,Xj)(其中 i=j),也就是对角线外的元素:
根据协方差公式 Cov(Xi,Xj)=E[(Xi−μi)(Xj−μj)]:
如果 Cov>0:说明 Xi 和 Xj 倾向于同向变化(一个变大,另一个也变大),这叫正相关。
如果 Cov<0:说明它们倾向于反向变化,这叫负相关。
如果 Cov=0:说明它们之间没有线性相关性。
数据 降维(PCA 主成分分析):在 PCA 中,我们想找到数据波动最大的方向,并去除冗余信息。协方差矩阵的特征向量代表了数据分布的主偏差方向(新坐标轴),而特征值的大小则代表了数据在这些方向上的波动烈度(信息量)。通过投影到特征向量上,我们就能把高维数据完美降维。
衡量多维空间的距离(马氏距离 Mahalanobis Distance):在多维空间中,简单的欧氏距离会忽略不同维度的波动幅度以及维度间的相关性。马氏距离通过引入协方差矩阵的逆 Σ−1,对数据进行了“去相关”和“标准化”缩放,使得距离测量更加客观。
高斯分布(正态分布)的灵魂:多元高斯分布的概率密度函数完全由均值向量 μ 和协方差矩阵 Σ 决定。只要知道了协方差矩阵,我们就彻底掌握了这个多维数据的概率轮廓(它是像一个圆球,还是像一个被拉长、倾斜的椭球)。
协方差矩阵通过对角线承载个体特征、非对角线承载联动特征的精妙结构,成为了人类观测、旋转、压缩多维数据时最不可或缺的“后视镜”。
2D 协方差矩阵可视化
拖动滑块观察多维数据分布的拉伸与旋转
假设我们现在有2个二维随机变量X1和X2,它们的协方差矩阵为:
Σ=[σ11σ21σ12σ22]其中σ11是X1的方差,σ22是X2的方差,σ12和σ21是X1和X2的协方差。
展开:
2. EKF