平稳模型
Abstract¶
本节首先会介绍平稳性的概念,之后介绍常见的平稳模型及其性质,最后介绍模型的可逆性。
Keywords:MAARARMAYule-Walker Equation¶ 平稳性 (Stationarity)¶
为了更好地分析序列的统计性质,我们往往会对序列做一些假设,所以本节引入平稳性的概念。平稳性分为强平稳性和弱平稳性:
不过强平稳性中的联合分布在现实的条件中难以计算,故下面给出条件弱化后的弱平稳性概念:
对于弱平稳序列来说,因为协方差 Cov(Xi,Xj) 只与滞后阶数 k=i−j 有关,所以定义只与滞后阶数 k 相关的自协方差函数与自相关函数:
在整个时间序列教程中使用弱平稳作为平稳的衡量标准,即:
序列 {Yt} 平稳⇔序列 {Yt} 弱平稳.
白噪声序列 (White Noise)¶

Figure 1:方差为 σe2=1 的白噪声序列示意图
一般线性过程 (General Linear Process)¶
首先为了研究 {Yt} 的二阶统计性质,我们希望级数 ∑t=0∞ψtet 在均方意义下收敛,这里假设 ψ0=1。下面证明这个收敛的充要条件是 ∑t=0∞ψt2<∞:
滑动平均模型 (Moving Average Models)¶

Figure 2:参数为 θ=(0.75,−0.35)⊤ 的 MA(2) 模型示意图
自协方差与自相关系数¶
对于 q 阶参数为 (θ1,⋯,θq)⊤ 的滑动平均序列 {Yt} ,自相关系数为
ρk=⎩⎨⎧1+θ12+θ22+⋯+θq2−θk+θk+1θ1+θk+2θ2+⋯+θqθq−k,0,k=1,2,…,q,k>q.
首先因为白噪声序列 {et} 是两两无关的,所以由方差的运算性质可得 Yt 的方差:
γ0=Var(Yt)=Var(et−θ1et−1−⋯−θqet−q)=(1+θ12+⋯+θq2)σe2. 对于滞后阶数 k≤q 的情况,k 阶自协方差为:
γk=Cov(Yt,Yt−k)=Cov(et−θ1et−1−⋯−=Cov(et−θ1et−1−⋯−=(−θk+θk+1θ1+⋯+θqθqet−q,et−k−θ1et−k−1−⋯−θqet−k−q)θket−k−⋯−θqet−q,et−k−θ1et−k−1−⋯−θq−ket−q−⋯−θqet−k−q)θq−k)σe2. 所以 k(k≤q) 阶自相关系数为
ρk=γ0γk=1+θ12+⋯+θq2−θk+θk+1θ1+⋯+θqθq−k. 对于滞后阶数 k>q 来说,因为 γk=0,所以相关系数为 0。
下面我们以前述的参数为 θ=(0.75,−0.35)⊤ 的 MA(2) 模型为例计算不同阶的自相关系数。首先,一阶自相关系数为
ρ1=1+0.752+(−0.35)2−0.75−0.75×0.35≈−0.601. 从 下图 Yt 与 Yt−1 的散点图中可以看出 Yt 和 Yt−1 确实存在负相关的关系。

Figure 3:MA(2) 模型的 Yt−1 - Yt 散点图
二阶自相关系数为
ρ2=1+0.752+(−0.35)2−(−0.35)≈0.208. 
Figure 4:MA(2) 模型的二阶自相关系数 ρ2 示意图

Figure 5:MA(2) 模型的三阶自相关系数 ρ3 示意图
自回归模型 (Autoregressive Models)¶

Figure 6:参数为 ϕ=(0.72,−0.25)⊤ 的 AR(2) 模型示意图
Yule-Walker 方程¶
假设 p 阶自回归模型 AR(p) 是平稳的 (平稳性条件在 模型的平稳条件中讲述)并且序列的均值为 0 ,则 Ys 与 Yt 的协方差 Cov(Ys,Yt) 只与时间差 s−t 有关。对于递推公式
Yt=et+ϕ1Yt−1+⋯+ϕpYt−p, 等式两边同乘 Yt−k(k∈{1,…,p}) 并对等式两边取期望可得:
E[YtYt−k]=E[etYt−k]+ϕ1E[Yt−1Yt−k]+⋯+ϕkE[Yt−kYt−k]+⋯+ϕpE[Yt−pYt−k], 由于 Cov(Yt,Yt−k)=E[YtYt−k]−E[Yt]E[Yt−k]=E[YtYt−k],所以上述等式用 E[YtYt−k]=γk 代入可得:
γk=ϕ1γk−1+⋯+ϕkγ0+⋯+ϕpγ∣p−k∣, 同除 γ0=Var(Yk) 可得Yule-Walker方程:
⎩⎨⎧ρ1ρ2ρp=ϕ1+ϕ2ρ1+⋯+ϕpρp−1,=ϕ1ρ1+ϕ2+⋯+ϕpρp−2,⋮=ϕ1ρp−1+ϕ2ρp−2+⋯+ϕp. Yule-Walker 方程的
混合模型 (ARMA)¶

Figure 7:参数为 ϕ=(0.62,−0.18)⊤、θ=(0.65) 的 ARMA(2,1) 模型示意图
混合模型自协方差的计算¶
与滑动平均模型和自回归模型的计算思路相同,混合模型的自协方差可以通过同时使用以下两种方法来计算: