This is a review from the book Introduction to Time Series and Forecasting (Second Edition), P.J.Brockwell and R.A.Davis.
Besides, Chinese version tutorials are from Zhihu links: https://zhuanlan.zhihu.com/p/32584136, I go through this as the first step to get the roadmap.
Another Reference Source:
CheatSheet
Properties
- 平稳性:
- 严平稳:任意时间间隔 $l$ 的两个序列数组分布一致
- 弱平稳: $E(x_i) = E(x_{i-k}),Cov(x_i) = Cov(x_{i-k}), \forall \ l$
- 相关性:
- 时间序列
- 白噪声序列:
- 定义:白噪声相当于纯随机过程 $cov(x_t,x_s)=0$
- $E(x_t) \in c$, $Var(x_t) \in c$, 混成检验显示为时间不相关
- 线性时间序列
- 函数表达:$r_t=\mu+\sum \Psi_t a_{i-1}$
- $E(r_t) =\mu$, 混成检验显示为时间不相关
Basic Model
Auto Regression Model (AR) 自回归模型
- $AR(p=i): \ \ r_t=w_0 + \sum w_i r_{t-i} + a_t$, $a_t$ 是白噪声序列
- AR(p) 模型特征根:
- 求解 $1-(w_1x + w_2x^2+...+w_px^p)=0$,解之倒数为特征根
- 当所有特征根之模 <1 时,该序列数据是平稳的
- AP(p) 定阶方法:
- 偏相关函数 PACF
- 信息准则函数:AIC, BIC, HQ
Moving Average (MA) 滑动平均模型
- $MA(q=j): \ \ \mu + a_t+ \sum \theta_j a_{t-j}$, $a_j$ 全都是白噪声序列
- 性质:
- 总是保持弱平稳
- 对自相关函数 ACF,总是 $q$ 步截尾,有限记忆
- 可逆性:满足条件下有 $MA(q) \Leftrightarrow AR(p)$
- MA(q) 定阶方法:ACF
ARMA 自回归滑动平均模型
- $ARMA(p,q): \ \ r_t=w_0 + \sum w_i r_{t-i} + a_t + \sum \theta_j a_{t-j}$
- 特征方程与特征根:与 AR 一致
- 阶次判定:
- PACF for p, ACF for q
- Information Criterion (IC): AIC, BIC
ARIMA 差分自回归滑动平均模型
- $ARIMA(p,d,q)$ 其中 d 为差分次数,需要根据平稳性检验确认
- 性质:
季节模型
- 季节指数(判定是否具有季节性)
- 季节性差分:$\Delta_sx_t = x_t - x_{t-s}$
- 多重季节性模型
- 综合分析模型
- 因素
- 趋势因素 $T$
- 季节因素 $S$
- 不规则因素 $I$
- 模型
- 加法模型 $T+S+I$
- 乘法模型 $T \times S \times I$
- 混合模型 $S\times (T+I)$
拟合优度
- $R^2 = 1 - \frac{Var(\varepsilon)}{Var(M)}$ 上项为残差平方和,下项为模型总平方和
- $AdjR^2 = 1 - \frac{Var(\varepsilon)}{r_t^2}$
Introduction of Time Series
Task View
CRAN Task View: Time Series Analysis
Notes
Book: Introduction of Time Series and Forecasting (Brockwell P, Springer R)
Book: Forecasting: Principles and Practice (Rob J. Hyndman, George Athanasopoulos)
Competiton
- Makridakis (M Competition): ‣
Deep Learning in TS
- quantile loss (分位数损失) → 该方法可以让 NN 模型输出“概率分布”结果
- GLU (gated linear unit),时序任务特有的激活函数