所谓时间序列，指的是按时间顺序排列一组随机变量。一般记作\(\{...X_1,X_2,X_3,...\}\)，也可以记作\(\{X_t,t\in T\}\)，这里需要注意的是，\(T\)并不必须是一个可数集，它是可以定义为一个区间的。但是时间序列的观测值，我们记作\(\{x_1,x_2,x_3,...\}\)的，必须是一个可数集。所谓的时间序列分析，就是从时间序列的观测值\(\{x_1,x_2,x_3,...\}\)中，去反推时间序列的真实总体\(\{X_t,t\in T\}\)所具有的性质，因此需要一个所谓的时间序列模型来解决这件事情。
我们知道哲学中有一个基本观点是这样认为的：一切事物都存在偶然性和必然性两方面，偶然中会有必然，必然中也存在着偶然。接下来我们就把这个观点具体到一些我们所熟知的事情上面，从而理解为何ARMA模型会成为应用最广泛的一类时间序列模型。
不妨先以CPI（居民消费价格指数）来举例。由于CPI按月统计并发布，是由其背后大量根据市场环境灵活变化的价格而计算出的，因此可以认为是当月的某个随机变量的观测值，也就是一个典型时间序列样本。由于经济生活具有连续性，价格也并不会按照月份而分裂，所以我们都知道这个月的CPI跟上个月的CPI以至于前p个月的CPI可能都存在一定的关系。可能上个月CPI过高带来的重尾效应会使得接下来的CPI更高，也可能因为上个月CPI已经达到了峰值会使接下来的CPI略有下降，但无论如何都是说存在“以前的CPI会影响现在的CPI”这个内在的规律，也不论这影响是如何形式，我们只要把这种思想用公式来描述就都是：
$$ x_t=\phi_0+\phi_1x_{t-1}+\phi_2x_{t-2}+...+\phi_px_{t-p} $$
其中\(\phi_0,\phi_1,...,\phi_p\)分别代表对\(1,x_{t-1},...,x_{t-p}\)的影响因素。既然必然中存在着偶然，除此以外还具有t时刻的某种随机偶然因素对其作用。在统计上，一般假设随机偶然因素就是服从正态分布的白噪声\(\varepsilon_t\), 那么公式就可更新为：
$$ x_t=\phi_0+\phi_1x_{t-1}+\phi_2x_{t-2}+...+\phi_px_{t-p}+\varepsilon_t $$
但是注意到t时刻之前的偶然因素对其可能还存有作用，比如t-q时刻的\(\varepsilon_{t-q}\),将\(\phi_0\)和\(\theta_0\)合并为新的\(\phi_0\)，那么公式再次更新为：
$$ x_t=\phi_0+\phi_1x_{t-1}+\phi_2x_{t-2}+...+\phi_px_{t-p}+\varepsilon_t+\theta_1\varepsilon_{t-1}+\theta_2\varepsilon_{t-2}+...+\theta_q\varepsilon_{t-q} $$
这个公式也就是说t时刻的序列值，不但有其内在的必然规律影响，也受外在的偶然因素作用。对于所有随时间变化的随机序列，都可以用这种非常合理而普遍的规律去尝试，比如客户月消费值这类样本。其实在以下条件都满足的情况下，上式就是经典时间序列模型ARMA(p,q)模型的公式。其中AR代表Auto Regression(自回归)，MA代表Move Average(滑动平均).这三个条件分别是：
$$ \phi_p\neq0$$或$$\theta_q\ne0 $$ -- 用于保证阶数不全为零
$$ E(\varepsilon_t)=0,Var(\varepsilon_t)=1,\forall t $$ -- 保证偶然因素是白噪声序列
$$ E(\varepsilon_s,\varepsilon_t)=0,\forall s \neq t $$ -- 保证不同时间的噪声是无关的
当然，以上只是我的一种理解，教科书上可没那么麻烦，是直接拿公式就来定义了的。