上一节笔记：随机过程（9）——连续时间马尔科夫链的泊松过程描述，爆炸现象，离散马尔科夫链对比
————————————————————————————————————
大家好！相信大家都习惯了，A就是10的意思。
上一节我们介绍了连续时间马尔科夫链的一些极限性质，包括它的描述，平稳分布等。在连续时间马尔科夫链中，这些概念都与离散马尔科夫链有些许不同。这一节我们会介绍连续时间马尔科夫链的离出分布和到达时间，对应的是离散马尔科夫链的相关内容。如果有空的话，还会介绍更多的排队论的例子，这些例子的建模都会严重依赖连续时间马尔科夫链的内容。
那么我们开始吧。
目录离出分布和到达时间更加复杂的例子：马尔科夫队列举例可逆性的应用：顾客离开分布模型的更多性质
模型的变种：有限等待空间一般的
模型排队网络初步Tandem网络Tandem网络的延伸：两站网络离出分布和到达时间
离出分布（ExitDistribution）和到达时间（HittingTime）就对应离散马尔科夫链的离出分布和离出时间，在名词上稍微有些差别。离散马尔科夫链的部分可以看下面这一篇来找到，我们在这里会频繁的与离散的情况进行对比。
随机过程（4）——返回时间，访问频率定理应用，离出分布，离出时间
在方法论上，其实核心还是之前提到的“一步转移”。而在连续时间马尔科夫链中，这个“一步”其实就是“这个状态跳到下一个状态所需要的时间“。
还是一样，我们看一个例子。通过例子来说明具体的求解方法。
Problem1:
考虑一个
模型，其满足
，
，求解
这里的
表示第一次到达
的时间，
就表示从
出发。当然这个第一次到达，以及第一次返回的定义，其实和离散情况不太一样。我们把它们的定义补充在下面。
Definition1:FirstVisit,FirstReturnTime
定义
是第一次到达状态
的时间。定义为第一次返回
的时间。
和
的区别就在于，如果我们是从
出发的，那么
就是真正的“下一次返回
的时间“，而
。
好的，回到这个题目，看看怎么利用一步转移。理解一步转移，其实就是要理解
到底是什么含义。注意到
这里
，也即第一次跳出
的时间，
就是一行的转移速率矩阵的总和，也是上一节提到的概念。
就是一样的式子，不必多说。但是另外一个呢？注意看含义，
就是从
出发，第一次离开到达
的概率。根据上一节提到的Description2，我们自然有
。
有了这个之后，我们再看这个题应该怎么理解。事实上，根据一步转移，我们可以得到
同时根据定义其实可以得到
，所以求解起来也不困难，求解的过程就交给读者了。
所以其实可以看出，对离出分布相关的问题，连续和离散情况是没有区别的。
说完离出分布，我们来看看到达时间相关的问题。这同样可以通过排队论模型来展开。
Problem2:
考虑一个
模型，转移速率为
，
。求解
。
回顾一下，
就是从状态
出发，回到
所需要的平均时间。
和离散马尔科夫链的离出时间类似，我们也可以先看看怎么推导在这里的情况。注意到
这里
表示第一次离开状态
的时间。剩下的过程其实和上面很像，但是对于
的处理和离出分布略有区别。比方说在这里，我们实质上有
再强调一遍注意
和
的区别，虽然在这里，
。
因此在这里，如果我们设
，那么很明显
，并且我们很自然的可以得到下面的这一组方程。
看到这儿肯定会有人懵逼了，首先一开头的数是怎么得到的？其次为什么每一个项对应的数还不一样？首先很明显，一开始的常数肯定对应的是
这个数。那么注意
的含义，表示第一次离开某个状态的时间。那么注意，在不同的状态下，离开对应的速率是不同的。在状态
下，可以减少1，也可以增加1，一边的速率是3，一边的速率是2，加在一起就是5，对应的均值就是
。
难以理解？画一张图看一看就明白了，本质上就是一个最小值分布的问题。
那么这就可以理解为什么状态
那个均值为
了，因为它只能前往一个方向（状态变成2）。
理解这个之后，直接求解就可以了，这里可以算出
。
虽然这个地方的计算的数和离散情况不太一样，但是本质上都是一样的，在离散情况下我们没有时间的概念，所以每一次移动都认为是“移动一步”。但这里因为有了时间的概念，所以**”移动一步“就变成了”移动所需要等待时间的期望“**。
再来看一个题吧，这个题的做法又和上一个有所不同。
Problem3:
考虑一个
模型，其中
，
，求解
，其中
。
这个题和Problem2的细微差别就在于，这个题对应的模型状态是可数无限的。所以实质上对应的是无限状态的离散马尔科夫链，这个的相关内容可以参考这一节笔记。
随机过程（5）——无限状态马尔科夫链的进一步探讨，泊松分布引入，复合泊松分布
对于这个题，为什么说做法略有不同呢？不妨先列出公式看看，设
，那么
，并且我们有
有没有发现什么问题？这里要注意，每多写一个方程，就会多一个未知数，因此如果只有这一系列的方程，是无法求解的。因此必须要通过肉眼来观察出其他的结论。
肉眼观察？开什么玩笑？事实上也没有太复杂，我们只需要观察一些简单的情况。这里我们希望求解
，那么不妨看一下
会依赖于什么？注意到
但是要注意
在这里只有可能走
这一条路，而
和
实质上对应同样的转移速率，所以我们有
。这样的话代回，就能得到
。也就是说这个题其实没有必要真正的去求解一系列方程或者做递推。
但事实上一定会有读者感到疑惑，这也是这个题一个非常难理解的地方，为什么一定是
？我不能先走到
，再走到
，再回来？不能反复横跳一会儿？当然可以，但是我们这里的说法并不是一定要从
，下一次跳到
，再下一次跳到
。而是