马尔可夫模型框架

图书目录框架/课程框架类型

关键字

*马尔可夫模型、转移概率、统计平衡、庇隆-弗罗比尼斯定理、销售-耐久性悖论、马尔可夫决策模型、行动和状态变化、延迟满足

摘要

*马尔可夫模型是用来描述一个以一定概率在一组有限状态之间不断变化的系统。

*任何马尔可夫模型只要状态集是有限的，不同状态之间的转移概率是固定的，经过一系列的转移可以从任何一个状态转换到任何一个其他状态，状态之间没有固定的循环，就会收敛到唯一的统计均衡。

*在统计平衡中，单个实体可以在各种状态之间不断运动，但各种状态之间的概率分布仍然是固定的。

1.庇隆-弗罗比尼斯定理

* Perron-Frobenius定理:马尔可夫模型只要满足以下四个条件，就一定收敛到唯一的统计均衡:

*有限状态集:s = {1，2，…，K}。

*固定转移规则:状态之间的转移概率是固定的，即在每个周期中，从状态A到状态B的转移概率总是等于P(A，B)。

*遍历性(状态可达性):系统可以通过一系列变换从任何状态到达任何其他状态。

*非周期性:系统不会通过一系列状态产生一个确定的循环。

*如果满足这四个假设，改变初始状态、历史和干预措施并不能改变长期均衡。

*需要强调的是，从庇隆-弗罗比尼斯定理得出的结论，不应该是说历史不重要，而是说如果历史确实重要，那就一定会违背模型的其中一个假设。

*有两个假设，有限状态集和非循环状态集，几乎都为真；遍历性通常成立；状态之间的转移概率是固定的这一假设最有可能被违反。因此，这个模型表明，如果历史真的很重要，那么一定有某种潜在的结构性因素改变了转移概率(或者改变了状态集)。

*改变家庭状况的政策干预，如旨在帮助落后学生的特别援助计划，或食品募捐活动，只能在短期内带来改善，不会改变长期平衡。相比之下，提供资源和培训以提高人们保住工作的能力从而降低从就业转为失业的概率的干预政策可能会改变长期结果。

*马尔可夫模型为我们理解状态和转移概率的区别提供了一些术语。它告诉了我们一个基本的道理——改变结构因素不如改变现状，后者更有价值。

*销售持久性悖论说，产品或想法的受欢迎程度与其说取决于它们的相对销量，不如说取决于它们的持久性。销量和持久性悖论背后的逻辑也可以用来解释市场份额和品牌忠诚度之间的正相关关系(有人转投其他品牌的可能性)。

二、模型应用

*应用示例

*我们可以使用马尔可夫模型对四个核酸之间的遗传漂变进行建模和分析。

*我们可以用马尔可夫模型对身体健康进化的轨迹进行建模，那些能产生更好平衡的健康干预是值得追求的。

*马尔可夫模型还可以用来识别国际危机的不同模式，可以用来区分会导致战争的过渡和会带来和平的过渡。这个领域的应用需要我们估计两种不同的模型。如果两个模型之间的转移概率存在显著差异，我们可以比较现有的模型，看看哪个过程更符合数据。

*这种用马尔可夫模型区分不同模式的方法也可以用来识别一本书或一篇文章的作者。

*网页排名可以看作是随机游走和马尔可夫模型的结合。如果把网页排名看成一种算法，我们会发现它可以用来生成任何网络的排名。

*适用的边界

*在应用马尔可夫模型解释现象或预测趋势时，建模者对状态的选择非常重要，它决定了这些状态之间的转移概率。

*无论如何选择状态，如果四个假设都成立(关键的检验将是转移概率能否保持不变)，那么系统将有唯一的统计均衡。任何系统状态的一次性改变，最多只能产生一些暂时的效果。

*试图通过仅持续一两天的活动来激发学生的学习兴趣可能不会产生任何有意义的影响。同样，进入社区“送温暖”、来公园“捡垃圾”的志愿者，也未必能带来什么长久的收益。任何一次性的资本涌入，无论规模大小，除非改变转移概率，否则都会消失。

*马尔可夫模型通过区分以下两类策略来指导行动:一类策略可以改变转移概率，改变转移概率可以产生长期影响；另一种政策只能改变状态，只能产生短期影响。如果转移概率不能改变，那么我们必须定期重置状态来改变结果。

*不是每个动态系统都满足马尔可夫模型的假设。如果不满足马尔可夫模型的假设，历史、干预政策和事件可能会产生长期影响。

*例如，在泡利亚过程中，长期平衡被改变。对系统的重大干预或影响可能会改变转移概率甚至整个状态集。

重大技术变革，如蒸汽机、电力、电报或互联网，改变了经济的可能状态集。重新定义权力结构或制定新政策的政治和社会运动也将改变国家设置。

*因此，也许我们应该把历史看成一个马尔可夫模型序列，而不是一个向必然均衡发展的过程。

第三，马尔可夫决策模型

*马尔可夫决策模型(Markov decision model)是对马尔可夫模型的一种修改，方法是包含动作，动作会带来回报，回报是以状态为条件的，也会影响状态之间的转移概率。

*考虑到行动对转移概率的影响，最优行动不一定是能最大化即期回报的行动。(延迟满足)

*把一个决策问题表达成马尔可夫决策模型，可以告诉我们更好的行动是什么。通过考虑行动对国家的影响，我们将做出更明智的选择。

*晚睡会比早起锻炼产生更高的直接回报，买贵的咖啡会比自己冲咖啡产生更高的回报。然而，从长远来看，我们可能更愿意坚持锻炼，省下喝咖啡的钱。

*我们总能找到一对相反的谚语。通过将我们的选择嵌入马尔可夫决策模型，我们可以使用逻辑来确定在给定的情况下哪些常识性的建议是真正有用的。

第四，认知升级

*改变结构不如改变现状，后者更有价值。

*模型可能不会给出准确的答案。然而，这些模型确实会产生知识。我们要靠自己的智慧做出判断:如何权衡这个模型和其他模型或者直观的结论。