信息论与编码之信息熵

集X的平均自信息量又称作是集X的信息熵，简称熵，它是为了在观测之前，确定集X中出现一个事件平均所需的信息量。下面小编就用一个例题来跟大家介绍一下它的求法，希望对大家有所帮助。

操作方法

（01）首先画出它的一阶马尔克夫信源的状态图，如下图所示。

（02）然后根据切普曼—柯尔莫哥洛夫方程，可以得到相关表达式，如下图所示。

（03）接着把p(0），p(1)，p(2)求出来。

（04）然后根据第一小问的答案，求出它的信源熵，注意不要漏了单位。

（05）接着根据题意可知:无记忆信源的符号的概率分布等于平稳分布。

（06）可以写出此时信源的概率空间。

（07）然后求出信源的信息熵。

（08）最后可以比较出它们的大小。