设离散无记忆信源S其符号集A={a1，a2，...，aq}，知其相应的概率分别为（P1，P2，...，Pq）。设另一离散无记忆信源S′，其符号集为S信源符号集的两倍，A′={ai，i=1，2，...，2q}，并且各符号的概率分布满足： 试写出信源S′的信息熵与信源S的信息熵的关系。

离散信源输出5个不同符号，若各符号概率分别为1/2，1/4，1/8，1/16，1/16，则该信源的熵为()。 对一个具有符号集B=（b1，b2）={0，1}的二元信源，设信源产生2个符号的概率分别为P（b1）=1/5和P（b2）=4/5，如对二进制数1001进行算术编码，其结果用十进制数表示为（）。 对一个具有符号集B=（b1，b2）={0，1}的二元信源，设信源产生2个符号的概率分别为P（b1）=1/5和P（b2）=4/5，如对二进制数1001进行算术编码，其结果用十进制数表示为（） 单符号离散信源一般用随机变量描述，而多符号离散信源一般用（）描述。 设信源符号集X={x1,x2,x3,x4},每一个符号发生的概率分别为p（x1）=1/2,p（x2）=1/4,p（x3）=1/8,p（x4）=1/8。则信源熵是（） 单符号离散信源的自信息和信源熵都具有非负性。 若一无记忆信源概率空间为（0.5，0.25，0.25），则其3次扩展信源的熵为（） 单符号离散信源的自信息和信源熵都是一个确定值。 对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加（）个概率为0的消息。 设aa=’abcdefg’，则aa[2]是，aa[-1]值是（） 4符号信源的最大信源熵可达2比特/符号 当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。 设向量组（I）α1，α2，…，αs，其秩为r1，向量组（Ⅱ）β1，β2，…，βs，其秩为r2，且βi（i=1，2，…，s）均可以由α1，…，αs线性表示，则（　　）. 某信源发出4种符号，则该信源符号的最大平均信息量为bit/符号；若每符号占2ms时间，则该信源最大可能的信息速率为b/s（） 某四进制离散信源，0、1、2和3发生概率分别为1/4、1/2、1/8、1/8，该信源的平均信息量为（ ? ）。 设正规式S＝(a | ba)*，则其对应正规集的字符串（）。 自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越（） 简述离散平稳信源的定义，平均符号熵、极限熵的定义，含义与理解。 设向量组Ⅰ：α(→)1，α(→)2，…，α(→)m，其秩为r；向量组Ⅱ：α(→)1，α(→)2，…， α(→)m，β(→)，其秩为s，则r＝s是向量组Ⅰ与向量组Ⅱ等价的（　　）。 已知二进制无记忆信源{0，1}，相应出现的概率为p和（1-p），当熵取最大值时，p等于（）