导读 是考试用的吗?我个人非常喜欢香农定理,这个意义我说的书面一点吧(虽说意义这种东西有点书呆子气,毕竟亲身实践多次才能有感受):香农定理...
是考试用的吗?我个人非常喜欢香农定理,这个意义我说的书面一点吧(虽说意义这种东西有点书呆子气,毕竟亲身实践多次才能有感受):香农定理在意外和概率的基础上对信息作出了一个非常普遍的定义。
从他的方程中得出的重要讯息时,如果一个事件的概率是百分之五十,那么他恰好包含了一比特的信息。
这可以推广到一个更见普遍的概念,即构成一件真正事务的任何东西,都能分解为一串适当大小的比特。
而另一个方程则集中于信道的性质,香农表明,在给定的媒介中每秒钟可以传输的比特数有一个极限,这个极限是由信道的带宽和噪声规定的。
开发利用这一极限的最经济方法是通过数字化编码。
香浓的影响不只是局限与通信世界,这类方程的形式在以熵为标题的其他科学领域也可找到,以及可在标明一个物理系统中的无序度那里找到。
用信息论来说,这可以用意外的程度来表示。