python 熵值法,信息熵怎么计算

　　1、什么是信息熵？

　　香农在1948年提出了信息熵的概念。

　　信息理论：

　　1、从信息的完整性上进行的描述：

　　当系统的有序状态一致时，数据越集中，熵值越小，数据越分散，熵值越大。

　　2、从信息的有序性上进行的描述：

　　当数据量一致时，系统越有序，熵值越低。系统越混乱或分散，熵值越高。

　　信息熵是衡量样本集纯度最常用的指标。

　　二、python实现信息熵的计算代码

　　1、导入库

　　importnumpyasnp

　　2、 准备数据进口有限公司

　　数据=pd。数据帧(

　　{ 学历 3360 [大专，专科，专科，专科，本科，本科，本科，本科，

　　研究生，研究生，研究生，研究生]，

　　婚姻 3360 [否，否，是，否，否，是，否，否，否，否，是，

　　有车吗3360 [没有，没有，没有，是，没有，是，是，是，是，是，是，是，否，否

　　没有]，

　　收入水平 3360 [中，高，高，中，中，高，高，高，高，高，

　　非常高，中等]，

　　类别 3360 [否，否，是，是，否，否，是，是，是，是，是，是，是，是

　　#定义计算信息熵的函数：计算Infor(D)

　　define for(data):

　　a=pd.value_counts(数据)/len(数据)

　　return sum(NP . log2(a)* a *(1))3、定义信息熵函数

　　#print(infor(data[学历])#测试结果为：20000.000000000005

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。