Estimação da entropia e as leis de Zipf e Heaps
Leonardo Carneiro de Araujo1; Hani Camille Yehia2; Thaïs Cristófaro-Silva2
1 UFSJ; 2 UFMG
Resumo
Este trabalho utiliza a abordagem de Harris para calcular do valor esperado da polarização do estimador plug-in da entropia, analisando o caso de linguagens naturais, onde observa-se a presença da lei de Zipf e da lei de Heaps. Nos exemplos analisados, o valor esperado da polarização do estimador variou de 1,5 a 3,3% do valor da entropia estimada. Esta polarização não é desprezível, devendo ser considerada, uma vez que usualmente lidamos com dados empíricos que sofrem de má estimação, principalmente na cauda da distribuição, o que acarreta em um maior desvio na entropia estimada.