Java中Math.log()计算自然对数，信息熵需以2为底，须用换底公式log₂(p)=Math.log(p)/Math.log(2)；熵值反映平均不确定性，是无损压缩理论下界，指导编码策略选择。
java 中的 math.log() 默认计算自然对数（以 e 为底），而信息熵公式要求以 2 为底的对数（单位：比特）。直接调用 math.log(p) 会得到错误量纲的结果，必须通过换底公式转换。
正确计算单个概率项的自信息量
给定概率 p（0 p ≤ 1），其自信息量为 −log₂(p)。利用换底公式：
−log₂(p) = −Math.log(p) / Math.log(2)
注意处理边界情况：
- 若 p == 0，按信息论约定，0·log₂(0) 视为 0（不贡献熵），需显式跳过或设为 0
- 若 p == 1，则 log₂(1) = 0，该项自信息为 0
- 避免传入负数或 NaN —— 概率必须预校验
计算离散分布的香农熵（核心步骤）
假设你有一组归一化概率数组 double[] probs = {0.5, 0.25, 0.25}，熵值 H = −∑ pᵢ·log₂(pᵢ)：
double entropy = 0.0;
for (double p : probs) {
if (p > 0.0) { // 跳过零概率项
entropy -= p * (Math.log(p) / Math.log(2));
}
}
// entropy ≈ 1.5 比特该值反映该分布的平均不确定性——越接近均匀分布，熵越高；越集中，熵越低。
在数据压缩预测中关联熵值
熵是无损压缩的理论下界（Shannon 信源编码定理）：平均码长不可能小于信源熵。实际应用中：
立即学习“Java免费学习笔记（深入）”；
- 若某文本块的字符熵为 4.2 比特/符号，说明最优编码（如 Huffman 或算术编码）平均至少需 4.2 位表示每个字符
- 可对比不同模型（如 n-gram、LSTM 预测概率）输出的概率分布熵值：熵越低，说明模型对下一个符号越“确定”，通常压缩潜力越大
- 监控熵变化趋势：训练中熵持续下降，可能表示模型过拟合（在训练集上过于自信）
实用建议与避坑点
不要直接用 Math.log10() 替代——虽然也能换底（log₂(p) = log₁₀(p)/log₁₀(2)），但自然对数在 JVM 中通常更高效且数值更稳定。
批量计算时，可预先计算 final double LOG2 = Math.log(2) 避免重复调用；对高频调用场景（如实时流压缩），考虑用查表法近似 log₂，但需权衡精度与内存。
熵本身不提供具体编码方案，它只是评估指标。要真正压缩，仍需配合 Huffman、ANS 或 LZ77 等算法，而熵值可用来动态选择最优压缩策略（例如：高熵数据启用算术编码，低熵启用 RLE+霍夫曼）。
