多元条件独立混合幂级数分布的最大似然估计：收敛速率与独立性检验

《Journal of Multivariate Analysis》：Parametric convergence rate of a non-parametric estimator in multivariate mixtures of power series distributions under conditional independence

　　本文系统研究了多元条件独立混合幂级数分布（PSD）的非参数最大似然估计（MLE）理论。作者在温和假设下，证明了MLE关于Hellinger距离的收敛速率接近参数速率（n-1/2乘以对数因子），并引入了一种结合经验估计量与MLE优势的混合估计量，证明了其在?p范数下的参数一致性。此外，文章提出了一种基于Bootstrap的检验方法，用于验证条件独立性假设，并通过模拟研究和真实数据（Vélib自行车共享数据）应用验证了理论结果和检验方法的有效性。

　　

引言与背景

本文研究的核心问题是多元离散混合模型的非参数估计，特别是具有条件独立结构的幂级数分布（PSD）混合。这类模型在统计学和机器学习中具有广泛应用，例如在文本分析、图像处理和生物信息学中建模计数数据。研究的动机在于，虽然单变量混合模型的估计理论已较为成熟，但多元情形下的理论分析，尤其是在条件独立性假设下，仍存在挑战。本文旨在填补这一空白，为多元条件独立混合PSD的最大似然估计（MLE）建立收敛速率理论，并开发有效的假设检验方法。

模型设定与基本假设

文章考虑d维随机向量X = (X₁, ..., X_d)，其分布为混合分布π₀，具体形式为π₀(k) = ∫_Θ ∏_j=1^d f_θj(k_j) dQ₀(θ₁, ..., θ_d)。其中，f_θ属于一个单变量PSD族，其特征是概率质量函数可表示为f_θ(k) = b_kθ^k / b(θ)，b(θ) = ∑_k≥0 b_kθ^k是其概率生成函数，收敛半径为R ∈ (0, ∞]。常见的PSD包括泊松分布、几何分布和负二项分布。混合分布Q₀是定义在参数空间Θ ? [0, R)^d上的概率测度。模型的关键假设是条件独立性：给定潜在变量θ，观测变量X的各分量是条件独立的。

为确保理论分析的有效性，文章提出了四个基本假设（A1-A4）。A1要求真实混合分布Q₀的支撑集远离PSD族的收敛半径R和零点，以避免边界情况。A2要求混合分布在零点附近不能赋予过大质量，防止模型退化为近似狄拉克测度。A3和A4是关于PSD族系数{b_k}的技术性条件，要求其满足特定的单调性和极限存在性，这些条件被许多常见分布满足。

主要理论结果：MLE的收敛速率

文章的核心理论成果是定理1，它给出了多元条件独立混合PSD的MLE在Hellinger距离下的收敛速率。Hellinger距离是衡量概率分布差异的严格度量，定义为h²(π₁, π₂) = (1/2)∑_k∈N^d (√π₁(k) - √π₂(k))²。

定理1表明，在假设A1-A4下，存在一个通用常数C > 0，使得MLE π?_n满足h(π?_n, π₀) = O_P( ln(n d)^1+d/2 / √n )。这意味着收敛速率是“近乎参数”的，仅比理想的n^-1/2速率多了一个对数因子。该定理的证明依赖于一系列引理和命题，深入分析了混合分布尾部概率的控制（引理1和引理2）以及函数类G_n(δ)的覆盖数（或称括号熵，命题1）。证明中一个关键步骤是使用“基本不等式”将Hellinger距离与一个经验过程联系起来，然后通过“剥离”技术将问题分解为对分布支撑“尾部”和“主体”部分的分别处理。

值得注意的是，文章指出当混合成分数量K有限时，MLE可以达到n^-1/2的收敛速率（证明见附录）。而当K无限时，文章给出的速率是当前理论分析的结果，但模拟研究强烈暗示MLE在?_p距离（p ∈ [1, ∞]）下可能具有完全的参数收敛速率n^-1/2。

混合估计量：兼具参数速率与良好尾部性质

虽然经验估计量（样本频率）在?_p距离下具有n^-1/2的收敛速率（命题2），但其致命缺陷是在未见过的“尾部”区域概率质量为零，这限制了其外推能力。为了结合经验估计量的快速收敛性和MLE的良好尾部性质，文章提出了一个混合估计量π?_n。

该估计量的构造思路是：首先根据MLE确定一个截断点K?_n，使得超出该点的尾部概率质量足够小。然后，在支撑集的“主体”部分（即max_1≤j≤d k_j ≤ K?_n），混合估计量采用经验估计量；在“尾部”部分（max_1≤j≤d k_j > K?_n），则采用MLE。最后对整个估计量进行重新归一化以确保其为一个概率分布。

命题3证明了该混合估计量在所有?_p距离（p ∈ [1, ∞]）下都具有参数收敛速率，即?_p(π?_n, π₀) = O_P(1/√n)。此外，命题4和命题5表明，该估计量以概率趋于1在整