稀疏与重尾神经群体活动中的高阶交互作用建模：从统计力学到记忆容量的新视角

《Neural Computation》：Modeling Higher-Order Interactions in Sparse and Heavy-Tailed Neural Population Activity

　　本研究针对神经群体活动呈现稀疏性、广泛分布和重尾特征但其产生机制不明的问题，通过构建具有交替收缩高阶交互作用的指数族分布模型，揭示了单个神经元阈值样非线性与超线性激活共同促进稀疏同步群体活动的机理，为理解能量高效的脉冲学习机器提供了理论基础。

　　

大脑在处理感官刺激时展现出惊人的效率，神经元群体活动往往呈现出稀疏但高度可变的特征——大部分时间保持沉默，偶尔爆发高度同步的放电活动。这种独特的活动模式形成了稀疏且重尾的脉冲计数分布，如同一个寂静的交响乐团偶尔会突然奏响壮丽的和声。然而，这种群体水平活动模式背后的机制，特别是单个神经元的何种非线性特性诱发了这种群体层面的活动模式，长期以来一直是神经科学领域的未解之谜。

传统上，研究人员使用最大熵模型来描述神经群体活动，其中仅考虑神经元对之间交互作用的成对最大熵模型能够解释约90%的小群体活动模式。但随着研究深入，科学家发现当神经元群体规模增大时，高阶交互作用变得愈发重要。这些超越成对交互的高阶相互作用，如同多音符的和弦般复杂，对塑造神经群体活动的稀疏性和重尾特性起着关键作用。

在这项发表于《Neural Computation》的研究中，Rodriguez-Domínguez和Shimazaki提出了一种新颖的理论框架，为稀疏且重尾的神经群体活动分布提供了充分的数学条件。研究人员发现，当神经元数量趋于无穷大时，标准最大熵模型由于熵项的主导作用会导致分布集中，无法再现实验观察到的广泛分布特性。这一洞见促使他们引入熵抵消基测度函数，成功解决了分布集中化的问题。

为了开展这项研究，研究人员主要运用了几项关键技术：首先建立了齐次二元神经元群体的指数族分布概率模型，通过引入熵抵消基测度函数确保分布在神经元数量增大时保持广泛特性；其次提出了具有交替符号和收缩幅度结构的结构化高阶交互作用模型，包括多对数指数分布和移位几何指数分布两种具体形式；采用最大似然估计方法将模型与蝾螈视网膜神经节细胞的脉冲序列实验数据进行拟合，通过交叉验证比较不同模型的预测性能；最后通过吉布斯采样动力学推导出相应递归神经网络中神经元的输入-输出非线性特性。

齐次稀疏神经元群体的建模框架

研究团队首先建立了齐次二元神经元群体的概率模型，将N个神经元的活性表示为二元随机变量向量X = [X₁, X₂, ..., X_N]^?，其中X_i ∈ {0,1}表示神经元是否激活。该模型的概率质量函数采用指数族分布形式，包含了从一阶到N阶的所有可能交互作用参数。通过齐次性假设，研究人员将分析焦点从局部模式转向全局视角，简化了对稀疏神经群体活动理论性质的识别。

群体活动率R_N = (1/N)∑_i=1^N X_i的分布成为研究的核心对象。研究证明，当使用特定的熵抵消基测度函数h(x) = 1/(∑_i=1^N x_i)时，可以确保在神经元数量N→∞时，分布保持广泛且稀疏的特性，其峰值位于活动率为零处。

熵主导的齐次群体及其局限性

研究发现，当使用标准最大熵模型中常见的h(x)=1时，熵项会主导概率质量函数，导致分布在大N极限下集中为δ函数。这种集中化现象解释了为何传统成对最大熵模型难以捕捉神经群体活动中的高度同步状态和完全静默状态的概率。相比之下，引入熵抵消基测度函数后，分布能够在大量神经元情况下保持广泛特性，与实验观察相符。

交替收缩高阶交互作用模型

研究团队提出了交替收缩高阶交互作用模型，其概率密度函数在N→∞时收敛到连续分布。该模型的核心特征是高阶交互作用参数具有交替的符号(正负交替)和随着阶数增加而收缩的幅度。两种具体模型被深入探讨：多对数指数分布和移位几何指数分布。

多对数指数分布使用C_j = 1/j^m的参数选择，其概率密度函数包含多对数函数Li_m[-r]。当m=1时，该函数简化为自然对数形式，分布函数可解析求解。移位几何指数分布则采用C_j = τ^j的参数选择(0<>

实验验证与模型比较

研究将提出的模型与蝾螈视网膜神经节细胞响应自然电影或白噪声棋盘格刺激的实验数据进行拟合。通过最大似然估计和交叉验证，评估了多对数和移位几何模型以及一阶和二阶齐次群体率模型的预测性能。

结果显示，移位几何模型在所有数据集上均表现出最优的预测性能，尤其在对分布尾部的建模上优于其他模型。值得注意的是，二阶模型(仅包含熵抵消基测度函数诱导的高阶交互作用)也能较好地捕捉重尾特性，表明熵抵消基测度函数的引入对建模神经活动的重尾分布至关重要。

研究还发现，随着神经元群体大小N的增加，各模型的稀疏诱导参数呈现对数增长趋势(f参数除外)，表明在分析的神经元规模内，群体脉冲率分布尚未收敛。这一发现提示，成功用移位几何模型拟合有限数据并不意味更大的神经元网络会呈现稀疏、广泛的群体活动分布。

神经动力学解释

通过分析实现二元群体活动联合分布的采样动力学(吉布斯采样)，研究揭示了该模型对应的递归神经网络中神经元的非线性输入-输出特性。单个神经元的激活概率由树突非线性性和躯体逻辑激活函数共同决定。

研究发现，熵抵消基测度函数贡献的分量?h_i(x)是高输入状态下超线性整合的促进因素，而多项式项?Q_i(x;ω)则导致低输入状态下的亚线性整合。这两种功能的结合产生了类似阈值的非线性，随后是超线性激活：在稀疏参数f较大时，小输入下的激活概率被显著抑制，而大输入下的激活概率因?h_i(·)的发散特性保持较高水平。这种激活函数特性诱导了群体活动的稀疏性，同时促进了高度同步模式的形成，塑造了群体脉冲率分布的尾部。

统计特性分析

研究人员系统分析了提出模型的稀疏性、重尾性、熵和热容等关键统计特性。两个模型的稀疏性均由参数f控制：f值越小，分布越接近均匀分布；f值越大，分布越稀疏。当f→∞时，两种分布均趋于集中在0处的δ函数。

研究团队还提出了紧凑支持稀疏齐次分布的重尾性新定义：如果一个f稀疏分布函数F_λ在[0,1]支持上的互补累积分布函数满足F?_λ(r) > F?_f^exp(r)对所有r∈(0,1)成立，则该分布是重尾的。基于这一定义，证明多对数指数分布和移位几何指数分布均为重尾分布。

熵和热容分析表明，两种分布的熵均为非正值且随f增加而减小，与神经系统促进高水平组织性的特性相符。热容在特定f值处达到最大值(多对数分布约在f≈11.96处，移位几何分布约在f≈18.44处)，表明波动机制可与一定程度的稀疏性共存。

高阶交互作用的影响评估

通过比较原始模型与截断在k阶交互作用的近似模型，研究发现高阶交互作用不仅影响分布的尾部，还影响静默状态的概率。对于移位几何指数分布，低阶交互作用的近似在大概率密度区域(小r，静默状态)即表现出显著偏差，表明高阶交互作用对静默状态的塑造至关重要。

研究结论与意义

本研究建立了稀疏重尾神经群体活动分布的理论基础，揭示了交替收缩高阶交互作用在形成这些分布中的关键角色。通过引入熵抵消基测度函数和特定结构的高阶交互作用，研究人员成功构建了在大量神经元极限下保持广泛分布特性的概率模型。

理论分析表明，相应的递归神经网络中神经元表现出阈值样非线性 followed by 超线性激活的特性，这与现代霍普菲尔德网络或密集关联记忆中的非线性密切相关，提示稀疏重尾分布与网络记忆容量增强之间存在内在联系。这一发现为理解生物神经网络的高记忆存储容量提供了新视角，也为开发能量高效的脉冲稀疏编码机器学习算法奠定了理论基础。

研究的局限性在于齐次性和平稳性假设未能完全捕捉生物神经网络中的异质性和动态特性。未来工作需要开发能处理非平稳性和异质性同时保持分析可解性的高级计算框架，这将进一步推动对神经群体活动高阶交互作用的深入理解。