老鼠学习的惊人方式

　　麻省理工学院的一项新研究表明，神经正常的人类很容易在“逆向学习”游戏中优化表现，但当老鼠学会了制胜策略时，它们却拒绝投入其中。这项研究提供了一种数学方法来追踪啮齿类动物更复杂的策略。

　　

从记忆的本质到疾病的治疗，神经科学的发现都依赖于读取老鼠的思想，因此研究人员需要真正了解啮齿动物的行为在实验中告诉他们什么。在一项关于从奖励中学习的新研究中，麻省理工学院的研究人员破译了一些最初令人困惑的老鼠行为，对老鼠如何思考产生了新的想法，并为未来的研究提供了一个数学工具。

老鼠应该掌握的任务很简单:向左或向右转动转轮以获得奖励，然后识别奖励方向何时改变。当神经正常的人玩这种“逆向学习”游戏时，他们会迅速推断出最佳方法:坚持有效的方向，直到行不通，然后立即转换方向。值得注意的是，精神分裂症患者很难完成这项任务。在PLOS Computational Biology上的一项新研究中，老鼠的表现让科学家们感到惊讶，尽管它们能够学习“赢-留，输-换”的策略，但它们仍然拒绝完全采用它。

通讯作者、皮考尔学习与记忆研究所和麻省理工学院脑与认知科学系的牛顿教授Mriganka Sur说:“这并不是说老鼠不能形成这种环境的推理模型——它们可以。令人惊讶的是，他们没有坚持下去。即使在游戏的某个区域中，你知道某一边的奖励是100%的，他们也会时不时地尝试另一边。”

该研究的第一作者、Sur Lab的研究生Nhat Le说，虽然老鼠偏离最佳策略的动机可能是由于未能将其保留在记忆中，但另一种可能性是，老鼠没有采取“赢-留，输-换”的方法，因为它们不相信自己的环境会保持稳定或可预测。相反，他们可能会偏离最优制度，以测试规则是否发生了变化。毕竟，自然环境很少是稳定或可预测的。

“我认为老鼠比我们想象的要聪明，”Le说。

但是，不管什么原因可能导致老鼠混合策略，BCS和麦戈文大脑研究所副教授Mehrdad Jazayeri补充说，对研究人员来说，重要的是要认识到它们是这样做的，并且能够分辨出它们何时以及如何选择一种策略或另一种策略。

他说:“这项研究强调了这样一个事实，即与公认的智慧不同，做实验室任务的老鼠不一定采用静止策略，它提供了一种严格的计算方法来检测和量化这种非平稳性。这种能力很重要，因为当研究人员记录神经活动时，如果不考虑动物的转移策略，他们对潜在算法和机制的解释可能是无效的。”

跟踪思考

该研究小组包括合著者Murat Yildirim，他曾是Sur实验室的博士后，现在是克利夫兰诊所勒纳研究所(Cleveland Clinic Lerner research Institute)的助理教授。他们最初预计，老鼠可能会采取其中一种策略。他们模拟了他们所期望的结果，看看老鼠是采用了推断任务规则的最佳策略，还是更随机地调查左转还是右转会得到奖励。老鼠在任务中的行为，即使在几天之后，也会有很大的变化，但它永远不会像单一策略所模拟的结果那样。

在不同的个体程度上，老鼠在任务中的表现反映了三个参数的差异:规则改变后它们切换方向的速度，它们切换到新方向所需的时间，以及它们对新方向的忠诚程度。在21只老鼠的实验中，原始数据表明，在一项神经正常的人类统一优化的任务中，结果的多样性令人惊讶。但老鼠显然不是无助的。随着时间的推移，他们的平均表现显著提高，尽管低于最佳水平。

在任务中，奖励方每15-25个回合更换一次。研究小组意识到，老鼠在游戏的每个“块”中都使用了不止一种策略，而不仅仅是推断出简单的规则，并在此基础上进行优化。为了弄清小鼠何时采用了这种策略或另一种策略，研究小组利用了一种被称为隐马尔可夫模型(HMM)的分析框架，它可以计算出一种看不见的状态何时产生结果，而另一种看不见的状态何时产生结果。Le将其比作烹饪节目的评委所做的事情:根据摆在他们面前的每一盘食物的模式来推断哪个厨师选手做了哪个版本的菜。

然而，在团队使用HMM来破译小鼠的表现结果之前，他们必须对其进行调整。典型的HMM可能适用于单个鼠标的选择，但在这里，研究小组对其进行了修改，以解释整个街区过程中的选择转换。他们将这种改进后的模型命名为blockHMM。使用blockHMM对任务性能进行了计算模拟，结果表明该算法能够推断出人工智能体的真实隐藏状态。然后，作者使用这种技术来展示老鼠持续混合多种策略，达到不同水平的表现。

Le和他的合著者写道:“我们证实，每只动物的行为都是来自多个领域的混合行为，而不是单一领域的行为。事实上，17/21的老鼠使用了低、中、高性能行为模式的组合。”

进一步分析表明，这些策略确实是“正确的”规则推理策略，而且是一种更具探索性的策略，与随机测试选项相一致，以获得逐回合反馈。

现在，研究人员已经破译了老鼠进行反向学习的特殊方法，他们计划更深入地研究大脑，以了解哪些大脑区域和回路参与其中。通过观察任务过程中的脑细胞活动，他们希望能发现是什么导致了老鼠做出改变策略的决定。

Sur说，通过详细检查反向学习回路，研究小组可能会获得有助于解释为什么精神分裂症患者在反向学习任务中表现不佳的见解。Sur补充说，一些患有自闭症谱系障碍的人也比正常的人坚持新的无奖励行为的时间更长，所以他的实验室在调查时也会考虑到这一现象。

“这种逆向学习模式让我着迷，因为我想在我的实验室里用它来研究各种神经系统疾病的临床前模型。我们的下一步是确定这些行为策略差异背后的大脑机制，以及我们是否可以操纵这些策略。”

Mixtures of strategies underlie rodent behavior during reversal learning