强化学习模子或面对重构：MIT揭示大脑多巴胺旌

起源：DeepTech深科技（起源：MIT News）多巴胺是一种在年夜脑中起侧重要感化的旌旗灯号分子，影响着咱们的情感、念头、活动等多个方面。这种神经递质对基于嘉奖的进修至关主要，但是这一功效在很多精力疾病中可能会遭到烦扰，比方情感阻碍跟成瘾等。近期，由 MIT 教学 Ann Graybiel 引导的研讨团队发明了一些意想不到的多巴胺旌旗灯号形式，标明神经迷信家可能须要从新审阅他们对于年夜脑强化进修机制的懂得。该团队的研讨结果已宣布在 Nature Communication 杂志上。多巴胺在辅助人类跟其余植物进修怎样辨认与正负成果相干的线索跟行动方面施展着要害感化。一个经典的例子就是伊万·巴甫洛夫练习狗经由过程铃声猜测食品的到来。Graybiel 教学，同时也是 MIT 麦戈文研讨所的研讨员，说明道：依据强化进修的传统模子，当植物接受到与嘉奖相干的线索时，发生多巴胺的神经元最初会对嘉奖自身做出反映。跟着植物逐步学会了线索与嘉奖之间的关系，多巴胺的开释机会会产生变更，终极与线索自身（而非嘉奖）严密相连。但是，跟着新技巧的呈现，研讨职员可能更准确地剖析年夜脑中多巴胺开释的机会跟地位。Graybiel 的团队发明，传统模子并不克不及完整说明多巴胺的旌旗灯号形式。早在十多年前，试验室的研讨生 Mark Howe 就留神到，与嘉奖相干的多巴胺旌旗灯号并非在嘉奖到来的一霎时才开释，而是在嘉奖之前，跟着老鼠逐步濒临嘉奖，旌旗灯号逐渐加强。研讨职员揣测，多巴胺可能是在向年夜脑其余地区通报嘉奖濒临的旌旗灯号。Graybiel 表现：“这一发明完整推翻了传统的经典模子。”多巴胺静态变更在其余神经迷信家摸索怎样将这些新发明融入强化进修模子时，Graybiel 教学跟博士后研讨员 Min Jung Kim 决议更深刻地研讨多巴胺的静态变更。Graybiel 表现：“咱们想，既然如斯，不如从最基础的试验做起来从新审阅这一成绩。”他们的试验采取了新型的敏锐多巴胺传感器，追踪小鼠年夜脑中多巴胺的开释情形。在试验中，小鼠进修将蓝光与水嘉奖树立关系。研讨团队特殊存眷年夜脑基底神经节中的纹状体地区，这一局部经由过程开释多巴胺，参加与嘉奖进修等多种神经回路的调控。研讨发明，多巴胺的开释机会在纹状体的差别部位有所差别。但是，Graybiel 团队并未在任何处所察看到经典强化进修模子所猜测的要害变更，即多巴胺开释机会从嘉奖时光到线索时光的改变。在他们的一个简略试验中，每当小鼠看到灯光时，都市失掉嘉奖。在这种情境下，纹状体外侧局部在小鼠取得水嘉奖时，会牢靠地开释多巴胺。即使小鼠曾经学会了将灯光与嘉奖接洽起来，这种对嘉奖的激烈反映仍然不削弱。相反，在纹状体的内侧局部，嘉奖呈现时并未开释多巴胺。只管在进修初期，当小鼠看到灯光时，神经元会发放多巴胺旌旗灯号，这与尺度模子的猜测相悖——依照模子，嘉奖时才会发生多巴胺反映。Graybiel 表现：“这令人十分迷惑，由于依据实践，多巴胺应当在嘉奖自身呈现时才有所反映。”当研讨团队将第二盏灯引入试验时，成果愈加出乎意料。第二盏灯的地位差别，并不代表嘉奖。小鼠只能将两盏灯中的一盏作为线索，而只有第一盏灯会与水嘉奖相配对。在这些试验中，当小鼠看到与嘉奖相干的灯光时，纹状体中心内侧的多巴胺开释明显增添，且连续到嘉奖呈现。与此同时，在外侧局部，只管不直接与嘉奖关系，依然坚持着连续的多巴胺开释，并保持在一个平台期。Graybiel 对试验中引入第二盏灯后多巴胺反映的变更觉得十分惊奇。只管每次小鼠只能看到一盏灯，但每当另一盏灯在差别的试验前提下呈现时，嘉奖灯的多巴胺反映产生了差别的变更。她说：“这必定波及到一种认知要素，年夜脑仿佛盼望保存线索呈现的信息一段时光。”研讨团队的试验标明，纹状体的细胞经由过程连续的多巴胺开释来实现这一进程，这种连续开释贯串了光明与嘉奖之间的长久耽误。Graybiel 指出，固然这种连续的多巴胺开释在从前并未与强化进修相干联，但它与年夜脑其余地区、特殊是与任务影象相干的连续旌旗灯号十分类似。从新思考强化进修Graybiel 表现：“咱们的很多研讨成果并不完整合乎传统、经典的强化进修模子。”这标明，神经迷信家对这一进程的懂得将在脑迷信一直开展的进程中逐渐演化。“但这只是咱们一直完美懂得的一步，目标是从新构建年夜脑基底神经节怎样影响活动、头脑跟感情的模子。”她弥补道，“这些新模子须要归入强化进修体系中的新发明，尤其是对于这些平台期的局部，同时它们也可能为咱们供给对于单一教训怎样在年夜脑与强化相干地区中连续存在的深入洞见。”这项研讨失掉了美国国破卫生研讨院、William N. and Bernice E. Bumpus 基金会、Saks Kavanaugh 基金会、CHDI 基金会、Joan and Jim Schattinge、Lisa Yang 的赞助。原文链接：https://news.mit.edu/2024/revisiting-reinforcement-learning-1210