结果族 222:Perceptron free energies and microscopic jamming exponents · 学科:Probability and statistical mechanics · 验证状态:暂无形式化证明,请以社区核验为准
那个”旋钮裁判”又来了:这次旋钮可以连续调节、指向任何方向,只是总长度固定(像一根只能转的指针);考卷仍是纯随机噪点图。考卷越来越多、温度任意时,指针还剩多少自由度?这篇论文给出精确答案:自由能等于”考卷项+球面熵”的最优折中,且对任意有界连续的奖惩规则都成立。
关键词卡片
@@M@@V(m)@@ 的算法化身——像驾驶布朗运动,选好”方向盘”使期望奖励最大。看个具体例子
定理:@@M@@\mathcal P(\alpha,\beta,\phi)=\inf_m\{\alpha V_{\beta\phi}(m)+S(m)\}@@,@@M@@m@@ 取遍一切非降路径。做个数字体检:取常值势 @@M@@\phi\equiv c@@,则 @@M@@\mathcal P=\alpha\beta c@@。比如 @@M@@\alpha=0.5,\ \beta=2,\ c=1@@ 时公式给出 @@M@@\mathcal P=1@@——与初等上下界 @@M@@\alpha\mathbb E f(G)\le\mathcal P\le\alpha\log\mathbb E e^{f(G)}@@ 的公共值完全吻合,公式在最简单的情形给出正确的数。
为什么值得关心
它把 Györgyi–Reimann 二十多年前的 replica 预测变成定理,且不需要任何凸性、对称性假设,是球面感知机的完整答案。
暂无形式化证明(AI 结果待核验)
第一级台阶
导读里的”只能转不能伸缩的指针”可以重说成:对象是高维球面上一个总长度固定的方向向量,加上一大批独立随机的”考卷”方向;操作是对指针在每张考卷上的投影施加同一个有界的奖惩,把所有奖惩乘进各方向的概率里。要问的是:考卷数与维度成比例增长时,加权后球面体积的对数规模平均每维收敛到什么——也就是系统还剩多少自由度。
第二级台阶
用标准记号:构型空间是球面 S_N={‖x‖²=N} 上的均匀概率测度,M=⌊αN⌋ 个独立高斯模式给出哈密顿量 H_N=Σφ(g^a·x/√N),压强 p_N=(1/N)log∫e^{βH_N}dσ_N。序参数是非降函数 m:[0,1]→[0,1],即交叠路径;它通过两个泛函进入公式:一个是随机控制值 V_f(m)——在布朗运动上选循序可测”方向盘”最大化期望奖励减能量代价;另一个是 Crisanti–Sommers 型球面熵 S(m),由路径的尾积分 D_m(t)=∫_t^1m 表示。
第三级台阶
定理的语境是:模式虽高斯,但经非线性 φ 求和后的 H_N 不是自旋上的高斯过程,混合 p 自旋的 Parisi 公式无法直接套用;任意 φ 也不给比较插值所需的凸性符号,因此上下界必须改用”加一个模式”与”加一批坐标”两种增量分别夹逼。结论:对一切 α,β>0 与有界连续 φ,期望与依概率都有 p_N 收敛到 inf_m{αV_{βφ}(m)+S(m)};无穷熵的试探值记为 +∞,且不要求 m 在 1 附近取值 1。这把 Györgyi–Reimann 二十多年前的连续副本破缺预测升格为定理。
本文对球面随机感知机(spherical random perceptron)证明了极限压强的精确变分公式:任意正密度与逆温度下,压强收敛于”α×单模式控制值+球面熵”的下确界,且对任意有界连续势不加凸性或对称性假设。
感知机(perceptron)是最简的随机模式储存模型。Gardner 1988 年开创用统计力学研究随机约束下权重空间体积的方向;球面版本把权重限制在半径 @@M@@\sqrt N@@ 的球面上,约束由 @@M@@M_N=\lfloor\alpha N\rfloor@@ 个独立高斯模式给出,@@M@@\alpha@@ 为模式密度(pattern density),@@M@@\beta@@ 为逆温度(inverse temperature)。核心问题是压强(配分函数对数的极限)有无精确变分描述。Györgyi 与 Reimann 在 2000 年给出连续副本对称破缺(replica-symmetry breaking)预测,其方程恰对应本文公式的两项;严格结果此前仅有 Shcherbina–Tirozzi 对非负间隔、存储阈值以下可行体积的公式。卡壳根源:模式虽是高斯量,经非线性势 @@M@@\phi@@ 求和后却不是 @@M@@x@@ 的高斯过程,自旋玻璃的现成压强公式无法套用;任意 @@M@@\phi@@ 又无比较插值所需的凸性。
定理 1:对任意 @@M@@\alpha,\beta>0@@ 与任意有界连续函数 @@M@@\phi\in C_b(\mathbb R;\mathbb R)@@,压强
@@M@@Dp_N=\frac1N\log\int_{S_N}e^{\beta H_N(x)}\,d\sigma_N(x),\qquad H_N(x)=\sum_{a=1}^{M_N}\phi\Big(\frac{g^a\cdot x}{\sqrt N}\Big)@@
在期望与依概率两种意义下都收敛到同一极限
@@M@@D\mathcal P(\alpha,\beta,\phi)=\inf_{m\in\U}\big\{\alpha V_{\beta\phi}(m)+S(m)\big\}.@@
这里 @@M@@\U@@ 是全体非降可测函数 @@M@@m:[0,1]\to[0,1]@@(Parisi 型序参数,order parameter);熵项 @@M@@S(m)=\frac12\int_0^1\big(\frac1{D_m(t)}-\frac1{1-t}\big)\,dt@@(@@M@@D_m(t)=\int_t^1m@@)是 Crisanti–Sommers 型球面熵(spherical entropy)的严格化;@@M@@V_f(m)@@ 是一个随机控制(stochastic control)值:在标准布朗运动上取循序可测控制 @@M@@v@@,最大化 @@M@@\mathbb E[f(B_1+\int_0^1m v)-\frac12\int_0^1m v^2]@@。熵为无穷的试探函数值为 @@M@@+\infty@@,且不要求 @@M@@m@@ 在 @@M@@1@@ 附近取值 @@M@@1@@。作为合理性检验:常值势 @@M@@\phi\equiv c@@ 时初等上下界 @@M@@\alpha\mathbb E f(G)\le\mathcal P\le\alpha\log\mathbb E e^{f(G)}@@ 重合于 @@M@@\alpha\beta c@@,与公式一致。
证明用两类增量上下夹逼变分公式:加一个随机模式(上界)、加一批自旋坐标(下界)。先做准备:用 Ruelle 级联(cascade)编码极限重叠律(overlap law);把”加入一个新模式”的配分增量精确算成控制值 @@M@@V@@——核心是倒向 Parisi 型方程 @@M@@\partial_tU+\frac12\partial_{xx}U+\frac{m(t)}2(\partial_xU)^2=0@@(终值 @@M@@U(1)=f@@),经 Boué–Dupuis 变分表示,级联积分恰与控制问题等值;继而证明尾序性质:若 @@M@@p@@ 的尾积分处处不小于 @@M@@q@@,则 @@M@@V(p)\le V(q)@@。再计算球面上带级联高斯场的线性场配分,得熵项 @@M@@S@@ 的对偶公式,其在重叠一致有界于 @@M@@B<1@@ 的类上一致收敛,供空腔趋于无穷使用。
上界采用 Mourrat 的接触点论证:把模式数泊松化、以密度为时间,构造带级联场与扰动的目标泛函并取最小。最小点处的曲率界与集中现象强制 Ghirlanda–Guerra 恒等式逐点成立;经同步化(synchronization),自旋与标签重叠单调耦合,真实重叠律的尾积分从而被试探 @@M@@q@@ 控制,尾序性质给出 @@M@@V(p)\le V(q)@@,而时间方向导数又给出反向不等式,矛盾即得上界。
下界用 Aizenman–Sims–Starr 式固定块空腔(cavity)方法:先抹去两个模式、再作为独立标记恢复,由一、二阶矩知新坐标所受场的协方差是自旋重叠的确定性函数 @@M@@a(R_{\ell j})@@;球面上的切向散度积分给出 Wronskian 型恒等式,解出 @@M@@a@@ 恰为球面熵的平稳场 @@M@@A_q(r)=\int_0^r dt/D_q(t)^2@@,且重叠律支撑一致小于 @@M@@1@@。最后把维数 @@M@@N+L@@ 与 @@M@@N@@ 的配分差写成空腔增量,按模 @@M@@L@@ 剩余类裂项求和,先令 @@M@@N\to\infty@@、再令 @@M@@L\to\infty@@,得变分下界。收尾从光滑势逼近到一般有界连续势,并用有界差分不等式得 @@M@@\operatorname{Var}(p_N)=O(1/N)@@,完成依概率收敛。
本文主结果暂无 Lean 形式化证明,请以社区核验为准。论文与 Montanari–Zhou(2024)附录 B 的副本计算有规范化对照(@@M@@\alpha\beta A=\alpha\Psi(0,0)+S(m)@@),与 Györgyi–Reimann 2000 年的物理预测吻合。本文是结果族 222”感知机自由能与微观阻塞指数”的球面分支,族内 Ising 感知机自由能、双正交不变无序推广及 margin @@M@@-1@@ 阻塞(jamming)阈值、gap 与力律等姊妹篇共享这套变分框架。按 OpenAI 官方声明,未经形式化的结果可能有问题,请以社区核验为准。
问 1:上界证明里最关键、最脆弱的一步是什么?
(答:是”接触点强制联合 Ghirlanda–Guerra 恒等式 + 单调耦合”的组合(upper 一节):对泊松化密度构造富化目标泛函并取负最小,在确定性最小点处用曲率与集中换取 GG 恒等式,再经同步化把自旋重叠与级联标签重叠单调耦合,使真实重叠律的尾积分被试探 q 控制;配合单模式值的尾序性质(尾积分占优则 V(p)≤V(q))与时间方向导数反推矛盾。尾序性质与同步化两环缺一即崩。)
问 2:任意有界连续势不设凸性,插值比较怎么活下来?
(答:恰恰不用对 φ 做比较插值。上界的时间参数是泊松化的模式密度,其导数是”多加一个非线性模式”;对 φ 的全部要求只是有界连续,使 V_f(m) 有限且 Boué–Dupuis 控制表示成立。这是与经典 Guerra 凸性路线的本质区别。)
问 3:下界里球面熵凭什么恰好出现?
(答:bulk 一节先删两个模式再作为独立标记恢复,用一、二阶矩识别新坐标所受场的协方差 a(R);球面上的切向散分积分给出 Wronskian 型恒等式,解出 a 恰为熵的平稳场 A_q(r)=∫_0^r dt/D_q(t)²,且重叠支撑一致小于 1——熵不是猜进去的,而是从球面几何反解出来的。)
问 4:与 Montanari–Zhou(2024)附录 B 的关系是”验证别人”还是”独立新定理”?
(答:论文给出规范化对照 αβA(m,β)=αΨ(0,0)+S(m),说明公式与该副本计算一致;但 MZ 的推导用了副本数解析延拓与极限交换,其严格定理只涉及 AMP 算法值。本文用普通 Gibbs 样本识别微观 quenched 压强,是独立的严格化,而非验算。)
问 5:作为 AI 生成证明,最可能出错的模式是什么?
(答:典型风险是下界的裂项求和次序(cavity 一节:按模 L 剩余类裂项、先 N→∞ 再 L→∞)与”新场穿过重叠极限”的标记级联变换(prelim 一节)——这类分析次序敏感的论证里,一处一致界不均匀就会让下界悄悄少一项。结果未形式化,这两个机架值得优先独立复核。)
问 6:公式自带哪些体检指标?
(答:常值势 φ≡c 时公式给 αβc,与初等 Jensen 上下界 αEf(G)≤P≤αlog E e^{f(G)} 的公共值吻合;熵无穷的试探直接记 +∞、不要求 m 在 1 附近为 1,这些约定在定理陈述中显式给出,可作数值实现时的单元测试。)
问 7:谁会用到它?
(答:族 222 的地基:Ising 感知机、双正交不变无序推广与 margin −1 的堵塞阈值/gap/力律三篇姊妹篇共享这套”模式项+熵”变分机架;零温极限与硬约束尚需额外极限控制,但任何对球面存储容量、阻塞普适类的严格后续都得从这里出发。)
总评
这是球面感知机自由能问题的完整收口:全密度全温度、无凸性对称性假设的精确公式,且与二十余年物理预测逐项吻合;最大风险在未形式化的级联/空腔簿记,尤以上下界各自的分析次序敏感处为甚。