分析 Policy-Gradient RL 等可微代理优化方法在平衡探索和利用时的先天特性，说明 LLM-RL 的困境本质：探索不足导致陷入局部最优

本文系统评估了 RLVR 在提升 LLM 推理能力方面的实际效果。发现当前RLVR方法主要提高了基座模型已有推理路径的采样效率，但并未创造新的推理模式。相比之下，蒸馏方法能真正扩展模型推理能力。研究呼吁开发新的RL范式。

本文从统计检测理论出发，建立了小目标检测问题的数学模型。通过将检测问题形式化为二元假设检验，推导出基于KL散度的可检测性度量，为小目标检测限提供了量化依据

Wasserstein距离是一种基于最优传输思想的概率分布度量方法，本文介绍了其定义、一维情况下基于CDF的计算方法和与CRPS损失的关系

本文探讨了LLM使用的自回归解码式生成方法在数值回归任务中的能力，证明其可逼近任意一维概率密度的理论界，在数值范围大、噪声复杂或数据较少的情形相比传统点回归头和 Riemann 回归头有优势

RAFT 方法通过对候选网格数值的概率加权期望直接优化均方误差，将回归损失直接融入解码式LLM的训练中，从而同时保留自回归预训练的优势并利用数值目标的特性，在多项自然语言回归任务中显著优于传统交叉熵微调和预测头方法

尽管 LLM 在文本生成方面表现出色，但它们缺乏对数字的自然归纳偏置，导致在涉及数值的任务中表现不佳。本文提出了一种新的损失函数——Number Token Loss (NTL)，以增强语言模型在数值任务中的表现

datasets 是一个简单易用的数据集加载库，可方便地从本地或 HF hub 加载数据集，并完成数据划分、清洗、数据集和加载器构造等工作

本文介绍了 Transformers 库的 Model 组件相关 API 的用法，包括模型的基本架构、预训练模型的加载、模型的微调等

本文介绍了 Transformers 库中的 Tokenizer 组件相关 API 的用法，包括其基本概念、使用方法和在不同任务中的应用。Tokenizer 是将原始字符串转换为模型可以计算的数值形式的工具