2024 NIPS Spotlight Learning-Feedback
LLM
Selective Generation for Controllable Language Models
GLMs在生成文本时可能出现的“幻觉”问题
利用文本蕴含的概念来评估生成序列的正确性，并定义了与文本蕴含关系相关的假发现率（FDR-E）。
提出了两种选择性生成算法：SGenSup（监督学习算法）和SGenSemi（半监督学习算法），以控制FDR-E
Time-Reversal Provides Unsupervised Feedback to LLMs
探讨了如何为大型语言模型（LLMs）提供无监督反馈，以改善其生成文本的质量
通过引入时间反转语言模型（TRLMs），可以在给定响应的情况下对查询进行评分和生成，有效地在时间的反向上运作
Rule Extrapolation in Language Modeling: A Study of Compositional Generalization on OOD Prompts
解决的问题是如何系统地理解自回归大型语言模型在面对分布外(OOD)提示时的行为，特别是在形式语言上的组合泛化能力
论文旨在深入探索不同架构的语言模型如何处理和泛化它们在训练过程中学到的规则，并将这些规则应用到违反至少一条规则的OOD场景中
GREATS: Online Selection of High-Quality Data for LLM Training in Every Iteration
试图解决的问题是如何在大型语言模型的训练过程中动态选择高质量的数据批次，以提高训练的收敛速度和泛化性能
Who's asking? User personas and the mechanics of latent misalignment
研究了大语言模型对于不同用户角色的响应差异，发现模型是否泄露有害内容在很大程度上取决于它认为的对话者特征
Self-Consuming Generative Models with Curated Data Provably Optimize Human Preferences
探讨了在自消耗生成模型中，合成数据经过人工筛选对迭代再训练过程的影响
视觉-语言模型
Boosting Vision-Language Models with Transduction
试图解决的问题是如何在视觉-语言模型中有效地利用转导学习来提升模型在零样本和少样本学习任务中的性能，特别是在考虑到文本信息的情况下
神经网络
Continual learning with the neural tangent ensemble
探讨了如何在神经网络中实现持续学习而不遗忘之前学到的知识
提出了一种新的视角，将单个神经网络解释为许多专家的集成，这允许在不引入任何内存开销的情况下跟踪专家的后验分布。
Compositional Generalization Across Distributional Shifts with Sparse Tree Operations
探讨了神经网络在组合泛化方面的问题，尤其是在大规模预训练不足的情况下
提出了一种统一的神经符号系统——稀疏可微树机，它将符号操作和神经计算统一到向量空间中
Stable Minima Cannot Overfit in Univariate ReLU Networks: Generalization by Large Step Sizes
研究了在具有噪声标签的单变量非参数回归问题中，两层ReLU神经网络的泛化能力
A generalized neural tangent kernel for surrogate gradient learning
试图解决的主要问题是神经网络训练中无法直接应用于那些激活函数没有有用导数的网络
为了克服这个问题，研究者们通常使用替代导数，即所谓的替代梯度学习（SGL），来近似这些激活函数的导数。虽然SGL在实践中表现良好，但其理论基础尚不完善，且对于特定网络应选择哪种替代导数尚不清楚
表示学习
Generalization Analysis for Label-Specific Representation Learning
试图解决的问题是标签特定表示学习在多标签学习中的泛化分析问题
语言模型
An Analysis of Tokenization: Transformers under Markov Data
研究了在简单数据生成过程中，transformers在有无分词（tokenization）的情况下的行为
RL
The Power of Resets in Online Reinforcement Learning
探讨了在线强化学习中模拟器的作用
Agent
Paths to Equilibrium in Games
论文的核心问题是：对于给定的博弈和初始策略配置，是否总是可以构建一条满足条件的路径，使其终止于博弈的均衡状态？