用代码高尔夫与RLHF训练AI探索Demoscene

当AI遇见Demoscene：一场关于代码美学与未完成性的实验

在AI生成内容日益同质化的今天，一位名为datavorous的开发者在Reddit上分享了一项颇为另类的实验：通过对"高尔夫化"（golfed）的JavaScript代码进行微调，并自评4万个样本进行RLHF（基于人类反馈的强化学习），训练模型探索Demoscene（演示场景）的语法与未完成代码的可能性。这项实验的独特之处在于，它没有追逐通用能力的提升，而是将目光投向了一个以极致压缩和视觉美学为核心的小众编程文化。

为什么是Demoscene？

Demoscene是一种起源于上世纪80年代的计算机亚文化，参与者以在极小的程序体积内创造出令人惊叹的视听效果为荣。这种文化天然强调代码的"语法"——不是语言规范意义上的语法，而是如何在字节限制下组织逻辑、调用硬件、压缩数据，最终达成美学表达。datavorous在帖子标题中提到的"demoscene的语法"，正是对这一创作范式的抽象。

将这种语法引入模型训练，意味着模型不仅要学会写代码，还要学会在约束条件下进行创造性表达。这与当前主流代码生成模型追求功能正确性和可读性的目标形成了有趣对比。

代码高尔夫（Code Golf） 是一种以尽可能少的字符数实现指定功能的编程竞赛形式。参与者需在严格字符限制下完成算法，常利用语言特性、隐式转换和简洁语法来压缩代码。其产物通常高度紧凑、可读性差，但逻辑密度极高。代码高尔夫与Demoscene共享“在约束下创造”的精神，但前者侧重字符数最小化，后者更关注在极小二进制体积内实现视听效果。将高尔夫化JavaScript作为训练数据，正是为了让模型学习这种极端压缩的代码风格。

训练策略：从高尔夫JS到自评RLHF

根据datavorous的描述，训练分为两个关键阶段。第一阶段是对"golfed JS"进行微调。代码高尔夫（code golf）是一种以最短字符数完成功能的编程竞赛形式，其产物往往高度压缩、可读性极差，但逻辑密度极高。用这类数据微调模型，相当于让模型接触一种极端风格化的代码分布，从而更敏锐地捕捉Demoscene所推崇的精简与巧思。

第二阶段是RLHF。有意思的是（此处为强调实验设计，非套话），datavorous并没有依赖外部人类标注，而是让模型对约4万个样本进行自我美学评分，再基于这些评分进行强化学习。这种"自评RLHF"的做法在资源有限的情况下提供了一种可行路径，但也引入了模型偏见自我强化的风险。

RLHF（基于人类反馈的强化学习） 是一种通过人类偏好数据训练奖励模型，再以强化学习微调语言模型的方法。标准流程包括：收集人类对模型输出的比较或评分，训练奖励模型预测人类偏好，然后用强化学习算法（如PPO）优化模型以最大化奖励。本实验中的“自评RLHF”用模型自身的评分替代人类标注，降低了成本，但奖励信号来自模型自身，可能放大既有偏见，导致自我强化循环。

未完成代码的可能性

标题中"未完成代码的可能性"是另一个值得玩味的点。在传统软件工程中，未完成代码通常被视为缺陷或半成品。但在Demoscene语境下，未完成可能意味着开放式的创意起点——一段留白的代码可以激发观者想象，也可能成为后续迭代的种子。

datavorous的实验试图让模型理解并生成这种"未完成性"，而不是一味追求完整可运行的输出。这挑战了我们对AI代码生成质量的惯常评价标准。

Demoscene中的“未完成性” 常体现为刻意留白、碎片化效果或开放式结局，以激发观者想象或为后续迭代留出空间。在代码生成语境下，生成未完成代码意味着模型需理解“部分实现”的审美价值，而非仅追求可运行。这要求训练数据包含大量非完整片段，并设计能奖励开放性和启发性的评估指标，而非传统的正确性度量。

实验的意义与局限

这项实验的价值在于探索了模型训练目标的一种替代可能：不追求通用 benchmark 上的分数，而是围绕特定亚文化的审美和语法进行深度定制。它呼应了开源社区中对"小而美"、"风格化"AI工具的期待。

不过，由于原始信息仅来自Reddit帖子标题和简短描述，我们无法得知模型规模、训练数据量、具体评估方法等细节。自评RLHF的有效性也有待验证——模型给自己打分，容易陷入"自说自话"的循环。此外，Demoscene社区本身对AI生成内容的态度尚不明确，这类实验能否被社区接纳仍是未知数。

垂直文化定制训练 指针对特定亚文化或艺术形式的语法、审美和约束进行数据筛选与目标设计，而非追求通用能力。与通用大模型相比，这类方法数据规模小、目标专一，能捕捉小众领域的独特风格，但泛化能力有限，且依赖对目标文化的深入理解。代码高尔夫、Demoscene、诗歌生成等均可作为试验场，关键在于构建能反映该文化价值的评估体系。

对AI创作者的启示

对于关注AI编程和创意工具的人来说，datavorous的尝试提供了一个思路：与其在通用能力上与大模型厂商正面竞争，不如深入某个垂直文化或艺术形式，用定制化的训练策略捕捉其独特语法。代码高尔夫、Demoscene、甚至诗歌生成，都可能成为这种"语法驱动"训练的试验场。

同时，"未完成代码"的视角也提醒我们，AI生成内容的评价体系可以更加多元。完整性和正确性固然重要，但开放性和启发性同样值得被纳入考量。

（注：本文基于Reddit公开帖子信息撰写，未包含截图。实验细节以原作者后续披露为准。）