独立研究

「AI 味」写作评测研究

当读者反馈一篇文章“AI 味太重”时,市面上大多数工具都在试图鉴定“这到底是人写的还是机器写的”。但这偏离了创作者的真实诉求——我并不关心真假鉴别,我关心的是为什么有些文本会让人丧失读下去的欲望? 为此,我用自己的真实阅读偏好建立基准,探寻哪些可解释的语言与结构信号能够量化这种体感。

30 篇同领域(AI 行业)公众号文章样本池
435 组全排列两两偏好对比标注(Pairwise Comparisons)
ρ = 0.899可解释组合指标与个人阅读偏好排序的 Spearman 相关性

转换靶心:从“抓替身”到“测阅读意愿”

“像 AI 写的”和“不值得读”绝非等价命题。为了剥离刻板印象、抓准“阅读体验”本身,我挑选了 30 篇 AI 行业文章,自己写了一个两两盲比(Pairwise)标注工具,老老实实完成了全部 435 组二选一判断,由此拟合出一份完全忠于我个人阅读体感的“耐读度”真实排序。

检验信号,拒绝玄学直觉

有了基准排序,就可以把模糊的语感变成可证伪的假设。我首先测试了语言学中的“文本惊异度(Surprisal)”,发现整篇取平均值会彻底抹平文章的节奏感;改用逐词惊异度的方差(Variance)后,单指标与偏好排序的相关性瞬间跃升至 0.825——印证了“AI 味”的一大来源正是缺乏起伏的平铺直叙。随后,我进一步引入语义演进路径与逻辑图结构特征,剔除冗余信号后,组合指标的 Spearman 相关系数达到 0.899,并已将其封装为可解释的诊断反馈,接入我自己的写作 Agent 自检闭环。

这把尺子的适用边界

必须诚实地指出:这是一把高度定制的“个人品味尺子”,而非普适的 AI 检测国标。 样本仅限 30 篇科技商业类文章,标注者只有我一人,且高相关系数(0.899)代表排序趋势一致,不等同于分类准确率。若要将其迁移给其他创作者或文学体裁,必须重新采样并校准偏好基准;目前该工具作为写作辅助运行良好,但尚未开展跨人群的量化收益对照实验。

交流

如果你正在寻找企业 AI 解决方案、排查 Agent 落地问题,或寻找有大模型评测与交付经验的 AI 产品人才,欢迎围绕具体场景来信交流。也欢迎相关领域的专家访谈与技术评审交流。