两块形状匹配的石墨组件与一块不同形状的组件,展示完整结构比较。
博客 chevron_right Deslop 0.35.0:重复代码检测的准确性

Deslop 0.35.0:重复代码检测的准确性

重复代码检测器要在代码审查中站稳脚跟,就得找到值得检查的副本。误报浪费审查时间;漏报让同一个缺陷继续留在另一个位置等待修复;不完整的结果则可能认出了副本,却隐藏了其中的大部分。

Deslop 0.35.0 通过克隆分类、完整范围恢复和更清晰的比较证据来解决这些问题。下载此版本。

准确性决定检测器能否被采用

重复代码检测器输出的是一组断言:这些范围互为副本。每一种错误的代价各不相同。

  • 误报会让审查者或 AI 代理去合并本应保持独立的代码。合并两个只是看起来相似的函数,会让从未打算一起变更的代码耦合在一起。
  • 漏报让一个副本未被报告。下一次缺陷修复落在其中一个位置,而另一个副本仍然保留着缺陷。
  • 不完整范围报告了正确的副本,却只展示其中一部分。基于这种范围的重构只会提取函数的一半,剩下的部分依然重复。

报告噪声太多时,团队就不再阅读它;而 AI 代理会对交给它的任何结果照单执行。两者都需要在结果送达时就已然正确。这正是本次发布专注于找到正确的副本并报告其完整范围、而不是堆叠功能的原因。

找到完整副本

一个缺陷可能把一段较长的精确副本拆成多个短小、重叠的结果。仅识别出两个文件共享代码并不够:审查者需要的是完整的复制范围。

范围恢复改动 会在完整源范围逐字节一致、并构成合法的连续语法树兄弟节点时,合并重叠的精确结果。如果无法合法合并,已复制的窗口必须保持可见,而不是被丢弃。对应的 CLI 测试检查完整的复制文本、两个文件路径、恰好两个出现位置、类别和排名。

其他召回改动 找回被编辑过的方法内部的复制初始化代码,以及同一文件内部的副本。边界同样重要:报告共享的初始化代码时,不能把无关的相邻方法拖进结果。

区分重命名副本与无关的相似代码

重命名变量或修改测试消息,并不一定改变被复制的工作本身。这些情况与小幅编辑一样,归入 Nearly identical code。改动较大但仍包含大量复制工作的情况则归入 Similar code。

仅布局相同是更弱的证据。Same shape, different content 只提供信息,对克隆计数、重复质量或重复百分比没有任何贡献。重复出现的控制流骨架不足以认定技术债务。

内容检查区分系统性的重命名与已变更的操作。重命名协作对象可以保留副本;而要求该协作对象执行另一种操作,则需要不同的证据。Identical code 要求源文本在空白规则下一致,而不仅仅是归一化语法树相等。分类指南 说明了这些标签与 Type I、II、III、IV 克隆的对应关系。

让每次比较都可检查

相似度测量现在归属于实际参与比较的两个位置。一个大型簇不再把某一对选定配对的评分当作整个组的置信度。

在 VS Code 中,Compare To Canonical 与参考副本进行比较。Select for Compare 和 Compare with Selected 让你选择其他配对。CLI 新增的 --compare 返回引擎对两个明确源范围的判定。重复质量用于排列审查工作的顺序;它并不证明提取是安全的。

构建产物也会按已识别的名称和行形态被排除,生成文件的横幅则从解析后的注释中读取。这些检查让分析聚焦于源代码,而不会把形似横幅的字符串字面量当作生成文件声明。

准确性不止于配对数量

克隆登记表包含必须找到的 CLEARLY IN 配对,以及不能作为克隆报告的 CLEARLY OUT 配对。不确定的样本只记录,不强行判定。比较使用固定的仓库修订版本,并考虑旧的类别名称:旧版仅凭形状的结果不能满足已知克隆断言。

我们还会检查克隆范围覆盖率:结果覆盖了已判定复制范围的多大比例。一个对每个副本都只找到小片段的检测器,可能在配对正确性上表现不错,却仍然漏掉用户需要看到的代码。

仓库的重复百分比回答的是另一个问题:报告的克隆覆盖了已分析代码行的多大比例?它不是准确率得分。重叠范围只计一次,仅凭形状的结果计零。准确性透明度 记录了这一计算方式以及语料库测量的局限。

本次发布的工作让具体缺陷变得可测试,让比较更易于检查。这是应当向静态代码分析工具要求的证据:拒绝了哪些错误匹配,找回了哪些漏掉的副本,报告是否展示了审查者真正需要的代码。

亲自验证一个结果

你不必盲目相信某个簇。JSON 报告中的每个出现位置都带有精确的字节偏移,CLI 可以为其中任意两个重新计算判定:

deslop . --compare "src/orders.ts:1204:1980" --compare "src/invoices.ts:310:1086"

该命令会扫描项目,为该配对重新计算证据,并输出 JSON 判定。偏移以字节计,结束位置为开区间,每个范围都必须与报告中的某个出现位置匹配。在 VS Code 中,同样的检查可以从簇面板运行,两个范围并排显示在差异编辑器中。

如果某个判定看起来不对,那正是 Deslop 能收到的最有价值的缺陷报告:两个路径、两个范围和版本号。已确认的误报和漏报会变成测试套件中的固定用例,因此同样的错误一旦复发,构建就会失败。公开的问题图 展示了哪些准确性工作仍在进行,迈向 100% 准确率 解释了为什么要公布这些失败。

升级到 0.35.0

本次发布更改了类别名称。报告现在使用 Identical code、Nearly identical code、Similar code、Same behavior, different code 和 Same shape, different content。如果你的脚本会读取 JSON 报告,请在升级前查阅分类指南。排名现在只依据重复质量,因此即使结果本身没有变化,簇的顺序也可能改变;排名公式一文 解释了该公式。重复百分比不再包含仅凭形状的结果,因此含有大量重复控制流骨架的仓库,报告的数值可能低于从前。这里更低的数值反映的是更准确的计数,而不是副本被删除了。