研究人员发现，GitHub Copilot 工具提供的代码建议中有接近 40% 存在 bug。为了对 Copilot 的实际价值做出量化，研究人员创建了 89 个测试场景以考查其代码建议质量，编写出了 1600 多个程序。经过全面审查，研究人员发现其中近四成存在安全漏洞…… 由于 Copilot 的学习对象是 GitHub 代码库中公开发布的可用代码，因此研究人员推测这些安全漏洞的出现只是系统在模仿现存的代码 bug。研究人员还指出，除了可能继承训练数据当中的 bug 之外，Copilot 还无法分辨训练数据的新旧程度。“随着网络安全的发展，早期编程时的“最佳实践”很可能会逐渐变成“糟糕实践”。”研究人员承认，“毫无疑问，像 GitHub Copilot 这样的下一代自动补全工具将大大提高软件开发人员的生产力。” “然而，尽管 Copilot 能快速生成大量代码，但我们的研究结果表明，开发者在使用 Copilot 作为辅助手段时应当保持警惕。理想情况下，Copilot 还应在训练和生成期间匹配适当的安全工具，最大程度减少在代码中引入安全漏洞的风险。”