生成AIのコードは人力よりも簡潔で読みやすく信頼できて機能的、保守もしやすい――その差はいかほど？ GitHubが比較調査：人によるコードレビューでの承認割合は5%多い

GitHubの最新の調査結果から、AIコーディングアシスタントの「GitHub Copilot」を使って作成されたコードの品質は、使わずに作成されたコードと比べて、機能性、可読性、信頼性、保守性、簡潔さという点で優れていることが分かった。

[＠IT]

　GitHubは2024年11月18日（米国時間）、最新の調査結果から、AI（人工知能）コーディングアシスタントの「GitHub Copilot」を使って作成されたコードの品質は、使わずに作成されたコードと比べて、機能性、可読性、信頼性、保守性、簡潔さという点で優れていることが分かったと報告した。

　GitHubは、「GitHub Copilotを使ってコードを作成すると、コード品質は上がるのか、下がるのか」という疑問に答えを出すため、ランダム化比較試験を実施し、GitHub Copilotを使って作成されたコードの機能性、可読性、信頼性、保守性、簡潔さ、承認される割合を調査した。

開発者243人を対象にGitHub Copilotのコード品質を調査、その結果は？

　この調査では、Pythonの使用経験が5年以上ある開発者243人を募集し、GitHub Copilotを使用するグループと使用しないグループにランダムに分けた。第1段階では、開発者は全員、WebサーバのAPIエンドポイントを記述するコーディングタスクに取り組み、機能性を評価する10のユニットテストを実施した。202人の開発者からの提出物が有効で、このうち104人はGitHub Copilotを使用し、98人は使用しなかった。

　第2段階では、開発者はランダムに割り当てられた提出物を、用意された評価基準を用いてレビューした。提出物がGitHub Copilotを使って作成されたものかどうかは知らされなかった。各提出物は少なくとも10人の開発者によってレビューされ、合計1293件のレビューが作成された。開発者はコードエラーがないかどうかを行単位でレビューし、提出物の可読性、信頼性、保守性、簡潔さおよび承認の可否に関する全体的な評価も実施した。

　これらの調査結果から以下のように、GitHub Copilotを使って作成されたコードの品質は、使わずに作成されたコードと比べて、機能性、可読性、品質、および承認された割合が高いことが明らかになった。

機能性

　GitHub Copilotを使った開発者は、この調査の10のユニットテスト全てに合格した割合が56％高かった。これは、GitHub Copilotが開発者のコード作成に大いに役立つことを示している。

10のユニットテスト全てに合格した開発者の割合（GitHub Copilotを使用した開発者／使用しなかった開発者）（提供：GitHub）

可読性

　GitHub Copilotを使って作成されたコードは、可読性エラー（コードが分かりにくい箇所）が大幅に少なかった。GitHubを使った開発者が作成したコードは、こうしたコードエラーが平均して18.2行に1件あったが、GitHubを使わなかった開発者では、16.0行に1件だった。GitHubを使った開発者の方が、コードエラーなしで平均13.6％多くのコードを記述したことになる。

コードエラーなしで作成した平均コード行数（GitHub Copilotを使用した開発者／使用しなかった開発者）（提供：GitHub）

コード品質

　GitHub Copilotを使って作成されたコードと、使わずに作成されたコードの可読性、信頼性、保守性、簡潔さに関する開発者の全体的な評価を見ると、GitHub Copilotを使って作成されたコードの方が、使わずに作成されたコードよりも高かった。両者の評価の平均差は、可読性が3.62％、信頼性が2.94％、保守性が2.47％、簡潔さが4.16％で、これらの数値は統計的に有意だった。

GitHub Copilotを使って作成されたコードと、使わずに作成されたコードの可読性、信頼性、保守性、簡潔さに関する開発者の評価の差（丸が平均差）（提供：GitHub）

承認された割合

　GitHub Copilotを使って作成されたコードは、使わずに作成されたコードと比べて、開発者のレビューで承認された割合が5％高かった。

コードがレビューで承認された割合（GitHub Copilotを使って作成されたコード／使わずに作成されたコード）（提供：GitHub）