AIを利用した推薦システムを悪用し、意図的な偽情報が拡散可能 F-Secure：リツイートを悪用

F-Secureは、AIを利用した推薦システムの危険性について警告を発した。「AIによる推薦」に関する実験の結果、意図的な偽情報や陰謀論の拡散が可能だった。

[＠IT]

印刷

見るPost

Shareシェア

はてなブックマーク

SharePocket Button

　F-Secureは2021年6月25日、AI（人工知能）を利用した推薦システムの危険性について警告を発した。同社がソーシャルメディアでAIによる推薦に関する実験をした結果、意図的な偽情報や陰謀論の拡散が可能だった。

F-SecureのWebページから引用

　AIによる推薦システムは、検索エンジンやオンラインショッピングサイト、ソーシャルメディアなどで広く利用されている。最近ではインターネットの影響が大きくなっていることから、こうしたAI推薦システムに対して、意図的な偽情報の拡散など悪用に対する懸念が生じている。

リツイートを悪用することで特定のアカウントを推奨させることが可能

　F-Secureで人工知能研究センターのシニア・リサーチャーを務めるAndy Patel氏は、レコメンドシステムで利用される「協調フィルタリングモデル」にTwitterで収集したデータを学習させた。その後、特定のアカウント間で「リツイート」されたデータ（ポイズンデータ）を用いてモデルを再学習させ、推奨度がどのように変化するかを調べた。

　これは、ソーシャルメディアなどがユーザーに推奨情報を提供する際に採用すると思われる仕組みを簡略化したものだ。

続きを読む

　Patel氏の実験によると、リツイートするアカウントを選択し、リツイートするアカウントの数と公開するリツイートの数を変化させることで、「リツイートが非常に少なくても、特定のアカウントを推奨するようシステムを操作できた」という。同氏は「ソーシャルメディアは、今回の実験と似たような攻撃に直面しているだろう」と語る。

　F-SecureでAI担当バイスプレジデントを務めるMatti Aksela氏は「今後、AIへの依存度が高まっていく中でAIのセキュリティに関する潜在的な課題を認識し、対処することが重要だ」と述べている。

　Patel氏は、今回実施した実験の詳細なレポートと、実験を再現するために必要なコードやデータセットをGitHubで公開している。なお、実験で利用したアカウントの多くはTwitterによって既に停止されているという。