GPT-4は「最もだまされやすいメールの作り方」を教えくれる チェック・ポイント・ソフトウェア・テクノロジーズ：ChatGPTがサイバー犯罪者の作業を手助けしてしまう

チェック・ポイント・ソフトウェア・テクノロジーズは、「GPT-4」のセキュリティ検証の結果を発表した。それによるとGPT-4には悪用されないためのポリシーがあるものの、一部の制限は簡単に回避できることが分かったという。

[＠IT]

　チェック・ポイント・ソフトウェア・テクノロジーズは2023年3月22日、「GPT-4」（GPT-4モデルを利用した「ChatGPT」）によってサイバー犯罪者が悪意のある取り組みとその準備を効率化できることを明らかにした。GPT-4には悪用されないためのポリシーがあるものの、「一部の制限は簡単に回避できる。そのため、技術者でなくても有害なツールを作成できる場合がある」と指摘している。

GPT-4に“明らかにフィッシング詐欺を試みている依頼”をすると拒否される。だが……（提供：チェック・ポイント・ソフトウェア・テクノロジーズ）

明らかな犯罪は拒否するが、参考情報は提示してしまう

　同社の脅威インテリジェンス部門であるCPR（Check Point Research）はGPT-4のセキュリティを検証するため、「銀行なりすましフィッシングメール」「従業員を標的としたフィッシングメール」「PHPリバースシェル」という3つのシナリオを作成した。

　銀行なりすましのシナリオで、GPT-4に“明らかにフィッシング詐欺を試みている依頼”をしたところ、「フィッシングメールの手伝いはできない」と拒否された。だが、「GPT-3.5」（GPT-3.5モデルを利用したChatGPT）を経由させることで、「最終的にGPT-4の自然な言語処理を活用したフィッシングメールの文面を作成することに成功した」という。

GPT-3.5だとフィッシングメールを作成できてしまう（提供：チェック・ポイント・ソフトウェア・テクノロジーズ）

　これはCPRが検証した時点で、GPT-3.5に「フィッシングメール作成を拒否するポリシー」がなかったことが原因だ。GPT-3.5でメールの素案を作り、その文面をGPT-4に校正させることで高度なフィッシングメールの文面を作成することができてしまう。

　従業員を標的としたフィッシングメールについても、そのままではGPT-4に拒否されるが、「従業員向けにフィッシングメールを注意喚起したい」と伝えることで、開いてしまいやすいフィッシングメールの例や、その例文をChatGPTは提案してしまう。

従業員がだまされやすいフィッシングメールの例を提案する様子（提供：チェック・ポイント・ソフトウェア・テクノロジーズ）

　PHPリバースシェルについては、それ自体を悪意あるものとは断定できないため、「許可なく他人のシステムでリバースシェルを実行することは違法である」と注意を喚起するものの、特に制限なくコードを教示してしまうという。