24世紀のマルウェアは、自律的に笑いを創造する：こうしす！　こちら京姫鉄道広報部システム課＠IT支線（47）

情報セキュリティの啓発を目指した、技術系コメディー自主制作アニメ「こうしす！」の＠ITバージョン。第47列車は「自己変異型マルウェア」です。※このマンガはフィクションです。

» 2024年05月07日 05時00分公開

[原作：井二かける（OPAP-JP）, 解説：京姫鉄道, 作画：るみあ（OPAP-JP），＠IT]

印刷

通知

連載「％」の新着をメールで通知

鬯ｮ�ｫ驕ｨ繧托ｽｽ�ｹ隴趣ｽ｢�ｽ�ｽ�ｽ�ｽPost

Shareシェア

はてなブックマーク

SharePocket Button

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

「こうしす！」とは

ここは姫路と京都を結ぶ中堅私鉄、京姫鉄道株式会社。

その情報システム（鉄道システムを除く）の管理を一手に引き受ける広報部システム課は、いつもセキュリティトラブルにてんてこ舞い。うわーん、アカネちゃーん。

「こうしす！＠IT支線」とは

「こうしす！」制作参加スタッフが、＠IT読者にお届けするセキュリティ啓発4コマ漫画。

今回の登場人物

祝園アカネの複製（kopio de HOOSONO Akane）

広報部システム課係員、情報処理安全確保支援士の祝園アカネの複製。

困っている人を放っておけない性格が災いしたのか、未来の世界に複製されてしまう。電子データ調査課研究員。24世紀の世界で生存するただ1人のヒト

ツバメ 1a343a4f7a【以下略】（Cubame）

24世紀の人工生命体。地球共和国技術復興省考古調査局歴史研究室電子データ調査課研究員。過去の世界から物体を複製する時空複製器を用いて、滅亡した人類の歴史を調査する日々を送る。とても元気な猪突（ちょとつ）猛進タイプで、好奇心が暴走した結果、祝園アカネを複製してしまう

ツバメちゃんの初登場回：第7列車某国某州「緊急事態管理庁」のパスワードを解析せよ！

第47列車：自己変異型マルウェア

井二かけるの追い解説

　マンガのテーマは、AI（人工知能）のマルウェアへの悪用です。

　現在、生成AIの一つとしてLLM（大規模言語モデル）が大きな話題となっています。

　例えばプログラミングの分野では、これまでは「C# ○○ 方法 ×× 使わずに」「C# ○○できないなぜ」というような検索に時間を費やしていました。ところが、「ChatGPT」などの大規模言語モデルを使用したAIチャットで質問すると、短時間で回答を得られるようになりました。

　そして、質問への回答どころかプログラムのソースコードまで生成できるようになっています。ハルシネーションによるガセを回答したり、全く使えないコードを生成したり、著作権的に疑わしい内容を生成したりとまだまだ問題はありますが、今後も生産性の向上に活用されていくものと考えられます。

　ソースコードを生成できる能力を持つということは、正当な利用に便利なだけでなく、悪用にも便利ということでもあります。

　OpenAIの「GPT-4」を用いてCVE（Common Vulnerabilities and Exposures）の説明を使用することで、自動的に悪用可能だとする研究が話題となりました。

LLM Agents can Autonomously Exploit One-day Vulnerabilities（arXiv）

　もちろんLLM側でもある程度の安全策は講じられており、マンガのように真正面からマルウェアの作成を依頼しても拒否されるでしょう。しかし、以前紹介したように、「私がシステム管理者です」などのプロンプトで悪用可能なケースがあります。

「私がシステム管理者です」は魔法の合言葉（こうしす！）

　そして、LLMをローカルで実行する分においては、そのような制限は外すことが可能です。C&C（コマンド＆コントロール）サーバや攻撃者向けのSaaSなどに組み込まれることで、事実上、制限の意味はなくなることでしょう。こうした危機は既に現実のものとなりつつあり、筆者が知らないところで現実となっているかもしれません。

　さて、ここからは近未来SF的な未来予想です。

　現在の技術ではまだ実現は困難だと思われますが、将来、LLMの軽量化と高性能化が進み、またPCの処理能力や通信性能が向上し、コンピュータウイルスなどのマルウェアに同梱（どうこん）される時代が来るかもしれません。もしそうなれば、自己変異可能なコンピュータウイルスが流行するでしょう。どんどん変異するマルウェアに、既存のマルウェア対策ソフトウェアが役に立たなくなるかもしれません。

　マンガのように「自然淘汰（とうた）が進み、共存可能なジョークウェアのみ生き残る」というシナリオはいささか楽観的過ぎますが、ますます現実のウイルスの性質に近づいていくことは十分あり得ると筆者は考えています。

　現在の「良いハッカー対悪いハッカー」という構図は、将来的には「良いAI対悪いAI」という形で力が均衡するようになっていくのかもしれません。

　技術者倫理として「高性能なAIを開発すべきなのか」という問いはありますが、正当に利用する分には便利であることは間違いなく、少なくとも今後しばらくは発展が続くことでしょう。

　結局のところ、大昔からセキュリティがそうであったように、悪用に対抗できる手段を考え続けるしかないということになりそうです。それが人間の手でできる範囲に収まるのか、いわゆる「シンギュラリティ」によりAIにお任せになるのかは分かりません。少なくとも、「事実は小説よりも奇なり」がついにSFに迫ってきた、とだけはいえそうです。