「Pythonのデータ解析処理を最大16倍高速化するソフトウェア」をNECが無償で提供：pandasとの互換性もある

NECは、Pythonを使ったデータ解析処理を高速化するソフトウェア「FireDucks」の無償提供を開始した。「pandas」で作成されたプログラムを「CPU全コアの並列活用」と「処理の最小化」で高速化するという。

[＠IT]

　NECは2023年10月19日、Pythonによるデータ解析処理を高速化するソフトウェア「FireDucks」を無償提供すると発表した。これは新エネルギー・産業技術総合開発機構（NEDO）の支援を受けて開発したもので、NECは「データサイエンティストの業務時間を短縮するだけでなく、省電力化やCO2削減など、環境課題解決にも貢献する」としている。

import文を1行書き換えるだけで利用可能

　FireDucksは、テーブルデータの分析で標準的なライブラリ「pandas」を使って作成されたプログラムを高速化する。高速化の度合いについてNECは「平均で約5倍、最大16倍高速化する」としている。高速化実現のポイントは「全コアの並列活用」と「処理の最小化」だ。

FireDucksによる処理最小化のイメージ

　pandasは1つのプロセスにつき1コアを使い、並列処理はできないが、FireDucksはマルチコアCPUの全てを利用し、大量のデータを並列に処理できる（全コアの並列活用）。また、プログラム通りの範囲や順番で処理を実行するのではなく、事前に処理全体の中から結果に必要となるデータを把握し、そのデータのみを処理する（処理の最小化）。

　FireDucksのもう1つの特徴はpandasと互換性があることだ。クラス名やメソッド名、属性名はpandasと同じで、pandasを利用しているプログラムならば、import文を1行書き換えるだけでFireDucksを利用できるという。2023年10月19日現在、FireDucksはWebサイトでβ版（fireducks-0.8.2）が公開されている。