「Pythonのデータ解析処理を最大16倍高速化するソフトウェア」をNECが無償で提供pandasとの互換性もある

NECは、Pythonを使ったデータ解析処理を高速化するソフトウェア「FireDucks」の無償提供を開始した。「pandas」で作成されたプログラムを「CPU全コアの並列活用」と「処理の最小化」で高速化するという。

» 2023年10月20日 08時00分 公開
[@IT]

この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。

 NECは2023年10月19日、Pythonによるデータ解析処理を高速化するソフトウェア「FireDucks」を無償提供すると発表した。これは新エネルギー・産業技術総合開発機構(NEDO)の支援を受けて開発したもので、NECは「データサイエンティストの業務時間を短縮するだけでなく、省電力化やCO2削減など、環境課題解決にも貢献する」としている。

import文を1行書き換えるだけで利用可能

 FireDucksは、テーブルデータの分析で標準的なライブラリ「pandas」を使って作成されたプログラムを高速化する。高速化の度合いについてNECは「平均で約5倍、最大16倍高速化する」としている。高速化実現のポイントは「全コアの並列活用」と「処理の最小化」だ。

画像 FireDucksによる処理最小化のイメージ

 pandasは1つのプロセスにつき1コアを使い、並列処理はできないが、FireDucksはマルチコアCPUの全てを利用し、大量のデータを並列に処理できる(全コアの並列活用)。また、プログラム通りの範囲や順番で処理を実行するのではなく、事前に処理全体の中から結果に必要となるデータを把握し、そのデータのみを処理する(処理の最小化)。

 FireDucksのもう1つの特徴はpandasと互換性があることだ。クラス名やメソッド名、属性名はpandasと同じで、pandasを利用しているプログラムならば、import文を1行書き換えるだけでFireDucksを利用できるという。2023年10月19日現在、FireDucksはWebサイトでβ版(fireducks-0.8.2)が公開されている。

Copyright © ITmedia, Inc. All Rights Reserved.

スポンサーからのお知らせPR

注目のテーマ

Microsoft & Windows最前線2025
AI for エンジニアリング
ローコード/ノーコード セントラル by @IT - ITエンジニアがビジネスの中心で活躍する組織へ
Cloud Native Central by @IT - スケーラブルな能力を組織に
システム開発ノウハウ 【発注ナビ】PR
あなたにおすすめの記事PR

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。