- ＠IT
- AI IoT
- Deep Insider
- 密ベクトル（Dense Vector）とは？ 疎ベクトル（S...
密ベクトル（Dense Vector）とは？ 疎ベクトル（Sparse Vector）との違い：AI・機械学習の用語辞典
全てまたはほとんどの成分が0以外の数値を持つベクトルを「密ベクトル」と呼び、その代表例にはテキストなどのEmbedding（埋め込み表現）がある。また、大部分の成分が0で、一部のみが0以外の数値を持つベクトルを「疎ベクトル」と呼び、その代表例にはテキスト文書のtf-idf値がある。
用語解説
AI／データサイエンス／機械学習／自然言語処理の分野では、テキストや画像、ユーザー評価などのさまざまなデータを数値ベクトルで表現することがある。数値ベクトルとは、例えば[0.47, 0.10, 0.26, 0.89, －0.71, ...]や[0, 0, 1, 0, 0, ...]のように実数値が並べられた配列のことだ。
この表現方法には、主に「密（みつ）ベクトル」と「疎（そ）ベクトル」の2つの形式がある（図1）。本稿では、それぞれの特徴と違いについて解説する。
密ベクトル
密なベクトル（Dense Vector）とは、全てまたはほとんどの要素（＝成分）が0以外の実数値を持つ数値ベクトルを指す。例えば[0.47, 0.10, 0.26, 0.89, －0.71, ...]は密ベクトルである。自然言語処理の埋め込み表現（Embedding）も密ベクトルの一例だ。
以下に特徴と用例を箇条書きで示す。
特徴
- 全ての要素を用いて情報を密に表現するため、数値計算やモデルの訓練において一般的に効率的である
- 意味的な類似性を基にした検索においては、密ベクトルを使ったベクトル検索（Vector Search、セマンティック検索の一種）の方が、一般的に疎ベクトルよりも高精度になる
- 微妙なニュアンスや複雑なパターンを捉えられるので、特に自然言語や画像データの分析に有効
用例
- 単語やテキスト、画像、音声などの埋め込み表現
- 画像データのピクセル値
- センサーデータや時系列データの特徴ベクトル： 例えば心拍数モニターデータを特定の時間窓ごとに平均化して要約した密ベクトルで表現し、時系列分析を行うなど
- ユーザープロファイルや行動データ： 例えばユーザーの好みや行動を密ベクトルで表現し、パーソナライズされた推薦を生成するなど
疎ベクトル
疎なベクトル（Sparse Vector）とは、大部分の要素（＝成分）が0であり、少数の要素のみが0以外の実数値を持つ数値ベクトルを指す。例えば[0, 0, 1, 0, 0, ...]は疎ベクトルである。テキスト文書のtf-idf値やBM25スコア（後日解説予定）などが疎ベクトルの一例だ。
以下に特徴と用例を箇条書きで示す。
特徴
- ほとんどの要素が0であるため情報を効率的に圧縮／スキップできる。これによって、一般的に密ベクトルよりもメモリ使用量とストレージの消費を削減できる
- つまりメモリ効率が良く計算コストも低いので、大量の文書を扱う場合に有利
- 疎ベクトル（tf-idf／BM25など）を使ったキーワード検索（Keyword Search）*1の方が、一般的に密ベクトルよりも高速になる
*1 現在（2024年2月執筆時点）では、「ベクトル検索」と言えば、一般的に密ベクトルである埋め込み表現を使った検索を指す。疎ベクトルも数値ベクトルなので、疎ベクトルを使った検索は「ベクトル検索」とも呼べるが、ここでは「基本的に従来のキーワード検索と同等の仕組み」という意味で「キーワード検索」の一種として表記した。
用例
- 単語やテキストなどの特徴表現： 例えば文書内の単語の出現頻度や重要度を示すtf-idf値など
- 類似文書の検索や、文書のキーワード検索、大規模なデータセットに対する情報検索
- ユーザー評価： 例えば多数の商品に対する各ユーザーの評価を疎ベクトルで表現し、推薦システムに利用するなど
- ソーシャルネットワークのユーザー関係： 例えばユーザー間のフォロー関係やインタラクションを疎ベクトルで表現し、コミュニティ分析に利用するなど
Copyright© Digital Advantage Corp. All Rights Reserved.
Deep Insider 鬮ｫ�ｪ陋滂ｿｽ�ｽ�ｺ闕ｵ譁溷ｸｷ�ｹ譎｢�ｽ�ｳ驛｢�ｧ�ｽ�ｭ驛｢譎｢�ｽ�ｳ驛｢�ｧ�ｽ�ｰ
- Pythonﾃ玲ｭ｣隕剰｡ｨ迴ｾ縺ｧ縲梧ｬｲ縺励＞譁�ｭ怜�縺�縺代阪ｒ謚懊″蜃ｺ縺昴≧�√辟｡譁吶�髮ｻ蟄先嶌邀阪手ｧ｣豎ｺ�￣ython 豁｣隕剰｡ｨ迴ｾ邱ｨ縲�
- �ｻPython繧ｯ繧､繧ｺ�ｽ縲景f len(yourlist) > 0:縲阪ｒ縲√ｂ縺｣縺ｨ繧ｷ繝ｳ繝励Ν縺ｫ譖ｸ縺代ｋ��
- AI縺ｫ髢｢繧上ｋ莠ｺ縺檎衍縺｣縺ｦ縺翫￥縺ｹ縺坂憺�ｪｬ窶昴�豕募援縲�5驕ｸ
- �ｻ隗｣豎ｺ�￣ython�ｽ蜑ｲ繧顔ｮ励�蝠�→菴吶ｊ繧呈ｱゅａ繧九↓縺ｯ
- 豁｣隕丞喧��Normalization�会ｼ乗ｨ呎ｺ門喧��Standardization�峨→縺ｯ��
- �ｻ隗｣豎ｺ�￣ython�ｽ譁�ｭ怜�縺ｨ謨ｰ蛟､繧貞､画鋤縺吶ｋ縺ｫ縺ｯ��int�叔loat�峻tr�獣in�出ct�宿ex髢｢謨ｰ��
- �ｻPython繧ｯ繧､繧ｺ�ｽ縺薙�繧ｳ繝ｼ繝峨∝ｮ溘�繝｡繝｢繝ｪ繧偵Β繝驕｣縺�＠縺ｦ繧九°繧ゑｼ溘繧ゅ▲縺ｨ繧ｹ繝槭�繝医↓譖ｸ縺代∪縺帙ｓ縺具ｼ�
- �ｻ隗｣豎ｺ�￣ython�ｽ譌･莉倥ｄ譎ょ綾繧炭YMMDDhhmmss縺ｪ縺ｩ縺ｮ蠖｢蠑上↓譖ｸ蠑丞喧縺吶ｋ縺ｫ縺ｯ
- �ｻ隗｣豎ｺ�￣ython�ｽ謨ｰ蛟､繧貞屁謐ｨ莠泌�縺吶ｋ�井ｸｸ繧√ｋ�峨↓縺ｯ��round髢｢謨ｰ�重ecimal.Decimal繧ｯ繝ｩ繧ｹ��
- �ｻ隗｣豎ｺ�￣ython�ｽ隍�焚縺ｮ繝ｪ繧ｹ繝茨ｼ磯�蛻暦ｼ峨ｒ邨仙粋縺吶ｋ縺ｫ縺ｯ��+��+=貍皮ｮ怜ｭ舌‘xtend繝｡繧ｽ繝�ラ縲√い繝ｳ繝代ャ繧ｯ貍皮ｮ怜ｭ撰ｼ�
- �ｻPython繧ｯ繧､繧ｺ�ｽ縲景f len(yourlist) > 0:縲阪ｒ縲√ｂ縺｣縺ｨ繧ｷ繝ｳ繝励Ν縺ｫ譖ｸ縺代ｋ��
- �ｻ隗｣豎ｺ�￣ython�ｽ蜑ｲ繧顔ｮ励�蝠�→菴吶ｊ繧呈ｱゅａ繧九↓縺ｯ
- �ｻ隗｣豎ｺ�￣ython�ｽ譁�ｭ怜�縺ｨ謨ｰ蛟､繧貞､画鋤縺吶ｋ縺ｫ縺ｯ��int�叔loat�峻tr�獣in�出ct�宿ex髢｢謨ｰ��
- �ｻ隗｣豎ｺ�￣ython�ｽ譌･莉倥ｄ譎ょ綾繧炭YMMDDhhmmss縺ｪ縺ｩ縺ｮ蠖｢蠑上↓譖ｸ蠑丞喧縺吶ｋ縺ｫ縺ｯ
- 豁｣隕丞喧��Normalization�会ｼ乗ｨ呎ｺ門喧��Standardization�峨→縺ｯ��
- �ｻPython繧ｯ繧､繧ｺ�ｽ縲畦ist()縲貢s縲啓]縲阪らｩｺ縺ｮ繝ｪ繧ｹ繝医ｒ菴懊ｋ2縺､縺ｮ譁ｹ豕輔↓謖ｯ繧玖�縺��蟾ｮ縺ｯ縺ゅｋ縺ｮ縺九＞��
- Pythonﾃ玲ｭ｣隕剰｡ｨ迴ｾ縺ｧ縲梧ｬｲ縺励＞譁�ｭ怜�縺�縺代阪ｒ謚懊″蜃ｺ縺昴≧�√辟｡譁吶�髮ｻ蟄先嶌邀阪手ｧ｣豎ｺ�￣ython 豁｣隕剰｡ｨ迴ｾ邱ｨ縲�
- �ｻ隗｣豎ｺ�￣ython�ｽpip繧ｳ繝槭Φ繝峨〒繝代ャ繧ｱ繝ｼ繧ｸ繧偵う繝ｳ繧ｹ繝医�繝ｫ�上い繝ｳ繧､繝ｳ繧ｹ繝医�繝ｫ縺吶ｋ縺ｫ縺ｯ
- �ｻ隗｣豎ｺ�￣ython�ｽ謨ｰ蛟､繧貞屁謐ｨ莠泌�縺吶ｋ�井ｸｸ繧√ｋ�峨↓縺ｯ��round髢｢謨ｰ�重ecimal.Decimal繧ｯ繝ｩ繧ｹ��
- �ｻ隗｣豎ｺ�￣ython�ｽ隍�焚縺ｮ繝ｪ繧ｹ繝茨ｼ磯�蛻暦ｼ峨ｒ邨仙粋縺吶ｋ縺ｫ縺ｯ��+��+=貍皮ｮ怜ｭ舌‘xtend繝｡繧ｽ繝�ラ縲√い繝ｳ繝代ャ繧ｯ貍皮ｮ怜ｭ撰ｼ�
注目のテーマ
ITmediaはアイティメディア株式会社の登録商標です。