- ＠IT
- AI IoT
- Deep Insider
- 密ベクトル（Dense Vector）とは？ 疎ベクトル（S...
密ベクトル（Dense Vector）とは？ 疎ベクトル（Sparse Vector）との違い：AI・機械学習の用語辞典
全てまたはほとんどの成分が0以外の数値を持つベクトルを「密ベクトル」と呼び、その代表例にはテキストなどのEmbedding（埋め込み表現）がある。また、大部分の成分が0で、一部のみが0以外の数値を持つベクトルを「疎ベクトル」と呼び、その代表例にはテキスト文書のtf-idf値がある。
用語解説
AI／データサイエンス／機械学習／自然言語処理の分野では、テキストや画像、ユーザー評価などのさまざまなデータを数値ベクトルで表現することがある。数値ベクトルとは、例えば[0.47, 0.10, 0.26, 0.89, －0.71, ...]や[0, 0, 1, 0, 0, ...]のように実数値が並べられた配列のことだ。
この表現方法には、主に「密（みつ）ベクトル」と「疎（そ）ベクトル」の2つの形式がある（図1）。本稿では、それぞれの特徴と違いについて解説する。
密ベクトル
密なベクトル（Dense Vector）とは、全てまたはほとんどの要素（＝成分）が0以外の実数値を持つ数値ベクトルを指す。例えば[0.47, 0.10, 0.26, 0.89, －0.71, ...]は密ベクトルである。自然言語処理の埋め込み表現（Embedding）も密ベクトルの一例だ。
以下に特徴と用例を箇条書きで示す。
特徴
- 全ての要素を用いて情報を密に表現するため、数値計算やモデルの訓練において一般的に効率的である
- 意味的な類似性を基にした検索においては、密ベクトルを使ったベクトル検索（Vector Search、セマンティック検索の一種）の方が、一般的に疎ベクトルよりも高精度になる
- 微妙なニュアンスや複雑なパターンを捉えられるので、特に自然言語や画像データの分析に有効
用例
- 単語やテキスト、画像、音声などの埋め込み表現
- 画像データのピクセル値
- センサーデータや時系列データの特徴ベクトル： 例えば心拍数モニターデータを特定の時間窓ごとに平均化して要約した密ベクトルで表現し、時系列分析を行うなど
- ユーザープロファイルや行動データ： 例えばユーザーの好みや行動を密ベクトルで表現し、パーソナライズされた推薦を生成するなど
疎ベクトル
疎なベクトル（Sparse Vector）とは、大部分の要素（＝成分）が0であり、少数の要素のみが0以外の実数値を持つ数値ベクトルを指す。例えば[0, 0, 1, 0, 0, ...]は疎ベクトルである。テキスト文書のtf-idf値やBM25スコア（後日解説予定）などが疎ベクトルの一例だ。
以下に特徴と用例を箇条書きで示す。
特徴
- ほとんどの要素が0であるため情報を効率的に圧縮／スキップできる。これによって、一般的に密ベクトルよりもメモリ使用量とストレージの消費を削減できる
- つまりメモリ効率が良く計算コストも低いので、大量の文書を扱う場合に有利
- 疎ベクトル（tf-idf／BM25など）を使ったキーワード検索（Keyword Search）*1の方が、一般的に密ベクトルよりも高速になる
*1 現在（2024年2月執筆時点）では、「ベクトル検索」と言えば、一般的に密ベクトルである埋め込み表現を使った検索を指す。疎ベクトルも数値ベクトルなので、疎ベクトルを使った検索は「ベクトル検索」とも呼べるが、ここでは「基本的に従来のキーワード検索と同等の仕組み」という意味で「キーワード検索」の一種として表記した。
用例
- 単語やテキストなどの特徴表現： 例えば文書内の単語の出現頻度や重要度を示すtf-idf値など
- 類似文書の検索や、文書のキーワード検索、大規模なデータセットに対する情報検索
- ユーザー評価： 例えば多数の商品に対する各ユーザーの評価を疎ベクトルで表現し、推薦システムに利用するなど
- ソーシャルネットワークのユーザー関係： 例えばユーザー間のフォロー関係やインタラクションを疎ベクトルで表現し、コミュニティ分析に利用するなど
Copyright© Digital Advantage Corp. All Rights Reserved.
Deep Insider 鬯ｯ�ｮ�ｽ�ｫ�ｽ�ｽ�ｽ�ｪ鬮ｯ蛹ｺ�ｻ繧托ｽｽ�ｿ�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｺ鬮｣蛹�ｽｽ�ｵ髫ｴ竏ｵ�ｺ�ｷ�ｽ�ｸ�ｽ�ｷ�ｽ�ｽ�ｽ�ｹ髫ｴ雜｣�ｽ�｢�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｳ鬯ｩ蟷｢�ｽ�｢�ｽ�ｽ�ｽ�ｧ�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｭ鬯ｩ蟷｢�ｽ�｢髫ｴ雜｣�ｽ�｢�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｳ鬯ｩ蟷｢�ｽ�｢�ｽ�ｽ�ｽ�ｧ�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｽ�ｰ
- Python縺ｮ繝輔ぃ繧､繝ｫ謫堺ｽ懊∪縺ｨ繧�ｼ壹ｈ縺丈ｽｿ縺�open�舜ith�襲ath�術ickle縺ｪ縺ｩ繧剃ｸ蜀翫↓�√辟｡譁吶�髮ｻ蟄先嶌邀阪手ｧ｣豎ｺ�￣ython 繝輔ぃ繧､繝ｫ謫堺ｽ懃ｷｨ縲�
- 蛻晏ｿ��髄縺代√ョ繝ｼ繧ｿ蛻�梵繝ｻAI繝ｻ讖滓｢ｰ蟄ｦ鄙偵�蜍牙ｼｷ譁ｹ豕輔Deep Insider縺ｧ蟄ｦ縺ｼ縺�
- �ｻ隗｣豎ｺ�￣ython�ｽpip繧ｳ繝槭Φ繝峨〒繝代ャ繧ｱ繝ｼ繧ｸ繧偵う繝ｳ繧ｹ繝医�繝ｫ�上い繝ｳ繧､繝ｳ繧ｹ繝医�繝ｫ縺吶ｋ縺ｫ縺ｯ
- �ｻPython蜈･髢�ｽHello Python�壻ｸ逡ｪ邁｡蜊倥↑繝励Ο繧ｰ繝ｩ繝�繧剃ｽ懊▲縺ｦ縺ｿ繧医≧
- �ｻ隧穂ｾ｡謖�ｨ呻ｼｽF蛟､��F-measure縲：-score�会ｼ洲1繧ｹ繧ｳ繧｢��F1-score�峨→縺ｯ��
- �ｻ隗｣豎ｺ�￣ython�ｽ譁�ｭ怜�縺ｨ謨ｰ蛟､繧貞､画鋤縺吶ｋ縺ｫ縺ｯ��int�叔loat�峻tr�獣in�出ct�宿ex髢｢謨ｰ��
- �ｻ謳榊､ｱ髢｢謨ｰ�剰ｩ穂ｾ｡髢｢謨ｰ�ｽ蟷ｳ蝮�ｵｶ蟇ｾ隱､蟾ｮ��MAE�哺ean Absolute Error�会ｼ臭1謳榊､ｱ��L1 Loss�峨→縺ｯ��
- �ｻ隗｣豎ｺ�￣ython�ｽ繝ｪ繧ｹ繝茨ｼ磯�蛻暦ｼ峨�隕∫ｴ�繧呈枚蟄怜�縺ｮjoin繝｡繧ｽ繝�ラ縺ｧ邨仙粋縺吶ｋ縺ｫ縺ｯ
- �ｻ隗｣豎ｺ�￣ython�ｽ譚｡莉ｶ蠑擾ｼ井ｸ蛾��ｼ皮ｮ怜ｭ撰ｼ峨ｒ菴ｿ縺｣縺ｦif譁�ｒ1陦後〒譖ｸ縺上↓縺ｯ
- 隱ｿ蜥悟ｹｳ蝮�→縺ｯ�溘邂苓｡灘ｹｳ蝮�→縺ｮ驕輔＞縲∽ｽｿ縺��縺�
- �ｻPython繧ｯ繧､繧ｺ�ｽif譁�↓譚｡莉ｶ蛻�ｲ舌′縺溘￥縺輔ｓ縺ゅｋ�溘縺昴ｌ縺ｪ繧峨い繝ｬ縺ｮ蜃ｺ逡ｪ縺ｧ縺吶ｈ縺ｭ��
- �ｻ隗｣豎ｺ�￣ython�ｽ蜑ｲ繧顔ｮ励�蝠�→菴吶ｊ繧呈ｱゅａ繧九↓縺ｯ
- �ｻ隗｣豎ｺ�￣ython�ｽ譌･莉倥ｄ譎ょ綾繧炭YMMDDhhmmss縺ｪ縺ｩ縺ｮ蠖｢蠑上↓譖ｸ蠑丞喧縺吶ｋ縺ｫ縺ｯ
- �ｻ隗｣豎ｺ�￣ython�ｽ譁�ｭ怜�縺ｨ謨ｰ蛟､繧貞､画鋤縺吶ｋ縺ｫ縺ｯ��int�叔loat�峻tr�獣in�出ct�宿ex髢｢謨ｰ��
- 繧ｪ繝�き繝�縺ｮ蜑���医°縺ｿ縺昴ｊ縲＾ccam's Razor�峨→縺ｯ��
- �ｻ隗｣豎ｺ�￣ython�ｽpip繧ｳ繝槭Φ繝峨〒繝代ャ繧ｱ繝ｼ繧ｸ繧偵う繝ｳ繧ｹ繝医�繝ｫ�上い繝ｳ繧､繝ｳ繧ｹ繝医�繝ｫ縺吶ｋ縺ｫ縺ｯ
- 豁｣隕丞喧��Normalization�会ｼ乗ｨ呎ｺ門喧��Standardization�峨→縺ｯ��
- �ｻ隗｣豎ｺ�￣ython�ｽ隍�焚縺ｮ繝ｪ繧ｹ繝茨ｼ磯�蛻暦ｼ峨ｒ邨仙粋縺吶ｋ縺ｫ縺ｯ��+��+=貍皮ｮ怜ｭ舌‘xtend繝｡繧ｽ繝�ラ縲√い繝ｳ繝代ャ繧ｯ貍皮ｮ怜ｭ撰ｼ�
- �ｻ隗｣豎ｺ�￣ython�ｽ謨ｰ蛟､繧貞屁謐ｨ莠泌�縺吶ｋ�井ｸｸ繧√ｋ�峨↓縺ｯ��round髢｢謨ｰ�重ecimal.Decimal繧ｯ繝ｩ繧ｹ��
- �ｻ隗｣豎ｺ�￣ython�ｽ譚｡莉ｶ蠑擾ｼ井ｸ蛾��ｼ皮ｮ怜ｭ撰ｼ峨ｒ菴ｿ縺｣縺ｦif譁�ｒ1陦後〒譖ｸ縺上↓縺ｯ
注目のテーマ
ITmediaはアイティメディア株式会社の登録商標です。