[文章生成]PyTorchのRNNクラスを使って文章生成を行う準備をしよう作って試そう! ディープラーニング工作室(2/2 ページ)

» 2021年03月19日 05時00分 公開
[かわさきしんじDeep Insider編集部]
前のページへ 1|2       

形態素のベクトル化

 既に述べましたが、上で作成したインデックス列はさらにベクトル化する必要があります。ベクトル化とは、特定の単語(あるいは形態素)のインデックスをn次元の実数ベクトルで表現することです。「n次元の実数空間に単語を埋め込む」ということからこれを「埋め込み」「embedding」などと表現することもあります。

 形態素をベクトル化することには、単語間の結び付きをベクトルで表現できることや、語彙数(辞書の要素数)が膨大な量になった場合でも指定した次元数のベクトルとして表現できることから計算量を削減できるといったメリットがあります。こうした情報やベクトル化の方法などについては「挑戦! word2vecで自然言語処理(Keras+TensorFlow使用)」などを参照してください。

前のページへ 1|2       

Copyright© Digital Advantage Corp. All Rights Reserved.

スポンサーからのお知らせPR

注目のテーマ

AI for エンジニアリング
「サプライチェーン攻撃」対策
1P情シスのための脆弱性管理/対策の現実解
OSSのサプライチェーン管理、取るべきアクションとは
Microsoft & Windows最前線2024
システム開発ノウハウ 【発注ナビ】PR
あなたにおすすめの記事PR

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。