ページへ戻る
− Links
印刷
自然言語解析/CaboChaをpythonで使う
の編集 ::
NJF Wiki
xpwiki
:
自然言語解析
/
CaboChaをpythonで使う
の編集
# o6e77da9 の編集
ページ内容:
*CaboChaとは [#o6e77da9] CaboChaはどの単語がどの単語を修飾しているかなど、日本語の係り受け関係を解析するツール。 詳細は公式ページ[[https://taku910.github.io/cabocha/:https://taku910.github.io/cabocha/]]を参照のこと。 例えば echo "これは私のもっている赤いペンです"|cabocha とすると、 これは-----D 私の-D | もっている-D 赤いペンです EOS とツリー出力されます。これはわかりやすいようで曖昧な感じの表現です。より厳密な表示をさせるため「-f1」オプションをつけて実行しなおすと以下のようになります。 echo "これは私のもっている赤いペンです"|cabocha -f1 * 0 3D 0/1 -2.060711 これ 名詞,代名詞,一般,*,*,*,これ,コレ,コレ は 助詞,係助詞,*,*,*,*,は,ハ,ワ * 1 2D 0/1 2.120296 私 名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ の 助詞,格助詞,一般,*,*,*,の,ノ,ノ * 2 3D 0/2 -2.060711 もっ 動詞,自立,*,*,五段・タ行,連用タ接続,もつ,モッ,モッ て 助詞,接続助詞,*,*,*,*,て,テ,テ いる 動詞,非自立,*,*,一段,基本形,いる,イル,イル * 3 -1D 1/2 0.000000 赤い 名詞,一般,*,*,*,*,赤井,アカイ,アカイ ペン 名詞,一般,*,*,*,*,ペン,ペン,ペン です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス EOS アスタリスクから始まる行がCaboChaの解析結果で、それ以外は形態素解析の結果です。ここではMecabを使っているので、その結果となっています。 一つ目の * 0 3D 0/1 -2.060711 を例にすると、各データの意味は以下の通りです。 -最初の0は文節の通番。文頭なので0 -3Dは数字の部分がその文節がかかっている通番。ここでは通番3の「赤いペンです」にかかっている。かかり先がなければ-1。よって文末は常に-1。Dの意味は資料がなく不明 -0/1の主辞(文節の中心となる単語)と機能語(助詞など)の位置を示している。この例では「私」が主辞で「の」が機能語 -次の小数値はかかりやすさの度合い CaboChaは文を文節、つまり形態素の集まりに分解し解析するので、CaboChaのそれぞれの結果には複数の形態素が含まれます。アスタリスクから始まる行の続きの行がその形態素です。つまりこの通番0の結果には「これ」「は」の二つの形態素が含まれます。 実際によく使うのは最初の通番と二番目のかかり先です。主辞/機能語は公式ページによると廃止も検討されています。かかりやすさの度合いは実際にどの程度精度に関わっているかは調査中だそうです。 よって上の例をまとめると、 -「これは」は「赤いペンです」にかかっている -「私の」は「もっている」にかかっている -「もっている」は「赤いペンです」にかかっている -「赤いペンです」は文末なのでかかり先なし となります。 コマンドライン引数で形態素解析のエンジンにパラメーターを渡すことも可能です。 echo "おいしいチーズケーキをもらった"|cabocha -f1 の結果は * 0 1D 0/0 1.755362 おいしい 形容詞,自立,*,*,形容詞・イ段,基本形,おいしい,オイシイ,オイシイ * 1 2D 1/2 1.755362 チーズ 名詞,一般,*,*,*,*,チーズ,チーズ,チーズ ケーキ 名詞,一般,*,*,*,*,ケーキ,ケーキ,ケーキ を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ * 2 -1D 0/1 0.000000 もらっ 動詞,自立,*,*,五段・ワ行促音便,連用タ接続,もらう,モラッ,モラッ た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ EOS となって「チーズケーキ」が認識されないですが、例えば「 /usr/local/lib/mecab/dic/mecab-ipadic-neologd/」にmecab-ipadic-NEologdの辞書をインストールしておけば、 echo "おいしいチーズケーキをもらった"|cabocha -f1 -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/ という風にmecabの「-d」オプションを使うことで、 * 0 1D 0/0 1.656278 おいしい 形容詞,自立,*,*,形容詞・イ段,基本形,おいしい,オイシイ,オイシイ * 1 2D 0/1 1.656278 チーズケーキ 名詞,固有名詞,一般,*,*,*,チーズケーキ,チーズケーキ,チーズケーキ を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ * 2 -1D 0/1 0.000000 もらっ 動詞,自立,*,*,五段・ワ行促音便,連用タ接続,もらう,モラッ,モラッ た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ EOS と出力されます。 他にもいろいろなコマンドラインオプションがありますが、ここでは使わないので詳細は公式ページを参照してください。
編集の要約:
Q & A 認証:
ページ更新時は次の質問にお答えください。(プレビュー時は必要ありません)
Q:
日本の首都は?(漢字で)
A:
お名前:
タイムスタンプを変更しない
テキスト整形のルールを表示する
[1]
Links list
(This host) = https://njf.jp
(This host)
/cms/modules/xpwiki/?cmd=edit&help=true&page=%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E8%A7%A3%E6%9E%90%2FCaboCha%E3%82%92python%E3%81%A7%E4%BD%BF%E3%81%86