ページへ戻る
+ Links
印刷
自然言語解析/頻度解析用の異表記辞書を作る
の編集 ::
NJF Wiki
xpwiki
:
自然言語解析
/
頻度解析用の異表記辞書を作る
の編集
# s98f6a4c の編集
ページ内容:
*頻度解析用の異表記辞書を作る方針 [#s98f6a4c] 頻度解析用の異表記辞書を作るには、どの語とどの語を完全に同一と見なせるかを調べなければなりません。例えば「ヤキトリ」を検索すると、 焼鳥 ヤキトリ ヤキトリ 名詞-一般 焼鳥/ヤキトリ/やきとり/焼き鳥/焼きとり ヤキトリ ヤキトリ ヤキトリ 名詞-一般 ヤキトリ/焼鳥/やきとり/焼き鳥/焼きとり やきとり ヤキトリ ヤキトリ 名詞-一般 やきとり/焼鳥/ヤキトリ/焼き鳥/焼きとり 焼き鳥 ヤキトリ ヤキトリ 名詞-一般 焼き鳥/焼鳥/ヤキトリ/やきとり/焼きとり 焼きとり ヤキトリ ヤキトリ 名詞-一般 焼きとり/焼鳥/ヤキトリ/やきとり/焼き鳥 となっています。この場合、全ての語は入れ替え可能なので簡単です。 次に「カリ」という名詞を探してみます。 猟 カリ カリ 名詞-一般 猟/カリ 狩 カリ カリ 名詞-一般 狩/狩り/カリ 雁 カリ カリ 名詞-一般 雁/カリ 狩り カリ カリ 名詞-一般 狩り/狩/カリ 苅 カリ カリ 名詞-一般 苅/カリ カリ カリ カリ 名詞-一般 カリ/猟/狩/雁/狩り/苅/加里/仮り/刈/仮/鴈/借り 加里 カリ カリ 名詞-一般 加里/カリ 仮り カリ カリ 名詞-一般 仮り/カリ/仮 刈 カリ カリ 名詞-一般 刈/カリ 仮 カリ カリ 名詞-一般 仮/カリ/仮り 鴈 カリ カリ 名詞-一般 鴈/カリ 借り カリ カリ 名詞-一般 借り/カリ このうち「狩り」と「狩」、「借り」と「借」は入れ替え可能です。「カリ」は全ての語と入れ替え可能ですが、どの語に入れ替えるか不明であったり、またはもとがどの語かわからなくなってしまうので頻度解析でその入れ替えは使えません。 このことから、頻度解析で同一と見なせる語は最後のフィールド、「同語と判断された「見出し語」のリスト」が順番を除いて同一であることが必要とわかります。また品詞や活用も同一であることも必要です。
編集の要約:
Q & A 認証:
ページ更新時は次の質問にお答えください。(プレビュー時は必要ありません)
Q:
「名古屋」の読みがな?(ひらがなで)
A:
お名前:
タイムスタンプを変更しない
テキスト整形のルールを表示する