自然言語解析​/頻度解析用の異表記辞書を作る をテンプレートにして作成 :: NJF Wiki

開始行:
*異表記辞書の必要性 Mecabの形態素解析の結果を使い、外食の口コミに対して頻度解... 例えば居酒屋で解析すると、同じメニューでも口コミによって... -焼鳥 -ヤキトリ -やきとり -焼き鳥 -焼きとり どの書き方もそれなりに使われているため、これを一つにまと... 他には魚や動物の名前を漢字、ひらがな、カタカナで書いたり... 異表記については日々新語が生まれていたり、複合的な言葉を... とはいえせめて基本的な単語ぐらいはあらかじめまとめておき... そこでネットで公開されている表記ゆれ辞書「[[たんし:http:/... *「たんし」とは 「たんし」はBSDライセンスで公開されている表記ゆれ辞書です... データはタブ区切りのテキストになっていて、各フィールドの... -見出し語 -読み -発音 -品詞 -活用形 -同語と判断された「見出し語」のリスト 全て「NAIST Japanese Dictionary」を元にしているそうです。 例えば「すばらしい」という語を検索すると以下の項目が見つ... 素晴しい スバラシイ スバラシイ 形容詞-自立 形容詞・イ段... 素晴らしい スバラシイ スバラシイ 形容詞-自立 形容詞・イ... すばらしい スバラシイ スバラシイ 形容詞-自立 形容詞・イ... 活用はいらないような気もしますが、送り仮名などに揺れがあ... 読みと発音は例えば「ええと」は読みは「エエト」ですが、発... 品詞については、例えば「くじら」を検索すると、直観的に予... 鯨 クジラ クジラ 名詞-一般 鯨/クジラ/くじら クジラ クジラ クジラ 名詞-一般 クジラ/鯨/くじら くじら クジラ クジラ 名詞-一般 くじら/鯨/クジラ しかし、穴を開けるという意味の「抉る（くじる）」の未然形... 抉ら クジラ クジラ 動詞-自立 五段・ラ行五段・ラ行-未然形... くじら クジラ クジラ 動詞-自立 五段・ラ行五段・ラ行-未然... このようなこともあるので、品詞も重要です。 データの順番の仕様はわかりませんが、品詞や活用ごとに同じ... *頻度解析用の異表記辞書を作る方針 頻度解析用の異表記辞書を作るには、どの語とどの語を完全に... 焼鳥 ヤキトリ ヤキトリ 名詞-一般 焼鳥/ヤキトリ/やきとり... ヤキトリ ヤキトリ ヤキトリ 名詞-一般 ヤキトリ/焼鳥/やき... やきとり ヤキトリ ヤキトリ 名詞-一般 やきとり/焼鳥/ヤキ... 焼き鳥 ヤキトリ ヤキトリ 名詞-一般 焼き鳥/焼鳥/ヤキトリ... 焼きとり ヤキトリ ヤキトリ 名詞-一般 焼きとり/焼鳥/ヤキ... となっています。この場合、全ての語は入れ替え可能なので簡... 次に「カリ」という名詞を探してみます。 猟 カリ カリ 名詞-一般 猟/カリ 狩 カリ カリ 名詞-一般 狩/狩り/カリ 雁 カリ カリ 名詞-一般 雁/カリ 狩り カリ カリ 名詞-一般 狩り/狩/カリ 苅 カリ カリ 名詞-一般 苅/カリ カリ カリ カリ 名詞-一般 カリ/猟/狩/雁/狩り/苅/加里/仮... 加里 カリ カリ 名詞-一般 加里/カリ 仮り カリ カリ 名詞-一般 仮り/カリ/仮 刈 カリ カリ 名詞-一般 刈/カリ 仮 カリ カリ 名詞-一般 仮/カリ/仮り 鴈 カリ カリ 名詞-一般 鴈/カリ 借り カリ カリ 名詞-一般 借り/カリ このうち「狩り」と「狩」、「借り」と「借」は入れ替え可能... このことから、頻度解析で同一と見なせる語は最後のフィール... *実際に辞書を作る 上記の方針に従って実際に辞書を作るのは簡単で、ファイルを... data = {} キーとして最後のリストをソートして再び結合した物を使いま... key = u'/'.join(sorted(yureList.split(u'/'))) 見出し語をこの辞書オブジェクトに追加していきます。 if key in datas: datas[key].append(midashi) else: datas[key] = [midashi] こうすると同じ見出しのリストを持つ物がまとまるので、発音...

終了行:
*異表記辞書の必要性 Mecabの形態素解析の結果を使い、外食の口コミに対して頻度解... 例えば居酒屋で解析すると、同じメニューでも口コミによって... -焼鳥 -ヤキトリ -やきとり -焼き鳥 -焼きとり どの書き方もそれなりに使われているため、これを一つにまと... 他には魚や動物の名前を漢字、ひらがな、カタカナで書いたり... 異表記については日々新語が生まれていたり、複合的な言葉を... とはいえせめて基本的な単語ぐらいはあらかじめまとめておき... そこでネットで公開されている表記ゆれ辞書「[[たんし:http:/... *「たんし」とは 「たんし」はBSDライセンスで公開されている表記ゆれ辞書です... データはタブ区切りのテキストになっていて、各フィールドの... -見出し語 -読み -発音 -品詞 -活用形 -同語と判断された「見出し語」のリスト 全て「NAIST Japanese Dictionary」を元にしているそうです。 例えば「すばらしい」という語を検索すると以下の項目が見つ... 素晴しい スバラシイ スバラシイ 形容詞-自立 形容詞・イ段... 素晴らしい スバラシイ スバラシイ 形容詞-自立 形容詞・イ... すばらしい スバラシイ スバラシイ 形容詞-自立 形容詞・イ... 活用はいらないような気もしますが、送り仮名などに揺れがあ... 読みと発音は例えば「ええと」は読みは「エエト」ですが、発... 品詞については、例えば「くじら」を検索すると、直観的に予... 鯨 クジラ クジラ 名詞-一般 鯨/クジラ/くじら クジラ クジラ クジラ 名詞-一般 クジラ/鯨/くじら くじら クジラ クジラ 名詞-一般 くじら/鯨/クジラ しかし、穴を開けるという意味の「抉る（くじる）」の未然形... 抉ら クジラ クジラ 動詞-自立 五段・ラ行五段・ラ行-未然形... くじら クジラ クジラ 動詞-自立 五段・ラ行五段・ラ行-未然... このようなこともあるので、品詞も重要です。 データの順番の仕様はわかりませんが、品詞や活用ごとに同じ... *頻度解析用の異表記辞書を作る方針 頻度解析用の異表記辞書を作るには、どの語とどの語を完全に... 焼鳥 ヤキトリ ヤキトリ 名詞-一般 焼鳥/ヤキトリ/やきとり... ヤキトリ ヤキトリ ヤキトリ 名詞-一般 ヤキトリ/焼鳥/やき... やきとり ヤキトリ ヤキトリ 名詞-一般 やきとり/焼鳥/ヤキ... 焼き鳥 ヤキトリ ヤキトリ 名詞-一般 焼き鳥/焼鳥/ヤキトリ... 焼きとり ヤキトリ ヤキトリ 名詞-一般 焼きとり/焼鳥/ヤキ... となっています。この場合、全ての語は入れ替え可能なので簡... 次に「カリ」という名詞を探してみます。 猟 カリ カリ 名詞-一般 猟/カリ 狩 カリ カリ 名詞-一般 狩/狩り/カリ 雁 カリ カリ 名詞-一般 雁/カリ 狩り カリ カリ 名詞-一般 狩り/狩/カリ 苅 カリ カリ 名詞-一般 苅/カリ カリ カリ カリ 名詞-一般 カリ/猟/狩/雁/狩り/苅/加里/仮... 加里 カリ カリ 名詞-一般 加里/カリ 仮り カリ カリ 名詞-一般 仮り/カリ/仮 刈 カリ カリ 名詞-一般 刈/カリ 仮 カリ カリ 名詞-一般 仮/カリ/仮り 鴈 カリ カリ 名詞-一般 鴈/カリ 借り カリ カリ 名詞-一般 借り/カリ このうち「狩り」と「狩」、「借り」と「借」は入れ替え可能... このことから、頻度解析で同一と見なせる語は最後のフィール... *実際に辞書を作る 上記の方針に従って実際に辞書を作るのは簡単で、ファイルを... data = {} キーとして最後のリストをソートして再び結合した物を使いま... key = u'/'.join(sorted(yureList.split(u'/'))) 見出し語をこの辞書オブジェクトに追加していきます。 if key in datas: datas[key].append(midashi) else: datas[key] = [midashi] こうすると同じ見出しのリストを持つ物がまとまるので、発音...

ページ名: