「吾輩は猫である」のテキストを分析してみる (1) 「吾輩は猫である」のテキストを分析してみる (2) 前回までで、「吾輩は猫である」を形態素分析にかけたセル配列が手に入りました。今回は、単語の出現頻度を調べてみようと思います。前回のコードで、 in =…

前回のneko.txtをMeCabの分析にかけていきます。コードはこちら。neko.txtの全文をいきなり投入すると時間がかかるので、ここでは最初の100文字だけにしています。 % 「吾輩は猫である」のテキストを読込 fileID = fopen('neko.txt'); txt = fread(fileID,'*…

青空文庫から夏目漱石の「吾輩は猫である」の全文をダウンロードして遊んでみます。テキストファイルをダウンロードして開いてみると下のようになっていました。ヘッダと (上の画像では見えていませんが) フッタと、本文中にたくさんルビなどの注釈がついて…

著作権の消滅した書籍などを自由に読める「青空文庫」というサイトがあります。この記事を書いている時点で13,752の作品が登録されているそうで、誰もが知っているような文豪の作品がたくさんあります。いろんな作品を無料で読めるという点もすごいですが、…

形態素分析エンジンMeCabをMatlabから使ってテキストをササッと解析できるようにしたい！、ということでやってみました。ちょっと手間だったので書き残しておきます。下のページにまさにこれを実現するためのツールがあるのですが、「現在配布されている MeC…

テキストデータ (文章) をパソコンで分析する場合、英語だと単語同士のあいだにスペースがあるので、どれが単語か見分けるのは簡単です。でも日本語の場合はスペースがないので、そう簡単にはいきません。テキストデータを、言語的に意味を持つ最小の単位に…

Matlabでウェブページを読み込んで情報を自動抽出できたりしたら楽しそう！、ということで少しずつやってみます。ウェブページのソースを読み込むのはめちゃくちゃ簡単で、webreadという関数で1行でできます。ためしに東京都の公式ページを読みこんでみます…

Matlabは簡単で高機能なプログラミング言語ですが、なにぶん高価なのが玉に瑕。ただし、個人が趣味などに使う用途で、商用や研究用途でなければ、下のページからMatlab Homeという安価なライセンスを購入できます。Matlab本体が¥14,900、ツールボックスがひ…