hishidaの開発blog

EBシリーズ(EBPocket,EBWin,EBMac,EBStudio),KWIC Finder,xdoc2txt,読書尚友の開発者ブログ

2015-02-01から1ヶ月間の記事一覧

全文検索インデックス進捗(2)

EBWin4に全文検索インデックスを追加する件、順調に進んでおり、広辞苑第六版の本文の検索が一瞬でできるようになった! 広辞苑第六版のHONMON2のサイズ154MBに対して、インデックスのサイズは574MBになった。広辞苑のHONMON2はもともとEPWING V4圧縮されて…

全文検索インデックス進捗

EBWin4に全文検索インデックスをつける件、ゆっくり進んでいます。 まずHONMONの本文を順に走査してN-gramを作成するところまでは終了。 N-gramの保存は、当初はstd::multimapを使用することを考えたが、メモリにmapを常駐させると、wikipediaクラスの巨大辞…

次なるお題は全文検索インデックス

ユーザー辞書はまだマニュアルが未整備だったり、活用情報が少なかったりするが、いったん一区切りとし、次の課題に進みたい。 これも以前から要望があって手が付いていなかった全文検索インデックスをつけてみたい。現状でも全文検索はできるが、ファイル先…