hishidaの開発blog

EBシリーズ(EBPocket,EBWin,EBMac,EBStudio),KWIC Finder,xdoc2txt,読書尚友の開発者ブログ

EBMac dsl 辞書サポート

昨年からEBシリーズのdsl形式辞書対応を進めているが、MacOS X版のEBMacも1.45.0でdsl対応ができた。

.dslまたは.dsl.dzファイルを辞書に追加すると、自動的にインデックスを作成して検索可能になる。

f:id:hishida:20200126134851p:plain

最近、利用者の方からテスト用のdsl辞書を提供していただき、画像や音声ファイルを.dsl.dz.files.zipというファイル名で圧縮する方法があることがわかった。ABBYY Lingvo の辞書フォーマットの解説にはないので、ひょっとするとGoldenDictの仕様なのかもしれない。普及しているかもしれないので、EBシリーズでも対応することにした。ただし10万件近くのファイルをzipした場合、ページの表示に若干の時間がかかる。

他にいくつか変更点がある。

1. EBMacではこれまで非EPWING系の辞書(PDIC,StarDict,MDict)でブックマークや履歴が登録できないという問題があったが、今回から登録できるようになった。

2. 前回の1.44からSandbox化を行ったが、いろいろと弊害もあるので、1.45では再びSandbox非対応とした。

Sandbox化すると、ファイルダイアログで選択したディレクトリかファイルしかアクセス権がないので、EPWINGの場合CATALOGSを選択しても、同じ階層にある辞書ディレクトリにアクセスができない。CATALOGSの一つ上のディレクトリを選択すると、選択したディレクトリ以下のファイルはアクセス許可があるので、辞書ディレクトリもアクセスできる。これでは操作が難しいので、結局Sandbox化を諦めることにした。

もともとAppStoreに登録するためにSandbox化を行ったが、AppStoreに登録しなくてもAppleからの公証を受ければ配布できることが分かったので、実害はないと思う。

 

あとはEBPocket for iOSdsl対応を行えば一連の作業を終えられる。1~2ヶ月で対応できる予定。

その後は何か新しい課題を考えることになると思う。

EBPocket for Android で dsl 辞書サポート

EBシリーズの dsl 対応が少し進み、EBPocket professional for Android 1.46.0 でアプリ単体でdslのインデクスが作れるようになった。
dsl形式の辞書を追加すると、自動的に拡張子 .dsl.ebd という名前のインデックスを作成する。
ただし、外部SDカードにdsl辞書を置いた場合には書き込みができないので、内部ストレージに辞書を置くか、EBWin4で作ったインデックスをdslと一緒に転送する必要がある。

iOSMac OS Xも、EBWin4で作ったインデックスをdslと一緒に転送すれば使用できるところまではできているが、単独でインデックスを作成できるようになってからリリースしたい。

 

EBWin4.7.4 で .dsl 暫定サポート

ABBYY Lingvoの辞書形式 .dsl .dsl.dzに対応したEBWin4.7.4を、暫定公開しました。

http://ebstudio.info/manual/EBWin4/EBWin4.html

.dslまたは.dsl.dz形式の辞書を追加すると、自動的にインデックスを作成して利用可能になります。

下記のURLで公開されている辞書で検証しています。

github.com

 

dadako.narod.ru

本格的な大規模辞書での検証が行えていないため、当面は暫定公開とします。

他のプラットフォームへの展開はこれからですが、Android 版の EBPocket Professional 1.45.3では、母艦のEBWin4で作成したインデックス( .dsl.ebd )を.dslと一緒に転送すれば、検索が可能です。

 

EBシリーズのdsl対応進捗

前回、EBシリーズでdslフォーマットの対応を検討していることを報告した。
ebstudio.hatenablog.com

その後の進捗だが、フェーズ1(ユーザ辞書へのコンバート)とフェーズ2(dslにインデックスを作成)の両方を同時に進めている。とりあえず、EBWin4とEBPocket for Android ではそれらしく検索および表示できるようになってきた。

.dslと .dsl.dz に対応している。.dsl.dzというのは、dictzipユーティリティで圧縮した形式であり、gzip互換だがランダムアクセスがしやすいように拡張されている。7zipを使うと.dsl.dzを.dslに展開できる。.dsl.dzで辞書を公開しているサイトがあってかなりポピュラーなので、対応することにした。

EBWin4に .dsl または.dsl.dzを追加しようとすると、自動的にインデックスを作成する。母艦で作成したインデックスは、モバイル版に転送して使用できる。

下記URLのサンプルの abandon の項目例と比較してみて欲しい。

Sample Entries in DSL | ABBYY Lingvo

f:id:hishida:20191221185807p:plain

 

下記サイトからGoogle Translate (Eng-Rus) 辞書をダウンロードしたもの。

бумакопанiя

f:id:hishida:20191221185821p:plain

同じ辞書をEBPocket for Androidで表示。

f:id:hishida:20191221185841p:plain

f:id:hishida:20191221185853p:plain

インデックス作成を母艦で行う必要があるのがネックだが、この段階でリリースしたとして、ユーザのみなさんに使っていただけるだろうか。モバイル版でもインデックス作成を行えるようにしようとは考えている。

iOS版とMac版がまだ手つかずだが、フェーズ1,フェーズ2までなら、来年初にはリリースできる予定。

EBシリーズのDSL形式への対応方針について

数年前から進めていた既存アプリのリニューアル(KWIC Finder4、EBStudio2、EBWin4のタブ化等)が一段落し、モバイルアプリのダークモード対応もできたので、次なるお題を考える余裕ができてきた。

以前から要望があるdslフォーマット(ABBYY Lingvoの辞書フォーマット)の検討を再開したいと思う。
dslはテキスト形式の辞書のソースで、dsl compilerによってコンパイルしたバイナリ形式がlsdである。

lingvo.helpmax.net


lsdの構造は非公開だが、lsdからdslに変換するツールがいくつかあるので、リバースエンジニアリングを行えば対応は不可能ではない。だが作業時間は膨大になることが予想される。

github.com


そこで、段階的に対応することを考えた。

フェーズ1 EBWinのユーザ辞書形式に変換する

一番簡単なのは、dslからEBWinのユーザ辞書に変換することである。これでdslのパーサーと、dsl形式の辞書の内容の表示ルーチンができあがる。
変換の手間はあるが、公開されているdslを(モバイルも含めて)EBシリーズで利用することができる、
(作業工数1~2カ月)

フェーズ2 dslに対してインデックスを作成する

次は、dslのソースをそのまま辞書ファイルとして利用し、インデックスだけ作成してEBシリーズで利用することである。モバイルでインデックスをつくると辞書のサイズによっては長考状態になるので、母艦でインデックスを作成してdslと一緒に転送してもよいようにする。
(パーサーとdsl形式の表示ルーチンはフェーズ1で開発済みということになる)
(作業工数1~2カ月)

フェーズ3 lsdのネイティブサポート

最後に、リバースエンジニアリングによってlsdを解析し、直接参照できるようにする。
ただし、膨大な作業時間が予想されるので、フェーズ2までで終わる可能性が高い。あまり過度な期待はいだかないでほしい。
可能性として書いているだけで、着手できるかどうかもわからない。

現在フェーズ1の途中であり、整形していないdslの生データが検索出来ているところまでのスクリーンショットを掲載しておく。あとはテキストを整形して表示できるようにすれば、フェーズ1までは実現することになる。

 

f:id:hishida:20191207143645p:plain

 

EBPocket Pro for iOS iOS13ダークモード対応

EBPocket Pro for iOS のダークモード対応が終了し、無事App Store で公開できた。iOS13のダークモード対応以外の新機能の追加はない。

ダークモード対応を有効にするにはXcode11でビルドする必要があるのだが、Xcode11でビルドしたモジュールがiOS13ではメモリ管理の関連で予期せぬクラッシュが発生し、問題を回避するのに大半の時間を費やした。

結局、検索一致リストにEPWING外字を表示するために使っていた独自クラスをUIWebViewに置き換えることで動作するようになった(オリジナルのソースも間違っているようには見えないので、原因は謎のまま)。

iOS14以降に懸念されることは、deprecated(非推奨)とされているAPIをまだ使っている箇所があって、iOS14以降APIが廃止されると動作しない可能性があることだ。

把握しているのでは、

  • UIPopoverController(iOS9でdeprecated)→UIPopoverPresentationControllerで置き換え
  • UIWebView(iOS12でdeprecated)→WKWebViewで置き換え

がある。今回は無事だったが、iOS14ではそろそろやばいかもしない。iOS14ベータが出た段階でテストする予定。

今回、Macの開発環境をXcode11に統一できたことが成果かもしれない。2020年4月以降は、AppStoreへの提出はXcode11+iOS13 SDKが義務づけられるからだ。

これでAndroid,Mac OS X ,iPhoneでのダークモード対応が終わり、残るはWindows だけになった。Windows 10 ではMay 2019 Updateでダークモードがサポートされたが、アプリケーション側で独自に対応する必要がある不完全なもので、なかなか面倒だ。まだ標準アプリとChromeぐらいしか対応していないと思う。EBWin4のダークモードは実現できるかどうか、今のところわからない。