紙ノート卒業計画 その2 PCのスクショ貼り付け+OCRをしてみる

iPad導入してから大分経過してきたので追加報告をば。

紙と違い電子化したときのメリットの1つが、画像に対しての書き込みがあります。
書き込みではなくPCにタイピングでメモを取っていると、どうしても
画像とかに直接書き込みたい!!!と思う事があります。
紙に書いているときも、さくっと画像はりつけて書き込みたい!!!ということがあります。
電子化した場合はその辺をうまくカバーしてくれるという素晴らしいメリットがあります。

まず、スクリーンキャプチャには SnapCrab というフリーソフトを使用します。

いちいち保存したりしないでも、範囲切り出しでのスクショとか全体スクショをとれるので
手間を一つ減らすことが出来ます。
このツールのスクショ保存場所を、DropBoxの同期フォルダにしておき、

NoteAlwaysにてクラウド上から画像を選択して貼り付けを選びます。
そうすると、PCでスクショを取ってから貼り付けまで、ほとんどクラウドにアップするラグを感じることなく転送することができます。
転送の早さに驚き(汁

こんな感じでスクショの上にペンで書き込みも出来ます。
スクショ保存とDropBoxアップは手間0なので、iPad上で画像選択するだけで終わるのが超楽です。
デジタル化最高。

この画像をDropBoxに保存してBoostNote送りにするのは以前書いたのですが、
これだけだと検索するのも面倒なのでOCRでもかけてみるかなと
GooglePlatformをテストしてみました。

PythonでOCRをするには、tesseractというフリーソフトもあったのですが
英語・日本語ともに手書きの場合は大惨事になって使い物にならなかったので
多少精度の高いGooglePlatformにしてみました。

OCRに使うのは VersionAPI とよばれるもので、月1000回までなら無料で使えます。
流石にそんなにOCRしないので個人で使う分にはOKですね。

まずはOCR側のコード

あらかじめGoogleCloudプラットフォームのアクセストークンを取得しておいて、

リクエストを作成して、レスポンスを取得します。
OCRを使いたい場合は、DOCUMENT_TEXT_DETECTION または TEXT_DETECTIONを使用すればOKなのですが、
TEXT_DETECTIONだと、日本語もいけるけどブロックごとのOCR判定っぽくて全体を取得することが出来ず、DOCUMENTのほうだと全体を読み取ることはできるものの、日本語がNGでした。

とはいえ、私の用途だとBoostNoteで検索Hitさせるためのタグ的な事が出来ればOKだったので
DOCUMENT_TEXT_DETECTIONを使用しています。

DropBoxのスクリプトは

前回の状態からいろいろ調整。
DropBoxのデータを取得したら、OCRをかけて、結果を本分下に追加するようにしてみました。

日本語部分はぶっ壊れていますが、検索用に書いておいた単語は認識されてますね。
丁寧に書けば、アルファベットはぼちぼち認識できるようなので、ノートの上あたりとかにこんな感じでタグとして書いておいてあげれば、ノートの検索を容易にできるのかなぁと思います。
あくまでサポート(汗

あとは、BoostNoteの保存先をDropBoxないしはOneDriveにしておけばどの端末でもノートを確認出来るようになるので、紙のノート以上の利便性になったんじゃなかとおもいます。
はい。

真面目にやるなら、タスクトレイに常駐する単独アプリにして、DropBoxのフォルダを監視して
新しくファイルできたら上記の処理を自動実行するぐらいしても良いのかもしれませんが
まぁ数はすくないし、都度Pythonファイルを実行すればいいかな?

あとは、PDFをJPEGにして1つのノートにまとめて画像を張り付けとかしたかったのですが
PDFtoJPEGをPythonでやるのに地味に苦戦してます。
いいモジュールかコマンドラインツールはないですかね(´・ω・`)

おまけ。

ApplePenのグリップをプニュグリップという鉛筆用のグリップ(4個で150円ほど)にしてみました。
プニプニで滑りにくく、重心もペンよりになるので超持ちやすいです。

慣れると万年筆以上に力を入れずに書けるので、手の負担が大分減ります。素晴らしい。

コメントを残す

メールアドレスが公開されることはありません。

*