Claude Code でスキャン文書と音声入力を扱う

添付したファイルは、プロジェクトのフォルダーに3つのものを並べて保管します。元のファイル、そこから取り出したテキスト、そしてファイルが何かを書いたあなたのメモです。メモは、ファイルの下の欄に書くか、ファイルと一緒に送るプロンプトから AigoPilot が取り込みます。エージェントには3つすべてが伝わり、ページの画像や非表示のシートなど、テキストに入っていないものも正確に伝えます。

Chrome の PDF リーダーである PDFium は、右から左へ書く行の順序を誤って返します。ペルシア語の文の途中にある数字が、桁が逆になって出てくるのです。AigoPilot は、各文字の位置から行を組み立て直し、括弧とハーフスペースを元に戻し、2段組みのページは1段ずつ読みます。ペルシア語のサンプル PDF は、一語一語まで正しく取り出せました。

文字の画像でしかないページや、文字をデコードできないページは自動で見つけ、読めたことにはしません。ワンクリックで、あなた自身の Claude サブスクリプションを使ってモデルが読み取ります。以後のファイルについても、あらかじめ「はい」にしておくことができます。モデルが書いたテキストにはその旨のラベルが付き、数字はすべて元のファイルで確認するよう促します。掛かったトークン数も表示されます。

読み取る前に、ページは正しい向きに直されます。実際のテストでは、2枚のスキャンページ（うち1枚は上下逆）を、1文字も間違えずに読み取れました。Tesseract をインストールすれば、スキャンを自分のコンピューターの中で読み取ることもできます。

クリップのアイコンの横にあるマイクを押して、話します。初期設定では、音声はあなたのコンピューター上で whisper.cpp が文字にします。言語は設定したものを使い（初期設定はペルシア語）、カーソルのある場所に入れるだけで、送信はしません。マイクが開くのは録音中だけで、無音や雑音から勝手な文章が作られることもありません。

設定で、自分の OpenAI キーを使う音声認識に切り替えることもできます。その場合は、1分あたりの料金が表示され、送信する前に予算で止まります。ペルシア語の文に混じる英語の技術用語は、まだ苦手です。ペルシア語のプログラミングの文で試したところ、3分の1ほどの単語が間違っていたので、入力された文は確かめてください。同じ音声入力は、テスト中の iPhone アプリにもあります。実際のマイクでの確認は、まだ終わっていません。

AigoPilot は、プロジェクトで使われる名前を、そのプロジェクト自身のファイル（フォルダー名、package.json、Cargo.toml、requirements.txt、git のブランチ）から集め、音声認識エンジンにヒントとして渡します。ペルシア文字で出てきたプロジェクトの用語は、ローマ字に書き戻します。一覧はふつうのテキストファイルなので、自分で編集できます。削除した単語が、また集め直されることはありません。

検索ボックスの横のマイクで、短い依頼を声で伝えられます。名前でプロジェクトを開く、会話の中身からセッションを探す、あなたを待っているセッションを一覧にする、最後の回答を読み上げる、といったことです。できるのは画面上の移動だけです。セッションに書き込んだり、セッションに答えたりすることはありません。 作り終えていますが、実際のマイクでの確認は、まだ終わっていません。

指示を声で伝え、声で確認し、回答の要約を聞きます。権限の承認は、先に読み上げられた内容に対して、声で「はい」と答えたときだけ通ります。

スキルは、インストール前と更新のたびにセキュリティを確認し、まず単独でテストします。あなたが承認すると、Claude Code と Codex の両方にインストールされます。

セッションが何かをうまくやり遂げたら、そのやり方を書き残せます。セキュリティチェックとテストを通ったものは、どのプロジェクトでも使えるスキルになります。

アイデアをひとつの場所にためておき、準備ができたら、その中のひとつを、最初のセッションつきのプロジェクトにできます。

今後のバージョンで対応予定です。