Mac向けのオープンソースアプリ「DigUp」は、ファイル名ではなく内容を言葉で説明して、写真や文書、動画、音声を横断検索できます。Google DeepMindの埋め込みモデル「EmbeddingGemma 2」を端末内で動かし、異なる種類のファイルも検索対象にします。10月14日にはWindowsとLinux向けのベータ版も公開されました。
ファイル名ではなく内容から検索
DigUpでは、たとえば動画にシマウマが映る場面や、ポッドキャストで睡眠について話す箇所を文章で探せます。検索結果から該当する場面や音声の位置を開けます。
写真は「海辺にいる犬」、PDFは「賃貸契約書のペットに関する条項」のように説明して検索できます。文書や画像のほか、音声や動画も同じ検索パネルから探せるため、形式をまたいだ検索に対応します。
意味の近さを使った検索に加え、ファイル名や文書内の文字列が一致する検索も組み合わせています。コード検索は初期状態では無効です。対象フォルダーを選んで有効にすると、「code:」に続けて処理内容を入力し、該当する関数を探せます。
検索結果を該当箇所で開く
動画や録音は、検索結果から該当する場面や時間に移動できます。PDFでは該当ページを探せるため、長いファイルから目的の箇所を見つけられます。
コード検索の結果はエディターで開けます。ファイル名や関数名が分からなくても、コードが担う処理を言葉で表して検索する使い方ができます。
日本語を含む100以上の言語で意味検索を利用でき、検索語とファイルの言語が異なる場合も検索できます。一方、日本語など空白で単語を区切らない言語では、文字列一致検索で文章を単語ごとに分割しません。
4種類のデータを共通の表現に
EmbeddingGemma 2は、テキスト、画像、音声、動画を共通のベクトル空間に変換する740Mパラメーターのモデルです。DigUpはこの仕組みを使い、文章で入力した検索語と、画像や音声など異なる形式の内容との近さを比べます。
Googleのモデルカードでは、EmbeddingGemma 2の多言語テキスト評価スコアは61.36で、初代の61.15を上回っています。コード評価ではEmbeddingGemma 2が78.68、初代が68.76でした。
同モデルは、初代に対しコード関連タスクで約14％の改善をうたっています。コード検索を備えるDigUpでは、処理内容を手がかりに関数を探す機能に関係する改善です。モデルはApache 2.0、DigUpはMITライセンスで公開されています。
ローカル処理と対応環境
DigUpは選択したフォルダーを読み込み、検索用の索引を作成します。開発元は、索引対象のファイルを外部に送信せず、通信は初回のモデル取得と更新確認に限ると説明しています。更新確認は無効にでき、アカウント登録も不要です。
Mac版の動作要件はApple Silicon搭載MacとmacOS 14以降です。初回起動時に865MBのモデルを取得し、利用者が選んだフォルダーの索引を作成します。
10月14日公開のWindows・Linux版はベータで、Windows 10または11と、Linuxの対応環境向けに提供されています。同日のリリース時点でMac版は0.6.1、Windows・Linux版は0.7.0-beta.1です。
{% social-embed x https://x.com/ARahim/status/2108649742217679257 %}
