
Chrome 157でHTML-in-Canvasを利用可能に
Chrome 157で、描画領域のCanvas内にHTML要素を表示できる「HTML-in-Canvas API」が正式に利用できるようになりました。テキストの選択やフォーム操作など、ブラウザーが備える機能を維持しながら、2Dや3Dの描画にHTMLを組み込めます。
Canvasは、JavaScriptの命令で線や文字、画像などを描くためのHTML要素です。WebGLやWebGPUを使い、3D画像や独自の視覚効果を描画することもできます。HTML-in-Canvasは、Canvasと通常のHTML要素を組み合わせるためのAPIです。
ChromeとAndroid版Chromeは、いずれもバージョン157から対応しています。HTMLの標準仕様であるWHATWG HTML Living Standardへの追加も提案され、審議が続いています。
文字選択やフォーム操作を描画領域に組み込む
従来のCanvasで文字を直接ピクセルとして描いた場合、ブラウザーの文字検索やコピー、翻訳などをそのまま利用することはできませんでした。スクリーンリーダーなどの支援技術に内容を伝えるには、別途HTMLを用意して描画内容と同期する必要がありました。HTML-in-Canvasでは、描画したHTMLの内容がアクセシビリティツリーに公開され、スクリーンリーダーが利用できます。
描画されたテキストは選択やコピーが可能です。フォームの入力欄やブラウザーの自動入力も利用できます。複数行のテキスト配置やCSSによる装飾にも対応します。
従来は、Canvasの上に通常のHTMLを重ねる方法もありました。ただし、この方法ではHTMLがCanvas全体の上に重なるため、3D空間の物体の背後に配置したり、鏡に映り込ませたりするには複雑な対処が必要でした。HTML-in-Canvasでは、HTML要素を3Dシーンの中に組み込めます。
描画位置と入力操作を同期する仕組み
利用時には、Canvas要素にcontent="drawable"を指定し、その中に描画対象のHTMLを置きます。対象の要素にはdrawable属性を付けます。2D描画では、drawElementImage()というメソッドで要素をCanvasに描画します。
ブラウザーは、表示された要素の位置と大きさを使って、クリックなどの入力を届ける先を決めます。この位置情報は、支援技術に要素の範囲を伝えるためにも使われます。2D描画では、通常はブラウザーが描画位置と入力判定、支援技術向けの範囲を自動的に同期します。
一方、WebGLやWebGPUを使う3D描画では、開発者が変換情報をupdateElementGeometry()に渡し、表示位置とHTML要素を対応させます。この同期は、3D空間で要素が移動したときの操作位置に関わります。スクリーンリーダーやクリック対象を適切に機能させるには、画面上の範囲を正しく扱う必要があります。
仮想の本や3Dオブジェクトへの応用
HTMLの操作部品を3Dオブジェクトの表面に配置する例があります。仮想の本では、ページをめくりながら本文の文字をコピーできます。動画とその操作部品を、通常とは異なる形のCanvasに組み込む例もあります。
2Dや3Dの描画にHTMLを組み合わせる用途には、ゲーム内の操作画面や編集ツールなどがあります。HTMLの文字組みと視覚効果を組み合わせたCanvasの内容は、画像や動画ストリームとして出力できます。ブラウザーの翻訳やページ内検索を、3D空間に表示したテキストに使うことも可能です。
3D描画ライブラリーのThree.jsには、HTMLをテクスチャーとして扱う実験的な対応があります。ゲームやグラフィックス向けのBabylon.jsも、HTMLテクスチャー用の機能を備えています。2D描画ライブラリーのPixiJSは、バージョン8.19.0で対応を追加しました。
ブラウザー対応と実装上の課題
Chrome以外の主要ブラウザーでは、まだ対応が広がっていません。非対応の環境では、APIを利用できるかを判定したうえで、別の画面表示やHTMLを重ねる方法などに切り替えられます。対応ライブラリーを利用する方法もあります。
実装上の課題として、CSSが期待した場所に描画されない場合があります。画面の更新を扱うフレームワークとのタイミングにも改善の余地があります。
異なるオリジンにある機密データをCanvasへ不適切にコピーする問題には対処されています。ただし、APIがコピーを拒否した際に、そのことを通知しない場合があります。この挙動については、不具合報告が寄せられています。











