- 図形を逐次的に認識する「Slow Perception」という手法を提案
- 線や点を段階的に予測することで図形の復元精度を向上
- Slow Perceptionが複雑な図形認識で効果的であることを実験で確認
論文：Slow Perception: Let’s Perceive Geometric Figures Step-by-step
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。
本論文の概要
この論文では、幾何学的図形の逐次的な認識を行うための「Slow Perception」という手法を提案しています。従来の視覚認識モデルは、高速処理を重視する一方で、人間が図形を「ゆっくり見て考える」ような過程を模倣した手法については十分に検討されてきませんでした。本研究の目的は、人間の視覚認識に近い逐次的認識プロセスを用いて、精度と理解性を向上させるモデルを構築することです。
提案手法では、幾何学的図形を線や点の単位に分解し、それらを逐次的に予測・復元していきます。具体的には、VisionEncoderで入力データを処理し、線や点を段階的に予測することで、図形全体を復元する仕組みを採用しています。また、処理の流れやモデル設計が、生成タスクの性能向上を目的としており、従来モデルと比較して幾何学的構造の精度が向上することを示しました。
実験では、GOTやGPT-4などのモデルを用いた評価が行われ、Slow Perception手法が従来手法に対して明確な優位性を持つと結論付けられています。特に、幾何学的構造の復元精度や、部分的な予測能力が高まり、モデルの逐次的な推論が複雑な図形認識において効果的であることが確認されました。その結果、例えば長さの短い線や複雑な形状の図形においても、より自然で正確な予測が可能になりました。
最後に本研究では、この手法が他の視覚認識領域にも応用可能である点を指摘しており、特に複雑な構造を持つデータにおける逐次処理の有用性を強調しています。従来の高速処理モデルとの比較だけでなく、認識プロセスの透明性や理解のしやすさの点でも優れた方式であることが示唆されています。
図表の解説
画像は「Slow Perception」における2つの段階を視覚化しています。最初に「知覚分解」として、複雑な図形を円や線分といった基本的なユニットに分解します。次に「知覚フロー」として、始点から終点を一気に結ぶのではなく、段階的に追跡する方法を採用します。これにより、長い線分を短いジャンプで正確にトレースできるようにしています。
この図は、視線で捉えた点が「ジッター」（揺れ）されているかどうかで異なる結果を示しています。入力図形をベースに、「ジッターなし」の場合は赤、オレンジ、黄色で線が描かれ、「ジッターあり」の場合は緑、シアン、青で描かれています。
これにより、モデルが線をどの順番で辿っていくかが色で示され、ジッターによって精度が変わることを視覚的に示しています。
人間が線をたどるプロセスは、通常ゆっくりとした知覚の過程です。特に長い線を一度に「ジャンプ」して描くのではなく、短いストロークを多数使って慎重に描きます。この図では、視線が線を追いかけ、視覚の流れがなだらかに進む様子を示しています。人間のこの段階的な認識を模倣するために、モデルが緩やかに線を認識するアルゴリズムが設計されています。
この表は、SP-1データセットのバリデーションにおける異なる手法の性能を示しています。「Perceptual ruler」とは、モデルが線分を追跡する際のステップの長さを示すもので、+∞は無限のステップを意味し、4-lengthはステップが短いことを示しています。表は、IoU（Intersection over Union）やF1スコアなどの評価指標を用いて、4-lengthがベースラインよりも優れた性能を示していることを示しています。数字の横の矢印は改善の度合いを示しています。
この表は、異なる「知覚定規」を使った場合のSP-1 検証セットでの結果を示しています。∞（ベースライン）と4-長さの定規が使用され、種々の指標（IoU、F1スコア、精度、再現率など）が評価されています。具体的には、ベースラインに比べて、4-長さの定規を使用することで、F1スコアが最大5.1ポイント向上することが示されています。この表は、徐々に詳細を把握する「スロー知覚法」がパフォーマンスを安定的に改善することを示しています。
図4は、レンダーデータの線の分類を示しています。左の図は線の長さの分布で、多くが2から10の間に集中しています。一方、右の図は線の角度の分布を示し、幾何学形状を構成する際の基本的な角度区分がわかります。これらの情報は、モデルが幾何学構造を理解し、正確に描くのに役立ちます。特に、詳細に線を追う新しいアルゴリズムの設定において、これらの分布は重要な指標となります。
図6は、知覚者のルーラーの長さが短くなると、ほとんどの指標で性能が向上することを示しています。知覚者のルーラーが短くなるほど、ある線をモデル化するために必要な「ストローク」が増え、モデルはより多くの中間的な「注視」点を出力します。これにより、推論時の計算複雑性が増し、推論時間が長くなります。これは、人間の知覚と同様に、ゆっくりとした知覚の方法が効果的であることを示しています。
表3は、異なるLVLM（Large Vision-Language Models）での「スローパーセプション」の効果を示しています。この実験では、Qwen2-VLとVary-toyモデルのエンコーダーを固定し、SP-1テストセットでテストしました。表の「Ruler（定規）」は知覚の尺度を示し、「+∞」はスローパーセプションを使用しないベースラインを示します。結果として、スローパーセプションを使用することで、F1スコア（精度と再現率のバランス）が向上しています。これは、モデルがより細かくジオメトリを認識する能力を高めたことを示しています。