画像

Modality Forcingとは？疎な深度データで学習する画像・深度マップ同時生成手法

単一のDiTモデルで画像と深度マップを同時生成する「Modality Forcing」を解説。疎な実世界深度データで学習し、従来手法比AbsRelエラーを57%削減した仕組みと成果を紹介します。

スタンフォード大が300以上の実験で体系化したテキスト→画像拡散モデルの設計レシピ。公開データのみで訓練した3Bパラメータモデルが5ベンチマーク平均で既存オープンモデルを29.5pt上回る性能を達成しました。

拡散モデルの生成タイムラインをde Boorの等分配原理で自動分割する「複雑性均衡拡散分割（CBS）」を解説します。SiT-XL/2でFIDを35%改善しながら推論コストは変わりません。

ペアデータなしで画像・動画編集モデルを訓練できるフレームワーク「ByG」がICML 2026に採択されました。凍結した基盤モデルのEMAコピーで疑似ターゲットを生成し、循環一貫性と勾配ルーティングで100万ペアの教師あり手法を上回る性能を実証しています。

拡散モデルが低周波から高周波の順に情報を解像する「スペクトルバイアス」に着目し、周波数ごとにノイズを動的配分するColored Noise Sampling（CNS）を解説。追加学習不要でFIDを最大30%改善します。

テンセントHunyuanが提案するGenClawは、LLMがSVG・HTMLコードで「視覚スケッチ」を生成し画像モデルが仕上げを担う3段階パイプラインで、複雑な空間構成とテキスト生成の精度を大幅に高めます。

50種の画像効果LoRAを1つのモデルに統合する「CollectionLoRA」を解説します。ストレージを従来の2%まで削減しながら、ユーザー評価でConsistency 66.2%を達成した新手法です。

マスク領域Transformer（MRT）は、テキスト・画像・レイヤー間の3タスクを統合した20Bパラメータ拡散モデルです。Qwen-Image-Layeredと比較して最大108倍の高速化と90%のメモリ削減を実現し、デザイン向け画像生成・編集の実用性を大幅に高めます。

三角形プリミティブで3Dシーンを再構成するフィードフォワード手法「TriSplat」を解説します。幾何精度40%向上と最大249倍の高速化を実現し、UnityやIsaac Simへの直接インポートにも対応します。

DiTの残差接続が抱える前向き膨張・後向き勾配減衰・ブロック冗長性を解決するDAR（Diffusion-Adaptive Routing）を解説。FIDスコアを9.67から7.56に改善し、学習ステップを8.75分の1に短縮します。

NVIDIAが提案するPiDは、潜在拡散モデルのVAEデコーダをピクセル空間の拡散プロセスに置き換え、512×512の潜在変数から2048×2048の高解像度画像を生成する新手法です。SeedVR2比で5.9倍の速度向上を達成しつつ、視覚品質の改善も示されています。

Microsoftが提案する3.8BパラメータのT2Iモデル「Lens」。GPT-4.1生成の高密度キャプション8億件と計算量換算19.3%という効率的な学習を実現した仕組みを解説します。