クーガー、CVPR 2024のMIPIチャレンジ「HybridEVSカメラ画像再構成処理」で世界7位にランクイン

2024年7月23日 2024年7月23日

クーガー株式会社（本社: 東京都渋谷区、代表取締役CEO: 石井敦、以下「クーガー」）は、コンピュータビジョンのトップ国際会議であるCVPR 2024にて、今年の1月から開催されたMIPIチャレンジの画像再構成（デモザイク）処理において、7位に入賞したことをお知らせします。

近年、モバイル端末でのイメージング性能向上への需要が高まる中、高速・低遅延・低消費電力でありながら高品質な画像取得を可能にするHybridEVSカメラが注目を集めています。一方で、HybridEVSカメラのオリジナルデータには、問題のあるピクセルや欠陥ピクセルが含まれるため、高品質な画像再構成（デモザイク）が困難であるという課題がありました。

今回のMIPIチャレンジでは、HybridEVSカメラのデモザイクをテーマとし、世界中から110人の研究者とエンジニアが参加しました。クーガーのAIチームは、マルチステージ融合アーキテクチャとピクセル単位のアテンションメカニズムを活用した独自の手法を提案し、7位入賞を果たしました。

クーガーAIチームが提案した手法には以下の特徴があります。

入力画像を段階的に処理・融合するアーキテクチャ：複数の段階を経て入力画像を処理し、各ステージで異なる種類の処理や最適化を行うことで、最終的な画像品質を向上させました。
Self-Calibrated Convolutionとピクセルアテンションの導入：Self-Calibrated Convolution with Pixel Attention (SCPA)ブロックを使用して、空間的およびスペクトル的な一貫性を向上させました。
効果的なノイズ除去：高度なノイズ除去ブロックを組み込み、重要な画像詳細を保持しつつノイズを効果的に抑制しました。

今回の研究成果の可能性

HybridEVSカメラのデモザイクに関する今回の研究成果は、モバイルイメージング分野に大きなインパクトを与える可能性があります。具体的には以下のような影響が考えられます。

スマートフォンカメラの高性能化：HybridEVSカメラとデモザイクアルゴリズムの進歩により、スマートフォンでの高速・高品質な画像取得が可能になります。これにより、ユーザーは様々な撮影シーンでより良い写真や動画を撮ることができるようになります。
産業応用の拡大：HybridEVSカメラとデモザイク技術は、スマートフォン以外の分野でも応用可能です。例えば、自動車や監視カメラ、ドローンなどでの高品質な画像取得に活用できます。これにより、各産業分野でのイメージングの質が向上し、新しい応用が生まれる可能性があります。
AIとの融合：高品質な画像データは、AIの学習および推論に不可欠です。HybridEVSカメラとデモザイク技術の進歩は、モバイルデバイスでのAI処理の精度向上につながります。これにより、スマートフォンでのリアルタイムな物体認識や画像理解などの高度なAI機能の実現が期待できます。

クーガーでは、ファミリーマート約5,000店舗に人型AI「レイチェル」の導入を進めるなど、人型AIの実用につながる研究開発に注力しています。今後も、AIとその構成技術の開発を通じて「人間らしさを探求する」テクノロジーの実現に努めてまいります。