従來のシングルモーダルデータアプローチは、多くの場合、クロスモーダル関係に存在する重要な洞察を逃します。マルチモーダル分析により、テキスト、畫像、オーディオ、およびより類似したデータなど、さまざまなデータソースがまとめて、問題のより完全な見解を提供します。このマルチモーダルデータ分析は、マルチモーダルデータ分析と呼ばれ、目前の問題をより完全に理解しながら、データのモダリティ全體で見られる複雑な関係を明らかにするのに役立つことにより、予測の精度を向上させます。

マルチモーダルの機械學習の人気が増え続けるため、正確性を向上させるために、構(gòu)造化された構(gòu)造化と非構(gòu)造化データを一緒に分析することが不可欠です。この記事では、マルチモーダルデータ分析とマルチモーダル分析の重要な概念とワークフローについて説明します。

目次

• マルチモーダルデータの理解
• マルチモーダルデータ分析とは何ですか？
• データの前処理と表現(xiàn)
  • 特徴抽出
  • 表現(xiàn)モデル
• 融合技術(shù)
  • 早期融合戦略
  • 遅い融合方法論
  • 中間融合アプローチ
• サンプルエンドツーエンドのワークフロー
  • ステップ1：オブジェクトテーブルを作成します
  • ステップ2：構(gòu)造化されたテーブルの參照
  • ステップ3：埋め込みを生成します
  • ステップ4：セマンティック検索
• マルチモーダルデータ分析の利點
• 結(jié)論

マルチモーダルデータの理解

マルチモーダルデータとは、2つ以上の異なるソースまたはモダリティからの情報を組み合わせたデータを意味します。これは、テキスト、畫像、サウンド、ビデオ、數(shù)字、およびセンサーデータの組み合わせである可能性があります。たとえば、テキストと畫像の組み合わせである可能性のあるソーシャルメディアの投稿、または臨床醫(yī)によって書かれたメモ、バイタルサインの測定値が含まれる醫(yī)療記録は、マルチモーダルデータです。

マルチモーダルデータの分析では、さまざまなタイプのデータの相互依存を暗黙的にモデル化できる専門的な方法が必要です。最新のAIシステムの重要な點は、単一モダリティベースのアプローチよりも豊かな理解と予測力を持つ可能性のある融合に関するアイデアを分析することです。これは、自律運転、ヘルスケア診斷、推奨システムなどにとって特に重要です。

マルチモーダルデータ分析とは何ですか？

マルチモーダルデータ分析は、複數(shù)のタイプの表現(xiàn)を含むデータセットを探索および解釈するための分析方法と手法のセットです?；镜膜?、テキスト、畫像、オーディオ、ビデオ、數(shù)値データなどのさまざまなデータ型を処理するための特定の分析方法の使用を指し、モダリティ間の隠されたパターンまたは関係を見つけて発見します。これにより、より完全な理解が可能になるか、さまざまなソースタイプの個別の分析よりも優(yōu)れた説明を提供します。

主な難しさは、複數(shù)のモダリティからの情報の効率的な融合と調(diào)整を可能にする技術(shù)の設(shè)計にあります。アナリストは、あらゆる種類のデータ、構(gòu)造、スケール、フォーマットを使用して、データの意味を表面化し、ビジネス全體でパターンと関係を認識する必要があります。近年、機械學習技術(shù)、特に深い學習モデルの進歩により、マルチモーダル分析機能が変わりました。注意メカニズムやトランスモデルなどのアプローチは、詳細なクロスモーダル関係を?qū)Wぶことができます。

データの前処理と表現(xiàn)

マルチモーダルデータを効果的に分析するために、データはまず互換性があり、重要な情報を保持しているが、モダリティ全體で比較することができる數(shù)値表現(xiàn)に変換する必要があります。この前処理ステップは、適切な融合と不均一なデータソースの分析に不可欠です。

特徴抽出

機能抽出とは、生データを意味のある機能のセットに変換することです。これらは、機械學習モデルと深い學習モデルによって優(yōu)れた効率的な方法で利用できます。モデルのタスクをよりシンプルにするために、データから最も重要な特性またはパターンを抽出して特定することを目的としています。最も広く使用されている機能抽出方法のいくつかは次のとおりです。

• テキスト：単語を數(shù)字（つまり、ベクトル）に変換することに関するものです。これは、単語の數(shù)が小さく、セマンティックリレーションシップキャプチャのためにBertやOpenaiのような埋め込みである場合、TF-IDFで実行できます。
• 畫像： ResNetやVGGの活性化などの事前に訓練されたCNNネットワークを使用して実行できます。これらのアルゴリズムは、畫像の低レベルのエッジから高レベルのセマンティック概念まで階層パターンをキャプチャできます。
• オーディオ：スペクトログラムまたはメル周波數(shù)cepstral係數(shù)（MFCC）の助けを借りて、オーディオ信號を計算します。これらの変換により、時間ドメインからの時間的な音聲信號を周波數(shù)ドメインに変換します。これは、最も重要な部分を強調(diào)するのに役立ちます。
• 時系列：フーリエまたは波長変換を使用して、時間信號を周波數(shù)成分に変更します。これらの変換は、シーケンシャルデータ內(nèi)のパターン、周期性、および時間的関係を明らかにするのに役立ちます。

すべてのモダリティには獨自の本質(zhì)的な性質(zhì)があるため、特定の特性に対処するためのモダリティ固有のテクニックを求めます。テキスト処理にはトークン化と意味的に埋め込まれていることがあり、畫像分析では裝置を使用して視覚パターンを見つけることができます。周波數(shù)ドメイン表現(xiàn)はオーディオ信號から生成され、時間情報は數(shù)學的に再解釈され、トレースパターンと期間を明らかにします。

表現(xiàn)モデル

表現(xiàn)モデルは、マルチモーダル情報を數(shù)學的構(gòu)造にエンコードするためのフレームワークの作成に役立ちます。これにより、クロスモーダル分析とデータの詳細な理解が可能になります。これを使用して実行できます。

• 共有埋め込み： 1つの表現(xiàn)空間のすべてのモダリティの共通の潛在スペースを作成します。このアプローチの助けを借りて、同じベクトル空間で異なるタイプのデータを直接組み合わせることができます。

• 標準分析：標準分析は、モダリティ全體で最も高い相関を持つ線形投影を識別するのに役立ちます。この統(tǒng)計テストは、さまざまなデータ型にわたる最良の相関の次元を識別し、それによりクロスモーダルの理解を可能にします。

• グラフベースの方法：すべてのモダリティをグラフ構(gòu)造として表現(xiàn)し、類似性を提供する埋め込みを?qū)W習します。これらの方法は、複雑なリレーショナルパターンを表し、マルチモーダル関係のネットワークベースの分析を可能にします。

• 拡散マップ：マルチビュー拡散は、內(nèi)因性の幾何學的構(gòu)造と交差関連を組み合わせて、モダリティ全體で寸法削減を?qū)g行します。地元の近隣構(gòu)造を保存しますが、高次元のマルチモーダルデータの寸法削減を可能にします。

これらのモデルは、さまざまな種類のデータを比較し、有意義に構(gòu)成できる統(tǒng)一された構(gòu)造を構(gòu)築します。目標は、モダリティ全體でセマンティックな等価性の生成であり、システムが犬のイメージ、「犬」という言葉、およびbarえる音がすべて同じものを指していることを理解できるようにすることです。

融合技術(shù)

このセクションでは、マルチモーダルデータを組み合わせるための主要な方法論を掘り下げます。さまざまな分析シナリオから最適なユースケースを使用して、初期、後期、および中級の融合戦略を探索します。

1。早期融合戦略

Early Fusionは、処理が開始される前に、機能レベルでさまざまなソースとさまざまなタイプのすべてのデータを組み合わせます。これにより、アルゴリズムは、異なるモダリティ間の隠された複雑な関係を自然に見つけることができます。

これらのアルゴリズムは、特にモダリティが共通のパターンと関係を共有する場合に優(yōu)れています。これは、さまざまなソースから複合表現(xiàn)に機能を連結(jié)するのに役立ちます。この方法では、適切に機能するために、さまざまなデータスケールと形式にデータを慎重に処理する必要があります。

2。融合後期方法論

後期融合は、すべてのデータソースを組み合わせる代わりに、すべてのモダリティを個別に処理し、モデルが決定を下す直前にそれらを組み合わせる代わりに、早期融合とは反対に行います。したがって、最終的な予測は、個々のモーダル出力からのものです。

これらのアルゴリズムは、モダリティがターゲット変數(shù)に関する追加情報を提供する場合にうまく機能します。したがって、アーキテクチャの変化に大きな変化がない場合は、既存のシングルモーダルモデルを活用できます。この方法では、テストフェーズ中にモダリティの値が欠落している柔軟性を提供します。

3。中間融合アプローチ

中間融合戦略は、予測タスクに応じて、さまざまな処理レベルでモダリティを組み合わせます。これらのアルゴリズムは、初期および後期の融合アルゴリズムの両方の利點のバランスをとります。そのため、モデルは個々の相互作用とクロスモーダルの両方の相互作用を効果的に學習できます。

これらのアルゴリズムは、特定の分析要件とデータ特性に適応することに優(yōu)れています。そのため、融合ベースのメトリックと計算上の制約を最適化するのに非常に適しており、この柔軟性により、複雑な現(xiàn)実世界のアプリケーションの解決に適しています。

サンプルエンドツーエンドのワークフロー

このセクションでは、マルチモーダル検索システムを構(gòu)築するサンプルSQLワークフローを進め、BigQuery內(nèi)でセマンティック検索を?qū)g行しようとします。したがって、マルチモーダルデータはここでテキストと畫像のみで構(gòu)成されていると考えています。

ステップ1：オブジェクトテーブルを作成します

したがって、最初に、クラウドストレージから非構(gòu)造化されたファイルを參照する外部の「オブジェクトテーブル：-Images_OBJ」を定義します。これにより、BigQueryはObjectRef列を介してファイルをクエリデータとして扱うことができます。

外部テーブルDataset.images_objを作成または交換します
接続 `project.region.myconn`
オプション（
 object_metadata = 'simple'、
 uris = ['gs：// bucket/images/*']
）;

ここで、テーブルImage_OBJは、各行をGCSオブジェクトにリンクするREF列を自動的に取得します。これにより、BigQueryは構(gòu)造化されたデータとともに畫像やオーディオファイルなどの非構(gòu)造化されたファイルを管理できます。メタデータとアクセス制御を保存しながら。

ステップ2：構(gòu)造化されたテーブルの參照

ここでは、構(gòu)造化された行とマルチモーダル統(tǒng)合のためのObjectRefsを組み合わせています。したがって、屬性を生成し、ObjectRef structsの配列をimage_refsとして生成することにより、オブジェクトテーブルをグループ化します。

テーブルデータセットを作成または交換します
選択します
 ID、名前、価格、
 array_agg（
   struct（URI、バージョン、承認者、詳細）
 ）Image_Refsとして
Images_objから
ID、名前、価格ごとのグループ。

このステップは、リンクされた畫像參照とともに構(gòu)造化されたフィールドを備えた製品テーブルを作成し、単一の行にマルチモーダル埋め込みを可能にします。

ステップ3：埋め込みを生成します

ここで、BigQueryを使用して、共有セマンティックスペースにテキストと畫像の埋め込みを生成します。

テーブルデータセットを作成します。product_embedsas
選択します
  ID、
  ml.generate_embeding（
    モデル `project.region.multimodal_embedding_model`、
    テーブル （
      選択します
        uriとして名前、
        content_typeとしての「テキスト/プレーン」
    ））
  ）.ml_generate_embedding_result as text_emb、
  ml.generate_embeding（
    モデル `project.region.multimodal_embedding_model`、
    テーブル （
      選択します
        Image_refs [offset（0）]。urias uri、
        content_typeとしての「畫像/jpeg」
      dataset.productsから
    ））
  ）.ml_generate_embedding_result as img_emb
dataset.productsから;

ここでは、製品ごとに2つの埋め込みを生成します。 1つはそれぞれの製品名から、もう1つは最初の畫像から。どちらも同じマルチモーダル埋め込みモデルを使用して、両方の埋め込みが同じ埋め込みスペースを共有することを保証します。これは、埋め込みの整合に役立ち、シームレスなクロスモーダルの類似性を可能にします。

ステップ4：セマンティック検索

さて、一度私たちはクロスモーダルの埋め込みです。セマンティックの類似性を使用してそれらをクエリすると、一致するテキストと畫像クエリが與えられます。

 id、nameを選択します
dataset.product_embedsから
ここでvector_search（
    ml_generate_embedding_result、
    （ml_generate_embedding_resultを選択します 
     ml.generate_embeddingから（
         モデル `project.region.multimodal_embedding_model`、
         テーブル （
           「エコフレンドリーマグ」をURIとして選択します。
                  content_typeとしての「テキスト/プレーン」
         ））
     ））
    ）、、
    TOP_K => 10
））
cosine_simによる注文（img_emb、 
         （ml_generate_embedding_result fromを選択します 
             ml.generate_embeding（
               モデル `project.region.multimodal_embedding_model`、
               テーブル （
                 uriとして「gs：//user/query.jpg」を選択してください。 
                        content_typeとしての「畫像/jpeg」
               ））
             ））
         ））
      ）DESC;

ここでこのSQLクエリは、2段階の検索を?qū)g行します。候補者をフィルタリングするための最初のテキストからテキストへのセマンティック検索、次に、製品と畫像とクエリの間の畫像間の類似性によって注文します。これにより、フレーズと畫像を入力し、意味的に一致する製品を取得できるように、検索機能の向上に役立ちます。

マルチモーダルデータ分析の利點

マルチモーダルデータ分析は、複數(shù)のデータ型を統(tǒng)一された分析構(gòu)造に統(tǒng)合することにより、組織が利用可能なさまざまなデータから価値を得る方法を変えています。このアプローチの価値は、異なるモダリティの強度の組み合わせに由來します。これは、個別に考慮されると、マルチモーダル分析の既存の標準的な方法よりも効果的な洞察が低下することに由來しています。

より深い洞察：マルチモーダル統(tǒng)合は、単一モーダル分析で見逃された複雑な関係と相互作用を明らかにします。異なるデータ型（テキスト、畫像、オーディオ、數(shù)値データ）間の相関を調(diào)査すると同時に、隠されたパターンと依存関係を識別し、調(diào)査されている現(xiàn)象の深い理解を開発します。

パフォーマンスの向上：マルチモーダルモデルは、単一モーダルアプローチよりも精度が向上したことを示しています。この冗長性は、1つまたはMODALがエントリの欠落や不完全なエントリなどのデータに何らかのノイズがある場合でも、同様の正確な結(jié)果を生成する強力な分析システムを構(gòu)築します。

より速い時間?。?/strong> SQL融合機能は、急速に利用可能なデータソースへの迅速なアクセスから洞察を提供するサポートをサポートするため、プロトタイピングと分析ワークフローの有効性と速度を向上させます。このタイプのアクティビティは、インテリジェントな自動化とユーザーエクスペリエンスのためのあらゆるタイプの新しい機會を促進します。