画像データの構造化抽出、何から始めればよいか？
まず自社のタスクが分類・検索・説明文生成のどれに近いかを整理することから始めます。似たタスクに見えても、必要なモデルの種類はまったく異なります。
当社が携わった人道支援のオープンプロジェクトでは、ストリート画像からタグを構造化抽出する際に3種類のモデルアプローチ(対照学習・生成VLM・物体検出)を実際に比較しました(出典: 当エンジニアが担当したオープンプロジェクトでの検証)。そこで得た教訓は、精度を比べる前に「そのモデルが出力する形式が、欲しいデータの形と一致しているか」を先に確認すべきだということです。
対照学習モデルは、あらかじめ用意したラベル候補と画像の近さを返すだけで、構造化データそのものは出力しません。物体検出モデルは画像内の位置を矩形で示す前提のため、画面全体にかかる属性には対応できません。最終的には生成VLMのQwen2.5-VLを採用し、29言語に対応する仕様を活かして地域ごとに言語が異なる用途でも同じモデルで扱えました(出典: Qwen2.5-VLの公表仕様)。
タスクの整理方法とモデルごとの詳しい特徴は、次の見出し以降で解説します。
CLIP・生成VLM・物体検出、それぞれの特徴は？
CLIPは画像とテキストの対応付けに強く、生成VLMは説明文の生成、物体検出は個々の物体の位置特定に向いています。総務省「令和7年版情報通信白書」によると、日本企業のうち業務で生成AIを利用していると回答した割合は55.2%、活用方針を定めている企業の割合は49.7%です(前年の令和6年調査では42.7%)。ただし策定率は大企業の約56%に対し中小企業は約34%にとどまり、御社のようにこれから画像認識AIの導入を検討する段階の企業は珍しくありません(出典: 総務省「令和7年版情報通信白書」企業におけるAI利用の現状)。
個人ベースで生成AIを使ったことがある割合も日本は26.7%にとどまり、米国68.8%やドイツ59.2%と比べて低い水準です(出典: 総務省「令和7年版情報通信白書(概要)」)。
CLIPが向いているタスク
CLIPとは、OpenAIが2021年に発表した、画像とテキストを同じ空間に対応づけるモデルです。4億件の画像とテキストの組で事前学習されており、あらかじめ分類カテゴリを固定しなくても分類できるゼロショット画像分類が可能です(出典: Radford et al., "Learning Transferable Visual Models From Natural Language Supervision")。「この画像は猫かどうか」のように、候補ラベルと画像の近さを判定するタスクに向いています。
生成VLMが向いているタスク
生成VLMとは、画像を入力として受け取り、自由な形式の文章を出力できるモデルです。ラベル候補をあらかじめ決めなくても、画像の内容を説明したり、指定した形式で構造化データを生成したりできます。CLIPと異なり出力形式を柔軟に指定できるため、既存のラベル体系に当てはまらないタスクに向いています。
物体検出が向いているタスク
物体検出とは、画像内にある個々の物体の位置を矩形で示すモデルです。「どこに何があるか」を特定したいタスクに向いていますが、画面全体にかかる属性の判定には向きません。それぞれの向き不向きの見分け方は、次の見出しで解説します。
タスクの性質でモデルを選ぶとは、どういうことか？
同じ『画像からタグを付ける』作業でも、必要な粒度や自由記述の有無によって適したモデルが変わります。見た目が似た要件でも、欲しい出力の形式が異なれば選ぶべきモデルは変わります。
判断の起点は「欲しい出力がどんな形をしているか」です。次の表は、代表的な要件とモデルの対応を整理したものです。
| 欲しい出力の形 | 向いているモデル |
|---|---|
| あらかじめ決めたカテゴリのどれに当てはまるか | CLIP(対照学習モデル) |
| 自由な文章での説明や、独自形式の構造化データ | 生成VLM |
| 画像内の物体の位置(矩形) | 物体検出モデル |
表にない要件、例えば画面全体にかかる状態の判定や、決まったラベル体系がない分類のようなケースは、生成VLMのほうが柔軟に対応できます。実際にどう判断したかの実務例は、次の見出しで紹介します。
モデル選定の実務例、人道支援プロジェクトでの構造化抽出
当社が携わったオープンプロジェクトでは、ストリート画像からタグを構造化抽出する際に3種類のモデルアプローチを比較検討しました。地図データ用のタグを画像から構造化抽出するタスクで、対照学習・生成VLM・物体検出の3種類を実際に比較しています(出典: 当エンジニアが担当したオープンプロジェクトでの検証)。
まず対照学習モデルは、あらかじめ用意したラベル候補と画像の近さを返すだけで、必要な構造化データそのものは出力しません。ラベル体系が固定でない今回の用途には向きませんでした。次に、RDD2022系のひび割れ検出のような物体検出モデルは、画像内の位置を矩形で示す前提のため、路面の状態が全体として悪いといった画面全体にかかる属性には矩形が引けず、そもそも問題設定が合いませんでした。
最終的に採用したのは生成VLMで、求める構造化データを直接出力できる点が決め手になりました。具体的にはQwen2.5-VLの7Bを主系統に、3Bをフォールバックに据える構成です。生成VLMは29言語に対応しているため、地域ごとに言語が異なる用途でも同じモデルで扱えました(出典: Qwen2.5-VLの公表仕様)。
この実例が示すのは、精度の比較よりも先に、出力形式と欲しいデータの形が合っているかを確認する重要性です。モデル選定でありがちな失敗については、次の見出しで解説します。