【基礎知識】エッジAI推論ハードウェア（NPU）の選び方｜CPU・GPU・NPUの違い、推論アクセラレータ4カテゴリ、TOPSの読み方、評価とモデル移植
ハンドブック
カタログのTOPS値を比べるだけでは、実機で期待した性能は出ません。AI機能を組み込む製品・装置の開発者向けに、推論ハードの選定軸と評価・移植の進め方を整理した入門ガイドです
【エッジAI推論ハードウェアの基礎知識――CPU・GPU・NPUの違いから性能表の読み方、評価・移植まで】
製品や装置にAI機能を組み込むとき、推論用ハードウェアの選定は避けて通れません。開発はGPUで進めたものの、量産の見積や電力・発熱の制約で行き詰まる例は少なくありません。カタログのTOPS値を比べるだけでは、実機で期待どおりの性能が出るとは限らないからです。
本書では、CPU・GPU・NPUの役割の違い、推論専用アクセラレータの種類と向き不向き、性能表の読み方、コストを決める要素を整理します。後半では、評価環境の作り方とPoCの事前準備、GPU向けモデルをNPUへ移すときの手順も扱います。特定の製品を推す内容ではなく、選定の判断軸をまとめたものです。
【本書の内容（全9ページ）】
■01 CPU・GPU・NPUの違いと役割分担
3つのプロセッサは優劣ではなく役割が違います。学習はGPU、現場での推論はNPU、全体の制御はCPUという分担が、エッジAIの基本形です。
■02 推論アクセラレータの4カテゴリ
「NPU」と一括りにされるハードも、内部の仕組みで4つに分かれます。汎用性と電力効率は、概ねトレードオフの関係にあります。
■03 性能表の読み方：TOPSだけで選ばない
TOPSは演算器の理論上の最大値で、自社モデルの速さを直接示す数値ではありません。前提条件、TOPS/W、実測FPSの順に読みます。
■04 推論コストの5要素と右サイズ化
推論システムのコストは本体価格だけでは決まりません。台数が増えるほど、電力・熱・供給・移植工数が総コストを左右します。
■05 評価環境づくりとモデル移植の進め方
評価の目的は「動くか」ではなく、量産構成を決める根拠を得ることです。評価環境の形態を選び、移植の手戻りを先回りして防ぎます。
■巻末 推論ハードウェア選定前チェックリスト（10項目）／用語集（10語）
【こんな方におすすめです】
・AI機能を組み込む装置の設計担当者
・GPU前提の構成を見直したい開発担当者
・NPUの評価・PoCをこれから始める方
特定メーカーの製品に依存しない基礎知識として、設計レビューや社内勉強会、新人教育の資料にもご活用いただけます。
【発行元について】
巻末では、本書のテーマに関連する当社のエッジAI PC「AironiA（アイロニア）」シリーズ（3種類のAIアクセラレータ搭載モデル）を1ページでご紹介しています。
AironiAはエッジAI PCのハードウェア製品です（AIR-WPモデルはIP67防水対応）。AIモデルの開発・ソフトウェア構築・用途別のインテグレーションは弊社の提供範囲外となります。製品仕様のご確認・評価機のご依頼・ご購入に関するお問い合わせは、アナログ・テック株式会社まで。
※Axelera AI、Metisは、Axelera AI社の商標または登録商標です。
※Hailo、Hailo-8は、Hailo社の商標または登録商標です。
※NVIDIA、Jetson、CUDAは、米国およびその他の国におけるNVIDIA Corporationの商標または登録商標です。
※その他、本書に記載の会社名・製品名・規格名は、各社・各団体の商標または登録商標です。
このカタログについて
| ドキュメント名 | 【基礎知識】エッジAI推論ハードウェア（NPU）の選び方｜CPU・GPU・NPUの違い、推論アクセラレータ4カテゴリ、TOPSの読み方、評価とモデル移植 |
|---|---|
| ドキュメント種別 | ハンドブック |
| ファイルサイズ | 1.3Mb |
| 登録カテゴリ | |
| 取り扱い企業 | アナログ・テック株式会社 (この企業の取り扱いカタログ一覧) |
この企業の関連カタログ
このカタログの内容
Page1
Analog Tech. アペルザカタログ｜基礎知識特集（製品設計・試作開発）
基礎知識ガイド｜製品設計・試作開発
エッジAI
推論ハードの
選び方
CPU・GPU・NPUの役割から評価・モデル移植まで
保存版｜現場の技術者のための基礎知識ガイド
CPU・GPU・NPUの違いから性能表の読み方、評価・移植まで
POINT 01 POINT 02 POINT 03
役割と種類 性能の読み方 評価と移植
CPU・GPU・NPUの分担 TOPSの前提条件 評価環境とPoC準備
推論ハード4カテゴリ TOPS/Wと実測FPS GPUモデルの移植手順
TOPSの数字ではなく、自社の条件で選ぶ。
アナログ・テック株式会社
産業用PC・エッジAI PCのハードウェアメーカー｜社内勉強会・新人教育にもご活用ください
Page2
エッジAI推論ハードウェアの基礎知識 基礎知識ガイド｜製品設計・試作開発
はじめに
製品や装置にAI機能を組み込むとき、推論用ハードウェアの選定は避けて通れません。開発はGPUで進
めたものの、量産の見積や電力・発熱の制約で行き詰まる例は少なくありません。カタログのTOPS値を
比べるだけでは、実機で期待どおりの性能が出るとは限らないからです。
本書では、CPU・GPU・NPUの役割の違い、推論専用アクセラレータの種類と向き不向き、性能表の読
み方、コストを決める要素を整理します。後半では、評価環境の作り方とPoCの事前準備、GPU向けモ
デルをNPUへ移すときの手順も扱います。特定の製品を推す内容ではなく、選定の判断軸をまとめたも
のです。
こんな方におすすめです
● こんな方に：AI機能を組み込む装置の設計担当者
● GPU前提の構成を見直したい開発担当者
● NPUの評価・PoCをこれから始める方
目次
01 CPU・GPU・NPUの違いと役割分担 p.3
02 推論アクセラレータの4カテゴリ p.4
03 性能表の読み方：TOPSだけで選ばない p.5
04 推論コストの5要素と右サイズ化 p.6
05 評価環境づくりとモデル移植の進め方 p.7
+ 推論ハードウェア選定前チェックリスト／用語集 p.8
アナログ・テック株式会社 2
Page3
エッジAI推論ハードウェアの基礎知識 基礎知識ガイド｜製品設計・試作開発
01 CPU・GPU・NPUの違いと役割分担
3つのプロセッサは優劣ではなく役割が違います。学習はGPU、現場での推論はNPU、全体の
制御はCPUという分担が、エッジAIの基本形です。
NPU（Neural Processing Unit）は、AI推論に特化したプロセッサです。AIモデルの計算は、突き詰める
と膨大な積和演算（掛け算と足し算）です。NPUはこれを並列に、低い消費電力で処理します。
CPU・GPU・NPUの役割分担と、それぞれが得意な処理
● CPU：OS・I/O・前後処理を担う司令塔。推論もできるが並列度は低い
● GPU：学習の主役。推論も高性能だが、電力・発熱・価格が大きい
● NPU：推論専用。電力あたり性能に優れ、小型・ファンレス用途に向く
現場のポイント
NPUは学習には使いません。GPUで学習したモデルを変換して載せます。変換工程と、INT8などへの量
子化に伴う精度確認は、どのNPUでも必要な作業です。
アナログ・テック株式会社 3
Page4
エッジAI推論ハードウェアの基礎知識 基礎知識ガイド｜製品設計・試作開発
02 推論アクセラレータの4カテゴリ
「NPU」と一括りにされるハードも、内部の仕組みで4つに分かれます。汎用性と電力効率は、
概ねトレードオフの関係にあります。
エッジAI推論に使えるハードウェアの4カテゴリ
カテゴリ 仕組みの特徴 向く用途
GPU系SoC 学習環境のソフト資産を流用でき
る 生成AI・現場での学習
データフロー型NPU 層構造を演算器の流れに写す ファンレス・屋外・防水筐体
メモリ内演算型 メモリ内で計算しデータ移動を削
減 多カメラ・高スループット
CPU内蔵NPU CPUに小規模なNPUを統合 軽量モデル・まず試す用途
推論だけを、多数のカメラで、限られた電力枠と筐体で動かす要件ほど、GPU系以外が候補に入ります。
現場での学習や生成AIの実行、ソフト資産の流用を最優先するなら、GPU系SoCが引き続き有力です。
アナログ・テック株式会社 4
Page5
エッジAI推論ハードウェアの基礎知識 基礎知識ガイド｜製品設計・試作開発
03 性能表の読み方：TOPSだけで選ばない
TOPSは演算器の理論上の最大値で、自社モデルの速さを直接示す数値ではありません。前提
条件、TOPS/W、実測FPSの順に読みます。
公称TOPSは上限値。実測FPSは多くの要因で削られる
● 前提条件：データ型・スパース時か密行列か・電力モードを脚注で確認する
● TOPS/W：自社の電力枠に掛けると、その枠で得られる性能の上限がわかる
● 公称FPS：入力解像度・バッチ・前後処理の有無で、実運用値は大きく変わる
● 実測：自社モデル・本番入力・前後処理込み・本番温度・精度をそろえて測る
公称FPSは、そのチップが得意なモデルで測られた値です。自社モデルに未対応の演算があると、その部
分がCPUに戻り、全体の速度が大きく落ちることがあります。
現場のポイント
例えば電力枠が10Wなら、15 TOPS/Wのチップは理論上150 TOPS相当が上限です。TOPSは足切りに使
い、最終判断は本番条件の実測で行います。
アナログ・テック株式会社 5
Page6
エッジAI推論ハードウェアの基礎知識 基礎知識ガイド｜製品設計・試作開発
04 推論コストの5要素と右サイズ化
推論システムのコストは本体価格だけでは決まりません。台数が増えるほど、電力・熱・供給・
移植工数が総コストを左右します。
推論コストの5要素。台数で支配的な要素が変わる
消費電力の差は電気代よりも、ファンの有無や筐体サイズ、電源容量を左右する点で効きます。移植工
数は初回の固定費なので、台数が多いほど1台あたりに薄まります。
目安として、1〜数台では本体価格と移植工数、数十台では熱・筐体・電源、百台以上では供給年限と価
格変動が支配的になります。
GPUを残すべき4つのケース
● 現場で学習・再学習を行う
● 生成AIをローカルで動かす
● 独自演算の多いモデルを頻繁に更新する
● 展開台数が数台以下で、今後も増えない
現場のポイント
該当しなければ、モデル種別・精度要件・処理量・電力枠・展開台数・運用体制の6項目で、推論専用
チップへの切り替えを検討します。
アナログ・テック株式会社 6
Page7
エッジAI推論ハードウェアの基礎知識 基礎知識ガイド｜製品設計・試作開発
05 評価環境づくりとモデル移植の進め方
評価の目的は「動くか」ではなく、量産構成を決める根拠を得ることです。評価環境の形態を
選び、移植の手戻りを先回りして防ぎます。
評価環境の3つの形態
形態 利点 注意点
M.2カード 既存PCに装着でき最小コスト 給電の上限と密閉時の熱
PCIeカード GPU開発機をホストに流用可 スロット・電源容量・風路
一体型PC 評価構成をそのまま量産へ CPUの余力と筐体温度
GPU向けモデルを移す5ステップ
● ①ONNXなどの中間形式へ書き出す
● ②対象NPU向けにコンパイルする
● ③INT8などへ量子化する
● ④変換前後の精度を自社データで比べる
● ⑤前後処理を含むパイプラインを組み直し、本番条件で測る
つまずきやすいのは3点です。未対応の演算（オペレータ）がCPUに戻され、速度が出ない。量子化用の
代表データが本番と異なり、精度が落ちる。デコードなど前後処理でCPUが詰まる。オペレータ対応は
移植の初期に確認し、サンプルモデルで環境の動作を確かめてから自社モデルに進みます。
評価データは、照明の変化や不良の種類など現場の多様性を含めて集めます。良品ばかりのデータでは、
PoCで良く見えても本番で精度が出ません。
現場のポイント
PoCの前に、合格基準（検出率・FPS等）と精度の許容ラインを数値で合意しておくと、評価が早く終
わり、本番移行の判断もしやすくなります。
※本ページに記載の規格名・製品名は、各団体・各社の商標または登録商標です（詳細は最終ページ「商標について」）。
アナログ・テック株式会社 7
Page8
エッジAI推論ハードウェアの基礎知識 基礎知識ガイド｜製品設計・試作開発
推論ハードウェア選定前チェックリスト
□ 処理対象・カメラ台数・フレームレートを用途から決めた
□ 設置場所の温度・粉塵・電源・スペースを洗い出した
□ 現場での学習や生成AI実行の要否を確認した
□ 公称TOPSのデータ型・電力モード等の前提を確認した
□ 電力枠とTOPS/Wから成立する性能の上限を見積もった
□ 展開台数・期間と、供給年限・価格ロック条件を確認した
□ 自社モデルのオペレータ対応状況を事前に確認した
□ 量子化後の精度の許容ラインを数値で合意した
□ 前後処理込み・本番条件・連続運転で実測する計画がある
□ モデル更新とSDKのバージョン管理を担う体制を決めた
用語集
NPU AI推論に特化したプロセッサ。積和演算を並列・低電力で処理する。
推論／学習 学習はモデルの重みを作る工程、推論は学習済みモデルで判定する工程。
TOPS 1秒間に実行できる演算回数（兆単位）。理論上の最大値を示す。
TOPS/W 消費電力1Wあたりの演算性能。電力枠に収まる性能の目安になる。
スループット（FPS） 1秒あたりに処理できるフレーム数。実用に近い性能指標。
INT8量子化 FP32などの数値を8ビット整数に落とすこと。精度が変わり得る。
キャリブレーションデー 量子化の設定を決めるために流す代表データ。本番に近いものを使う。
タ
オペレータ モデルを構成する個々の演算。NPUごとに対応範囲が異なる。
ONNX AIモデルの中間形式。学習環境からNPU向けに変換する際に使われる。
サーマルスロットリング 温度上昇を防ぐため性能を自動的に落とす動作。連続運転で表れやすい。
※本ページに記載の規格名・製品名は、各団体・各社の商標または登録商標です（詳細は最終ページ「商標について」）。
アナログ・テック株式会社 8
Page9
エッジAI推論ハードウェアの基礎知識 基礎知識ガイド｜製品設計・試作開発
PR｜エッジAIの評価・試作用ハードウェアをお探しの方へ
AironiA（アイロニア）エッジAI PC
Hailo・NVIDIA・Axelera AIの3種類のAIアクセラレータを搭載したエッジAI PCシリーズ。評価・試作から
現場設置まで、要件に合う一台を選べます。
AIR-AD-AI-001 AIR-WP-AI-001 AIR-WP-AI-002
型番 AIアクセラレータ（単体値） 筐体・設置環境 向いている用途
Axelera AI Metis® AIPU コンパクト・屋内／ラック 屋内での高スループット推論
AIR-AD-AI-001
214 TOPS／8〜15W ※1 （防水防塵なし） 多ストリーム処理
Hailo-8™ IP67防水・ファンレス 省電力・過酷環境
AIR-WP-AI-001
26 TOPS／2.5W M12防水コネクタ 長期の常時稼働
NVIDIA Jetson AGX Orin IP67防水 CUDA資産を活かす
AIR-WP-AI-002
最大275 TOPS PoE+×4（カメラ直結） 高性能推論・屋外
※1 AI推論部（Metis® AIPU）単体の値です。PC全体の消費電力ではありません。
カスタム構成が必要な場合は、カスタム産業用PC「AT-IPC」で個別に設計します。
商標について
Axelera AI、Metisは、Axelera AI社の商標または登録商標です。
Hailo、Hailo-8は、Hailo社の商標または登録商標です。
NVIDIA、Jetson、CUDAは、米国およびその他の国におけるNVIDIA Corporationの商標または登録商標です。
その他、本書に記載の会社名・製品名・規格名は、各社・各団体の商標または登録商標です。
お問い合わせ｜アナログ・テック株式会社
AironiAはエッジAI PCのハードウェア製品です（AIR-WPモデルはIP67防水対応）。AIモデルの開発・ソフトウェア構
築・用途別のインテグレーションは弊社の提供範囲外となります。製品仕様のご確認・評価機のご依頼・ご購入に関
するお問い合わせは、アナログ・テック株式会社まで。
アナログ・テック株式会社 9