エッジAIコンピュータ ソリューションブック

Computing Solutions エッジAI 新たな価値の創造へ

エッジAI　新たな価値の創造へ 01

目次 エッジ AI の展望 『AI』はエッジコンピューティングに成功をもたらす 03 AIテクノロジーとアプリケーションの橋渡し 04 エッジAI エコシステム を パートナーと共創 05 AIテクノロジーの現在と未来 06 エッジ AI の未来を切り開く エッジAI コンピューティング ソリューション 07 エッジAIシステム 09 AIエンジン搭載 COM ＆ SBC 11 AI モジュール ＆ GPUカード 13 AI性能 ベンチマーク測定 15 最適なエッジAIソリューションを選択いただく指標 16 エッジAI ソフトウェア アーキテクチャ 17 開発ツールキット「EdgeAI SDK」 18 「エッジAI デザインイン・サービス」 19 アドバンテックはエッジAIのベストパートナー 20 導入事例 ①AIによる交通監視と分析を導入 21 ②AIによる欠陥検出システムでプリント基板(PCB)の品質向上 22 エッジ AI 製品リスト 23 02

『AI』はエッジコンピューティングに成功をもたらす リソースの最小化 データ処理の向上 効率の最大化 AIが冗長なタスクや反復的なタスクを 正確な分析と予測は、意思決定を強化し、 手作業を減らし、迅速な対応と 処理することで、人はより集中すべき 機会を明らかにし、イノベーションを推進 サービスのパーソナライズ化を実現 課題に専念できる 早期の疾患診断 完全自動製造 AI 知能による変革 交通渋滞のない未来 03

AIテクノロジーとアプリケーションの橋渡し AIテクノロジー アプリケーション 標準化されたプラットフォーム 多面的テクノロジー オープン・エコシステム さまざまなAI性能ニーズに対応する20以上のフ 多様なAI技術、AI処理性能、サイズや仕様などの要 主要なパートナーを結び付けるオープンな エッジAI ォームファクターをラインナップ。迅速な導入と 求を統合することで、あらゆるアプリケーションに適 エコシステムを通じて、エッジの可能性を解き放ち、 アップグレードの工数を最小限に抑えます。 した製品を常に提供します。 AI の成長を加速し、より大きな価値を生み出します。 04

With Advantech, we enhance performance By collaborating with Advantech, and accessibility for AI inference we drive innovation in shaping a deployment anywhere. NVIDIA will continue to deepen our new IoT world, ensuring seamless AI Axelera AI and Advantech are working collaboration with Advantech and provide — René Torres, connectivity, efficiency, and privacy. together to make AI more accessible Vice President, Sales, Marketing and Communications AI applications from edge to cloud, realizing — Dev Singh, and impactful across our society. Group AI in various applications. VP & GM of Industrial, Qualcomm General Manager, Network & Edge Solution Sales — Fabrizio Del Maffeo, — Eunice Chiu, CEO and Co-Founder, Axelera AI NVIDIA VP and GM Taiwan エッジAI エコシステム を パートナーと共創 多様化・拡大化するAIテクノロジー。しかし一貫性のないインターフェースでは顧客の意思決定を複雑にし、AI導入の進捗を遅らせる懸念があります。 アドバンテックは、業界を牽引するトップクラスのパートナーの技術を結集し、我々の設計能力を活用することにより活気のあるオープンな AI エコ システムを育成することで、この問題に対処しています。 By partnering with Advantech, we We’re partnering with Advantech to Advantech and AMD work together jointly drive innovation and security implement and popularize generative to empower Edge applications With Advantech’s expertise in edge services to empower a wide range of AI applications on-premises through with AI-enhanced experiences. computing and Hailo’s cutting- edge applications, transforming our EdgeAI devices and technology. edge technology, we are providing vision into reality. — Gaur, Rajneesh, — Pua Khein Seng, Embedded BU head and CVP, AMD our customers with best-in-class AI — Robert Thompson, CEO of Phison Electronics Crop solutions for edge applications. Director of Edge Processing Ecosystems, NXP — Orr Danon, Hailo CEO 05

AIテクノロジーの現在と未来 GPU NPU CPU メリット • 成熟したテクノロジー • 消費電力あたり最高のAI性能 • 優れた統合性で互換性の問題を軽減 • AIのための究極のパフォーマンス • AI拡張に優れた高い柔軟性 • コンパクトサイズで、コストの優位性あり • 多数の実行ユニットで、トレーニングや • AI推論に最適化 • AIとアプリケーションを同時に実行可能 用途 推論に最適 • 柔軟性があり、既存システムのAI機能を拡張 • 高い互換性により開発が容易 • 大規模なデータ処理が可能 するために広く採用されている High GPU Technology NPU Technology CPU Built-in AI Technology Low 2015 2020 2025 2030 06 性能 消費電力

EdgeAI Computing Solutions 07

エッジAIアプリケーションは、製造業、スマートシティ、小売業、ヘルスケアなど、幅広い業界に導入されています。アドバンテックは、低消費電力から高性能のエッジAIコンピュータ (＝ハードウェア）と、AIアプリケーション開発のための環境支援ツールや標準プラットフォーム(＝ソフトウェア)をともに提供することで、さまざまなAIの作業負荷の効率化を実現し エッジAIの導入を加速させます。 ハイパフォーマンス AI モデル AI推論モデル トレーニング &推論 Computer Vision AI Enterprise AI プラットフォーム Data Labeling エンタープライズ・グレード Model Training AIソフトウェア・プラットフォーム > 500 TOPS EdgeAI EdgeAI Model Fine-Tuning • NVIDIA RAPIDS™ Server Boards Server Systems Model Compression • NVIDIA NeMo Inference Development • NVIDIA TensorRT™ AIモデルの デプロイメントと管理 AIエンジン内蔵 ソリューション AI 開発 AI 推論 開発キット ランタイム環境 フレームワーク&ツール 5~100+ TOPS AI on Modules AI-Ready Performance Evaluation TensorRT eIQ Neural Processing SDK & Boards Edge Systems AI SDK Integration OpenVINO ROCm HailoRT NeuroPilot AI 拡張モジュール OS & クラウド MicroCloud Azure OpenAI 25~200 TOPS サービス AI Acceleration Modules パートナー提供 自社提供 08

エッジAIシステム アドバンテックのエッジAIシステムは、CPU性能、AI処理能力、熱管理、アプリケーション毎のI/O要件など お客様の様々なエッジ推論アプリケーションニーズを満たせるよう、ラインナップの充実しました。 EdgeAI Server AIR-500/700 シリーズ • サーバーグレードコンピューティング • マルチGPU AI カード • ファン冷却 AI Enabled Application System AIR-300 シリーズ • ハイパフォーマンスコンピューティング • GPU / NPU拡張カード • ファン冷却 AIR-100 シリーズ • 省電力コンピューティング • NPUまたはNPU拡張カードを統合 AI Gateway • ファンレス設計 AIR-000 シリーズ • 軽量コンピューティング • NPU内蔵 • ファンレス設計 09

おすすめプロダクト Learn More Learn More Learn More コンパクト & ファンレス エッジ AI システム 1.5U スリム エッジ AI システム 4U エッジ AI サーバー AIR-150 AIR-310 AIR-520 Phase In 2024 Q2 Longevity 2034 Q1 Phase In 2024 Q3 Longevity 2034 Q1 Phase In 2024 Q3 Longevity 2028 Q2 モバイルグレード with NPU デスクトップグレード with スリム GPU サーバーグレード with マルチ GPU • Intel 第13世代 Coreプロセッサ ： 15W • Intel 第14世代 Coreプロセッサ ： 65W • AMD EPYC 7003 シリーズ ： 225W • Hailo-8 AIモジュール ： 26 TOPs • RTX A2000 MXM カード ： 8.64 TFLOPs • RTX 6000 PCIe カード x 2枚 ： 182 TFLOPs 豊富な I/O、開発者のための NPU ツールキット 豊富な I/O、開発者のための NPU ツールキット コネクティビティ、AI モデルトレーニング • LAN、USB、COM、DIO、CANBus 搭載 • LAN、USB、COM、DIO、CANBus 搭載 • 10GbE LANとリモートアクセス＆管理用のBMCを搭載 • NPU「HAILO」のツールキット TAPPASで • アドバンテック製「Edge AI SDK」で、推論 • ソフト「DeviceOn」でリモートで管理・監視が可能 事前トレーニングされたAIアプリケーションが モデルが迅速に評価、導入できる • 「aiDAPTIV+」ソリューションによりLLMの微調整 簡単に導入できる トレーニングが可能 10

AIエンジン搭載 COM　コンピ　ュータ　 オン モ　ジュ ー ル 　＆　　　 S　　B　　C　 シングルボードコンピュータ アドバンテックのAIエンジンを搭載したコンピュータ オン モジュールとシングルボードコンピュータは、 優れた設計柔軟性を提供し、開発時間を短縮します。これらのプラットフォームは、さまざまなエッジ推論 アプリケーションのインテグレーションプロセスを容易にします。 GPU搭載 SBC サーバーグレード また、アドバンテックは多様化するエッジAI推論アプリケーションに対して、様々なフォームファクタと 開発支援ツールを提供します。 • CPUコア数20以上のサーバーグレード仕様 • 様々なGPUカードが拡張可能 • 広帯域イーサネット接続対応 GPU/NPU搭載 SBC • AIアプリ向けシングルボードコンピュータ AIエンジン搭載 COＭ • 様々な GPU / NPU カードが拡張可能 • 豊富かつ効率良く搭載されたI/O端子 • 低遅延＆省電力モデル • NPU内蔵 • 拡張の容易性 AOM Micro-ATX 3.5" SBC PICO-ITX Mini-ITX 11

コンピュータ オン モジュール　　　　　　　　　シングルボードコンピュータ おすすめプロダクト Learn More Learn More Learn More AI エンジン内蔵 はんだ実装 COM CPU と AI の性能バランスが優れた SBC AI の高負荷処理に対応できるサーバーグレード ROM-2860 MIO-5377R AIMB-592 Phase In 2024 Q3 Longevity 2034 Q3 Phase In 2023 Q3 Longevity 2033 Q1 Phase In 2023 Q1 Longevity 2028 Q2 小さくても高性能 優れた演算処理能力 ハイスペックな演算処理能力 • Qualcomm QCS6490プロセッサ搭載(8コア) • Intel 第13 世代 Core プロセッサ搭載（最大14コア） • AMD EPYC 7003プロセッサ搭載（64コア) • LPDDR5-8533MT/s　オンボード8GB ※Code Name： Raptor Lake-P • DDR4 (最大768GB) ECC対応 -６RDIMM • NPU内蔵：最大12 TOPs • DDR5-4800 (最大64GB) ECC対応 • 対応GPU：NVIDIA RTX A6000 PCIeカード ※ダブルデッキ • 対応GPU：NVIDIA A4500搭載 MXMボード 　　　　RTコア性能 最大151.2 TFLOPs 洗練された豊富な I/O 　　　　 FP32性能 17.66 TFLOPs • VPU 633内蔵で 4K30 En/Decode対応 高いスループット接続 • 主なI/O：1(USB3.2 Gen1)、1(USB2.0) 柔軟な拡張性 • 4つのPCIe Gen 4.0 x16スロットで、高負荷のAI処理 　　　　2(PCIe Gen3.0)、2(I2C)、1(SPI) • カメラやセンサー接続用の主なI/O： に対応 　　　　16(GPIO)、2(I2C)、6(PWM) 　8(USB)、4(UARTs)、3(I2C)、2(CANBus)　 • Dual10GbE LAN で、広帯域イーサネット下の、ビック 　　　　1(DP)、1(eDP)、2(MIPI-CSIx4) • AIエンジン拡張用I/O： データやクラウドサービスを 強化 • オプションI/O：2(GbE)、1(USB 3.2 Gen2)、2(PCIe） 　PCIe、M.2 B-/E-/M-Key、USB4 12

AI モジュール ＆ GPUカード アドバンテックは、リアルタイムのAI推論が実行できるよう設計された、拡張タイプのAIモジュールとGPUカードを提供しています。 このシリーズは、顧客が標準的なフォームファクタを使用してAIコンピューティングを迅速に統合することを可能にし、多様なAIパ フォーマンスと電力要件に対応する柔軟性の高いソリューションを提供します。 M.2モジュール EAI-1000 series PCIe カード • 省電力なAIエンジン 省スペース ★ ★ ★ ★ ★ • コンパクトサイズ M.2 2242/2280 省電力 ★ ★ ★ ★ ☆ EAI-3000 series • AMR/AGV、ナンバープレート認識などの用途に パフォーマンス ★ ★ ★ ☆ ☆ • ハイパフォーマンスなAIエンジン 省スペース ★ ★ ★ ☆ ☆ • スタンダードな PCIe x16/x8 省電力 ★ ★ ☆ ☆ ☆ • 交通監視、AOI検査などの用途に パフォーマンス ★ ★ ★ ★ ★ MXM カード EAI-2000 series • AIエンジン内蔵 省スペース ★ ★ ★ ★ ☆ • スリムサイズ MXM Type A / B 省電力 ★ ★ ★ ☆ ☆ • 医療分析/ロボットアームなどの用途に パフォーマンス ★ ★ ★ ★ ☆ 13

おすすめプロダクト Learn More Learn More Learn More Hailo-8 M.2 AI モジュール Intel® ArcTM A370M MXM Type A GPU カード Intel® ArcTM A380E PCIe x16 GPU カード EAI-1200 EAI-2100 EAI-3101 Phase In 2024 Q3 Longevity 2029 Q4 Phase In 2023 Q3 Longevity 2028 Q4 Phase In 2023 Q3 Longevity 2028 Q4 省電力 AI エンジンモジュール 内蔵 AI エンジン ハイパフォーマンス AI エンジン • 26 TOPS • 4.2 TFLOPs • 5.02 TFLOPs • TDP 最大 8.25W • TDP 最大 40W • TDP 最大 85W 互換性 容易な統合性 迅速な AI 開発 • x86/ARMプラットフォーム対応 • ワイドレンジ 電源入力 9-20V • 開発ツール「Edge AI SDK」バンドル • 動作温度範囲 ： -40 ~ 85°C • オプション：スマートファン付き • DirectX, OpenGL, OpenCL, Vulkan API サポート 　　　　　 ヒートスプレッター & ファンシンク 14

AI性能 ベンチマーク測定 エッジAIの利用用途は非常に多様化しており、お客様はさまざまな目的や用途に適したAIソリューションを特定することが難しくなっています。 そこでアドバンテックは「AI性能ベンチマーク」をご提供します。「AI性能ベンチマーク」の主要な評価項目は、スループット、レイテンシ、 電力/コスト効率などで構成されており、お客様がアプリケーションに最適なAIソリューションを見つけるサポートをします。 処理能力 応答速度 効率化 AI推論における �秒間に処理される画像の枚数 データ要求からの応答速度 エネルギーとコストの有効性 画像 / 秒 ミリ秒 スループット / ワット スループット / ドル Higher is better Lower is better Higher is better 大容量データ推論 リアルタイム AI分析 長期化するエッジコンピューティング 監視、 AOI検査 AMR、 ドローン スマート・リテール、 医療分析 15 アプリケーション シナリオ 測定値 項目

最適なエッジAIソリューションを選択いただく指標 NPUは、軽量なAIタスク向け 優れたコスト効率 → Intel Arc GPU 拡張タイプのGPUは、高いスループット 拡張タイプのGPUは、重いAIタスク向け 優れた電力効率 → Hailo-8 NPU i5-1345UE 94.7 i5-1345UE 397.96 15.96 i5-1345UE 0.32 Iris Xe 300.64 1.03 Iris Xe 78.06 Iris Xe 5.47 12.03 UHD 770 222.75 UHD 770 1.73 UHD 770 119.05 11.14 5.43 Jetson Xavier NX 188.071 Jetson Xavier NX 0.47 9.40 Jetson AGX Orin 32GB 13.79 2.70 Jetson AGX Orin 32GB 367.48 Jetson AGX Orin 32GB 0.41 9.19 Intel Arc A380E 22.07 4.8 Intel Arc A380E 571.13 Intel Arc A380E 2.75 10.38 Intel Arc A370M 25.22 Intel Arc A370M 547.93 4.89 Intel Arc A370M 2.77 15.66 NV Quadro-A2000 7.85 Yolov�x (Heavyモデル） 1.27 コスト効率 NV Quadro-A2000 632.79 1.70 Yolov�n (Light モデル) NV Quadro-A2000 10.55 電力効率 Hailo-8 370.95 Hailo-8 86.7 2.47 4.07 Hailo-8 49.46 単位： メージ／秒（ Yolov5n） 単位： ミリ秒 単位： Yolov�n_スループット / ワット Yolov�n_スループット / ドル テスト環境 : ONNX による 一般的 ( Yolov5n、Yolov5m、Yolov5x ) な物体検出モデルの実行　 Ubuntu 22.04 ( カーネル Ver: 5.15、Batch size=1、Data type=INT8、画像解像度 = 640x640 ) 16 ��倍低遅延

エッジAI ソフトウェア アーキテクチャ アドバンテックは、ハードウェアとソフトウェアの統合ソリューションでお客様のAIプロジェクトをサポートします。 アドバンテックが選ばれる理由は、「様々なプラットフォーム向けのAI開発環境の提供」、「AIモデルのトレーニングおよび推論ツールの提供」、「クラウドサービ スによる拡張性の強化」です。さらに「堅牢な基板設計」、「マルチプラットフォームのサポート」、「すべての開発段階に対応する支援ツールの提供」は、お客様の 継続的なソリューションの改善・改良をサポートします。 AI クラウドサービス Azure OpenAI Canonical MicroCloud 「aiDAPTIV+」による Computer Vision エンタープライズ・グレード AIソフトウェア・プラットフォーム AI モデル LLM微調整 AI プラットフォーム • NVIDIA RAPIDS™ トレーニング & 推論 AI Enterprise • NVIDIA NeMo • NVIDIA TensorRT™ AIモデルのデプロイメント＆管理 AI 推論 開発キット フレームワーク&ツール NVIDIA CUDA & TensorRT / Intel OpenVINO / AMD ROCm / HailoRT / AI 開発 • Runtime SDK Qualcomm® Neural Processing SDK / NXP eIQ / MediaTek NeuroPilot ランタイム環境 • Benchmark Tools Neural Processing SDK DeviceOn AIoTエージェント / Power Suite OS追加機能 / SUSI Driver & API / IEC����� ビューロベリタス社 OS サイバーセキュリティ認証 & 付加価値サービス Windows IoT Windows on Arm Ubuntu Pro 17

開発ツールキット「EdgeAI SDK」 アドバンテックのエッジAIソリューション「EdgeAI SDK」を活用することにより、お客様はセットアップを簡素化できるのですぐに開発を開始することができます。 「EdgeAI SDK」はシームレスな互換性を保証し、時間と労力を節約します。「EdgeAI SDK」のベンチマークツールは、先進的なAI推論エンジンを統合し、最小限の R&D労力でAI処理能力に関する迅速な洞察を提供します。検証済みのランタイムSDKと多様なAIモデルは、顧客のAIアプリケーション開発を迅速に開始するのに役立ちます。 推論ベンチマークツール クロス推論プラットフォームに対応した開発ツールキットで 効率的にAI開発をトータルサポート 推論展開プラットフォーム コード不要なGUIで、迅速に スケーラブルなアップデートで AI推論評価が可能 AIコンテナをリモート管理 推論ランタイム SDK グローバル カスタマーサポート アドバンテックのエッジデバイスにインストール可能 AI推論ソリューションの エッジtoクラウドのコンサルティングサービス Neural Processing SDK 18

「エッジAI デザインイン・サービス」 競争優位性を生み出すためには、ハードウェアがAIがアプリケーションの価値にもっと貢献する必要があります。 アドバンテックの「エッジAI デザインイン・サービス」は、コンプライアンスやセキュリティ対策に加え、CPUパワーを最大限に活かせるよう最適化されたサーマル ソリューションシステムでハードウェアプラットフォームをご提供します。また、AIモデルの生成学習から導入まで包括的にサポートするソフトウェアもご用意しました。 ビジョンAIカメラのハードウェアとソフトウェアを統合することで、優れた競争力のための迅速なAI統合を可能にします。 アプリケーションの価値 AI の統合 各種認証とセキュリティ AI 開発のための支援ツール • CE/FCC/UL/CCC/BSMI • 対応OS: Ubuntu, Windows • IEC-62443 • AI ランタイム SDK • NVIDIA-Certified SystemsTM • AI モデルのトレーニングと推論 AI Enterprise コンピューティング AI コンピューティングの統合 様々なアーキテクチャ • 拡張モジュール : M.2, MXM, PCIe • x86 プラットフォーム • 内蔵された NPU • Arm プラットフォーム AI エンタープライズ SSD Powered by 安定性した電力供給 • aiDAPTIV+テクノロジーを搭載したSQ aiSSD • PDNシミュレーション • オンプレミスかつ安価にLLM微調整が可能 • ボードプロットと位相マージン • ディレーティングと突入電流管理 カメラの対応 • 豊富な接続：MIPI-CSI, GMSL, FPD-Link, 最適なサーマル管理 　　　　　 LAN, USBなど • 熱対策設計とシミュレーション • パトナー ISPのチューニングとドライバ • 信頼性とコストのバランス 19