1/42ページ
カタログの表紙 カタログの表紙 カタログの表紙
カタログの表紙

このカタログをダウンロードして
すべてを見る

ダウンロード(2.8Mb)

【分析レポートサンプル】フライウィールの PoC、ここまで検証します|AI-Ready 化前後の RAG 精度比較

ホワイトペーパー

製造業の保全データ 100 件を使い、生データと AI-Ready 化後のデータで AI の回答精度を 6 つの指標で比較した PoC レポートのサンプルです

トラブル報告書や設計書、設備ログには、写真・グラフ・図面など、AI がそのままでは読み取れない情報が多く含まれています。
本資料は、こうしたデータを AI が扱える形に整える「AI-Ready 化」の前と後で、同じ質問への AI の回答がどう変わるかを検証した PoC レポートのサンプルです。
フライウィールの PoC で、どのような分析・評価を行い、どんなレポートをお渡ししているのかをご覧いただけます。

製造業の設備保全グループを想定し、トラブル報告書・設計書・設備ログ・議事録の 100 件を対象に、現場の対応フロー(初動確認→状況把握→原因分析→是正・水平展開)に沿った 10 の質問で比較しました。

■主な内容
・受領データの特徴分析(表、写真、グラフ、P&ID、設計図、原因分析図)
・現場の対応フローに沿った想定質問の設計
・AI-Ready 化のプロセスと、データ構造の Before/After
・6 つの評価指標による比較と、質問ごとの詳細分析
・効果試算と、運用に移行するための論点

■こんな方におすすめです
・製造業で、図面や報告書などの社内文書を AI で活用したい方
・生成 AI や RAG を導入したものの、回答の精度に課題を感じている方
・PoC の進め方や、成果の評価方法を知りたい方

※本資料に登場する ABC 株式会社は架空の会社です。トラブル報告書はフライウィールが想定して作成したもので、分析結果も実際の分析をもとにした架空のものです。

このカタログについて

ドキュメント名 【分析レポートサンプル】フライウィールの PoC、ここまで検証します|AI-Ready 化前後の RAG 精度比較
ドキュメント種別 ホワイトペーパー
ファイルサイズ 2.8Mb
登録カテゴリ
取り扱い企業 株式会社フライウィール (この企業の取り扱いカタログ一覧)

このカタログの内容

Page1

ABC 株式会社 設備技術部 保全グループ AI-Ready 化事例 PoC‧分析レポートサンプル 同じ質問に、同じ AI が、どう違う答えを返すようになるか ―⽣データと AI-Ready 化後データによる RAG 精度⽐較‧質問別詳細分析― 対象データセット:トラブル報告書∕設計書∕設備ログ∕議事録の 100 件 (代表サンプル:電気炉の排ガスブロワの故障) ※ABC 株式会社は架空の会社であり、このレポートにあるトラブル報告書はフライウィールが想定して作成したものです。また分析についても実際の分析を基にした架空の分析です。 © FLYWHEEL Inc. All Rights Reserved.
Page2

エグゼクティブ サマリー ABC 株式会社 設備技術部 保全グループ様|⽣データ vs AI-Ready 化後 RAG 評価 6 指標⽐較 PoC 概要 • 対象データ 100 件(報告書 60‧設計書 20‧ログ 15‧議事録 5)∕代表事例:排ガスブロワ故障 • 現場対応フロー(初動確認→状況把握→原因分析→是正‧⽔平展開)に基づく想定質問 10 問で⽐較(実 PoC は 30 問) • VLM 解析→信頼度付与→Evidence/Assertion→オントロジー統合の多段階で AI-Ready 化 評価結果:6 指標中 5 指標が改善 • 回答素材の適切さ:0.26→0.54(+0.28pt‧約 +108%‧最⼤改善) • 回答の的中度:0.75→0.87(+0.12pt‧10 問中 4 問改善‧低下 0 件) • 根拠の確かさ∕引⽤適切さ∕素材量:各 +0.03〜0.05pt で微改善、回答⼿順は 0.92→0.92 で変化なし • ハイライト:振動閾値の超過タイミング誤認識が AI-Ready 化後に是正(回答の的中度 0.42→0.92) 今後の提案 • 共有ストレージ(SharePoint / Box など)経由で運⽤を提案。ユーザー操作は「データ保存」と「活⽤‧通知確認」のみ • 検知〜AI-Ready 化〜書き戻しはフライウィール側で完結。トリガー⽅式‧書き戻し先‧権限ガバナンス等を事前にすり合わせ AI-Ready 化で検索精度‧回答信頼性が向上。共有ストレージ運⽤を開始し、残る課題は運⽤を通じ段階的に改善する。 © FLYWHEEL Inc. All Rights Reserved. 2
Page3

本レポートの構成 01. データの特徴分析 顧客から受領したデータはどのようなデータであったかを分析 02. 質問設計 受領データを基に、どのような想定質問を設計したか説明 03. データ加⼯(AI-Ready 化) データをどのように加⼯し、AI-Ready 化したかを説明 04. 評価⽐較分析 Before / After での評価結果を⽰し、変化を分析 05. 今後の取り組みの提案 評価結果を踏まえた、今後の取り組みについて提案 © FLYWHEEL Inc. All Rights Reserved. 3
Page4

01 データの特徴分析 顧客から受領したデータはどのようなデータであったかを分析 データの特徴分析 質問設計 データ加⼯(AI-Ready 化) 評価⽐較分析 今後の取り組みの提案 © FLYWHEEL Inc. All Rights Reserved.
Page5

サンプルデータ受領内容 設備技術部 保全グループより受領した 100 件のデータ概要‧内訳‧特徴 ABC 株式会社 提供元: 設備技術部 保全グループ 受領件数:100 件 データ種類:4 種類(報告書∕設計書∕ログ∕議事録) 受領データの内訳(100 件) サンプルデータに⾒られる特徴(6 種類) トラブル報告書 60 件(60%) 構造化テーブル 現物写真+注釈 型番‧対応履歴等を⾏列で 設備現物の写真に⽮印‧注記 設計書 20 件(20%) 整理した表形式データ を付した資料 異常推移グラフ P&ID(配管計装図) 設備ログ 15 件(15%) 温度‧振動等の時系列推移を 配管‧計装機器の接続関係 ⽰すグラフ を⽰す図⾯ 設計図(⼨法⼊り) 原因分析図(因果推定) 議事録 5 件(5%) 部品‧組⽴の⼨法情報を含む なぜなぜ分析等、因果関係 図⾯ を図式化した資料 代表的なトラブル報告書を基に、含まれるデータの内容と特徴分析を次項以降で解説 © FLYWHEEL Inc. All Rights Reserved. 5
Page6

データの詳細①:基本情報‧概要‧時系列‧異常推移 トラブル報告書の前半部分。設備の基本情報、写真、AI 予兆診断の時系列とグラフを含む © FLYWHEEL Inc. All Rights Reserved. 6
Page7

データの詳細②:関連図⾯‧設計図‧原因分析‧再発防⽌策 トラブル報告書の後半部分。P&ID、設計図、AI による因果推定、他現場への展開策を含む © FLYWHEEL Inc. All Rights Reserved. 7
Page8

データの特徴(1/2) テキスト‧表‧写真系データの特徴と、構造化における難易度 構造化テーブル 現物写真+注釈 異常推移グラフ 項⽬と値が対応し、他のデータ種別 全景写真と、⾚丸‧⽮印で軸受部を 実測値‧AI 予測値‧3 閾値の 5 系列 より機械可読性が⾼い。ただし⾚字 ⽰す拡⼤写真の 2 階層構成。注釈が が重なる折れ線グラフ。閾値から乖 強調のような視覚的な重要度シグナ 指す対象と意味という 2 段階の情報 離し始めたタイミングという意味情 ルはそのままでは読み取れない。 を持つ点が特徴。 報の⽅が本質的。 ● 項⽬と値の対応は明確 ● 写真は 2 階層構成 ● 5 系列が重なる折れ線構成 ● 強調表⽰は読み取れない ● 注釈の対象特定が必要 ● 乖離のタイミングが本質情報 © FLYWHEEL Inc. All Rights Reserved. 8
Page9

データの特徴(2/2) 図⾯‧ダイアグラム系データの特徴と、構造化における難易度 P&ID(配管計装図) 設計図(⼨法⼊り) 原因分析図(因果推定) バルブ‧計器‧ラインが業界標準記 ⼨法値と⼨法線‧引出線が対応づく 4 つの要因カテゴリから結果へ向かう 法で描かれ、設備タグが図中に強調 CAD ライクな図⾯。⽂字と図形要素 ⽮印で構成。⽮印の向き=因果の⽅ 表⽰。線の接続関係=トポロジーの の紐づけができて初めて意味を持 向性そのものが情報であり、平⽂化 把握が本質になる。 ち、OCR では誤認しやすい。 すると失われやすい。 ● 業界標準記法で表現 ● ⼨法と図形要素の対応付け ● 4 要因から結果への⽮印構造 ● 接続関係の把握が本質 ● ⽂字と図形の紐づけが鍵 ● ⽅向性⾃体が情報を持つ © FLYWHEEL Inc. All Rights Reserved. 9
Page10

02 質問設計 受領データを基に、どのような想定質問を設計したか 1. データの特徴分析 2. 質問設計 3. データ加⼯(AI-Ready 化) 4. 評価⽐較分析 5. 今後の取り組みの提案 © FLYWHEEL Inc. All Rights Reserved.
Page11

想定質問はどのように設計したか 受領データの構成要素と、保全グループの現場対応フロー(フライウィール想定)を掛け合わせて設計 ① 受領データの構成要素 設備写真 振動推移 P&ID 原因分析 拡⼤写真 グラフ 設計図 時系列 再発防⽌策 ② 保全グループの実際の対応フロー × ▶ ▶ ▶ 初動確認 状況把握 原因分析 是正・水平展開 設計⽅針 受領データの各要素を②保全グループの現場対応フロー(フライウィール想定)に当てはめ、 現場で本当に使われる 10 の想定質問を設計 © FLYWHEEL Inc. All Rights Reserved. 11
Page12

AI-Ready 化されているかの検証ポイント 適切に AI-Ready 化されているか 4 つの観点を反映した質問を設計。 各観点は、想定質問 1〜10 のいずれかに対応しており、質問への回答を通じて実際に確認できる(詳細は次⾴の⼀覧表) ❶ ❷ ❸ ❹ 数値‧図⾯の正確性 時系列‧因果関係の把握 根拠‧エビデンスの追跡 知識活⽤‧⽔平展開 グラフ‧⼨法‧タグの数値 イベントの順序、確定と推 診断結果や信頼度の根拠 オントロジーを介した が、信頼度付きで正確に抽 定の区別、因果チェーンが (Evidence‧provenance) 横断検索や、対策と KPI 出できているか 構造的に整理できているか まで遡って説明できるか の連携ができているか (対象:質問 1〜3) (対象:質問 4〜6) (対象:質問 7〜8) (対象:質問 9〜10) © FLYWHEEL Inc. All Rights Reserved. 12
Page13

保全グループの質問と検証ポイント(質問 1〜10) ※実際の PoC では 30 問で確認 質問 No 質問内容 検証ポイント Q01 振動値が警戒閾値・危険閾値をそれぞれ超えたのはいつか。閾値の数値も教え グラフの数値が信頼度付きで抽出され、目盛の誤読を防げているか て Q02 P&ID 上の ID-FAN-02A と関連するバルブ・計装タグを一覧化し、それぞれの判 タグごとの判読信頼度が明示され、不確実な箇所を切り分けられているか 読信頼度を教えて Q03 排ガスブロワの構造図の寸法(全長、全高、ベース幅など)を一覧にして、DE 側 寸法値が信頼度付きで構造化され、図面の読み直しが不要になっているか 軸受の位置関係を教えて Q04 AI が最初に予兆を検知してからアラーム発報・緊急停止までの時間経過と、そ イベントが時系列として構造化され、順序を取り違えずに再現できるか の間に現場が何をしたかを時系列で並べて教えて Q05 今回の故障で「確定」している情報と「推定」にとどまる情報を分けて教えて 確定/推定/未確認のステータスが分離管理され、混同を防げているか Q06 AI が予兆を検知していたにもかかわらず停止に至った理由を、運用面(点検間 機械的要因と運用要因の因果チェーンが別系統で整理できているか 隔・閾値設定・通知優先度)に絞って説明して Q07 診断信頼度 0.82 や異常スコア 92/100 の根拠になっているデータは何か教えて 数値の根拠(Evidence・provenance)を出所まで追跡できているか Q08 今回の原因候補(グリース劣化、芯出しずれ、アンバランス等)はそれぞれ確定 原因ごとの信頼度と、追加確認タスク(給脂履歴等)が紐づいているか か推定か。確認するために追加で何を検証すべきか教えて Q09 同じ排ガスブロワ DE 側軸受の故障モードを持つ他工場の設備を、水平展開の オントロジーに基づく検索条件がそのまま流用でき、横展開に使えるか ために検索したい。どのような条件で検索すればよいか Q10 再発防止策の各項目について、KPI 候補と AI・データ活用手段を対応付けて教 課題・対応策・AI 活用・KPI 候補がマトリクスとして保持されているか えて © FLYWHEEL Inc. All Rights Reserved. 13
Page14

03 データ加⼯(AI-Ready 化) データをどのように加⼯し、AI-Ready 化したかを説明 1. データの特徴分析 2. 質問設計 3. データ加⼯(AI-Ready 化) 4. 評価⽐較分析 5. 今後の取り組みの提案 © FLYWHEEL Inc. All Rights Reserved.
Page15

AI-Ready 化に対するプロセス アーキテクチャ ETL との違いは、証跡と⼈⼿レビューが線の中にあること。AI/VLM は認識‧意味判断へ限定する。 01 ⽂書⼊⼒‧判定 02 決定論的な前処理 03 AI / VLM 変換 04 共通データ形式 種別と品質を先に⾒る 同じ⼊⼒なら同じ出⼒ ⽂書別に経路が分かれる 種別が違っても同じ受け⽫ 次の変換へ反映 決定論的処理 AI / VLM に委ねる 07 出⼒ 06 ⼈⼿レビューと判断履歴 05 出典‧確からしさ ファイル / RAG / Agent へ 修正が資産として残る 変換結果とセットで出す ⼈が判断する 横断レイヤー 顧客設定‧⽤語∕推論先アダプター∕ストレージ∕評価‧モニタリング∕認証‧認可 © FLYWHEEL Inc. All Rights Reserved. 15
Page16

Before / After:⽂書構造そのものの変化 ⾮構造データ(画像 1 枚)から知識グラフへ、4 段階で構造が積み上がる Before:報告書画像(1 枚もの) After:AI-Ready Markdown+知識グラフ ‧⽂章(⾒出し‧本⽂) ‧Equipment / Component(設備‧部品) ‧写真(設備全体∕故障部位拡⼤) ‧FailureMode(故障モード) ‧表(基本情報) ‧Measurement / Threshold(計測‧閾値) ‧グラフ(振動値推移) ▶ ‧AIAnalysis / Confidence(AI 診断‧信頼度) ‧P&ID(配管計装図) ‧Event(時系列イベント) ‧設計図(構造⼨法図) ‧Evidence(写真∕図⾯∕グラフの根拠紐付け) これらは相互に紐付いておらず、AI は「1 枚の画像」とし すべての要素が信頼度‧根拠つきで相互リンクされ、検 てしか扱えない 索‧推論の対象になる © FLYWHEEL Inc. All Rights Reserved. 16
Page17

Before / After ①:基本情報の表 報告書ヘッダーの表がそのまま構造化データ+信頼度スコアに変換される Before:画像内の該当箇所(実画像) After:MD 上の記載(信頼度付き) 「1. 基本情報」表 +「VLM による意味付け」欄として記載: EquipmentTag ID-FAN-02A 0.99 Equipment 排ガスブロワ No.2A 0.99 ▶ EquipmentType 回転機 0.98 Process 電気炉 No.2 排ガス処理ライン 0.98 FailureCategory 機器故障(回転機) 0.98 +「ID-FAN-02A は設備タグとして⼀意に識別できる」等の意味付 ↑ 報告書「1. 基本情報」の表部分をそのまま抽出 けコメントを付与(MD §1) ※(MD §1)などの表記は、Markdown 書式の節番号を指します。 © FLYWHEEL Inc. All Rights Reserved. 17
Page18

Before / After ②:故障部位の写真 ⾚枠‧⽮印で⽰された「⾒た⽬の強調」が、部品‧関係‧因果チェーンとして⾔語化される Before:画像内の該当箇所(実画像) After:エンティティ‧関係として記述 hasComponent(設備 → 部品): ID-FAN-02A → DE 側軸受 信頼度 0.98 hasFailureMode(部品 → 故障モード): DE 側軸受 → 異常摩耗 信頼度 0.97∕焼損 信頼度 0.82(推定含む) ▶ Evidence(根拠)として TroubleReport / Photograph / DesignDrawing の 3 系統を紐付け(MD §48) ↑ 「2. トラブルの概要」内の設備写真+DE 側軸受拡⼤写真(⾚破 線‧⽮印の注記部分) assertionStatus:確定∕推定で明確に区別 「異常摩耗」は確定情報だが、「焼損」は写真の外観判断 視覚的に確認できる関係(MD §2.2): を含む推定情報として区別して保持する(MD §22) 排ガスブロワ No.2A → DE 側 → 軸受 → 異常摩耗‧焼損 © FLYWHEEL Inc. All Rights Reserved. 18
Page19

Before / After ③:異常推移グラフ(AI 予兆診断) 折れ線グラフの視覚情報が、閾値‧状態遷移‧時系列データとして数値化される Before:画像内の該当箇所(実画像) After:閾値‧状態遷移テーブル化 警戒閾値 約 3.0 mm/s 0.90 注意閾値 約 7.5 mm/s 0.88 危険閾値 約 10.0 mm/s 0.95 危険到達⽇時 5/23 09:35 0.99 ▶ 状態遷移: 正常域(約 2)→警戒域(3〜)→注意域(7.5〜) →危険域(10〜)(MD §4.3) 読み取り値は「グラフ⽬盛からの推定値」と明記 「正式な管理値として使う場合は原データ∕設備仕様書で ↑ 「4. 異常推移グラフ(AI 予兆診断)」のグラフ部分をそのまま 確認」という検証要件も同時に保持(MD §4.2‧§18) 抽出(凡例‧閾値線‧アラーム吹き出しを含む) © FLYWHEEL Inc. All Rights Reserved. 19
Page20

Before / After ④:P&ID‧設計図⾯ 図⾯記号‧⼨法線が、設備タグ⼀覧と数値⼨法として抽出され、判読限界も信頼度で表現される Before:画像内の該当箇所(実画像) After:タグ⼀覧+⼨法テーブル+信頼度 P&ID 主要タグ(MD §6.2‧§26): XV-102(0.90)/ XV-106(0.72‧要原図確認)など、タグごとに 信頼度を個別付与 5. 関連図⾯(P&ID) 設計⼨法(MD §7.1‧§27): 全⻑ 2,150mm(0.96) / 全⾼ 1,320mm(0.96)/ ▶ ベース幅 900mm(0.96)などを数値化 判読限界そのものをデータ化 6. 設計図(構造図) 「縮⼩図⾯のため⼀部バルブ番号‧計装タグは重なりで 確定判読できない」という限界を注記として残し、 信頼度 0.65〜0.90 の幅で表現。 ↑ 縮⼩図⾯のため⼀部バルブ番号‧計装タグは重なりで判読しづらい 正式図⾯との照合が必要なタグを明⽰(MD §6.2) (→After 側で信頼度として表現) © FLYWHEEL Inc. All Rights Reserved. 20