1/42ページ
ダウンロード(2.8Mb)
製造業の保全データ 100 件を使い、生データと AI-Ready 化後のデータで AI の回答精度を 6 つの指標で比較した PoC レポートのサンプルです
トラブル報告書や設計書、設備ログには、写真・グラフ・図面など、AI がそのままでは読み取れない情報が多く含まれています。
本資料は、こうしたデータを AI が扱える形に整える「AI-Ready 化」の前と後で、同じ質問への AI の回答がどう変わるかを検証した PoC レポートのサンプルです。
フライウィールの PoC で、どのような分析・評価を行い、どんなレポートをお渡ししているのかをご覧いただけます。
製造業の設備保全グループを想定し、トラブル報告書・設計書・設備ログ・議事録の 100 件を対象に、現場の対応フロー(初動確認→状況把握→原因分析→是正・水平展開)に沿った 10 の質問で比較しました。
■主な内容
・受領データの特徴分析(表、写真、グラフ、P&ID、設計図、原因分析図)
・現場の対応フローに沿った想定質問の設計
・AI-Ready 化のプロセスと、データ構造の Before/After
・6 つの評価指標による比較と、質問ごとの詳細分析
・効果試算と、運用に移行するための論点
■こんな方におすすめです
・製造業で、図面や報告書などの社内文書を AI で活用したい方
・生成 AI や RAG を導入したものの、回答の精度に課題を感じている方
・PoC の進め方や、成果の評価方法を知りたい方
※本資料に登場する ABC 株式会社は架空の会社です。トラブル報告書はフライウィールが想定して作成したもので、分析結果も実際の分析をもとにした架空のものです。
このカタログについて
| ドキュメント名 | 【分析レポートサンプル】フライウィールの PoC、ここまで検証します|AI-Ready 化前後の RAG 精度比較 |
|---|---|
| ドキュメント種別 | ホワイトペーパー |
| ファイルサイズ | 2.8Mb |
| 登録カテゴリ | |
| 取り扱い企業 | 株式会社フライウィール (この企業の取り扱いカタログ一覧) |
この企業の関連カタログ
このカタログの内容
Page1
ABC 株式会社 設備技術部 保全グループ
AI-Ready 化事例 PoC‧分析レポートサンプル
同じ質問に、同じ AI が、どう違う答えを返すようになるか
―⽣データと AI-Ready 化後データによる RAG 精度⽐較‧質問別詳細分析―
対象データセット:トラブル報告書∕設計書∕設備ログ∕議事録の 100 件
(代表サンプル:電気炉の排ガスブロワの故障)
※ABC 株式会社は架空の会社であり、このレポートにあるトラブル報告書はフライウィールが想定して作成したものです。また分析についても実際の分析を基にした架空の分析です。
© FLYWHEEL Inc. All Rights Reserved.
Page2
エグゼクティブ サマリー
ABC 株式会社 設備技術部 保全グループ様|⽣データ vs AI-Ready 化後 RAG 評価 6 指標⽐較
PoC 概要
• 対象データ 100 件(報告書 60‧設計書 20‧ログ 15‧議事録 5)∕代表事例:排ガスブロワ故障
• 現場対応フロー(初動確認→状況把握→原因分析→是正‧⽔平展開)に基づく想定質問 10 問で⽐較(実 PoC は 30 問)
• VLM 解析→信頼度付与→Evidence/Assertion→オントロジー統合の多段階で AI-Ready 化
評価結果:6 指標中 5 指標が改善
• 回答素材の適切さ:0.26→0.54(+0.28pt‧約 +108%‧最⼤改善)
• 回答の的中度:0.75→0.87(+0.12pt‧10 問中 4 問改善‧低下 0 件)
• 根拠の確かさ∕引⽤適切さ∕素材量:各 +0.03〜0.05pt で微改善、回答⼿順は 0.92→0.92 で変化なし
• ハイライト:振動閾値の超過タイミング誤認識が AI-Ready 化後に是正(回答の的中度 0.42→0.92)
今後の提案
• 共有ストレージ(SharePoint / Box など)経由で運⽤を提案。ユーザー操作は「データ保存」と「活⽤‧通知確認」のみ
• 検知〜AI-Ready 化〜書き戻しはフライウィール側で完結。トリガー⽅式‧書き戻し先‧権限ガバナンス等を事前にすり合わせ
AI-Ready 化で検索精度‧回答信頼性が向上。共有ストレージ運⽤を開始し、残る課題は運⽤を通じ段階的に改善する。
© FLYWHEEL Inc. All Rights Reserved. 2
Page3
本レポートの構成
01. データの特徴分析 顧客から受領したデータはどのようなデータであったかを分析
02. 質問設計 受領データを基に、どのような想定質問を設計したか説明
03. データ加⼯(AI-Ready 化) データをどのように加⼯し、AI-Ready 化したかを説明
04. 評価⽐較分析 Before / After での評価結果を⽰し、変化を分析
05. 今後の取り組みの提案 評価結果を踏まえた、今後の取り組みについて提案
© FLYWHEEL Inc. All Rights Reserved. 3
Page4
01 データの特徴分析
顧客から受領したデータはどのようなデータであったかを分析
データの特徴分析
質問設計
データ加⼯(AI-Ready 化)
評価⽐較分析
今後の取り組みの提案
© FLYWHEEL Inc. All Rights Reserved.
Page5
サンプルデータ受領内容
設備技術部 保全グループより受領した 100 件のデータ概要‧内訳‧特徴
ABC 株式会社
提供元: 設備技術部 保全グループ 受領件数:100 件 データ種類:4 種類(報告書∕設計書∕ログ∕議事録)
受領データの内訳(100 件) サンプルデータに⾒られる特徴(6 種類)
トラブル報告書 60 件(60%)
構造化テーブル 現物写真+注釈
型番‧対応履歴等を⾏列で 設備現物の写真に⽮印‧注記
設計書 20 件(20%) 整理した表形式データ を付した資料
異常推移グラフ P&ID(配管計装図)
設備ログ 15 件(15%) 温度‧振動等の時系列推移を 配管‧計装機器の接続関係
⽰すグラフ を⽰す図⾯
設計図(⼨法⼊り) 原因分析図(因果推定)
議事録 5 件(5%)
部品‧組⽴の⼨法情報を含む なぜなぜ分析等、因果関係
図⾯ を図式化した資料
代表的なトラブル報告書を基に、含まれるデータの内容と特徴分析を次項以降で解説
© FLYWHEEL Inc. All Rights Reserved. 5
Page6
データの詳細①:基本情報‧概要‧時系列‧異常推移
トラブル報告書の前半部分。設備の基本情報、写真、AI 予兆診断の時系列とグラフを含む
© FLYWHEEL Inc. All Rights Reserved. 6
Page7
データの詳細②:関連図⾯‧設計図‧原因分析‧再発防⽌策
トラブル報告書の後半部分。P&ID、設計図、AI による因果推定、他現場への展開策を含む
© FLYWHEEL Inc. All Rights Reserved. 7
Page8
データの特徴(1/2)
テキスト‧表‧写真系データの特徴と、構造化における難易度
構造化テーブル 現物写真+注釈 異常推移グラフ
項⽬と値が対応し、他のデータ種別 全景写真と、⾚丸‧⽮印で軸受部を 実測値‧AI 予測値‧3 閾値の 5 系列
より機械可読性が⾼い。ただし⾚字 ⽰す拡⼤写真の 2 階層構成。注釈が が重なる折れ線グラフ。閾値から乖
強調のような視覚的な重要度シグナ 指す対象と意味という 2 段階の情報 離し始めたタイミングという意味情
ルはそのままでは読み取れない。 を持つ点が特徴。 報の⽅が本質的。
● 項⽬と値の対応は明確 ● 写真は 2 階層構成 ● 5 系列が重なる折れ線構成
● 強調表⽰は読み取れない ● 注釈の対象特定が必要 ● 乖離のタイミングが本質情報
© FLYWHEEL Inc. All Rights Reserved. 8
Page9
データの特徴(2/2)
図⾯‧ダイアグラム系データの特徴と、構造化における難易度
P&ID(配管計装図) 設計図(⼨法⼊り) 原因分析図(因果推定)
バルブ‧計器‧ラインが業界標準記 ⼨法値と⼨法線‧引出線が対応づく 4 つの要因カテゴリから結果へ向かう
法で描かれ、設備タグが図中に強調 CAD ライクな図⾯。⽂字と図形要素 ⽮印で構成。⽮印の向き=因果の⽅
表⽰。線の接続関係=トポロジーの の紐づけができて初めて意味を持 向性そのものが情報であり、平⽂化
把握が本質になる。 ち、OCR では誤認しやすい。 すると失われやすい。
● 業界標準記法で表現 ● ⼨法と図形要素の対応付け ● 4 要因から結果への⽮印構造
● 接続関係の把握が本質 ● ⽂字と図形の紐づけが鍵 ● ⽅向性⾃体が情報を持つ
© FLYWHEEL Inc. All Rights Reserved. 9
Page10
02 質問設計
受領データを基に、どのような想定質問を設計したか
1. データの特徴分析
2. 質問設計
3. データ加⼯(AI-Ready 化)
4. 評価⽐較分析
5. 今後の取り組みの提案
© FLYWHEEL Inc. All Rights Reserved.
Page11
想定質問はどのように設計したか
受領データの構成要素と、保全グループの現場対応フロー(フライウィール想定)を掛け合わせて設計
① 受領データの構成要素
設備写真 振動推移 P&ID 原因分析
拡⼤写真 グラフ 設計図 時系列 再発防⽌策
② 保全グループの実際の対応フロー ×
▶ ▶ ▶
初動確認 状況把握 原因分析 是正・水平展開
設計⽅針
受領データの各要素を②保全グループの現場対応フロー(フライウィール想定)に当てはめ、
現場で本当に使われる 10 の想定質問を設計
© FLYWHEEL Inc. All Rights Reserved. 11
Page12
AI-Ready 化されているかの検証ポイント
適切に AI-Ready 化されているか 4 つの観点を反映した質問を設計。
各観点は、想定質問 1〜10 のいずれかに対応しており、質問への回答を通じて実際に確認できる(詳細は次⾴の⼀覧表)
❶ ❷ ❸ ❹
数値‧図⾯の正確性 時系列‧因果関係の把握 根拠‧エビデンスの追跡 知識活⽤‧⽔平展開
グラフ‧⼨法‧タグの数値 イベントの順序、確定と推 診断結果や信頼度の根拠 オントロジーを介した
が、信頼度付きで正確に抽 定の区別、因果チェーンが (Evidence‧provenance) 横断検索や、対策と KPI
出できているか 構造的に整理できているか まで遡って説明できるか の連携ができているか
(対象:質問 1〜3) (対象:質問 4〜6) (対象:質問 7〜8) (対象:質問 9〜10)
© FLYWHEEL Inc. All Rights Reserved. 12
Page13
保全グループの質問と検証ポイント(質問 1〜10) ※実際の PoC では 30 問で確認
質問
No 質問内容 検証ポイント
Q01 振動値が警戒閾値・危険閾値をそれぞれ超えたのはいつか。閾値の数値も教え
グラフの数値が信頼度付きで抽出され、目盛の誤読を防げているか
て
Q02 P&ID 上の ID-FAN-02A と関連するバルブ・計装タグを一覧化し、それぞれの判
タグごとの判読信頼度が明示され、不確実な箇所を切り分けられているか
読信頼度を教えて
Q03 排ガスブロワの構造図の寸法(全長、全高、ベース幅など)を一覧にして、DE 側
寸法値が信頼度付きで構造化され、図面の読み直しが不要になっているか
軸受の位置関係を教えて
Q04 AI が最初に予兆を検知してからアラーム発報・緊急停止までの時間経過と、そ
イベントが時系列として構造化され、順序を取り違えずに再現できるか
の間に現場が何をしたかを時系列で並べて教えて
Q05 今回の故障で「確定」している情報と「推定」にとどまる情報を分けて教えて 確定/推定/未確認のステータスが分離管理され、混同を防げているか
Q06 AI が予兆を検知していたにもかかわらず停止に至った理由を、運用面(点検間
機械的要因と運用要因の因果チェーンが別系統で整理できているか
隔・閾値設定・通知優先度)に絞って説明して
Q07 診断信頼度 0.82 や異常スコア 92/100 の根拠になっているデータは何か教えて 数値の根拠(Evidence・provenance)を出所まで追跡できているか
Q08 今回の原因候補(グリース劣化、芯出しずれ、アンバランス等)はそれぞれ確定
原因ごとの信頼度と、追加確認タスク(給脂履歴等)が紐づいているか
か推定か。確認するために追加で何を検証すべきか教えて
Q09 同じ排ガスブロワ DE 側軸受の故障モードを持つ他工場の設備を、水平展開の
オントロジーに基づく検索条件がそのまま流用でき、横展開に使えるか
ために検索したい。どのような条件で検索すればよいか
Q10 再発防止策の各項目について、KPI 候補と AI・データ活用手段を対応付けて教
課題・対応策・AI 活用・KPI 候補がマトリクスとして保持されているか
えて
© FLYWHEEL Inc. All Rights Reserved. 13
Page14
03 データ加⼯(AI-Ready 化)
データをどのように加⼯し、AI-Ready 化したかを説明
1. データの特徴分析
2. 質問設計
3. データ加⼯(AI-Ready 化)
4. 評価⽐較分析
5. 今後の取り組みの提案
© FLYWHEEL Inc. All Rights Reserved.
Page15
AI-Ready 化に対するプロセス アーキテクチャ
ETL との違いは、証跡と⼈⼿レビューが線の中にあること。AI/VLM は認識‧意味判断へ限定する。
01 ⽂書⼊⼒‧判定 02 決定論的な前処理 03 AI / VLM 変換 04 共通データ形式
種別と品質を先に⾒る 同じ⼊⼒なら同じ出⼒ ⽂書別に経路が分かれる 種別が違っても同じ受け⽫
次の変換へ反映
決定論的処理
AI / VLM に委ねる 07 出⼒ 06 ⼈⼿レビューと判断履歴 05 出典‧確からしさ
ファイル / RAG / Agent へ 修正が資産として残る 変換結果とセットで出す
⼈が判断する
横断レイヤー
顧客設定‧⽤語∕推論先アダプター∕ストレージ∕評価‧モニタリング∕認証‧認可
© FLYWHEEL Inc. All Rights Reserved. 15
Page16
Before / After:⽂書構造そのものの変化
⾮構造データ(画像 1 枚)から知識グラフへ、4 段階で構造が積み上がる
Before:報告書画像(1 枚もの) After:AI-Ready Markdown+知識グラフ
‧⽂章(⾒出し‧本⽂) ‧Equipment / Component(設備‧部品)
‧写真(設備全体∕故障部位拡⼤) ‧FailureMode(故障モード)
‧表(基本情報) ‧Measurement / Threshold(計測‧閾値)
‧グラフ(振動値推移) ▶ ‧AIAnalysis / Confidence(AI 診断‧信頼度)
‧P&ID(配管計装図) ‧Event(時系列イベント)
‧設計図(構造⼨法図) ‧Evidence(写真∕図⾯∕グラフの根拠紐付け)
これらは相互に紐付いておらず、AI は「1 枚の画像」とし すべての要素が信頼度‧根拠つきで相互リンクされ、検
てしか扱えない 索‧推論の対象になる
© FLYWHEEL Inc. All Rights Reserved. 16
Page17
Before / After ①:基本情報の表
報告書ヘッダーの表がそのまま構造化データ+信頼度スコアに変換される
Before:画像内の該当箇所(実画像) After:MD 上の記載(信頼度付き)
「1. 基本情報」表 +「VLM による意味付け」欄として記載:
EquipmentTag ID-FAN-02A 0.99
Equipment 排ガスブロワ No.2A 0.99
▶ EquipmentType 回転機 0.98
Process 電気炉 No.2 排ガス処理ライン 0.98
FailureCategory 機器故障(回転機) 0.98
+「ID-FAN-02A は設備タグとして⼀意に識別できる」等の意味付
↑ 報告書「1. 基本情報」の表部分をそのまま抽出 けコメントを付与(MD §1)
※(MD §1)などの表記は、Markdown 書式の節番号を指します。
© FLYWHEEL Inc. All Rights Reserved. 17
Page18
Before / After ②:故障部位の写真
⾚枠‧⽮印で⽰された「⾒た⽬の強調」が、部品‧関係‧因果チェーンとして⾔語化される
Before:画像内の該当箇所(実画像) After:エンティティ‧関係として記述
hasComponent(設備 → 部品): ID-FAN-02A → DE 側軸受
信頼度 0.98
hasFailureMode(部品 → 故障モード): DE 側軸受 →
異常摩耗 信頼度 0.97∕焼損 信頼度 0.82(推定含む)
▶ Evidence(根拠)として TroubleReport / Photograph /
DesignDrawing の 3 系統を紐付け(MD §48)
↑ 「2. トラブルの概要」内の設備写真+DE 側軸受拡⼤写真(⾚破
線‧⽮印の注記部分) assertionStatus:確定∕推定で明確に区別
「異常摩耗」は確定情報だが、「焼損」は写真の外観判断
視覚的に確認できる関係(MD §2.2): を含む推定情報として区別して保持する(MD §22)
排ガスブロワ No.2A → DE 側 → 軸受 → 異常摩耗‧焼損
© FLYWHEEL Inc. All Rights Reserved. 18
Page19
Before / After ③:異常推移グラフ(AI 予兆診断)
折れ線グラフの視覚情報が、閾値‧状態遷移‧時系列データとして数値化される
Before:画像内の該当箇所(実画像) After:閾値‧状態遷移テーブル化
警戒閾値 約 3.0 mm/s 0.90
注意閾値 約 7.5 mm/s 0.88
危険閾値 約 10.0 mm/s 0.95
危険到達⽇時 5/23 09:35 0.99
▶ 状態遷移:
正常域(約 2)→警戒域(3〜)→注意域(7.5〜)
→危険域(10〜)(MD §4.3)
読み取り値は「グラフ⽬盛からの推定値」と明記
「正式な管理値として使う場合は原データ∕設備仕様書で
↑ 「4. 異常推移グラフ(AI 予兆診断)」のグラフ部分をそのまま 確認」という検証要件も同時に保持(MD §4.2‧§18)
抽出(凡例‧閾値線‧アラーム吹き出しを含む)
© FLYWHEEL Inc. All Rights Reserved. 19
Page20
Before / After ④:P&ID‧設計図⾯
図⾯記号‧⼨法線が、設備タグ⼀覧と数値⼨法として抽出され、判読限界も信頼度で表現される
Before:画像内の該当箇所(実画像) After:タグ⼀覧+⼨法テーブル+信頼度
P&ID 主要タグ(MD §6.2‧§26):
XV-102(0.90)/ XV-106(0.72‧要原図確認)など、タグごとに
信頼度を個別付与
5. 関連図⾯(P&ID)
設計⼨法(MD §7.1‧§27):
全⻑ 2,150mm(0.96) / 全⾼ 1,320mm(0.96)/
▶ ベース幅 900mm(0.96)などを数値化
判読限界そのものをデータ化
6. 設計図(構造図)
「縮⼩図⾯のため⼀部バルブ番号‧計装タグは重なりで
確定判読できない」という限界を注記として残し、
信頼度 0.65〜0.90 の幅で表現。
↑ 縮⼩図⾯のため⼀部バルブ番号‧計装タグは重なりで判読しづらい 正式図⾯との照合が必要なタグを明⽰(MD §6.2)
(→After 側で信頼度として表現)
© FLYWHEEL Inc. All Rights Reserved. 20