缺失資料填補：企業分析指南

週一早上，某區域銷售經理打開每週營收儀表板，發現三家門市的資料欄位是空白的。POS 系統在夜間未能成功同步。總營收看起來下滑了，預測曲線向下彎折，團隊開始討論是否要根據一個可能根本不存在的趨勢，推出一項快閃促銷活動。

這正是資料不完整所帶來的business風險。缺失值並不等同於零，刪除受影響的那一列資料，也無法讓潛藏的不確定性消失。它可能扭曲關鍵績效指標（KPI）、打斷預測流程，或讓高層報告的方向出現偏差。

缺失資料填補提供了一套結構化方法，用以估算缺失值，同時保留分析所需的資訊。你所選擇的方法至關重要，因為即使是看似合理的數值，仍可能導致誤導性的決策。本指南將說明主要的缺失機制、比較實用的填補方法、展示如何驗證結果，並將每項技術選擇與報表、預測、零售及財務決策連結起來。

目錄

• 當缺失資料破壞您的營運報表
• • 為何時機很重要
• 理解 MCAR、MAR 與 MNAR 機制
• • MCAR 代表缺失與其他因素無關
  • MAR 代表已觀察到的資訊可解釋缺失
  • MNAR 代表缺失值本身帶有資訊
• 比較從簡單到進階的插補方法
• • 從基準做起
  • 在資料支持時加入關聯性
  • 有理由時才使用進階模型
• 為您的資料選擇合適的技術
• • 四個問題縮小選擇範圍
  • 實務決策路徑
• 評估插補品質並避免常見陷阱
• • 檢視分佈情況
  • 測試決策本身,而非只測試估計值
• 零售與金融業務情境中的插補
• • 零售決策取決於這項區別
  • 金融業需要校準與可稽核性
• ELECTE 如何在分析流程中自動化插補
• • 此流程包含四個實務階段
  • 自動化仍需要人為控管
• 重點回顧與後續步驟
• • 一份您明天就能應用的檢查清單

當缺失資料破壞您的營運報表

經理的第一反應可以理解:檢查缺失的門市是否當天銷售不佳。但儀表板無法回答這個問題,因為這些記錄根本從未送達。若將空白視為零,會把系統故障誤呈現為營收崩跌的假象。刪除這些門市雖能掩蓋問題,卻會縮小區域比較的範圍。

較好的做法是先區分資料呈現了什麼與資料未能擷取到什麼。這些門市可能銷售正常、確實出現下滑,或呈現與門市規模、地點、裝置類型或交易量相關的缺失模式。每種可能性都對應不同的處理方式。

業務規則：絕不能讓一個未經檢視的空值，決定你是否要削減庫存、啟動促銷活動，或修改預測。

插補（Imputation）是根據剩餘資訊來估算一個數值。在時間序列中，這可能意味著使用相鄰的觀測值。在更廣泛的資料集中，這可能意味著使用相關變數，例如門市類型、地區、季節或交易活動。這個估計值並非復原的事實，而是一個透明的假設，讓分析得以繼續進行，同時保留不確定性。

時機為何重要

在關鍵績效指標（KPI）、預測或高層報告被信賴之前，缺失值就應該被妥善處理。如果某個部門用零來填補空缺，另一個部門則沿用最後已知的數值，第三個部門直接刪除不完整的資料列，那麼整個組織對同一項指標就不再有一致的定義。

這會破壞單一真實來源（single source of truth）的理念。一個中央流程應該記錄原始數值、插補後的數值、所採用的方法，以及選擇該方法的原因。

缺失資料插補的歷史顯示出這門學問是如何發展而來的。Allan 與 Wishart 在1930年發表了一個早期範例，估算實驗田野工作中缺失的地塊數值。到了1950年代，加拿大人口普查已採用戴明（Deming）的方法，根據先前普查的分布來插補缺失值。到1953年，插補法已出現在現代調查研究的脈絡中，接著在1970年代透過最大概似估計法與多重插補法取得重大突破，其中包括 Dempster、Laird 與 Rubin 在1977年的里程碑研究，以及 Rubin 在1978年與1987年發表的著作。這段歷史紀錄顯示，插補並非快速的資料清理技巧，而是一個建立在假設、不確定性與實務決策之上的統計學領域。

理解 MCAR、MAR 與 MNAR 機制

在選擇技術之前，先確認數值缺失的原因。三種標準機制分別是MCAR、MAR與MNAR。這些名稱聽起來很專業，但用零售庫存的類比，就能更容易理解並運用這些區別。

MCAR 代表缺口彼此無關

假設一台堆高機碰撞到一個棧板，損壞了幾張紙本庫存表。缺失的貨架記錄分散在各個產品與門市之間。它們的缺失與需求、產品價格、庫存水位，或任何其他已觀測或未觀測的數值都無關。

這就是完全隨機遺漏（Missing Completely At Random），簡稱 MCAR。根據這篇缺失資料機制概述的定義，資料遺漏與已觀測及未觀測的數值皆無關。當缺口是孤立存在時，簡單的方法在探索性工作中或許站得住腳，但你仍應驗證這項假設，而不是預設接受隨機性。

MAR 代表已觀測的資訊能解釋缺口

現在來看客流量大的門市。這些門市的老舊掃描器在高強度使用下容易出問題，因此在大型門市中，員工更常沒有記錄每日結算數量。缺失的庫存數值本身並不會導致記錄缺失。門市規模與掃描器類型這兩個已記錄的變數，可以解釋為何數值會缺失。

這就是隨機缺失，或稱 MAR。缺失情況取決於已觀察到的資料，因此模型可以利用這些關聯性。門市規模、地區、掃描器類型、銷售量及日曆資訊，都可能有助於估算缺失的數量。

MNAR 代表缺失值本身帶有資訊

最後，設想有人為了掩蓋損失，刻意將高單價商品排除在庫存報告之外。缺失發生的機率取決於未被觀察到的數值本身，或取決於其他未被觀察到的資訊。這就是非隨機缺失，也稱為 NMAR 或 MNAR。

你無法僅靠檢視已完整的欄位來可靠地解決這個問題。你需要領域知識、敏感度分析、外部總量數據，或是一個能明確呈現缺失機制的模型。在調查與商業資料中，這個區別非常重要，因為某個方法即使能產生較低的預測誤差，仍可能扭曲總量或掩蓋系統性偏誤。

診斷性問題：誰比較可能出現空白記錄？而這個人、門市、顧客或交易，原本會告訴你什麼資訊？

從簡單到進階：比較各種插補方法

沒有一種插補方法適用於所有資料集。實際的選擇取決於變數類型、資料的分佈形態、缺失機制，以及判斷錯誤所帶來的後果。

從基準線開始

平均數、中位數與眾數方法是實用的參考點。中位數受極端值的影響通常比平均數小,而眾數替代則適用於類別欄位。這些方法無法推斷出豐富的模式,因此比較適合快速的探索性分析,而非高風險的預測。

對於時間序列,向前填補會把最後一個已知值延續到後面的缺口,而向後填補則使用之後的觀測值。這對緩慢變化的屬性來說可能合理,但當銷售、庫存或價格快速變動時,可能會產生誤導。

當資料支持時,加入關聯性

k 最近鄰會尋找與不完整紀錄相似的紀錄,並以其數值作為參考。迴歸插補則根據觀測到的預測變數來預測缺失欄位。當關聯性穩定時,兩者都能勝過簡單的統計摘要,但若預測變數薄弱或尺度不當,兩者都可能造成虛假的信心。

MICE(鏈式方程多重插補法,Multiple Imputation by Chained Equations)會反覆對各欄位建模,並產生多個完整資料集。哥倫比亞大學公共衛生學院的指引指出,大多數情況下 5 至 10 個插補資料集就足夠,不過也有分析師建議少至 3 個或多至 20 個。同一份指引也強調,模型應納入能同時預測缺失狀態與缺失值的變數,如此插補才能捕捉資料中的關聯性。閱讀哥倫比亞大學關於多重插補的指引。

有理由才使用進階模型

EM 演算法、隨機森林、自編碼器與 GAIN 能表現更複雜的結構。但這種額外的彈性並不必然是優勢。高維度插補研究發現,以 lasso 為基礎的預測變數篩選,以及針對輔助資料採用主成分分析,表現良好,這印證了特徵篩選與降維才是品質的關鍵。SAGE 的比較研究支持一個實用的結論:在增加模型複雜度之前,先減少不相關的輸入變數。

為您的資料選擇正確的技術

方法的選擇應該依據決策而定,而非本末倒置。中位數替代對於內部探索性圖表或許完全足夠,但如果同一欄位用於信用風險評分、法規報告或補貨訂單,這種做法就站不住腳。

四個問題可縮小選擇範圍

首先是資料類型。數值資料可以採用中位數、迴歸或鄰近值為基礎的方法。類別欄位可能需要一個有意義的「未知」類別,或是一個能顧及類別結構的模型。時間序列則需要留意順序與季節性。混合類型的表格通常需要一種能同時處理不同變數形式的方法。

缺失率會改變風險。少數幾個孤立的空白可能足以支持簡單的基準方法。隨著缺失情況變得更頻繁或更集中，估算就越依賴模型假設。將低於 5%、5% 至 20%、超過 20%這些比率區間視為實務審查的提示，而非自動適用的規則。缺口越大，就越需要檢驗觀察到的資料列是否仍能代表缺失的部分。

機制決定何種證據有效。低比率的數值型 MCAR 可能可以用中位數或謹慎設限的向前填補來處理。具有相關特徵的 MAR 則指向使用 MICE、k 最近鄰演算法或迴歸方法。MNAR 則需要以業務邏輯驅動的規則、專門模型、外部基準以及敏感度分析來處理。

後續用途決定標準。描述性儀表板有時可以容忍透明的基準方法。預測與預測模型則需要更嚴謹的驗證。合規評分與高階主管報告則要求記錄假設，因為看似完整的表格可能隱藏著重大的不確定性。

實務決策路徑

在覆寫任何空白之前，請依照以下順序進行：

1. 分析欄位特性。記錄其類型、缺失模式、相關欄位以及報告用途。
2. 檢驗機制。觀察缺失情況與已觀察到的門市、客戶、時間或交易屬性之間是否存在關聯。
3. 選擇最簡單且站得住腳的方法。如果經過驗證的基準方法就能保留決策所需的資訊，就不必付出複雜模型所帶來的運算與治理成本。
4. 在風險升高時提升處理層級。預測、風險、合規與對外報告都應採用具機制意識的驗證方式。
5. 保留原始資料。將原始值與填補值分開儲存，並為每一次轉換記錄理由。

一套實用的set of tecniche data validation per PMI可以幫助團隊將這些檢查標準化。ELECTE 運用此框架，依據資料類型、缺失模式、機制指標及後續應用情境為各欄位評分，並在覆寫任何數值之前，提出附有明確理由的建議方法。

評估填補品質並避免常見陷阱

一張看似完整的表格，仍可能導致不良的business決策。應從三個角度檢查填補品質：統計分布形態、後續行為表現以及business合理性。目標並非讓每一處空白都消失不見，而是理解每一個估算值可能如何影響預測、風險評估或管理報告。

檢視分布情形

透過平均值、變異數與分位數，比較填補值與觀察值。如果估算值過度集中在中心附近，可能表示簡單的方法抹去了真實存在的變異性。對於類別型欄位，應比較各類別的出現頻率，並調查任何異常的變化。看起來較平滑的序列雖然較易閱讀，卻可能低估了需求波動或異常交易的情況。

檢驗決策本身，而不只是估算值

隱藏已知值、進行填補，並將估算值與原始觀測值進行比較。接著在填補後的資料集與完整案例子集上，分別執行下游模型或報表邏輯。填補值看起來可能合理，卻可能改變排名、預測、核准規則或例外警示。請直接衡量這種業務影響。

醫療領域的基準測試證據進一步支持此做法。一項基準測試發現，線性插補法在所有測試機制與人口統計群體中都達到最低的 RMSE，而以 MCAR 為假設的評估方式，在實際資料遺失取決於機制本身時，可能會誤判方法的優劣排序。參閱此醫療時間序列基準測試。請針對你預期的缺失機制進行驗證，而不要僅依賴隨機刪除來測試。

近期的表格型基準測試顯示，為何單一平均分數無法解決選擇問題。MissBench 涵蓋 42 個真實世界的 OpenML 表格資料集與13 種合成缺失模式，而 IMAGIC-500 則針對14 種方法，在從 10% 到 50% 的五種缺失率與三種機制下進行評估。請參閱基準測試總覽。零售、金融、醫療與問卷調查團隊都應該測試那些可能影響其決策的模式。

專業分析同樣需要嚴謹的方法。針對不完整的金融調查輸入資料，Qoory 的加密貨幣情報工具說明了為何在分析過程中，來源品質與交易脈絡必須保持可見。ELECTE 的 AI 代理人在自動化報告流程中運用了這項原則，將機制感知假設、插補標記與驗證結果隨每項輸出一併傳遞。如此一來，管理者便能判斷報告中的變化究竟反映的是觀測值，還是估計值。

零售與金融商業情境中的插補應用

零售品類經理追蹤各門市的 SKU 銷售數據。促銷期間會產生異常需求，而缺貨則會造成銷售記錄稀少或全無的天數。空白值可能代表商品未售出、商品缺貨、促銷資料傳輸失敗，或門市未提交其檔案。

當門市規模、區域與季節性等變數有助於解釋哪些銷售記錄缺失時，具備 MAR 感知能力的 MICE 流程便可將這些變數作為預測因子。其輸出並非奇蹟般地重建每一筆交易，而是建立一個具說服力的連續序列，供預測與補貨使用，同時保留標記，顯示估計值進入資料的位置。

零售決策取決於這項區分

試想兩種結果：

• 預測：若流程將缺失的促銷期間視為零，可能會拉低預期需求。
• 補貨：低估的銷售序列可能導致訂單延遲到貨，而高估的序列則可能造成庫存過剩。
• 報告：品類儀表板應在管理者解讀排名之前，區分需求疲弱與來源資料缺失兩種情況。

因此，正確的評估目標應該是決策的穩定性。如果多個具說服力的插補情境都得出相同的補貨方向，信心程度便會提高。如果建議因此改變，儀表板應該呈現這種不確定性，而不是將單一估計值當作事實顯示。

金融領域則呈現不同的問題。某 AML 風險團隊發現，許多高價值客戶記錄的就業欄位為空白，原因是合規表單在報告週期中途變更。以領域知識為主的規則可依收入模式判別自營業者身分，再針對證據較薄弱的記錄，將此規則與模型式插補結合運用。

金融需要校準與可稽核性

目的不是為了填滿一個欄位，而是要維持風險模型的校準度，並在不掩蓋不確定性的前提下減少誤判。每一條規則都應該被記錄下來，經過已知記錄的測試，並由合規人員審查。

對於財務與合規工作流程而言，插補並非財務建議，也不應取代法律、監管或合規審查。團隊必須確認其處理方式符合適用的義務、內部政策與稽核要求。

這些案例都指向同一個道理：業務價值來自於被還原的決策，而不是被還原的資料列。更好的連續性有助於預測，減少不必要的警示能讓調查人員更專注，一致的處理方式則能縮短報告週期。這些結果都不是單靠插補就能保證的，它們取決於機制診斷、驗證設計，以及圍繞結果的治理機制。

ELECTE 如何在分析流程中自動化插補

人工插補在實際操作中往往會失敗，因為分析師對不同檔案套用不同的規則。一份報告可能使用中位數，另一份可能沿用前值，第三份則直接移除不完整的記錄。只有在保留每次轉換背後的邏輯時，自動化才有幫助。

ELECTE 是一個為中小企業打造的人工智慧數據分析平台，透過 AI 代理程式檢查上傳資料集中的缺失模式，並將處理方式與自動化報告連結起來。其設計理念是讓整個流程透明可見，而非隱而不顯：偵測缺口、判別證據類型、將變數導向適當處理方式，並記錄所發生的一切。

此流程分為四個實務階段

1. 偵測：代理程式掃描各欄位，識別缺失值，衡量其分布情況，並檢查與現有欄位之間的關聯性。
2. 分類：它評估與 MCAR、MAR 及 MNAR 相關的指標，同時認知到機制分類屬於分析判斷，而非絕對保證。
3. 路由：它會將變數導向適當的方法，例如針對簡單模式使用基準方法、針對 MAR 訊號使用以關聯性為基礎的模型，或在出現 MNAR 風險時採取專門處理並加以標記。
4. 報告：它會產出一份插補後的資料集，並附上方法資訊、保留的原始數值，以及透明度標記。

這份稽核軌跡直接連結到業務成果。排程重新整理能減少重複性的前置作業，一致的規則能避免不同部門對同一欄位採取不同處理方式，而可見的標記則能降低偏差的關鍵績效指標在未附上背景說明的情況下傳達給利害關係人的風險。

自動化仍需要人為控管

一個負責任的流程不會將分析師排除在外。使用者應該能夠檢視原始數值與插補後的數值、比較不同版本的資料集、審查資料來源的可追溯性，並在領域知識支持其他選擇時，覆寫代理程式預設的方法。

跨來源聯結帶來另一項營運挑戰。若客戶、交易與產品表格透過共用識別碼相互連結，管線在進行插補時就必須保留這些關聯性。ELECTE 的資料來源整合功能支援一種連結式工作流程，讓來源脈絡在關聯資料之間保持可見。

代理程式還能將插補狀態嵌入自動生成的儀表板中，讓管理者不僅看到 KPI，還能得知底層數據系列是否包含估計值。這樣的設計讓自動化保持實用性，而不至於變成一個黑盒子。分析師仍對決策負責，平台則負責處理可重複的偵測、路由、文件記錄與更新邏輯。

重點摘要與後續步驟

遺失資料插補是一個決策控管的過程。所採用的方法會影響管理者看到的究竟是真實的銷售下滑、報告錯誤，還是需要複核的估計值。

1. 先做診斷。判斷資料遺失的型態較接近 MCAR、MAR 還是 MNAR。此機制將決定哪些假設是可以接受的。
2. 讓複雜度與風險相匹配。簡單且經過驗證的基準方法可能適合探索性分析。而預測、風險審查、合規與高階主管報告，則需要更深入檢視變數關係與不確定性。
3. 以保留樣本進行驗證。隱藏已知數值、測試合理的遺失模式，並比較各方法如何改變商業決策。
4. 納入相依關係。納入與遺失狀態及遺失數值皆有關聯的變數，尤其是在 MAR 情境合理的情況下。
5. 標記並記錄。保留原始值與插補值、方法名稱、假設條件與時間戳記。
6. 監控漂移。即使來源先前看似穩定，系統或流程的變動仍可能產生新的遺失模式。

一份您明天就能套用的檢查清單

從欄位層級的稽核開始。依門市、客戶區隔、時間區間、來源系統與業務流程，將空白值分組。標記出提供關鍵報告的欄位，並為異常缺口設定警示。

在具代表性的樣本上執行保留樣本模擬。將基準方法與基於變數關係的方法進行比較，檢視數值分佈，並詢問業務負責人這些估計值是否足以支持合理的行動。將方法與不確定性顯示在 KPI 旁邊，而非隱藏於技術日誌中。

在自動化管線中集中處理。ELECTE 將業務來源連接至自動化報告與 AI 驅動的洞察，同時具機制意識的插補與可見的處理標記，協助分析師區分實際觀察到的變化與資料蒐集失敗的情況。團隊可以檢視原始數值與估計數值、保留覆寫途徑，並維持更新的一致性。若組織想探索這些原則，可以了解 ELECTE 如何將其應用於實際資料集與報告工作流程。