Xử lý dữ liệu thiếu: Hướng dẫn phân tích kinh doanh

Một quản lý bán hàng khu vực mở bảng điều khiển doanh thu hàng tuần vào sáng thứ Hai và thấy các ô trống đối với ba cửa hàng. Hệ thống điểm bán hàng đã không đồng bộ qua đêm. Tổng doanh thu có vẻ như đã giảm, dự báo đi xuống, và nhóm bắt đầu tranh luận về một chương trình khuyến mãi chớp nhoáng dựa trên một xu hướng có thể không hề tồn tại.

Đây là rủi ro kinh doanh của dữ liệu không đầy đủ. Một giá trị bị thiếu không tự động bằng không, và việc xóa dòng bị ảnh hưởng không làm biến mất sự bất định tiềm ẩn. Nó có thể làm sai lệch một KPI, làm gián đoạn một dự báo, hoặc đưa một báo cáo cho ban lãnh đạo theo hướng sai lệch.

Xử lý dữ liệu thiếu cung cấp một phương pháp có cấu trúc để ước tính các giá trị bị thiếu trong khi vẫn giữ được thông tin cần thiết cho phân tích. Phương pháp bạn chọn quan trọng vì một giá trị hợp lý vẫn có thể dẫn đến một quyết định sai lầm. Hướng dẫn này giải thích các cơ chế thiếu dữ liệu chính, so sánh các phương pháp xử lý dữ liệu thiếu thực tiễn, chỉ ra cách xác nhận kết quả, và kết nối mỗi lựa chọn kỹ thuật với các quyết định về báo cáo, dự báo, bán lẻ và tài chính.

Mục lục

• Khi Dữ liệu Thiếu Phá Vỡ Báo cáo Kinh doanh của Bạn
• • Tại sao thời điểm lại quan trọng
• Hiểu về các Cơ chế MCAR, MAR và MNAR
• • MCAR nghĩa là các khoảng trống không liên quan đến nhau
  • MAR nghĩa là thông tin quan sát được giải thích cho các khoảng trống
  • MNAR nghĩa là giá trị bị thiếu mang thông tin
• So sánh Các Phương pháp Xử lý Dữ liệu Thiếu từ Đơn giản đến Nâng cao
• • Bắt đầu với một cơ sở tham chiếu
  • Thêm các mối quan hệ khi dữ liệu hỗ trợ chúng
  • Sử dụng các mô hình nâng cao khi có lý do
• Chọn Kỹ thuật Phù hợp cho Dữ liệu của Bạn
• • Bốn câu hỏi thu hẹp lựa chọn
  • Một lộ trình quyết định thực tiễn
• Đánh giá Chất lượng Xử lý Dữ liệu Thiếu và Tránh Các Sai lầm Thường gặp
• • Kiểm tra phân phối
  • Kiểm tra quyết định, không chỉ ước tính
• Xử lý Dữ liệu Thiếu trong Bối cảnh Kinh doanh Bán lẻ và Tài chính
• • Các quyết định bán lẻ phụ thuộc vào sự phân biệt này
  • Tài chính cần sự hiệu chuẩn và khả năng kiểm toán
• Cách ELECTE Tự động hóa Việc Xử lý Dữ liệu Thiếu trong Các Quy trình Phân tích
• • Quy trình có bốn giai đoạn thực tiễn
  • Tự động hóa vẫn cần sự kiểm soát của con người
• Những Điểm Chính và Các Bước Tiếp theo
• • Một danh sách kiểm tra bạn có thể áp dụng ngay ngày mai

Khi Dữ liệu Thiếu Phá Vỡ Báo cáo Kinh doanh của Bạn

Phản ứng đầu tiên của người quản lý là điều dễ hiểu: kiểm tra xem các cửa hàng bị thiếu dữ liệu có trải qua một ngày bán hàng tồi tệ hay không. Nhưng bảng điều khiển không thể trả lời câu hỏi đó vì các bản ghi chưa bao giờ được gửi đến. Coi các ô trống là bằng không sẽ biến một lỗi hệ thống thành một sự sụt giảm doanh thu bề ngoài. Loại bỏ các cửa hàng đó sẽ che giấu vấn đề trong khi làm thu hẹp phạm vi so sánh khu vực.

Một phản ứng tốt hơn bắt đầu bằng việc tách biệt những gì dữ liệu cho biết khỏi những gì dữ liệu đã không thể ghi nhận được. Các cửa hàng có thể đã bán hàng bình thường, trải qua một sự sụt giảm thực sự, hoặc theo một mẫu hình thiếu dữ liệu liên quan đến quy mô cửa hàng, vị trí, loại thiết bị, hoặc khối lượng giao dịch. Mỗi khả năng dẫn đến một cách xử lý khác nhau.

Quy tắc kinh doanh: Đừng bao giờ để một ô trống chưa được xem xét quyết định việc bạn có cắt giảm hàng tồn kho, khởi động một chương trình khuyến mãi, hay điều chỉnh một dự báo hay không.

Xử lý dữ liệu thiếu ước tính một giá trị từ thông tin còn lại. Trong một chuỗi thời gian, điều đó có thể có nghĩa là sử dụng các quan sát lân cận. Trong một bộ dữ liệu rộng hơn, điều đó có thể có nghĩa là sử dụng các biến liên quan như định dạng cửa hàng, khu vực, mùa vụ, hoặc hoạt động giao dịch. Ước tính này không phải là một sự thật được khôi phục. Đó là một giả định minh bạch cho phép việc phân tích tiếp tục trong khi vẫn giữ nguyên sự bất định.

Tại sao thời điểm lại quan trọng

Các giá trị bị thiếu nên được xử lý trước khi một KPI, dự báo, hoặc báo cáo cho ban lãnh đạo được tin tưởng sử dụng. Nếu một bộ phận điền các khoảng trống bằng số không, một bộ phận khác chuyển tiếp giá trị đã biết cuối cùng, và một bộ phận thứ ba xóa các dòng không đầy đủ, thì tổ chức không còn có các định nghĩa nhất quán cho cùng một chỉ số nữa.

Điều đó làm suy yếu ý tưởng về một nguồn thông tin duy nhất cho mỗi quyết định. Một quy trình tập trung nên ghi lại giá trị thô, giá trị đã được xử lý, phương pháp được áp dụng, và lý do phương pháp đó được lựa chọn.

Lịch sử của việc xử lý dữ liệu thiếu cho thấy kỷ luật này đã phát triển như thế nào. Allan và Wishart đã công bố một ví dụ ban đầu vào năm 1930, ước tính các giá trị lô đất bị thiếu trong công việc thực địa thử nghiệm. Đến những năm 1950, Cục Điều tra Dân số Canada đã sử dụng phương pháp của Deming để xử lý các giá trị bị thiếu từ các phân phối điều tra dân số trước đó. Việc xử lý dữ liệu thiếu xuất hiện trong bối cảnh khảo sát hiện đại vào năm 1953, sau đó đạt được một bước đột phá lớn vào những năm 1970 thông qua khả năng hợp lý tối đa và xử lý dữ liệu thiếu đa trọng, bao gồm công trình mang tính bước ngoặt của Dempster, Laird, và Rubin vào năm 1977, tiếp theo là các công trình xuất bản của Rubin vào năm 1978 và 1987. Bài viết lịch sử này cho thấy việc xử lý dữ liệu thiếu không phải là một mẹo làm sạch dữ liệu nhanh chóng. Đó là một lĩnh vực thống kê được xây dựng dựa trên các giả định, sự bất định, và các quyết định thực tiễn.

Hiểu về các Cơ chế MCAR, MAR và MNAR

Trước khi chọn một kỹ thuật, hãy xác định tại sao giá trị bị thiếu. Ba cơ chế tiêu chuẩn là MCAR, MAR, và MNAR. Tên gọi của chúng nghe có vẻ kỹ thuật, nhưng một phép so sánh với tồn kho bán lẻ sẽ giúp phân biệt dễ áp dụng hơn.

MCAR nghĩa là các khoảng trống không liên quan đến nhau

Giả sử một xe nâng va vào một pallet và làm hỏng vài tờ phiếu tồn kho giấy. Các bản ghi kệ hàng bị thiếu nằm rải rác ở nhiều sản phẩm và cửa hàng khác nhau. Sự vắng mặt của chúng không liên quan đến nhu cầu, giá sản phẩm, mức tồn kho, hay bất kỳ giá trị quan sát được hoặc không quan sát được nào khác.

Đó là Missing Completely At Random, hay MCAR. Tình trạng thiếu dữ liệu không liên quan đến cả giá trị quan sát được lẫn không quan sát được, như được định nghĩa trong tổng quan về các cơ chế dữ liệu thiếu này. Các phương pháp đơn giản có thể chấp nhận được cho công việc khám phá khi các khoảng trống này biệt lập, mặc dù bạn vẫn nên kiểm tra giả định đó thay vì mặc định chấp nhận tính ngẫu nhiên.

MAR nghĩa là thông tin quan sát được giải thích cho các khoảng trống

Bây giờ hãy xét các cửa hàng có lưu lượng khách cao. Máy quét cũ của họ gặp khó khăn khi hoạt động với cường độ lớn, nên nhân viên không ghi lại số liệu cuối ngày thường xuyên hơn ở các địa điểm lớn. Bản thân giá trị tồn kho bị thiếu không phải là nguyên nhân gây ra bản ghi bị thiếu. Quy mô cửa hàng và loại máy quét, cả hai đều là biến số được ghi nhận, giải thích lý do giá trị đó bị thiếu.

Đây là Missing At Random, hay MAR. Tình trạng thiếu dữ liệu phụ thuộc vào dữ liệu quan sát được, vì vậy một mô hình có thể sử dụng các mối quan hệ đó. Quy mô cửa hàng, khu vực, loại máy quét, doanh số bán hàng, và thông tin lịch có thể giúp ước tính số liệu bị thiếu.

MNAR nghĩa là giá trị bị thiếu mang theo thông tin

Cuối cùng, hãy hình dung các sản phẩm cao cấp bị cố tình bỏ ra khỏi báo cáo tồn kho vì ai đó muốn che giấu một khoản thất thoát. Xác suất thiếu dữ liệu phụ thuộc vào chính giá trị không được quan sát, hoặc vào thông tin không quan sát được khác. Đó là Missing Not At Random, còn gọi là NMAR hoặc MNAR.

Bạn không thể giải quyết vấn đề này một cách đáng tin cậy chỉ bằng cách nhìn vào các cột đã hoàn thiện. Bạn cần kiến thức chuyên môn, phân tích độ nhạy, tổng số liệu bên ngoài, hoặc một mô hình thể hiện rõ ràng quá trình gây ra tình trạng thiếu dữ liệu. Trong dữ liệu khảo sát và kinh doanh, sự phân biệt này quan trọng vì một phương pháp cho ra sai số dự đoán thấp vẫn có thể làm sai lệch tổng số liệu hoặc che giấu một sai lệch mang tính hệ thống.

Câu hỏi chẩn đoán: Ai có nhiều khả năng có bản ghi trống hơn, và người đó, cửa hàng đó, khách hàng đó, hay giao dịch đó lẽ ra sẽ cho bạn biết điều gì?

So sánh các phương pháp xử lý dữ liệu thiếu từ đơn giản đến nâng cao

Không có một phương pháp xử lý dữ liệu thiếu duy nhất nào thắng thế cho mọi bộ dữ liệu. Lựa chọn thực tế phụ thuộc vào loại biến, hình dạng của dữ liệu, cơ chế thiếu dữ liệu, và hậu quả của việc chọn sai.

Bắt đầu với một mức nền (baseline)

Các phương pháp trung bình, trung vị và yếu vị là những điểm tham chiếu hữu ích. Trung vị có thể ít bị ảnh hưởng bởi các giá trị cực đoan hơn so với trung bình, trong khi thay thế bằng yếu vị có thể phù hợp với một trường phân loại. Các phương pháp này không suy luận ra một mẫu hình phong phú, nên chúng phù hợp với phân tích thăm dò nhanh hơn là một dự báo có mức độ rủi ro cao.

Đối với chuỗi thời gian, điền tiến (forward-fill) mang giá trị đã biết gần nhất vào một khoảng trống phía sau, trong khi điền lùi (backward-fill) sử dụng một quan sát ở sau đó. Cách này có thể hợp lý với các thuộc tính thay đổi chậm, nhưng có thể gây sai lệch khi doanh số, tồn kho hoặc giá cả biến động nhanh.

Bổ sung các mối quan hệ khi dữ liệu cho phép

k-hàng xóm gần nhất tìm các bản ghi tương tự với bản ghi bị thiếu và sử dụng giá trị của chúng làm căn cứ. Điền khuyết bằng hồi quy dự đoán cột bị thiếu từ các biến dự báo đã quan sát được. Cả hai đều có thể vượt trội hơn một phép tóm tắt đơn giản khi các mối quan hệ ổn định, nhưng cả hai cũng có thể tạo ra sự tin tưởng sai lầm nếu các biến dự báo yếu hoặc chưa được chuẩn hóa đúng cách.

MICE, hay Multiple Imputation by Chained Equations, mô hình hóa các cột theo cách lặp và tạo ra nhiều tập dữ liệu hoàn chỉnh. Hướng dẫn của Columbia Public Health cho biết 5 đến 10 tập dữ liệu được suy diễn là đủ trong hầu hết các trường hợp, trong khi một số nhà phân tích khuyến nghị ít nhất là 3 hoặc nhiều nhất là 20. Cùng hướng dẫn này nhấn mạnh rằng mô hình nên bao gồm các biến dự đoán cả tình trạng thiếu dữ liệu lẫn giá trị bị thiếu, để việc suy diễn nắm bắt được các mối liên hệ trong dữ liệu. Đọc hướng dẫn của Columbia về multiple imputation.

Sử dụng các mô hình nâng cao khi có lý do

Thuật toán EM, random forest, autoencoder và GAIN có thể biểu diễn các cấu trúc phức tạp hơn. Sự linh hoạt bổ sung đó không mặc nhiên là một lợi thế. Nghiên cứu về suy diễn dữ liệu có số chiều cao đã phát hiện rằng việc lựa chọn biến dự đoán dựa trên lasso và phân tích thành phần chính cho dữ liệu bổ trợ hoạt động tốt, củng cố quan điểm rằng việc lựa chọn đặc trưng và giảm chiều dữ liệu là yếu tố then chốt đối với chất lượng. So sánh của SAGE ủng hộ một kết luận thực tiễn: giảm bớt các đầu vào không liên quan trước khi bổ sung độ phức tạp cho mô hình.

Lựa chọn Kỹ thuật Phù hợp cho Dữ liệu của Bạn

Việc lựa chọn phương pháp nên tuân theo quyết định, chứ không phải ngược lại. Việc thay thế bằng trung vị có thể hoàn toàn phù hợp cho một biểu đồ khám phá nội bộ, nhưng lại không thể chấp nhận được nếu cùng cột đó được dùng để tính điểm rủi ro tín dụng, báo cáo tuân thủ quy định, hoặc đơn đặt hàng bổ sung.

Bốn câu hỏi giúp thu hẹp lựa chọn

Loại dữ liệu là yếu tố đầu tiên. Dữ liệu số có thể hỗ trợ các phương pháp trung vị, hồi quy, hoặc dựa trên lân cận. Các trường phân loại có thể cần một danh mục "không xác định" có ý nghĩa hoặc một mô hình tôn trọng cấu trúc danh mục. Chuỗi thời gian đòi hỏi phải chú ý đến thứ tự và tính mùa vụ. Các bảng có loại biến hỗn hợp thường cần một phương pháp được thiết kế để xử lý đồng thời nhiều dạng biến khác nhau.

Tỷ lệ thiếu dữ liệu làm thay đổi mức độ rủi ro. Một vài ô trống rải rác có thể chấp nhận một phương pháp cơ sở đơn giản. Khi các khoảng trống trở nên thường xuyên hơn hoặc tập trung hơn, ước tính phụ thuộc nhiều hơn vào các giả định của mô hình. Hãy coi các mức tỷ lệ dưới 5%, từ 5% đến 20%, và trên 20% như những gợi ý để xem xét thực tế, chứ không phải quy tắc tự động. Khoảng trống càng lớn, việc kiểm tra xem các dòng có quan sát được có còn đại diện cho các dòng bị thiếu hay không càng trở nên quan trọng.

Cơ chế thiếu dữ liệu quyết định loại bằng chứng nào là hợp lệ. MCAR với tỷ lệ thấp trên dữ liệu số có thể biện minh cho việc dùng trung vị hoặc forward-fill được giới hạn cẩn thận. MAR với các đặc trưng có tương quan hướng đến MICE, k-nearest neighbours, hoặc hồi quy. MNAR đòi hỏi các quy tắc dựa trên chuyên môn lĩnh vực, mô hình chuyên biệt, các chuẩn đối sánh bên ngoài, và phân tích độ nhạy.

Mục đích sử dụng ở khâu sau đặt ra tiêu chuẩn. Các bảng điều khiển mô tả đôi khi có thể chấp nhận một phương pháp cơ sở minh bạch. Các mô hình dự báo và dự đoán cần được kiểm định chặt chẽ hơn. Điểm số tuân thủ và báo cáo cấp điều hành đòi hỏi các giả định phải được ghi chép lại, vì một bảng dữ liệu có vẻ hoàn chỉnh vẫn có thể che giấu sự bất định đáng kể.

Một lộ trình ra quyết định thực tiễn

Hãy áp dụng trình tự này trước khi ghi đè lên bất kỳ ô trống nào:

1. Lập hồ sơ cho cột dữ liệu. Ghi lại loại dữ liệu, kiểu mẫu thiếu dữ liệu, các trường liên quan, và mục đích báo cáo.
2. Kiểm tra cơ chế. Tìm kiếm mối liên hệ giữa tình trạng thiếu dữ liệu và các thuộc tính đã quan sát được của cửa hàng, khách hàng, thời gian, hoặc giao dịch.
3. Chọn phương pháp đơn giản nhất mà vẫn có thể biện minh được. Đừng trả cái giá về tính toán và quản trị của một mô hình phức tạp nếu một phương pháp cơ sở đã được kiểm chứng vẫn bảo toàn được quyết định.
4. Nâng cấp mức độ khi rủi ro tăng lên. Dự báo, rủi ro, tuân thủ, và báo cáo bên ngoài xứng đáng được kiểm định có nhận thức về cơ chế.
5. Giữ lại dữ liệu gốc. Lưu trữ riêng biệt giá trị thô và giá trị đã được suy diễn, kèm theo lý do cho mỗi lần biến đổi.

Một bộ kỹ thuật xác thực dữ liệu dành cho doanh nghiệp vừa và nhỏ hữu ích có thể giúp các đội nhóm chính thức hóa những kiểm tra này. ELECTE áp dụng khuôn khổ này bằng cách chấm điểm các cột dựa trên loại dữ liệu, kiểu mẫu thiếu dữ liệu, các chỉ dấu về cơ chế, và bối cảnh sử dụng ở khâu sau, sau đó đề xuất một phương pháp kèm theo lý do được ghi chép lại trước khi một giá trị bị ghi đè.

Đánh giá Chất lượng Suy diễn và Tránh những Sai lầm Thường gặp

Một bảng dữ liệu hoàn chỉnh vẫn có thể dẫn đến một quyết định kinh doanh kém. Hãy kiểm tra chất lượng suy diễn qua ba lăng kính: hình dạng thống kê, hành vi ở khâu sau, và tính hợp lý về mặt kinh doanh. Mục tiêu không phải là làm cho mọi ô trống biến mất. Mà là để hiểu mỗi ước tính có thể làm thay đổi một dự báo, đánh giá rủi ro, hoặc báo cáo quản trị như thế nào.

Kiểm tra phân phối

So sánh các giá trị được suy diễn và các giá trị quan sát được thông qua trung bình, phương sai, và các phân vị. Nếu các ước tính tập trung quá gần nhau quanh giá trị trung tâm, một phương pháp đơn giản có thể đã xóa bỏ sự biến thiên thực sự. Đối với các trường phân loại, hãy so sánh tần suất danh mục và tìm hiểu những thay đổi bất thường. Một chuỗi dữ liệu trông mượt mà hơn có thể dễ đọc hơn nhưng lại làm giảm nhẹ mức độ biến động của nhu cầu hoặc các giao dịch bất thường.

Kiểm tra quyết định, không chỉ kiểm tra ước tính

Ẩn các giá trị đã biết, gán giá trị thay thế cho chúng, rồi so sánh các ước tính với dữ liệu quan sát ban đầu. Sau đó chạy mô hình hoặc logic báo cáo ở bước tiếp theo trên cả tập dữ liệu đã được gán giá trị lẫn tập con chỉ gồm các trường hợp đầy đủ. Một giá trị được điền vào có thể trông hợp lý nhưng vẫn làm thay đổi một bảng xếp hạng, một dự báo, một quy tắc phê duyệt hoặc một cảnh báo ngoại lệ. Hãy đo trực tiếp tác động kinh doanh đó.

Bằng chứng từ các benchmark trong lĩnh vực y tế củng cố cách tiếp cận này. Một benchmark cho thấy phép nội suy tuyến tính đạt RMSE thấp nhất trên tất cả các cơ chế và nhóm nhân khẩu học được kiểm tra, trong khi đánh giá kiểu MCAR có thể xếp hạng sai các phương pháp khi tình trạng mất dữ liệu thực tế phụ thuộc vào cơ chế gây mất dữ liệu. Xem benchmark chuỗi thời gian trong y tế. Hãy xác thực dựa trên quá trình gây mất dữ liệu mà bạn dự đoán, thay vì chỉ dựa vào việc xóa ngẫu nhiên.

Các benchmark gần đây về dữ liệu dạng bảng cho thấy tại sao một điểm số trung bình duy nhất không thể quyết định được lựa chọn. MissBench bao phủ 42 bộ dữ liệu dạng bảng thực tế từ OpenML và 13 kiểu mất dữ liệu tổng hợp, trong khi IMAGIC-500 đánh giá 14 phương pháp trên năm mức tỷ lệ mất dữ liệu từ 10% đến 50% và ba cơ chế. Xem tổng quan về benchmark. Các đội ngũ trong lĩnh vực bán lẻ, tài chính, y tế và khảo sát nên kiểm tra những kiểu mất dữ liệu có thể ảnh hưởng đến quyết định của họ.

Các phân tích chuyên biệt cũng đòi hỏi kỷ luật tương tự. Đối với dữ liệu đầu vào không đầy đủ trong điều tra tài chính, các công cụ phân tích tình báo tiền mã hóa của Qoory cho thấy rõ vì sao chất lượng nguồn dữ liệu và bối cảnh giao dịch phải luôn được hiển thị rõ ràng trong suốt quá trình phân tích. AI Agent của ELECTE áp dụng nguyên tắc này trong các quy trình báo cáo tự động bằng cách mang theo các giả định có nhận thức về cơ chế mất dữ liệu, các cờ đánh dấu giá trị đã gán, và kết quả xác thực đi kèm với từng đầu ra. Nhờ đó, các nhà quản lý có thể biết được liệu một thay đổi được báo cáo phản ánh một giá trị đã quan sát được hay chỉ là một ước tính.

Gán giá trị thay thế trong bối cảnh kinh doanh bán lẻ và tài chính

Một quản lý ngành hàng bán lẻ theo dõi doanh số theo SKU trên các cửa hàng. Các giai đoạn khuyến mãi tạo ra nhu cầu bất thường, trong khi tình trạng hết hàng tạo ra những ngày ghi nhận rất ít hoặc không có doanh số nào. Một giá trị trống có thể có nghĩa là sản phẩm không bán được, sản phẩm không có sẵn, luồng dữ liệu khuyến mãi bị lỗi, hoặc cửa hàng chưa gửi tệp dữ liệu của mình.

Một quy trình MICE có nhận thức về MAR có thể sử dụng quy mô cửa hàng, khu vực và tính thời vụ làm biến dự báo khi các biến này giúp giải thích những bản ghi doanh số nào bị thiếu. Kết quả đầu ra không phải là một sự tái tạo kỳ diệu của mọi giao dịch. Nó tạo ra một chuỗi liên tục có thể bảo vệ được để phục vụ dự báo và bổ sung hàng hóa, đồng thời vẫn giữ lại các cờ đánh dấu cho biết ở đâu các ước tính đã được đưa vào dữ liệu.

Các quyết định trong bán lẻ phụ thuộc vào sự phân biệt này

Hãy xem xét hai kết quả sau:

• Dự báo: Một giai đoạn khuyến mãi bị thiếu có thể kéo nhu cầu dự kiến xuống thấp nếu pipeline coi khoảng trống đó là bằng không.
• Bổ sung hàng: Một chuỗi doanh số bị ước tính thấp có thể dẫn đến một đơn hàng đến quá muộn, trong khi một chuỗi bị ước tính cao có thể tạo ra tồn kho dư thừa.
• Báo cáo: Một bảng điều khiển theo danh mục cần phân biệt nhu cầu yếu với dữ liệu nguồn bị thiếu trước khi các nhà quản lý diễn giải một bảng xếp hạng.

Vì vậy, mục tiêu đánh giá đúng đắn là tính ổn định của quyết định. Nếu nhiều kịch bản gán giá trị thiếu hợp lý khác nhau đều cho ra cùng một hướng bổ sung hàng, độ tin cậy sẽ tăng lên. Nếu khuyến nghị thay đổi, bảng điều khiển cần thể hiện rõ sự bất định đó thay vì hiển thị một ước tính như thể đó là sự thật.

Lĩnh vực tài chính đặt ra một vấn đề khác. Một đội ngũ rủi ro AML phát hiện rằng nhiều hồ sơ khách hàng giá trị cao có trường nghề nghiệp bị bỏ trống vì một biểu mẫu tuân thủ đã thay đổi giữa chu kỳ báo cáo. Một quy tắc dựa trên chuyên môn lĩnh vực có thể xác định tình trạng tự kinh doanh từ các mô hình thu nhập, sau đó kết hợp quy tắc đó với việc gán giá trị dựa trên mô hình cho các hồ sơ có bằng chứng yếu hơn.

Tài chính cần sự hiệu chỉnh và khả năng kiểm toán

Mục tiêu không phải là lấp đầy một cột dữ liệu. Đó là để duy trì sự hiệu chỉnh của mô hình rủi ro và giảm các cảnh báo sai mà không che giấu sự bất định. Mọi quy tắc đều cần được ghi chép lại, kiểm thử trên các hồ sơ đã biết, và được nhân viên tuân thủ xem xét.

Đối với các quy trình tài chính và tuân thủ, việc gán giá trị thiếu không phải là lời khuyên tài chính và không nên thay thế việc rà soát pháp lý, quy định, hoặc tuân thủ. Các đội ngũ phải xác nhận rằng cách xử lý của họ phù hợp với các nghĩa vụ hiện hành, chính sách nội bộ, và yêu cầu kiểm toán.

Những ví dụ này đều mang cùng một bài học. Giá trị kinh doanh đến từ các quyết định được khôi phục, không phải từ các hàng dữ liệu được khôi phục. Tính liên tục tốt hơn có thể hỗ trợ dự báo, ít cảnh báo không cần thiết hơn có thể giúp các điều tra viên tập trung, và cách xử lý nhất quán có thể rút ngắn chu kỳ báo cáo. Không có kết quả nào trong số đó được đảm bảo chỉ bởi việc gán giá trị thiếu. Chúng phụ thuộc vào việc chẩn đoán cơ chế, thiết kế xác thực, và quản trị xung quanh kết quả.

Cách ELECTE Tự Động Hóa Việc Gán Giá Trị Thiếu Trong Các Pipeline Phân Tích

Việc gán giá trị thiếu thủ công thường thất bại về mặt vận hành vì các nhà phân tích áp dụng các quy tắc khác nhau cho các tệp khác nhau. Một báo cáo có thể dùng giá trị trung vị, một báo cáo khác có thể chuyển tiếp giá trị, và một báo cáo thứ ba có thể loại bỏ các hồ sơ không đầy đủ. Tự động hóa chỉ hữu ích khi nó duy trì được lý lẽ đằng sau mỗi phép biến đổi.

ELECTE, một nền tảng phân tích dữ liệu ứng dụng AI dành cho doanh nghiệp vừa và nhỏ, sử dụng một AI Agent để kiểm tra các mẫu dữ liệu thiếu bên trong các tập dữ liệu được tải lên và kết nối cách xử lý đó với báo cáo tự động. Quy trình làm việc dự kiến là minh bạch chứ không phải vô hình: phát hiện khoảng trống, phân loại bằng chứng, định tuyến biến, và ghi lại những gì đã xảy ra.

Pipeline có bốn giai đoạn thực tiễn

1. Phát hiện: Agent quét các cột, xác định các giá trị bị thiếu, đo lường phân phối của chúng, và kiểm tra mối quan hệ với các trường dữ liệu có sẵn.
2. Phân loại: Nó đánh giá các chỉ số liên quan đến MCAR, MAR, và MNAR, đồng thời nhận thức rằng việc phân loại cơ chế là một phán đoán phân tích chứ không phải một sự đảm bảo.
3. Định tuyến: Nó gửi các biến đến một phương pháp phù hợp, chẳng hạn như một đường cơ sở cho một mẫu đơn giản, một mô hình dựa trên mối quan hệ cho các tín hiệu MAR, hoặc xử lý chuyên biệt và gắn cờ khi xuất hiện rủi ro MNAR.
4. Báo cáo: Nó tạo ra một tập dữ liệu đã được gán giá trị cùng với thông tin về phương pháp, các giá trị nguồn được giữ lại, và các cờ minh bạch.

Dấu vết kiểm toán đó kết nối trực tiếp với các kết quả kinh doanh. Việc làm mới theo lịch trình có thể giảm bớt công việc chuẩn bị lặp lại, các quy tắc nhất quán có thể ngăn các phòng ban xử lý cùng một trường dữ liệu theo cách khác nhau, và các cờ hiển thị có thể giảm khả năng một KPI bị lệch đến tay các bên liên quan mà không có bối cảnh đi kèm.

Tự động hóa vẫn cần sự kiểm soát của con người

Một pipeline có trách nhiệm không khóa các nhà phân tích ra ngoài. Người dùng cần có khả năng kiểm tra các con số thô và đã được gán giá trị, so sánh các phiên bản tập dữ liệu, xem xét khả năng truy vết nguồn gốc, và ghi đè phương pháp mặc định của agent khi kiến thức chuyên môn ủng hộ một lựa chọn khác.

Các phép nối liên nguồn tạo ra một thách thức vận hành khác. Nếu các bảng khách hàng, giao dịch, và sản phẩm kết nối với nhau thông qua các định danh chung, pipeline cần duy trì các mối quan hệ đó khi việc gán giá trị diễn ra. Các tính năng tích hợp nguồn dữ liệu của ELECTE hỗ trợ một quy trình làm việc được kết nối, trong đó nguồn gốc dữ liệu vẫn hiển thị rõ ràng trên toàn bộ dữ liệu được liên kết.

Agent cũng có thể nhúng trạng thái gán giá trị vào bên trong các bảng điều khiển được tạo ra, để một nhà quản lý không chỉ thấy một KPI mà còn biết liệu chuỗi dữ liệu bên dưới có chứa các giá trị ước tính hay không. Thiết kế đó giữ cho tự động hóa hữu ích mà không biến nó thành một hộp đen. Nhà phân tích vẫn chịu trách nhiệm về quyết định, trong khi nền tảng xử lý việc phát hiện, định tuyến, ghi chép, và logic làm mới có thể lặp lại.

Những Điểm Chính Và Các Bước Tiếp Theo

Việc gán giá trị dữ liệu thiếu là một quy trình kiểm soát quyết định. Phương pháp này ảnh hưởng đến việc liệu một nhà quản lý có nhìn thấy một sự sụt giảm doanh số thực sự, một lỗi báo cáo, hay một ước tính cần được xem xét lại.

1. Chẩn đoán trước. Xác định xem sự thiếu hụt giống với MCAR, MAR, hay MNAR. Cơ chế này định hướng những giả định nào có thể chấp nhận được.
2. Phù hợp mức độ phức tạp với rủi ro. Một đường cơ sở đã được xác thực đơn giản có thể phù hợp với việc khám phá dữ liệu. Các dự báo, rà soát rủi ro, tuân thủ, và báo cáo cấp điều hành đòi hỏi phải xem xét kỹ lưỡng hơn các mối quan hệ và sự bất định.
3. Xác thực bằng dữ liệu giữ lại. Ẩn các giá trị đã biết, kiểm thử các mẫu thiếu hụt hợp lý, và so sánh cách mỗi phương pháp làm thay đổi quyết định kinh doanh.
4. Tính đến các mối phụ thuộc. Bao gồm các biến có liên quan đến cả sự thiếu hụt và giá trị bị thiếu, đặc biệt khi MAR là hợp lý.
5. Gắn cờ và ghi chép. Giữ lại các giá trị thô và đã được gán, tên phương pháp, các giả định, và dấu thời gian.
6. Theo dõi sự trôi dạt. Một sự thay đổi hệ thống hoặc quy trình có thể tạo ra một mẫu thiếu hụt mới ngay cả khi nguồn dữ liệu trước đó có vẻ ổn định.

Danh sách kiểm tra bạn có thể áp dụng ngay ngày mai

Bắt đầu bằng việc kiểm tra ở cấp độ cột. Nhóm các giá trị trống theo cửa hàng, phân khúc khách hàng, khoảng thời gian, hệ thống nguồn và quy trình nghiệp vụ. Đánh dấu các trường dữ liệu nuôi các báo cáo quan trọng, sau đó thiết lập cảnh báo cho những khoảng trống bất thường.

Chạy một mô phỏng holdout trên một mẫu đại diện. So sánh phương pháp cơ sở với phương pháp dựa trên quan hệ, kiểm tra các phân phối, và hỏi những người phụ trách nghiệp vụ xem các ước tính có hỗ trợ hành động hợp lý hay không. Hiển thị phương pháp và mức độ không chắc chắn bên cạnh KPI, thay vì giấu chúng trong một nhật ký kỹ thuật.

Tập trung hóa việc xử lý trong một quy trình tự động. ELECTE kết nối các nguồn dữ liệu nghiệp vụ với các báo cáo tự động và thông tin chi tiết được hỗ trợ bởi AI, trong khi việc gán giá trị dựa trên cơ chế và các cờ đánh dấu xử lý hiển thị giúp các nhà phân tích phân biệt giữa những thay đổi được quan sát và lỗi thu thập dữ liệu. Các nhóm có thể xem xét cả số liệu thô và số liệu ước tính, giữ lại một đường ghi đè (override), và duy trì sự nhất quán khi làm mới dữ liệu. Các tổ chức đang tìm hiểu những nguyên tắc này có thể xem cách ELECTE áp dụng chúng vào các tập dữ liệu thực tế và quy trình báo cáo.