خطوات المعالجة المسبقة للبيانات: كيف تنظّف بيانات أعمالك

سحبتَ ملف مبيعات يبدو مكتملاً. الطلبات والتكاليف والتواريخ تملأ الجدول. ثم يصل توقّع إلى مكتب مسؤول المالية، وقد قفز متوسط قيمة الطلب، رغم أن شيئاً في الكتالوج لم يتغيّر.

غالباً ما يكون هذا القفز خطأً في المعالجة المسبقة، لا تغيّراً في سلوك الشراء. فملء الأسعار الفارغة بينما لا تزال فواتير مكرّرة في الملف، أو تحجيم الملف بالكامل قبل عزل أي صفوف، يعلّم النموذج معلومات لا ينبغي أن يراها بعد. تعرض معظم المقالات خطوات المعالجة المسبقة للبيانات كتقنيات منفصلة يمكن تطبيقها بأي ترتيب. والترتيب هو الجزء الذي يضخّم النتائج.

فيما يلي التسلسل الذي أوصي به عندما يتولى محلل مسؤولية ملف أعمال حيّ. ستحصل على ترتيب للتنفيذ، وعلى حدود أعتبرها نقاط بداية لا قوانين ثابتة، وعلى طريقة لتثبيت كل إعداد جرى احتسابه حتى يتبع تحميل البيانات التالي المسار نفسه.

سبع خطوات للمعالجة المسبقة للبيانات بالترتيب الصحيح

قد يبدو ملف المبيعات مكتملاً وهو يخفي صفوف فواتير مكرّرة، وتكاليف وحدة فارغة، وتواريخ مخزّنة بصيغتين. إذا نظّفتَ هذه المشكلات بترتيب خاطئ، ورثتها كل المتوسطات اللاحقة.

أي خطوة تتعلّم رقماً من البيانات يجب أن تُنفَّذ بعد التقسيم. فالمتوسط أو الوسيط أو نطاق التحجيم المحسوب على الملف كله يتيح لصفوف التحقق التأثير في التدريب. عندها تبدو النتيجة أقوى مما سيكون عليه أداء النموذج على طلبات الشهر القادم.

لنفترض أن تاجر تجزئة لديه 12,000 سطر طلب، منها 900 صف فاتورة مكرر. إذا عوّضت الأسعار المفقودة قبل حذف هذه التكرارات، فستُحتسب الفاتورة نفسها مرتين، ويبتعد المتوسط عن قائمة الأسعار.

قاعدة عملية: أنهِ الصف الذي تعمل عليه قبل أن تحسب أي شيء يحتاجه الصف التالي.

طابِق الملف المفتوح أمامك مع هذه الصفوف السبعة. أول صف لم تُنهِه هو الوحيد الذي يستحق أن تعمل عليه اليوم.

فحص بيانات الأعمال الخام وتنظيفها

الفحص الأولي (profiling) مراجعة تستغرق ساعة واحدة يستطيع المدير إنجازها قبل أن يفتح أي أحد نموذجًا. احتفظ بالملف الخام دون تعديل، وسجّل كل تغيير في سجل تنظيف حتى يرى المسؤول المالي سبب تغيّر أي إجمالي.

1. احسب الصفوف والأعمدة، ثم تأكد من نوع كل عمود. التكلفة المخزّنة كنص لا تُجمع، ولا تعطيك خطأ واضحًا. حوّلها قبل أن تثق بأي إجمالي.
2. احسب نسبة القيم الفارغة في كل عمود. العمود الذي تتجاوز فراغاته 30% يخضع لقواعد القيم المفقودة بدل التعبئة السريعة. لن أحذف عمودًا بالكامل إلا إذا تجاوزت فراغاته 50% ولم يكن الحقل لازمًا للقرار.
3. احذف التكرارات المطابقة تمامًا، لا المتشابهة. طابِق رقم الفاتورة والتاريخ والمبلغ معًا. الطلب الثاني برقم سطر مختلف هو عملية بيع حقيقية. حذفه لمجرد تطابق العميل واليوم هو الخطأ الذي يقلّل الإيرادات.
4. وحّد الصيغ في مرحلة واحدة. نمط تاريخ واحد، وعملة واحدة لكل عمود، ولا مسافات زائدة في الرموز. الصيغ المختلطة تقسم المنتج الواحد إلى سلسلتين وتُفسد أي ربط لاحق.
5. وحّد تسميات الفئات. UK وU.K. وUnited Kingdom سوق واحدة. وأربع تهجئات لخط منتج واحد في تصدير تجارة إلكترونية يمتد ثلاث سنوات تسبب الضرر نفسه. اختر تسمية واحدة وحوّل الباقي إليها.

لنفترض أن هذا التصدير يخزّن تواريخ الطلبات بصيغة 2024-03-01 في سنة، وبصيغة 01/03/2024 في سنة أخرى. إلى أن تتحول الصيغتان إلى نمط واحد، سيحتسب المخطط الشهري شهر مارس مرتين أو يُسقطه.

ما الذي يحميه السجل وقصّ بيانات الخصوصية

سجل التنظيف جدول قصير: العمود، والقاعدة، وعدد الصفوف المتغيرة، والشخص، والتاريخ. وحين يسأل المسؤول المالي لماذا انخفض رقم مارس الماضي، تشير إلى قاعدة التكرار بدل أن تعيد بناء الملف من الذاكرة.

قبل أن يصل الملف إلى أي منصة تحليل، احذف أسماء العملاء وبريدهم الإلكتروني وبيانات الدفع. لا تحتاج إليها للتنبؤ بالطلب، وتركها في الملف المستخرج يخلق مشكلة خصوصية لا يمكن لأي نموذج إصلاحها.

إذا أردت رأيًا ثانيًا حول معنى "الجودة" في ملفات البيانات التجارية، فإن رؤى جودة بيانات المبيعات من Pipecorn قائمة مراجعة مفيدة للمعرّفات والاكتمال والاتساق. استخدمها لتقرر أي الأعمدة تستحق الإبقاء، ثم عُد إلى قاعدة نسبة القيم الفارغة أعلاه.

قسّم البيانات قبل أن يبدأ أي تعلّم

التقسيم سياج. لا يجوز أن يُقدَّر أي مؤشر إحصائي على الملف الكامل.

في تصنيف النصوص الخاضع للإشراف، يوصي دليل Google لتصنيف النصوص بخلط البيانات قبل التقسيم، لأن الإبقاء على الترتيب الأصلي قد يُحيّز المجموعتين معًا. وبعد الخلط، يضع التقسيم المعتاد 80% من الأمثلة في التدريب و20% في التحقق. وتُطبَّق التحويلات نفسها على المجموعتين، لكن بعد تعلّمها من صفوف التدريب فقط.

لماذا يُضلّلك ملف المبيعات المرتّب

غالبًا ما تصل ملفات التصدير مرتبة حسب التاريخ أو المنطقة أو العميل. وإذا قسّمت هذا الملف من الأعلى إلى الأسفل، فستدرّب النموذج على بيانات 2023 وتتحقق منه على بيانات أواخر 2024. عندها تعكس النتيجة التقويم، أو تقويم العروض الترويجية، أو تركيبة منطقة واحدة. ولا تخبرك إن كان النموذج قد فهم الطلبات فعلًا.

اخلط البيانات حين يكون كل صف حالة مستقلة: طلب مُغلق، أو حساب فُقد، أو تذكرة صُنّفت. ولا تخلطها حين يكون السؤال توقعًا مستقبليًا.

حافظ على الترتيب الزمني في التنبؤ. درّب على الأشهر السابقة واختبر على الأشهر اللاحقة. فالخلط يتيح للنموذج رؤية المستقبل ويُسمّي ذلك مهارة.

الحقول النصية تحتاج إلى حدّ للتكرار

تتحول تذاكر الدعم وأوصاف المنتجات إلى آلاف الرموز النصية (tokens). وفي سير عمل Google نفسه، تستبعد الرموز التي تظهر أقل من مرتين، وتحتفظ بأعلى 20,000 رمز كميزات، وترتّب ما تبقّى بدرجة أهمية مبنية على اختبار F. فالرمز الذي يظهر مرة واحدة غالبًا خطأ إملائي أو رمز منتج (SKU) لمرة واحدة، لا نمط يستحق عمودًا.

بعد التقسيم، اضبط كل عمليات التحويل على بيانات التدريب فقط، ثم طبّق هذا التحويل الثابت على بيانات التحقق. أما إعادة حساب المفردات أو قائمة الفئات على الصفوف المحجوزة فهي طريقة أخرى لتسريب الإجابة إلى مرحلة الإعداد.

املأ القيم المفقودة دون تحريف النتائج

تحدد الإجراءَ نسبةُ خلوّ الحقل من القيم، وما إذا كان القرار يحتاج إلى ذلك الحقل. والنطاقات أدناه قاعدة عملية تقريبية، وليست قانونًا. فقد يرفض نموذج مخاطر خاضع للتنظيم حذف صفوف يمكن لتوقعات التجزئة الاستغناء عنها.

أول الحالات: بضع خانات تكلفة فارغة في ملف طلبات مكتمل في معظمه. حذف هذه الأسطر أقل ضررًا من اختلاق سعر. أما حقل استبيان نادر الاستخدام تتوسط نسبة فراغه المدى، فلا يستحق تخمينًا تملؤه به، لذلك يُحذف العمود. وتبقى مدة الاشتراك (Tenure) التي تستخدمها في قياس فقدان العملاء، وتُقدَّر قيمتها.

إرشادات Google حول إعداد البيانات للتجميع تذكر ثلاثة خيارات عملية: حذف الأمثلة التي تحتوي على قيم مفقودة، أو حذف الخاصية، أو التنبؤ بالقيم المفقودة من بيانات أخرى. قد تبرر الفجوات النادرة حذف الصفوف. أما الفجوات المتكررة فتعني عادةً أن تحذف الخاصية أو تعوّض قيمها.

تنبَّأ بالفجوة بدل أن تلصق قيمة ثابتة

في الحقل الرقمي، درّب نموذج انحدار على الصفوف التي تتوافر فيها القيمة، ثم قدِّر الخانات الفارغة. فعمر العميل المفقود، مثلًا، يمكن تقديره من الدخل ومدة الاشتراك بدل استبداله بمتوسط واحد للشركة كلها. وهذا يعتمد على علاقات تثق بها أصلًا.

قيمة الطلب منحرفة. فعدد قليل من فواتير الجملة الكبيرة يرفع المتوسط، ولذلك يجعل التعويض بالمتوسط السلال العادية تبدو أغنى مما هي عليه. أما الوسيط فيقع عند الطلب النموذجي ويتغير أقل عندما تصل فاتورة بالجملة. قارن الإحصاءات الموجزة قبل التعويض وبعده. فالتحول الكبير يعني أن الطريقة تعيد كتابة واقع العمل بدل أن تسد ثغرة.

في الفئات، سمِّ الخانة الفارغة Unknown. فالفجوة كثيرًا ما تكون هي الإشارة: عملية دفع لم تسجل المنطقة، أو منتج بلا رمز مورّد. وتحويلها إلى مستوى فعلي يُبقي الصف ويُظهر للنموذج أن الحقل كان فارغًا عن قصد.

الخانات الفارغة المتكررة ليست نادرة في العمليات. فإحدى دراسات 2025 حول بيانات استهلاك المياه الناقصة تصف مجموعة بيانات لمبنى فيها 33,888 سجلًا بالساعة من فبراير 2019 حتى ديسمبر 2023، مع قيم مفقودة في 20% من الساعات، وهي نسبة قد يؤدي معها حذف الصفوف بالجملة إلى التخلص من قدر كبير من السجل التاريخي (الدراسة).

درّب أداة التعويض على صفوف التدريب فقط. ويشرح دليل ELECTE حول البيانات المفقودة خيارات التعويض بمزيد من التفصيل إن أردت مراجعة ثانية للطريقة، لا للترتيب.

ترميز الفئات وهندسة الخصائص المفيدة

هنا مهمتان: تحويل التسميات إلى أرقام يستطيع النموذج استخدامها، وبناء أعمدة تجيب عن سؤال تجاري لا تجيب عنه الحقول الخام.

الترميز دون ترتيب زائف

يناسب الترميز الأحادي (One-hot) الفئات ذات القيم القليلة، مثل خمس مناطق مبيعات. تصبح كل منطقة عمودًا مستقلًا بنعم أو لا، ولا تكون أي منطقة «أكبر» من غيرها.

يناسب الترميز الترتيبي الترتيب الحقيقي، مثل المقاسات S وM وL. فالأرقام تطابق ترتيبًا تعتمده الشركة أصلًا.

لا تعطِ الأرقام 1 و2 و3 لأسماء غير مرتبة مثل القناة أو المدينة. سيعامل النموذج الرمز الأعلى على أنه يعني مقدارًا أكبر من شيء ما. ويظهر هذا الترتيب الزائف لاحقًا في صورة معامل خاطئ يبدو واثقًا. وعندما يحتوي الحقل على مئات المستويات، ينتج عن الترميز الأحادي جدول عريض جدًا. اجمع المستويات النادرة في Other قبل الترميز، واستخلص هذا التجميع من صفوف التدريب فقط.

أعمدة تجيب عن سؤال تجاري

ابنِ قائمة قصيرة مرتبطة بقرار واحد، لا كومة من كل نسبة تستطيع كتابتها.

• نسبة الهامش: تُظهر (price − cost) / price ما إذا كان العرض الترويجي لا يزال يغطي التكلفة، وهو ما لا تكشفه الإيرادات وحدها.
• عدد الأيام منذ آخر عملية شراء: تحتاج مراجعة فقدان العملاء إلى حداثة الشراء، لا إلى نسخة أخرى من رقم تعريف العميل.
• يوم الأسبوع والشهر: يهتم تخطيط الطلب بذروات يوم الجمعة وبالأشهر الموسمية المخبأة داخل الطابع الزمني الكامل.
• المتوسط المتحرك لـ 7 أيام: تتقلب الوحدات اليومية بشدة، بينما يُظهر متوسط الأسبوع ما إذا كان الطلب في ارتفاع.
• نسبة المخزون إلى المبيعات: يرى مدير المخزون نقصًا قيد التشكّل في وقت أبكر مما يتيحه عدد المخزون الفعلي الخام.

أقترح أن تبدأ بعشر إلى خمس عشرة ميزة مرتبطة بذلك القرار الواحد. احذف أحد العمودين عندما يتجاوز الارتباط بينهما 0.95، لأن العمود الثاني يكرر الأول. اكتب المعنى التجاري بجانب اسم العمود في قاموس البيانات. أما إذا حُسبت خريطة ترميز أو متوسط متحرك على الملف كاملًا، بما فيه الصفوف التي قصدت استبعادها، فإنك تكرر التسرب الذي حاصرته أصلًا عند التقسيم.

قياس الأرقام وضبط القيم الشاذة

القيمة المتطرفة ليست خطأ بالضرورة. طلب من 40 وحدة من حساب شركات (B2B) هو عملية بيع حقيقية. ضع عليه علامة حتى لا يهيمن على المتوسط، وأبقه في السجل التاريخي. أما سعر وحدة قدره 100,000 كُتب بدلًا من 1,000 فهو خطأ إدخال. صحّح الرقم ولا «تعالجه» على أنه طلب.

افحص القيمة المتطرفة قبل أن تحذفها

يعمل فحصان معًا بشكل جيد. تحدد قاعدة 1.5 × المدى الربيعي النقاط البعيدة عن وسط العمود. ويسأل فحص المجال عما إذا كانت القيمة ممكنة الوجود: مخزون سالب، أو تاريخ في العقد القادم، أو خصم أكبر من سعر البيع. تحقق أولًا. ثم قيّد القيم عند المئينين 1 و99، أو طبّق تحويلًا لوغاريتميًا على الإيرادات المنحرفة، أو أضف علامة واحتفظ بالرقم الخام لأغراض التقارير.

الطلب الكبير الذي تحذفه هو إيراد لن تتنبأ به مرة أخرى. والخطأ المطبعي الذي تبقيه يصبح سعرًا يظن النموذج أن العملاء سيدفعونه.

أعد تشغيل الملخص بعد التقييد. يجب أن يتحرك مركز العمود قليلًا فقط. وإذا قفز الوسيط، فهذا يعني أن التقييد يؤدي عملًا أكثر من اللازم، وعليك مراجعة الصفوف المصدرية مرة أخرى.

أي مقياس يناسب الملف الإحصائي

يمنع القياس عمودًا بوحدات كبيرة، مثل الإيرادات السنوية، من طغيانه على عمود بوحدات صغيرة، مثل الوحدات لكل طلب. تشير وثائق المعالجة المسبقة في Scikit-learn إلى أن StandardScaler يمركز كل ميزة على متوسط مجموعة التدريب ويقيسها بحسب التباين، وأن أداءه قد يضعف عند وجود قيم شاذة كثيرة. أما RobustScaler فهو البديل الجاهز الذي يستخدم تقديرات أكثر مقاومة للمركز والمدى.

اضبط أداة التحجيم (scaler) على بيانات التدريب فقط، ثم طبّق النتيجة نفسها على بيانات التحقق. إعادة الضبط على المجموعة المحجوزة تتيح للصفوف المتطرفة في بيانات التحقق أن تحدد المقياس. وللاطلاع بتعمّق أكبر على كيفية رصد القيم المتطرفة قبل اختيار طريقة المعالجة، راجع دليل ELECTE حول القيم المتطرفة.

أتمتة خط المعالجة والتحقق من مخرجاته

قد يختلف الملف المنظَّف المحفوظ في دفتر ملاحظات واحد من تشغيل إلى آخر. فقد يحصل ملف جديد على قيمة تعويض أو ترميز فئات أو مقياس مختلف، فتتغير لوحة المؤشرات حتى لو لم يتغير النشاط التجاري نفسه.

يحتفظ خط المعالجة (pipeline) بأداة التعويض والمرمِّز وأداة التحجيم بعد ضبطها معًا، ثم يطبّق التحويلات نفسها على الملفات الجديدة. اضبط هذه الخطوات باستخدام جزء التدريب فقط. ثم طبّق الإعدادات المضبوطة على بيانات التحقق والاختبار دون إعادة حسابها. توضح ملاحظة IBM حول تسرّب البيانات لماذا يمكن أن يؤدي ضبط خطوات المعالجة المسبقة على بيانات التدريب والاختبار معًا إلى تسرّب المعلومات إلى التقييم.

فحوصات بعد كل تشغيل

النجاح في تنفيذ المهمة يؤكد فقط أن العملية قد اكتملت. تحقق مما إذا كانت المخرجات لا تزال تطابق المصدر والقواعد التي حددتها:

• عدد الصفوف: طابق الملف المحمّل مع ملف التصدير، مع احتساب التكرارات المسجلة.
• نسبة القيم الفارغة لكل عمود: افحص أي زيادة مفاجئة، فقد تعني أن أحد حقول المصدر توقف عن الوصول.
• نطاقات القيم: تأكد من أن الأسعار والكميات والتواريخ ما زالت ضمن الحدود المقبولة.
• الفئات الجديدة: وجّه أي منطقة أو رمز SKU لم يظهر من قبل إلى فئة محددة بدلاً من حذفه دون إشعار.

للاطلاع على أمثلة عملية على التحقق من صحة البيانات، راجع كيفية تطبيق هذه الفحوصات على ملفات الأعمال. تعامل مع المخرجات الآلية على أنها تقديرات، وراجع الدورات القليلة الأولى يدويًا قبل استخدامها لتشغيل التنبيهات.

تتصل ELECTE، وهي منصة لتحليل البيانات بالذكاء الاصطناعي للشركات النامية، ببرنامج المحاسبة لديك أو بملف تقوم برفعه، وتجري تحليل البيانات والتنبؤات دون الحاجة إلى محلل. يوفر العملاء أكثر من 10 ساعات أسبوعياً عبر أتمتة التحليل المالي. ويعتمد هذا العون على استخدام خطوات مُهيّأة يمكنك الدفاع عنها في أي مراجعة، بدلاً من إعادة حسابها عند كل عملية رفع.

خلال هذا الأسبوع، مرّر مجموعة بيانات واحدة عبر الجدول ذي الصفوف السبعة وحدد الخطوات التي لا تزال يدوية. أتمت الخطوة المتكررة، لكن أبقِ القرارات التقديرية، مثل التمييز بين التكرار وإعادة الطلب الحقيقية، أو بين الخطأ المطبعي والطلب بالجملة، تحت المراجعة إلى أن تستقر القواعد.

تتصل ELECTE ببيانات المحاسبة لديك أو بملف ترفعه، وتجهّزها، وتحوّلها إلى تنبؤات وتقارير يمكنك مراجعتها مع فريقك. إذا كنت تريد تطبيق خطوات المعالجة المسبقة للبيانات بالطريقة نفسها عند كل تحميل، فزر ELECTE وشاهد كيف تنفّذ المنصة هذا المسار على أرقامك الخاصة.