تخيّل أن يتقدم مواطن للحصول على خدمة، فيُرفض طلبه بسبب تقييم آلي، أو يُستبعد شاب من فرصة عمل قبل أن يقرأ أحد مؤهلاته، أو تتأخر معاملة لأن النظام صنّف صاحبها ضمن فئة مرتفعة المخاطر.
هذه أمثلة افتراضية لما قد يحدث عندما تدخل الخوارزميات إلى القرارات المؤثرة في حياة الناس.
عندها لا يكفي أن تقول المؤسسة: «النظام قرر ذلك».
السؤال هو: من وضع القواعد؟ وعلى أي بيانات بُني التقييم؟ ومن يستطيع مراجعة النتيجة وتصحيحها؟
في مقالي السابق عن الذكاء الاصطناعي في العراق، ناقشت أهمية الانتقال إلى استخدام مسؤول وآمن. وهنا نتوقف عند مسؤولية أكثر تحديداً: ماذا يحدث عندما تتحول توصية تقنية إلى قرار يمس حقاً أو فرصة أو خدمة؟
عندما تصبح النتيجة التقنية قراراً مؤثراً
ليست كل عملية مؤتمتة ذكاءً اصطناعياً؛ فقد يكون الرفض ناتجاً عن قاعدة برمجية ثابتة، أو نموذج إحصائي، أو نظام تعلم آلي.
لكن المواطن يتأثر بالنتيجة مهما اختلفت التقنية.
وهناك فرق بين نظام يرتب الملفات، وآخر يقيّم أهلية الحصول على إعانة، أو يدعم قراراً طبياً، أو يرشّح موظفين، أو يحدد مؤشرات اشتباه.
كلما ارتفع أثر القرار، ازدادت الحاجة إلى الاختبار والرقابة والضمانات. وجود موظف يضغط زر الموافقة لا يكفي إذا كان يعتمد النتيجة دون فهم أو مراجعة.
الخوارزمية لا تتحمل المسؤولية وحدها
قد تتوزع أسباب الخطأ بين بيانات غير دقيقة، وتصميم ضعيف، واستخدام خارج الغرض المحدد، وإهمال التحذيرات.
لذلك يجب تحديد مسؤوليات الجهة المستخدمة، والمطوّر، ومزوّد البيانات، والجهة المشرفة، وفق أدوارهم والعقود والقانون المنطبق.
المؤسسة التي تعتمد النظام لا ينبغي أن تجعل الشركة المورّدة عنواناً وحيداً لشكوى المواطن. وفي المقابل، لا يُعفى المطوّر تلقائياً إذا أخفى عيباً أو قدّم ادعاءات مضللة.
تؤكد توصية اليونسكو لأخلاقيات الذكاء الاصطناعي بقاء المسؤولية النهائية منسوبة إلى أشخاص أو كيانات قانونية. وهذا مبدأ إرشادي دولي، ولا يغني عن تحديد المسؤولية القانونية في كل حالة. Legal Affairs
البيانات القديمة قد تعيد إنتاج الظلم
الخوارزمية ليست محايدة لمجرد أنها تعمل بالأرقام.
إذا تعلم نظام التوظيف من قرارات سابقة غير عادلة، فقد يعيد إنتاجها. وإذا كانت بيانات منطقة أو فئة اجتماعية ناقصة، فقد تكون النتائج أقل دقة بحقها.
وقد تعمل معلومات تبدو عادية، مثل العنوان أو الانقطاع عن العمل، بوصفها مؤشرات غير مباشرة على ظروف اجتماعية لا يصح تحويلها تلقائياً إلى سبب للاستبعاد.
لذلك لا يكفي إعلان نسبة دقة عامة مرتفعة. ينبغي فحص الأخطاء بين الفئات، وكلفة الرفض الخاطئ، وقدرة النظام على التعامل مع الأسماء واللغات واللهجات والسياقات المحلية.
من حق المواطن أن يفهم ما حدث
لا يحتاج المواطن إلى قراءة الشفرة البرمجية، لكنه يحتاج إلى تفسير مفهوم للقرار المؤثر فيه.
هل السبب نقص وثيقة؟ أم بيانات قديمة؟ أم تقدير احتمالي؟ وهل استُخدمت معلومة غير صحيحة؟
التفسير الجيد يوضح العوامل الرئيسية وحدود النتيجة وطريقة الاعتراض، دون كشف بيانات الآخرين أو تفاصيل قد تسهّل الاحتيال.
ولا ينبغي قبول تعقيد النموذج أو السرية التجارية عذراً لإغلاق باب المساءلة. إذا تعذر تقديم تفسير مناسب لاستخدام شديد الحساسية، فقد يلزم اختيار نظام أبسط أو تقييد الاستخدام.
المراجعة البشرية يجب أن تغيّر النتيجة عند الخطأ
عبارة «يوجد إشراف بشري» لا تكفي وحدها.
يحتاج المراجع إلى تدريب ووقت ومعلومات وصلاحية فعلية لتعديل القرار، وإلى القدرة على مخالفة توصية النظام دون ضغط يدفعه إلى اعتمادها آلياً.
كما ينبغي توفير قناة تظلم واضحة، ومدة استجابة معلنة، وإمكانية تصحيح البيانات، وتدابير عاجلة عندما يهدد التأخير علاجاً أو مورداً معيشياً.
وتطرح اتفاقية مجلس أوروبا الإطارية بشأن الذكاء الاصطناعي ضمانات للتوثيق والطعن والشكوى. وهي مرجع مقارن يمكن الاستفادة منه، وليست بحد ذاتها ضمانات نافذة تلقائياً في العراق. Artificial Intelligence
الخصوصية تسبق تشغيل النظام
امتلاك المؤسسة بيانات المواطن لغرض معين لا يعني صلاحية استخدامها لأي غرض آخر.
قبل تدريب نموذج أو ربط قواعد بيانات، يجب تحديد الغرض والأساس القانوني، وتقليل المعلومات المطلوبة، وضبط الوصول ومدة الاحتفاظ.
وتستحق البيانات الصحية والمالية والبيومترية وبيانات الأطفال حماية أشد. كما يجب فحص شروط الخدمات الخارجية: أين تعالج البيانات؟ وهل تستخدم للتدريب؟ ومن يستطيع الوصول إليها؟
هنا يتصل الموضوع مباشرة بما ناقشناه في مقالي حماية بيانات العراقيين والسيادة الرقمية؛ فالمساءلة تضعف عندما تعجز المؤسسة عن تتبع ما يحدث لبياناتها أو تدقيق نظام تعتمد عليه.
أمن النظام جزء من عدالة القرار
قد ينتج القرار الضار عن هجوم متعمد، وليس عن خطأ إحصائي فقط.
يمكن للتلاعب بالبيانات أو اختراق الحسابات أو إساءة استخدام الصلاحيات أن يغيّر النتائج. وفي الأنظمة التوليدية قد يظهر خطر اختلاق معلومات أو الاستجابة لتعليمات خبيثة داخل مستندات.
لذلك تحتاج التطبيقات الحساسة إلى تحقق مستقل، وسجلات محمية، واختبارات أمنية، وآلية لإيقاف النظام والعودة إلى إجراءات بديلة.
ويجب توثيق إصدار النموذج والبيانات ذات الصلة وتدخلات الموظفين، بالقدر اللازم للمراجعة مع حماية الخصوصية. فلا مساءلة ممكنة إذا لم نستطع إعادة بناء ما حدث.
ما الذي يحتاج العراق إلى بنائه؟
برأيي، تبدأ الخطوة العملية بحصر الاستخدامات المؤسسية وتصنيف مخاطرها، ثم تقييم أثر الأنظمة الحساسة قبل شرائها وتشغيلها.
ينبغي أن تشمل عقود التوريد حقوق التدقيق، والإبلاغ عن الحوادث، وضوابط استخدام البيانات، وإدارة التحديثات، وإمكانية الانتقال إلى مزوّد آخر.
كما نحتاج إلى رقابة تجمع الخبرة التقنية والقانونية والقطاعية، وإلى دور للجامعات في الاختبار المستقل، وإشراك الفئات المتأثرة في تقييم الخدمة.
وبعض الاستخدامات التي تهدد الحقوق بصورة غير متناسبة قد تستلزم التقييد أو المنع.
ولا يكفي نجاح الاختبار الأول؛ فالبيانات والظروف والنماذج تتغير. يجب مراقبة الأداء والشكاوى والفروق بين الفئات، وإعادة التقييم عند التحديث أو تغير الغرض.
ويجب توفير مساعدة وقنوات بديلة لكبار السن وذوي الإعاقة ومن لا يستطيع استخدام المنصة؛ حتى لا يصبح الاعتراض نفسه امتيازاً رقمياً.
الثقة تُبنى بإمكانية التصحيح
يمكن للذكاء الاصطناعي تحسين الخدمات وكشف الأخطاء وتوسيع الفرص، إذا رافقه تصميم مسؤول ورقابة فعالة.
لكن السرعة لا تبرر حرمان الإنسان من فهم قرار يؤثر فيه، والدقة الإحصائية لا تلغي حق الفرد في إنصاف حالته.
الدولة الرقمية الجديرة بالثقة تستطيع أن تجيب المواطن: لماذا صدر القرار؟ من راجعه؟ وكيف نصححه إذا أخطأنا؟
عندما تكون الإجابات واضحة، تصبح الخوارزمية أداة لخدمة العدالة، وتبقى المؤسسة مسؤولة أمام الإنسان.
المهندسة سجى البياتي
مستشارة في الأمن السيبراني والتحول الرقمي
هذه أمثلة افتراضية لما قد يحدث عندما تدخل الخوارزميات إلى القرارات المؤثرة في حياة الناس.
عندها لا يكفي أن تقول المؤسسة: «النظام قرر ذلك».
السؤال هو: من وضع القواعد؟ وعلى أي بيانات بُني التقييم؟ ومن يستطيع مراجعة النتيجة وتصحيحها؟
في مقالي السابق عن الذكاء الاصطناعي في العراق، ناقشت أهمية الانتقال إلى استخدام مسؤول وآمن. وهنا نتوقف عند مسؤولية أكثر تحديداً: ماذا يحدث عندما تتحول توصية تقنية إلى قرار يمس حقاً أو فرصة أو خدمة؟
عندما تصبح النتيجة التقنية قراراً مؤثراً
ليست كل عملية مؤتمتة ذكاءً اصطناعياً؛ فقد يكون الرفض ناتجاً عن قاعدة برمجية ثابتة، أو نموذج إحصائي، أو نظام تعلم آلي.
لكن المواطن يتأثر بالنتيجة مهما اختلفت التقنية.
وهناك فرق بين نظام يرتب الملفات، وآخر يقيّم أهلية الحصول على إعانة، أو يدعم قراراً طبياً، أو يرشّح موظفين، أو يحدد مؤشرات اشتباه.
كلما ارتفع أثر القرار، ازدادت الحاجة إلى الاختبار والرقابة والضمانات. وجود موظف يضغط زر الموافقة لا يكفي إذا كان يعتمد النتيجة دون فهم أو مراجعة.
الخوارزمية لا تتحمل المسؤولية وحدها
قد تتوزع أسباب الخطأ بين بيانات غير دقيقة، وتصميم ضعيف، واستخدام خارج الغرض المحدد، وإهمال التحذيرات.
لذلك يجب تحديد مسؤوليات الجهة المستخدمة، والمطوّر، ومزوّد البيانات، والجهة المشرفة، وفق أدوارهم والعقود والقانون المنطبق.
المؤسسة التي تعتمد النظام لا ينبغي أن تجعل الشركة المورّدة عنواناً وحيداً لشكوى المواطن. وفي المقابل، لا يُعفى المطوّر تلقائياً إذا أخفى عيباً أو قدّم ادعاءات مضللة.
تؤكد توصية اليونسكو لأخلاقيات الذكاء الاصطناعي بقاء المسؤولية النهائية منسوبة إلى أشخاص أو كيانات قانونية. وهذا مبدأ إرشادي دولي، ولا يغني عن تحديد المسؤولية القانونية في كل حالة. Legal Affairs
البيانات القديمة قد تعيد إنتاج الظلم
الخوارزمية ليست محايدة لمجرد أنها تعمل بالأرقام.
إذا تعلم نظام التوظيف من قرارات سابقة غير عادلة، فقد يعيد إنتاجها. وإذا كانت بيانات منطقة أو فئة اجتماعية ناقصة، فقد تكون النتائج أقل دقة بحقها.
وقد تعمل معلومات تبدو عادية، مثل العنوان أو الانقطاع عن العمل، بوصفها مؤشرات غير مباشرة على ظروف اجتماعية لا يصح تحويلها تلقائياً إلى سبب للاستبعاد.
لذلك لا يكفي إعلان نسبة دقة عامة مرتفعة. ينبغي فحص الأخطاء بين الفئات، وكلفة الرفض الخاطئ، وقدرة النظام على التعامل مع الأسماء واللغات واللهجات والسياقات المحلية.
من حق المواطن أن يفهم ما حدث
لا يحتاج المواطن إلى قراءة الشفرة البرمجية، لكنه يحتاج إلى تفسير مفهوم للقرار المؤثر فيه.
هل السبب نقص وثيقة؟ أم بيانات قديمة؟ أم تقدير احتمالي؟ وهل استُخدمت معلومة غير صحيحة؟
التفسير الجيد يوضح العوامل الرئيسية وحدود النتيجة وطريقة الاعتراض، دون كشف بيانات الآخرين أو تفاصيل قد تسهّل الاحتيال.
ولا ينبغي قبول تعقيد النموذج أو السرية التجارية عذراً لإغلاق باب المساءلة. إذا تعذر تقديم تفسير مناسب لاستخدام شديد الحساسية، فقد يلزم اختيار نظام أبسط أو تقييد الاستخدام.
المراجعة البشرية يجب أن تغيّر النتيجة عند الخطأ
عبارة «يوجد إشراف بشري» لا تكفي وحدها.
يحتاج المراجع إلى تدريب ووقت ومعلومات وصلاحية فعلية لتعديل القرار، وإلى القدرة على مخالفة توصية النظام دون ضغط يدفعه إلى اعتمادها آلياً.
كما ينبغي توفير قناة تظلم واضحة، ومدة استجابة معلنة، وإمكانية تصحيح البيانات، وتدابير عاجلة عندما يهدد التأخير علاجاً أو مورداً معيشياً.
وتطرح اتفاقية مجلس أوروبا الإطارية بشأن الذكاء الاصطناعي ضمانات للتوثيق والطعن والشكوى. وهي مرجع مقارن يمكن الاستفادة منه، وليست بحد ذاتها ضمانات نافذة تلقائياً في العراق. Artificial Intelligence
الخصوصية تسبق تشغيل النظام
امتلاك المؤسسة بيانات المواطن لغرض معين لا يعني صلاحية استخدامها لأي غرض آخر.
قبل تدريب نموذج أو ربط قواعد بيانات، يجب تحديد الغرض والأساس القانوني، وتقليل المعلومات المطلوبة، وضبط الوصول ومدة الاحتفاظ.
وتستحق البيانات الصحية والمالية والبيومترية وبيانات الأطفال حماية أشد. كما يجب فحص شروط الخدمات الخارجية: أين تعالج البيانات؟ وهل تستخدم للتدريب؟ ومن يستطيع الوصول إليها؟
هنا يتصل الموضوع مباشرة بما ناقشناه في مقالي حماية بيانات العراقيين والسيادة الرقمية؛ فالمساءلة تضعف عندما تعجز المؤسسة عن تتبع ما يحدث لبياناتها أو تدقيق نظام تعتمد عليه.
أمن النظام جزء من عدالة القرار
قد ينتج القرار الضار عن هجوم متعمد، وليس عن خطأ إحصائي فقط.
يمكن للتلاعب بالبيانات أو اختراق الحسابات أو إساءة استخدام الصلاحيات أن يغيّر النتائج. وفي الأنظمة التوليدية قد يظهر خطر اختلاق معلومات أو الاستجابة لتعليمات خبيثة داخل مستندات.
لذلك تحتاج التطبيقات الحساسة إلى تحقق مستقل، وسجلات محمية، واختبارات أمنية، وآلية لإيقاف النظام والعودة إلى إجراءات بديلة.
ويجب توثيق إصدار النموذج والبيانات ذات الصلة وتدخلات الموظفين، بالقدر اللازم للمراجعة مع حماية الخصوصية. فلا مساءلة ممكنة إذا لم نستطع إعادة بناء ما حدث.
ما الذي يحتاج العراق إلى بنائه؟
برأيي، تبدأ الخطوة العملية بحصر الاستخدامات المؤسسية وتصنيف مخاطرها، ثم تقييم أثر الأنظمة الحساسة قبل شرائها وتشغيلها.
ينبغي أن تشمل عقود التوريد حقوق التدقيق، والإبلاغ عن الحوادث، وضوابط استخدام البيانات، وإدارة التحديثات، وإمكانية الانتقال إلى مزوّد آخر.
كما نحتاج إلى رقابة تجمع الخبرة التقنية والقانونية والقطاعية، وإلى دور للجامعات في الاختبار المستقل، وإشراك الفئات المتأثرة في تقييم الخدمة.
وبعض الاستخدامات التي تهدد الحقوق بصورة غير متناسبة قد تستلزم التقييد أو المنع.
ولا يكفي نجاح الاختبار الأول؛ فالبيانات والظروف والنماذج تتغير. يجب مراقبة الأداء والشكاوى والفروق بين الفئات، وإعادة التقييم عند التحديث أو تغير الغرض.
ويجب توفير مساعدة وقنوات بديلة لكبار السن وذوي الإعاقة ومن لا يستطيع استخدام المنصة؛ حتى لا يصبح الاعتراض نفسه امتيازاً رقمياً.
الثقة تُبنى بإمكانية التصحيح
يمكن للذكاء الاصطناعي تحسين الخدمات وكشف الأخطاء وتوسيع الفرص، إذا رافقه تصميم مسؤول ورقابة فعالة.
لكن السرعة لا تبرر حرمان الإنسان من فهم قرار يؤثر فيه، والدقة الإحصائية لا تلغي حق الفرد في إنصاف حالته.
الدولة الرقمية الجديرة بالثقة تستطيع أن تجيب المواطن: لماذا صدر القرار؟ من راجعه؟ وكيف نصححه إذا أخطأنا؟
عندما تكون الإجابات واضحة، تصبح الخوارزمية أداة لخدمة العدالة، وتبقى المؤسسة مسؤولة أمام الإنسان.
المهندسة سجى البياتي
مستشارة في الأمن السيبراني والتحول الرقمي
