اصول اخلاقی و هوش مصنوعی معتمد (Trustworthy AI Framework)

مبحث ۱: اصول اخلاقی و هوش مصنوعی معتمد (Trustworthy AI)

AI Ethics, Trustworthy AI & Global Frameworks

فصل ششم: اخلاق، حاکمیت، امنیت و مقررات در هوش مصنوعی

۱. راهنمای مطالعه و هدف آموزشی

اخلاق و اعتمادپذیری در هوش مصنوعی دیگر صرفاً توصیه‌های فلسفی نیستند، بلکه به استانداردها، الزامات قانونی و پیش‌شرط‌های انعقاد قرارداد در صنعت فناوری اطلاعات تبدیل شده‌اند. داوطلبان آزمون مشاوران نصر باید تسلط کاملی بر چارچوب‌های حقوقی و رگولاتوری بین‌المللی و بومی داشته باشند. سرفصل‌های تستی کلیدی این مبحث عبارتند از: - ارکان پنج‌گانه هوش مصنوعی معتمد (Trustworthy AI): عدالت، شفافیت، حریم خصوصی، پاسخگویی و پایداری/ایمنی - اسناد مرجع جهانی: توصیه‌نامه یونسکو (UNESCO Recommendation on the Ethics of AI ۲۰۲۱) و اصول هوش مصنوعی OECD - هرم سطوح چهارگانه ریسک در قانون هوش مصنوعی اتحادیه اروپا (EU AI Act ۲۰۲۴) شامل: ریسک غیرقابل قبول (ممنوع)، ریسک بالا (High-Risk)، ریسک محدود (Limited) و حداقل ریسک (Minimal) - مصادیق تخلفات قطعی: امتیازدهی اجتماعی شهروندان (Social Scoring) و شناسایی بیومتریک عمومی بلادرنگ - مستندات استاندارد اخلاقی: شناسنامه مدل (Model Cards) و شناسنامه دیتاست (Datasheets for Datasets).

۲. این مبحث درباره چیست؟

الگوریتم‌های هوش مصنوعی تصمیم‌گیری درباره آزادی متهمان، پرداخت وام بانکی، پذیرش در دانشگاه‌ها، غربالگری استخدام و تشخیص‌های پزشکی را بر عهده گرفته‌اند. اگر این سیستم‌ها بدون رعایت موازین اخلاقی توسعه یابند، قادرند تعصبات تاریخی، تبعیض‌های نژادی و جنسیتی و بی‌عدالتی‌های اجتماعی را با سرعت و مقیاسی بی‌سابقه بازتولید و تثبیت کنند.
این مبحث به مشاوران یاد می‌دهد که چگونه سیستم‌های هوش مصنوعی را ممیزی اخلاقی کرده، ریسک‌های حقوقی و جریمه‌های عدم انطباق را خنثی سازند و اعتماد پایدار کاربران و مراجع قانونی را جلب نمایند.

۳. تعریف ساده

تعریف ساده: اخلاق در هوش مصنوعی یعنی سیستم‌های هوشمند باید طوری تربیت شوند که مانند یک قاضی عادل، بی‌طرف، صادق و محرم اسرار باشند؛ به کسی به خاطر ظاهر یا گذشته‌اش ظلم نکنند، اسرار خصوصی مردم را فاش نکنند، اگر اشتباه کردند دلیلی شفاف ارائه دهند و انسان همیشه بتواند در صورت بروز خطا ترمز آن‌ها را بکشد!

۴. تعریف تخصصی

تعریف تخصصی: مجموعه نظام‌مند اصول، استانداردها، تعهدات حقوقی و مکانیزم‌های فنی-حاکمیتی که تضمین می‌کند سیستم‌های هوش مصنوعی در کلیه مراحل چرخه حیات (توسعه، آموزش، استقرار و بازنشستگی) با کرامت انسانی، حقوق بنیادین شهروندی، عدالت توزیعی (Distributive Justice)، شفافیت توضیح‌پذیر (XAI) و ایمنی سایبری هم‌راستا بوده و تحت نظارت مستقیم انسان (Human Oversight) عمل می‌نمایند.

۵. مفاهیم و ارکان کلیدی

۵.۱. ارکان پنج‌گانه هوش مصنوعی معتمد (Trustworthy AI) 🔴

بر اساس سند راهنمای کارگروه تخصصی کمیسیون اروپا (HLEG AI):

+-------------------------------------------------------------------------------+
|                       پنج ستون هوش مصنوعی معتمد (Trustworthy AI)              |
+-------------------------------------------------------------------------------+
| ۱. عدالت و انصاف (Fairness): عدم تبعیض و تضمین برابری فرصت‌ها برای اقلیت‌ها     |
| ۲. شفافیت و توضیح‌پذیری (Explainability): امکان درک و ممیزی دلایل تصمیم مدل     |
| ۳. حریم خصوصی و حکمرانی داده (Privacy): صیانت از داده‌های شخصی و رضایت کاربر   |
| ۴. پاسخگویی و مسئولیت (Accountability): تعیین فرد/سازمان پاسخگو در برابر خطا |
| ۵. استحکام فنی و ایمنی (Robustness & Safety): مقاومت در برابر هک و نویز       |
+-------------------------------------------------------------------------------+

۵.۲. هرم سطوح چهارگانه ریسک در قانون هوش مصنوعی (EU AI Act) 🔴

مهم‌ترین مرجع قانونی جهان در قانون‌گذاری هوش مصنوعی که در آزمون نصر سوالات متعددی دارد:

                          /\
                         /  \
                        /    \
                       / ممنوع\       [سطح ۱: ریسک غیرقابل قبول (Unacceptable Risk)]
                      /========\      - ممنوعیت مطلق: امتیازدهی اجتماعی (Social Scoring)
                     /          \     - اسکن بیومتریک بلادرنگ چهره در اماکن عمومی
                    /  ریسک بالا \    [سطح ۲: ریسک با اهمیت بالا (High-Risk)]
                   /==============\   - استخدام، سلامت، بانکداری، زیرساخت حیاتی
                  /  ریسک محدود     \  - الزامات: ممیزی CE، ارزیابی سوگیری، HITL
                 /==================\ [سطح ۳: ریسک مشخص/محدود (Limited Risk)]
                /     حداقل ریسک     \- چت‌بات‌ها و دیپ‌فیک: الزام افشای هویت AI
               /----------------------\[سطح ۴: حداقل ریسک (Minimal Risk)] - فیلتر اسپم

1. ریسک غیرقابل قبول (Unacceptable Risk) — ممنوعیت قطعی:
2. هر سیستمی که تهدیدی آشکار برای امنیت، معیشت و حقوق بنیادین انسان‌ها باشد کاملاً غیرقانونی است.
3. مصادیق بارز: سیستم‌های امتیازدهی اجتماعی شهروندان توسط دولت‌ها (Social Scoring)، اسباب‌بازی‌های هوشمند با تحریک صوتی کودکان به رفتارهای خطرناک، و شناسایی بیومتریک چهره از راه دور در فضاهای عمومی به منظور نظارت انبوه.
4. ریسک بالا (High-Risk) — مشروط به ممیزی‌های سخت‌گیرانه:
5. سیستم‌هایی که مستقیماً بر سلامت، ایمنی و سرنوشت حرفه‌ای انسان اثر دارند.
6. مصادیق: الگوریتم‌های غربالگری رزومه و استخدام، تخصیص وام بانکی، سیستم‌های اولویت‌بندی اورژانس، ارزیابی امتحانات تحصیلی، و کنترل ترافیک شبکه برق/آب.
7. الزامات اجباری: اخذ گواهی انطباق، ثبت لاگ‌های غیرقابل تغییر، ارزیابی ممیزی سوگیری داده‌ها، و حضور قطعی ناظر انسانی (Human-in-the-Loop).
8. ریسک مشخص / محدود (Specific / Limited Risk) — الزام شفافیت (Transparency):
9. سیستم‌هایی که خطرات جانی ندارند اما پتانسیل فریب انسان را دارند.
10. مصادیق: چت‌بات‌های عمومی و سیستم‌های شبیه‌سازی صوت/تصویر (Deepfake).
11. الزام قانونی: سامانه موظف است با متنی شفاف به کاربر اطلاع دهد: «شما در حال گفتگو با یک ماشین هستید» و محتواهای تولیدشده برچسب‌گذاری (Watermarking) شوند.
12. حداقل ریسک (Minimal / Low Risk) — بدون محدودیت رگولاتوری:
13. بیش از ۸۵ درصد سیستم‌های فعلی در این دسته هستند (فیلترهای اسپم ایمیل، سیستم هوش مصنوعی بازی‌های ویدیویی).

۵.۳. چارچوب‌های مرجع بین‌المللی 🔴

1. توصیه‌نامه یونسکو درباره اخلاق هوش مصنوعی (UNESCO 2021):
2. اولین ابزار استانداردساز جهانی با امضای ۱۹۳ کشور؛ تأکید ویژه بر پایداری محیط‌زیستی (سنجش ردپای کربن در آموزش مدل‌های بزرگ)، عدالت جنسیتی و عدم انحصار فناوری.
3. اصول هوش مصنوعی OECD:
4. پنج اصل راهبردی برای توسعه هوش مصنوعی مسئولانه: رشد فراگیر، ارزش‌های انسان‌محور و عدالت، شفافیت و توضیح‌پذیری، پایداری و امنیت، و پاسخگویی سازمانی.

۵.۴. مستندسازی استاندارد: شناسنامه مدل و دیتاست 🟠

• شناسنامه مدل (Model Cards): استانداردی ارائه‌شده توسط محققان هوش مصنوعی (Margaret Mitchell et al.) برای مستندسازی معماری مدل، جامعه هدف، محدودیت‌ها، سنجه‌های ارزیابی روی گروه‌های جمعیتی مختلف و کاربردهای مجاز و غیرمجاز.
• شناسنامه مجموعه داده (Datasheets for Datasets): سندی که تشریح می‌کند داده‌ها با چه روشی، توسط چه کسانی، با چه رضایت‌نامه‌ای و با چه توزیع دموگرافیکی جمع‌آوری شده‌اند تا از سوگیری در آموزش پیشگیری شود.

۶. چگونه کار می‌کند؟ (پایپ‌لاین ممیزی اخلاقی در چرخه عمر AI)

[۱. تعریف نیاز تجاری] ---> ممیزی اولیه: آیا پروژه در طبقه "ممنوع" EU AI Act قرار دارد؟
                                      |
                                      +---> بله: توقف قطعی پروژه (No-Go)
                                      |
                                     خیر
                                      v
[۲. آماده‌سازی داده‌ها] ---> ممیزی تبار داده و آزمون‌های برابری جمعیتی (Datasheets)
                                      |
                                      v
[۳. فاز آموزش مدل]    ---> ثبت متادیتا و لاگ‌های بازتولیدپذیری در Model Cards
                                      |
                                      v
[۴. فاز اعتبارسنجی]   ---> آزمون‌های ممیزی انصاف (Fairness Audit) و تست XAI
                                      |
                                      v
[۵. فاز استقرار]      ---> الزام سیاست HITL (نظارت انسانی) و برچسب شفافیت
                                      |
                                      v
[۶. فاز پایش پروداکشن]---> پایش مداوم زوال اخلاقی، شکایات مردمی و گزارش‌دهی دوره‌ای

۷. سناریوی واقعی سازمانی

سامانه بینایی ماشین تشخیص چهره در گیت‌های بازرسی یک سازمان فرودگاهی: - مسئله: فرودگاه برای کاهش صفوف گیت پروازهای بین‌المللی، گیت‌های احراز هویت بیومتریک مبتنی بر یادگیری عمیق مستقر کرد. پس از سه ماه، آمارهای ممیزی حراست نشان داد نرخ خطای عدم پذیرش نادرست (FRR) برای اتباع خارجی و افراد دارای پوست تیره، ۸ برابر مسافران بومی و سفیدپوست بوده است! - تحلیل مشاور نصر: 1. نقض رکن اول اخلاق: سوگیری بازنمایی (Representation Bias) در داده‌های آموزشی اولیه (۹۰٪ تصاویر مربوط به یک گروه نژادی خاص بوده است). 2. نقض سطح ۲ استاندارد EU AI Act: سیستم به عنوان سامانه High-Risk بدون آزمون‌های برابری نژادی وارد مدار شده بود. - اقدامات اصلاحی مشاور: 1. بالانس کردن پایگاه داده بر اساس استاندارد Datasheets for Datasets و آموزش مجدد. 2. کالیبراسیون آستانه تصمیم‌گیری برای برقراری برابری نرخ خطای شرطی (Equalized Odds). 3. استقرار ناظر انسانی در گیت‌ها برای مواردی که میزان اطمینان مدل زیر ۹۵٪ است (Human-in-the-Loop).

۸. مثال خیلی ساده و شهودی

فرض کنید مدرسه‌ای یک ربات مبصر برای کلاس‌ها ساخته است: - غیرقابل قبول (ممنوع): اگر ربات به طور مخفیانه به صدای گریه دانش‌آموزان گوش دهد و بچه‌های ضعیف‌تر را در مدرسه برچسب‌گذاری کند (امتیازدهی اجتماعی). - ریسک بالا: اگر ربات بخواهد نمره انضباط پایان سال را تنهایی صادر کند؛ چون بر سرنوشت تحصیلی بچه اثر دارد، حتماً معلم انسان باید نمره را تایید کند (HITL). - ریسک محدود: اگر ربات فقط یک چت‌بات تمرین انشا باشد؛ کافی است روی سینه‌اش نوشته باشد: «من یک ماشین هستم، نه معلم واقعی». - حداقل ریسک: اگر فقط ساعت زنگ تفریح را اعلام کند.

۹. مقایسه عمیق مفاهیم مشابه

۱۰. مزایا و محدودیت‌ها

مزایا (✅)

1. پایداری حقوقی و اقتصادی: مصونیت سازمان از جرایم مالی سنگین (جریمه‌های تا ۳۵ میلیون یورو یا ۷٪ از گردش مالی در EU AI Act).
2. کسب اعتماد بازار و سرمایه‌گذاران: مدل‌های اخلاقی دارای ماندگاری و ارزش برند به مراتب بالاتری هستند.
3. پیشگیری از بازتولید فقر و تبعیض: تضمین توزیع عادلانه فرصت‌ها در جامعه دیجیتال.
4. تسهیل صادرات خدمات نرم‌افزاری: هم‌راستایی با استانداردهای اتحادیه اروپا جهت حضور در بازارهای منطقه‌ای و جهانی.

محدودیت‌ها و مخاطرات (⛔)

1. تعارض ذاتی میان دقت فنی و انصاف ریاضی (Fairness-Accuracy Trade-off): الزام به برابری شانس گروه‌ها گاهی دقت کلی آماری مدل را اندکی کاهش می‌دهد.
2. سربار مالی و زمانی: اجرای آزمون‌های ممیزی اخلاقی و تهیه مستندات Model Cards هزینه توسعه را بالا می‌برد.
3. فقدان قوانین جامع یکپارچه در برخی کشورها: اختلاف نظر میان نهادهای قانون‌گذار محلی و استانداردهای جهانی.

۱۱. کاربردهای کلیدی در صنایع

+-------------------------------------------------------------------------------+
|                       کاربردهای پیاده‌سازی اصول اخلاقی هوش مصنوعی              |
+-------------------------------------------------------------------------------+
| ۱. بانک‌ها و موسسات اعتباری: ممیزی سالانه الگوریتم‌های رتبه‌بندی اعتباری وام    |
| ۲. بیمارستان‌ها: تضمین حضور پزشک در حلقه تایید نهایی تشخیص‌های هوش مصنوعی       |
| ۳. شرکت‌های استخدامی و کاریابی: حذف خودکار کلمات دارای بار تبعیض‌آمیز جنسیتی     |
| ۴. شبکه‌های اجتماعی: مقابله با تولید و بازنشر دیپ‌فیک‌های انتخاباتی با واترمارک |
| ۵. سامانه‌های قضایی: ممنوعیت قطعی صدور احکام زندان صرفاً بر مبنای هوش مصنوعی   |
+-------------------------------------------------------------------------------+

۱۲. دیدگاه مشاوره‌ای (سناریوی آزمون نصر)

سناریوی آزمون نصر:

«شهرداری یک کلان‌شهر قصد دارد پروژه‌ای برای نصب دوربین‌های مجهز به هوش مصنوعی با هدف پایش مداوم رفتار شهروندان در معابر عمومی، سنجش رفتارهای نابهنجار (نظیر پرتاب زباله یا عبور از چراغ قرمز عابر) و کسر خودکار امتیاز شهروندی جهت محروم‌سازی از تخفیف‌های مترو و خدمات شهری اجرا کند. شهرداری با بودجه‌ای کلان اقدام به انتشار مناقصه کرده است. به عنوان مشاور رتبه یک نظام صنفی رایانه‌ای، گزارش ارزیابی اخلاقی و حقوقی شما درباره این پروژه چیست؟»

تحلیل مشاور ارشد هوش مصنوعی:

1. تشخیص رده ریسک پروژه در موازین بین‌المللی و اخلاقی:
2. پروژه مورد نظر مصداق بارز و تمام‌عیار سیستم امتیازدهی اجتماعی شهروندان (Social Scoring) و نظارت بیومتریک توده‌ای در اماکن عمومی است.
3. وضعیت حقوقی:
4. بر اساس ماده ۵ قانون EU AI Act و چارچوب‌های بنیادین یونسکو و حقوق اساسی شهروندی، سیستم‌های Social Scoring در زمره ریسک‌های غیرقابل قبول (Unacceptable Risk) قرار دارند و اجرای آن‌ها تحت هر عنوانی ممنوع و غیرقانونی است.
5. مخاطرات اجتماعی:
6. این سیستم منجر به ایجاد جامعه نظارتی خفقان‌آور (Surveillance State)، نقض حریم خصوصی و خطاهای فاجعه‌بار ناشی از مثبت‌های کاذب برای افراد بی‌گناه می‌شود.

دستور مشاور:

• صدور گزارش عدم تایید قطعی (Veto / No-Go): پروژه باید فوراً متوقف شود. مشاور باید بودجه شهرداری را به سمت آموزش عمومی و سیستم‌های مدیریت هوشمند چراغ‌های راهنمایی بدون ردیابی هویتی افراد هدایت نماید.

۱۳. قاعده تصمیم‌گیری مشاور (درخت تصمیم انطباق با EU AI Act)

             آیا سیستم از امتیازدهی اجتماعی، دستکاری ناخودآگاه یا نظارت بیومتریک توده‌ای استفاده می‌کند؟
                                      /                      \
                                    بله                      خیر
                                    /                          \
                        [ریسک غیرقابل قبول]          آیا تصمیم سیستم بر سلامت، قضاوت،
                        - پروژه کاملاً ممنوع است       استخدام یا زیرساخت حیاتی اثر دارد؟
                        - توقف فوری (No-Go)                      /              \
                                                              بله               خیر
                                                              /                   \
                                                      [ریسک بالا / High-Risk]   آیا کاربر مستقیماً با AI
                                                      - الزام نظارت انسانی HITL  در تعامل است یا محتوای
                                                      - ممیزی سوگیری و ثبت لاگ   شبیه‌سازی‌شده تولید می‌شود؟
                                                      - اخذ گواهینامه انطباق               /       \
                                                                                        بله       خیر
                                                                                        /           \
                                                                                [ریسک محدود]   [حداقل ریسک]
                                                                                - الزام شفافیت  - بدون الزام
                                                                                - اعلام ماهیت AI

۱۴. 🔴 نکات طلایی آزمون نصر (۱۰ نکته کنکوری)

1. ارکان پنج‌گانه Trustworthy AI: عدالت و انصاف، شفافیت و توضیح‌پذیری، حریم خصوصی، مسئولیت‌پذیری، و استحکام فنی/ایمنی.
2. رده ریسک غیرقابل قبول (Unacceptable Risk) در EU AI Act: شامل Social Scoring، دستکاری روان‌شناختی رفتار، و شناسایی بیومتریک چهره از راه دور در فضاهای عمومی.
3. سامانه‌های رده High-Risk: شامل فناوری‌های استخدامی، اعتبارسنجی وام، تشخیص پزشکی و آموزش که مستلزم نظارت انسانی و ممیزی داده هستند.
4. الزام چت‌بات‌ها در رده Limited Risk: اطلاع‌رسانی صریح و شفاف به کاربر درباره اینکه طرف گفتگو یک هوش مصنوعی است.
5. توصیه‌نامه یونسکو (۲۰۲۱): اولین توافق جهانی در حوزه اخلاق AI با تمرکز بر پایداری اقلیمی، ردپای کربن و عدالت جنسیتی.
6. شناسنامه مدل (Model Cards): استاندارد مستندسازی مشخصات فنی، محدودیت‌ها و سنجه‌های انحراف الگوریتم.
7. شناسنامه دیتاست (Datasheets for Datasets): مستندسازی منشأ، انگیزه‌ها و ویژگی‌های جمعیتی مجموعه داده‌های آموزشی.
8. تعارض دقت و انصاف (Fairness-Accuracy Trade-off): تلاش برای ایجاد برابری ریاضی میان گروه‌ها گاهی با افت اندک دقت کلی همراه است.
9. حریم خصوصی به عنوان حق بنیادین: هوش مصنوعی اخلاقی باید سازگار با اصول حداقل‌سازی داده (Data Minimization) باشد.
10. عدم اهلیت حقوقی الگوریتم: مسئولیت کیفری و حقوقی خطاهای هوش مصنوعی همواره بر عهده اشخاص حقیقی و حقوقی طراح و بهره‌بردار است.

۱۵. ⚠️ دام‌های رایج آزمون

دام ۱: «قانون EU AI Act استفاده از هوش مصنوعی در پزشکی و بیمارستان‌ها را ممنوع کرده است.»
❌ پاسخ دام‌شکن: خیر! سامانه‌های پزشکی در رده ریسک بالا (High-Risk) هستند؛ یعنی مجازند اما مشروط به استقرار ممیزی‌های انطباق، کیفیت داده و نظارت ناظر انسانی (HITL).

دام ۲: «سیستم‌های چت‌بات و دیپ‌فیک جزو سیستم‌های ممنوعه هستند.»
❌ پاسخ دام‌شکن: این ابزارها در رده ریسک محدود (Limited Risk) قرار دارند؛ استفاده از آن‌ها کاملاً قانونی است به شرطی که شفافیت رعایت شده و ماهیت ماشینی به کاربر افشا شود.

دام ۳: «اگر سازمانی تمام کدهای خود را متن‌باز کند، الزامات اخلاقی را به طور کامل برآورده ساخته است.»
❌ پاسخ دام‌شکن: شفافیت کد تنها یک بعد است؛ سوگیری پنهان داده‌ها، نقض حریم خصوصی و عدم پاسخگویی حقوقی با انتشار کد برطرف نمی‌شوند.

دام ۴: «امتیازدهی اعتباری وام در بانک‌ها همان Social Scoring ممنوعه است.»
❌ پاسخ دام‌شکن: امتیازدهی اعتباری مالی (Credit Scoring) بر مبنای توان بازپرداخت مالی در رده High-Risk (مجاز با ممیزی) است؛ اما امتیازدهی رفتاری و اجتماعی همه‌جانبه توسط دولت‌ها (Social Scoring) ممنوع است.

۱۶. 🧠 خلاصه یک‌دقیقه‌ای

• اخلاق هوش مصنوعی: ۵ رکن عدالت، شفافیت، حریم خصوصی، مسئولیت و پایداری.
• چارچوب EU AI Act: چهار سطح ریسک؛ سطح ممنوع (Social Scoring)، سطح بالا (استخدام و پزشکی با الزام HITL)، سطح محدود (چت‌بات با الزام شفافیت) و حداقل ریسک.
• اسناد جهانی: اصول OECD و توصیه‌نامه اخلاق یونسکو ۲۰۲۱.
• مستندسازی استاندارد: به‌کارگیری Model Cards و Datasheets برای ممیزی سوگیری و تبار داده.

۱۷. نقشه ذهنی (ASCII Mind Map)

                            اصول اخلاقی و هوش مصنوعی معتمد
                                          |
    +--------------------+----------------+---------------+--------------------+
    |                    |                                |                    |
[ارکان پنج‌گانه معتمد]    [قانون EU AI Act - ۴ سطح]        [اسناد مرجع جهانی]   [مستندسازی استاندارد]
    |                    |                                |                    |
    |-- عدالت و انصاف    |-- ۱. غیرقابل قبول (ممنوع)       |-- توصیه‌نامه یونسکو|-- Model Cards
    |-- شفافیت (XAI)     |   (Social Scoring)             |   (کربن و جنسیت)   |   (مشخصات فنی مدل)
    |-- حریم خصوصی       |-- ۲. ریسک بالا (High-Risk)     |-- اصول ۵ گانه OECD |-- Datasheets
    |-- پاسخگویی         |   (استخدام/پزشکی + HITL)       |   (رشد فراگیر)     |   (شناسنامه دیتاست)
    |-- استحکام و ایمنی  |-- ۳. ریسک محدود (چت‌بات)        |-- موازین شورای عالی|-- Audit Trail
                         |-- ۴. حداقل ریسک (اسپم)         |   فضای مجازی       |   (گزارش ممیزی)

۱۸. ارتباط با سایر مباحث

• مبحث ۳ از همین فصل (Bias & Fairness): فرمول‌بندی ریاضیاتی و معیارهای ارزیابی شاخص‌های عدالت.
• مبحث ۴ از همین فصل (XAI & Transparency): تکنیک‌های فنی توضیح‌پذیری مدل‌ها (SHAP, LIME).
• مبحث ۲ از همین فصل (Privacy): تکنیک‌های صیانت از حریم خصوصی (یادگیری فدرال و Differential Privacy).
• مبحث ۷ از فصل ۴ (AI in HR): نمونه بارز مصداق سیستم‌های High-Risk استخدامی.

۱۹. سؤالات احتمالی آزمون (۶ تست استاندارد نصر)

تست ۱ (🔴 — رده‌بندی سطوح ریسک در قانون EU AI Act)

بر اساس چارچوب جامع قانون هوش مصنوعی اتحادیه اروپا (EU AI Act ۲۰۲۴)، کدام یک از سامانه‌های زیر در رده «ریسک غیرقابل قبول» (Unacceptable Risk) قرار داشته و استقرار آن به طور مطلق ممنوع است؟

الف) الگوریتم‌های هوشمند اولویت‌بندی تماس‌های فوریت‌های پزشکی ۱۱۵
ب) سامانه‌های دولتی ارزیابی و رتبه‌بندی جامع رفتارهای اجتماعی شهروندان (Social Scoring) جهت تخصیص یا سلب حقوق شهروندی
ج) چت‌بات‌های پاسخگویی خودکار به شکایات مشتریان در وب‌سایت‌های تجاری
د) مدل‌های یادگیری ماشین فیلترکننده هرزنامه‌ها در سرورهای پست الکترونیک

کلید: ب
تحلیل تشریحی:
- رد الف: سیستم‌های تریاژ اورژانس و سلامت در رده ریسک بالا (High-Risk) هستند که مجاز اما مشروط به ممیزی و نظارت انسانی هستند.
- تأیید ب: مطابق ماده ۵ قانون EU AI Act، سیستم‌های امتیازدهی اجتماعی شهروندان (Social Scoring) که رفتارهای فردی را رصد کرده و پیامدهای ناعادلانه ایجاد می‌کنند، در زمره ریسک‌های غیرقابل قبول بوده و استقرار آن‌ها مطلقاً ممنوع است.
- رد ج: چت‌بات‌ها در رده ریسک محدود (Limited Risk) قرار دارند.
- رد د: فیلترهای هرزنامه در رده حداقل ریسک (Minimal Risk) هستند.

تست ۲ (🔴 — الزامات سامانه‌های رده ریسک بالا)

یک پلتفرم استخدام آنلاین می‌خواهد مدلی مبتنی بر پردازش زبان طبیعی برای اولویت‌بندی و فیلتر کردن رزومه‌های شغلی متقاضیان مستقر سازد. طبق استانداردهای هوش مصنوعی معتمد، این سامانه در کدام رده ریسک قرار می‌گیرد و چه الزامی دارد؟

الف) حداقل ریسک — بدون نیاز به هیچ‌گونه ارزیابی یا ممیزی
ب) ریسک با اهمیت بالا (High-Risk) — مستلزم ارزیابی مستمر سوگیری داده‌ها، ثبت لاگ‌های ره‌گیری، شفافیت و الزام حضور ناظر انسانی (Human-in-the-Loop)
ج) ریسک غیرقابل قبول — استقرار هرگونه مدل هوش مصنوعی در فرآیند منابع انسانی ممنوع است
د) ریسک محدود — صرفاً ارسال یک پیامک خوش‌آمدگویی به متقاضی کفایت می‌کند

کلید: ب
تحلیل تشریحی:
- رد الف و د: سیستم‌های اثرگذار بر معیشت و شغل هرگز حداقل یا صرفاً محدود تلقی نمی‌شوند.
- تأیید ب: در پیوست‌های فنی قانون هوش مصنوعی، فناوری‌های به‌کاررفته در ارزیابی، استخدام و ترفیع شغلی صراحتاً به عنوان سامانه‌های High-Risk طبقه‌بندی شده‌اند؛ این سامانه‌ها نیازمند تست‌های ممیزی سوگیری، شفافیت کامل برای متقاضیان و حق دخالت ناظر انسانی در تصمیم نهایی هستند.
- رد ج: هوش مصنوعی در منابع انسانی ممنوع نیست، بلکه مشروط و تحت نظارت دقیق است.

تست ۳ (🔴 — تعهدات سامانه‌های ریسک محدود)

کدام الزام قانونی برای ارائه‌دهندگان سرویس‌های چت‌بات هوش مصنوعی مولد در رده «ریسک محدود» (Limited Risk) در مراجع بین‌المللی وضع شده است؟

الف) الزام به پرداخت ۱۰ درصد از درآمد حاصله به عنوان مالیات بر هوش مصنوعی
ب) الزام شفافیت مبنی بر اطلاع‌رسانی صریح و شفاف به کاربر نهایی در خصوص اینکه او در حال تعامل با یک سیستم هوش مصنوعی است
ج) ممنوعیت استفاده از زبان‌های غیرانگلیسی در پاسخ‌ها
د) الزام ذخیره‌سازی داده‌های کاربران به مدت حداقل ۵۰ سال

کلید: ب
تحلیل تشریحی:
- تأیید ب: مهم‌ترین و صریح‌ترین تعهد در رده Limited Risk، اصل شفافیت (Transparency Obligation) است. کاربر حق دارد بداند طرف مکالمه او یک ربات نرم‌افزاری است و نباید دچار فریب یا توهم صحبت با انسان شود.
- رد الف، ج، د: گزاره‌های انحرافی و ساختگی هستند.

تست ۴ (🟠 — اسناد بین‌المللی اخلاق هوش مصنوعی)

یکی از وجوه تمایز برجسته «توصیه‌نامه یونسکو درباره اخلاق هوش مصنوعی (۲۰۲۱)» در مقایسه با سایر اسناد رگولاتوری سنتی، تأکید بر کدام بعد است؟

الف) تعیین حداکثر فرکانس پردازنده‌های سرور
ب) حفاظت از محیط‌زیست، توجه به ردپای کربن ناشی از مصرف انرژی در آموزش مدل‌های بزرگ، و عدالت جنسیتی
ج) اجباری کردن استفاده از زبان برنامه‌نویسی پایتون
د) ممنوعیت تجارت بین‌المللی پردازنده‌های گرافیکی

کلید: ب
تحلیل تشریحی:
- تأیید ب: توصیه‌نامه اخلاقی یونسکو به عنوان اولین سند توافق جهانی با ۱۹۳ کشور عضو، فراتر از ابعاد نرم‌افزاری، بر ابعاد کلان مانند پایداری محیط‌زیستی، اثرات زیست‌محیطی و مصرف آب و برق کلاسترهای هوش مصنوعی و حمایت از اقلیت‌ها و برابری جنسیتی تأکید نموده است.
- رد الف، ج، د: موارد نامربوط به اسناد بین‌المللی اخلاق فناوری هستند.

تست ۵ (🟠 — ابزارهای استاندارد مستندسازی)

سند «شناسنامه مدل» (Model Card) در چرخه حیات توسعه یادگیری ماشین با چه هدفی تدوین می‌شود؟

الف) درج فاکتور رسمی خرید سخت‌افزار سرور برای امور حسابداری
ب) ارائه مستندات ساختاریافته و شفاف درباره معماری مدل، عملکرد تفکیک‌شده روی گروه‌های جمعیتی، محدودیت‌های فنی، فرضیات و کاربردهای مجاز و غیرمجاز جهت تسهیل ممیزی اخلاقی
ج) افزایش سرعت کامپایل فایل‌های باینری
د) ثبت سند مالکیت انحصاری مدل در اداره ثبت اسناد و املاک

کلید: ب
تحلیل تشریحی:
- تأیید ب: استاندارد Model Card توسط پژوهشگران برای ایجاد شفافیت طراحی شده و شامل جزئیاتی چون تاریخچه آموزش، سنجه‌های ارزیابی، نقاط ضعف و مواردی است که مدل نباید در آن‌ها استفاده شود؛ این سند مبنای اصلی ممیزان اخلاقی و حاکمیتی است.
- رد الف، ج، د: کاربردهای غلط و نامربوط به مهندسی اخلاق AI هستند.

تست ۶ (🔴 — ارکان هوش مصنوعی معتمد)

اگر یک سامانه هوش مصنوعی تشخیص بیماری، تصمیمات خود را با بالاترین دقت اتخاذ کند اما پزشکان و بیماران نتوانند بفهمند مدل بر اساس چه متغیرها و دلایلی به این نتیجه رسیده است، کدام رکن از اصول «هوش مصنوعی معتمد» (Trustworthy AI) نقض شده است؟

الف) استحکام فنی (Technical Robustness)
ب) شفافیت و توضیح‌پذیری (Transparency & Explainability)
ج) سرعت پردازش سخت‌افزاری (Processing Speed)
د) مقیاس‌پذیری در فضای ابری (Cloud Scalability)

کلید: ب
تحلیل تشریحی:
- رد الف: استحکام فنی به مقاومت در برابر هک و نویز مربوط است.
- تأیید ب: حتی اگر دقت مدل ۱۰۰٪ باشد، عدم توانایی در ارائه دلایل قابل فهم برای انسان نقض مستقیم اصل توضیح‌پذیری و شفافیت (Explainability) است که در سامانه‌های حساس بالینی و حقوقی غیرقابل پذیرش است.
- رد ج و د: این موارد سنجه‌های زیرساختی مهندسی هستند، نه ارکان پنج‌گانه اخلاق هوش مصنوعی معتمد.

۲۰. سطح‌بندی مطالب جهت مرور سریع