شفافیت و مدل‌های هوش مصنوعی قابل تفسیر (Explainable AI - XAI)

مبحث ۴: شفافیت، توضیح‌پذیری و هوش مصنوعی تفسیرپذیر (XAI)

Transparency & Explainable AI (XAI)

فصل ششم: اخلاق، حاکمیت، امنیت و مقررات در هوش مصنوعی

۱. راهنمای مطالعه و هدف آموزشی

تفسیرپذیری و شفافیت (Explainability & Transparency) پیش‌شرط قانونی و رگولاتوری برای استقرار مدل‌های یادگیری ماشین در حوزه‌های پرخطر نظیر پزشکی، بانکداری، قضایی و استخدام است. در آزمون مشاوران نصر، محورهای تستی پربسامد این مبحث عبارتند از: - پارادوکس دقت-تفسیرپذیری (Accuracy-Interpretability Trade-off) - تفکیک مدل‌های ذاتاً شفاف (White-box / Intrinsic) از مدل‌های جعبه‌سیاه پسینی (Black-box / Post-hoc) - تفکیک تفسیرپذیری محلی (Local: تصمیم برای یک نمونه خاص) از تفسیرپذیری سراسری (Global: منطق کلی مدل) - مقایسه فنی و ریاضی دو ابزار مستقل از مدل (Model-Agnostic): SHAP (بر مبنای مقادیر شپلی نظریه بازی‌ها با تضمین‌های چهارگانه ریاضی) در برابر LIME (تقریب خطی محلی بر پایه اغتشاش ورودی) - تکنیک‌های تفسیرپذیری در بینایی ماشین: نقشه‌های حرارتی Grad-CAM برای شبکه‌های CNN - توضیحات خلاف واقع (Counterfactual Explanations) و حقوق شهروندی («حق دریافت توضیح» در ماده ۲۲ مقررات GDPR).

۲. این مبحث درباره چیست؟

پیچیده‌ترین مدل‌های یادگیری عمیق دارای صدها میلیارد پارامتر و ماتریس‌های غیرخطی تو در تو هستند. وقتی چنین سیستمی درخواست وام یک شهروند را رد می‌کند یا بیمارستانی را از جراحی یک بیمار منصرف می‌سازد، پاسخ «الگوریتم این‌طور حدس زده است» از نظر حقوقی، اخلاقی و بالینی کاملاً مردود است!
هوش مصنوعی تفسیرپذیر (XAI) مجموعه‌ای از روش‌های ریاضی و بصری است که درون جعبه سیاه مدل را شکافته و به صورت شفاف به انسان توضیح می‌دهد که کدام ویژگی‌ها با چه وزنی در اتخاذ این تصمیم مشخص نقش داشته‌اند.

۳. تعریف ساده

تعریف ساده: XAI مثل برگه چک‌لیست آزمایشگاهی است! اگر پزشکی بدون آزمایش به شما بگوید «شما بیمارید و باید عمل شوید» قبول نمی‌کنید؛ اما اگر برگه آزمایش را نشان دهد و بگوید «قند خون شما ۲۵۰ است و گلبول‌های سفید بالا رفته»، به تصمیم او اعتماد می‌کنید. XAI دلایل عددی پشت تصمیمات مغز هوش مصنوعی را روی کاغذ می‌آورد!

۴. تعریف تخصصی

تعریف تخصصی: چارچوب جامع مهندسی، الگوریتمی و حقوقی که امکان استخراج، مصورسازی و تبیین علّی (Causal Attribution) متغیرهای اثرگذار بر خروجی مدل‌های غیرخطی و پیچیده یادگیری ماشین را در دو سطح محلی (نمونه‌محور) و سراسری (مدل‌محور) بدون افت دقت استنتاج فراهم می‌سازد. این فرآیند انطباق با الزامات قانونی «حق برخورداری از توضیح» (Right to Explanation) و ارزیابی ممیزی سوگیری را تضمین می‌نماید.

۵. مفاهیم و ارکان کلیدی

۵.۱. پارادوکس دقت-تفسیرپذیری (Accuracy vs Interpretability Trade-off) 🔴

تفسیرپذیری (فهم آسان برای انسان)
      ^
      |  * [رگرسیون خطی / لوجستیک]
      |      * [درخت تصمیم تک‌لایه (Decision Trees)]
      |          * [مدل‌های افزایشی تعمیم‌یافته (GAM / EBM)]
      |
      |              * [جنگل‌های تصادفی (Random Forest)]
      |                  * [الگوریتم‌های تقویت گرادیان (XGBoost)]
      |                      * [شبکه‌های عصبی عمیق (Deep Neural Nets)]
      |                          * [مدل‌های بزرگ زبانی و ترنسفورمرها]
      +------------------------------------------------------------> دقت و پیچیدگی (Accuracy)

• مدل‌های جعبه‌سفید / ذاتاً شفاف (Intrinsic / White-box): مدل‌هایی مانند رگرسیون خطی، رگرسیون لوجستیک و درخت‌های تصمیم کم‌عمق که فرمول ریاضی مشخصی داشته و وزن هر متغیر مستقیماً قابل خواندن است؛ اما در داده‌های غیرخطی و پیچیده دقت پایینی دارند.
• مدل‌های جعبه‌سیاه (Black-box): شبکه‌های عصبی عمیق و مدل‌های متراکم مبتنی بر درخت (Ensemble) که دقت خیره‌کننده‌ای دارند اما درک چرایی ارتباط ورودی و خروجی برای انسان غیرممکن است.
• رسالت XAI: ابداع تکنیک‌های پسینی (Post-hoc) برای توضیح دادن مدل‌های جعبه‌سیاه بدون نیاز به تنزل دادن آن‌ها به مدل‌های ساده خطی!

۵.۲. ابعاد سه‌گانه رده‌بندی روش‌های XAI 🔴

در آزمون نصر، تفکیک دقیق این سه بعد همواره مورد پرسش است:

۵.۳. ابزار اول: SHAP (Shapley Additive Explanations) 🔴

• مبنای نظری: برگرفته از نظریه بازی‌های همکارانه (Cooperative Game Theory) و ابداع شده توسط لوید شپلی (برنده جایزه نوبل اقتصاد).
• منطق عملکرد: ویژگی‌های ورودی مانند بازیکنان یک تیم فوتبال در نظر گرفته می‌شوند که برای کسب یک هدف (پیروزی/پیش‌بینی) تلاش می‌کنند. SHAP سهم حاشیه‌ای عادلانه هر ویژگی را با آزمودن تمام ائتلاف‌های ممکن از متغیرها محاسبه می‌کند.
• چهار اصل موضوعی ریاضی (تضمین‌های قطعی):
• کارایی (Efficiency): مجموع مقادیر شپلی تمام ویژگی‌ها دقیقاً برابر است با تفاضل خروجی مدل از میانگین پایه پیش‌بینی‌ها.
• تقارن (Symmetry): دو ویژگی که سهم یکسانی در تمام ائتلاف‌ها دارند، مقدار شپلی کاملاً یکسانی دریافت می‌کنند.
• ویژگی پوچ (Dummy / Null): متغیری که هیچ اثری بر هیچ پیش‌بینی ندارد، سهمش دقیقاً صفر است.
• جمع‌پذیری (Additivity): در ترکیب مدل‌ها، مقادیر شپلی به صورت جبری با هم جمع می‌شوند.
• قلمرو: هم تفسیر محلی (نمودار Force Plot) و هم تفسیر سراسری (نمودار Beeswarm Summary Plot) را پوشش می‌دهد.

۵.۴. ابزار دوم: LIME (Local Interpretable Model-agnostic Explanations) 🔴

• منطق عملکرد: اگرچه رفتار کل یک مدل عمیق به شدت غیرخطی و پیچیده است، اما اگر روی یک نقطه و نمونه خاص به اندازه کافی زوم کنیم، رفتار مدل در همسایگی آن نقطه تقریباً خطی است!
• شیوه کار:
• ایجاد نمونه‌های دستکاری‌شده تصادفی در اطراف نمونه مورد نظر (Perturbation).
• گرفتن پیش‌بینی از مدل جعبه‌سیاه برای تمام این نمونه‌های تغییریافته.
• آموزش یک مدل ساده خطی محلی روی این نقاط با وزن‌دهی به نمونه‌های نزدیک‌تر.
• تفاوت با SHAP: LIME سریع‌تر است، اما فاقد تضمین‌های ریاضی یکتایی است؛ یعنی اجرای دو باره LIME برای یک نمونه ممکن است توضیحات اندک متفاوتی تولید کند (عدم پایداری محلی).

۵.۵. ابزار سوم: نقشه‌های حرارتی Grad-CAM در بینایی ماشین 🟠

• مخفف: Gradient-weighted Class Activation Mapping.
• وابستگی: منحصراً وابسته به مدل‌های کانولوشنی (Model-Specific for CNNs).
• عملکرد: گرادیان‌های کلاس هدف را نسبت به نقشه ویژگی‌های آخرین لایه کانولوشن محاسبه کرده و یک نقشه حرارتی رنگی (Heatmap) روی تصویر اصلی می‌اندازد.
• کاربرد حیاتی: کشف آرتیفکت‌های گمراه‌کننده (Confounding Artifacts)؛ مثلاً اطمینان از اینکه مدل تشخیص ذات‌الریه واقعاً به بافت ریه نگاه می‌کند، نه به خط‌کش یا برچسب فلزی تکنسین رادیولوژی!

۵.۶. توضیحات خلاف واقع (Counterfactual Explanations) 🟠

• پاسخی عملیاتی به سوال کاربر: «چه حداقل تغییری باید در مشخصات من رخ دهد تا تصمیم مدل عوض شود؟»
• مثال در بانکداری: به جای اینکه صرفاً بگوییم «وام شما رد شد چون حقوقتان کم است»، سیستم خلاف واقع اعلام می‌کند: «اگر حقوق ماهانه شما ۴ میلیون تومان بیشتر بود یا سابقه کار شما از ۱ سال به ۲ سال می‌رسید، وام تایید می‌شد».
• این رویکرد عملی‌ترین ابزار برای تحقق تعهدات حقوقی و بازخورد به مشتریان است.

۶. چگونه کار می‌کند؟ (معماری ماژولار XAI در سرویس‌دهی)

[درخواست ورودی کاربر (تراکنش / پرونده)]
                  |
                  v
       [مدل جعبه‌سیاه پروداکشن (XGBoost / Deep Neural Net)]
                  |
                  v
       [پیش‌بینی خام: مثلاً رد وام با احتمال ۸۸٪]
                  |
                  +-----------------------------------+
                  |                                   |
                  v                                   v
        [موتور تحلیلی SHAP]               [موتور تولید Counterfactual]
                  |                                   |
                  v                                   v
     [استخراج مقادیر شپلی ویژگی‌ها]         [محاسبه حداقل فاصله تا کلاس تایید]
     - سابقه چک برگشتی: +۴۰٪ رد            - اگر بدهی ۱۰ میلیون تسویه شود
     - نسبت قسط به درآمد: +۳۰٪ رد          - اگر میانگین حساب ۲ برابر شود
                  |                                   |
                  +-----------------+-----------------+
                                    |
                                    v
       [تولید گزارش قابل فهم انسانی و نمایش در پرتال مشتری (Right to Explanation)]

۷. سناریوی واقعی سازمانی

سامانه تشخیص هوشمند تومورهای بدخیم پوستی بیمارستان رازی: - مسئله: مدل یادگیری عمیق ResNet به دقت ۹۸.۵٪ در تشخیص سرطان ملانوما دست یافته بود. اما کمیسیون اخلاق پزشکی بیمارستان استفاده از آن را متوقف کرد چون مشخص نبود مدل چگونه تومور را از خال گوشتی عادی متمایز می‌کند. - تحلیل با استفاده از Grad-CAM: - مشاور نصر نقشه حرارتی گرادیان‌های لایه آخر را روی ۵۰۰ عکس استخراج کرد. - نتیجه شگفت‌آور بود: در ۳۰ درصد موارد، بیشترین تمرکز حرارتی مدل دقیقاً روی «خط‌کش پلاستیکی مدرجی» بود که پزشکان در زمان عکس‌برداری از ضایعات بدخیم کنار پوست می‌گذاشتند! مدل یاد گرفته بود که «اگر در عکس خط‌کش وجود دارد، پس تومور بدخیم است»! - اصلاح مهندسی: با کشف این خطای ناشی از متغیر اخلال‌گر (Confounding Artifact)، تصاویر خط‌کش‌دار از دیتاست حذف شدند، مدل مجدداً آموزش دید و با نظارت XAI تاییدیه رسمی پزشکی را دریافت کرد.

۸. مثال خیلی ساده و شهودی

فرض کنید از یک دادگاه حکم رد صلاحیت برای استخدامی دریافت می‌کنید: - مدل جعبه‌سیاه: نامه‌ای دریافت می‌کنید که فقط رویش نوشته: «شما رد شدید، خدانگهدار!» (عدم شفافیت). - ابزار LIME: یک دستیار سریع می‌آید و به صورت تقریبی می‌گوید: «احتمالاً نمره زبانتان پایین بوده که رد شدید». - ابزار SHAP: دادگاه یک ترازوی فوق‌دقیق به شما نشان می‌دهد: «حدنصاب قبولی ۷۰ بوده است؛ سابقه کار شما +۱۵ امتیاز مثبت داشت، اما نمره آزمون کتبی -۲۵ امتیاز شما را پایین کشید و عدم مدرک کامپیوتر -۱۰ امتیاز کم کرد؛ مجموعاً شدید ۵۰ و رد شدید» (توضیح کامل، دقیق و عادلانه). - توضیح خلاف واقع: دادگاه اضافه می‌کند: «اگر سال بعد نمره کتبی را از ۵۰ به ۷۰ برسانید، قبول خواهید شد».

۹. مقایسه عمیق مفاهیم مشابه

۱۰. مزایا و محدودیت‌ها

مزایا (✅)

1. تحقق الزامات حقوقی و رفع ریسک جریمه: پاسخگویی مستقیم به تعهدات رگولاتوری «حق توضیح» (Right to Explanation).
2. کشف باگ‌ها و میان‌برهای گمراه‌کننده مدل: جلوگیری از استقرار مدل‌هایی که به ویژگی‌های کاذب یا نویز تکیه کرده‌اند.
3. افزایش پذیرش و اعتماد پرسنل انسانی: پزشکان، قضات و مدیران مالی با دیدن دلایل به مدل اعتماد کرده و با آن تعامل می‌کنند.
4. ردیابی ریشه‌های سوگیری: کشف اینکه کدام ویژگی پروکسی باعث تبعیض در خروجی شده است.

محدودیت‌ها و مخاطرات (⛔)

1. سربار محاسباتی سنگین در وب‌سرویس‌های آنلاین: محاسبه مقادیر SHAP برای هر فراخوانی تأخیر پاسخ (Latency) را به شدت افزایش می‌دهد.
2. پیچیدگی تفسیر برای کاربران عادی: خروجی‌های آماری XAI برای مشتریان فاقد سواد داده ممکن است مبهم و گیج‌کننده باشد.
3. ریسک امنیت معکوس (Exploitation): افشای دقیق وزن‌های تصمیم‌گیری ممکن است به مهاجمان کمک کند تا مدل را با حملات تخاصمی ساده‌تر فریب دهند (Adversarial Gaming).

۱۱. کاربردهای کلیدی در صنایع

+-------------------------------------------------------------------------------+
|                        کاربردهای حیاتی XAI در بخش‌های کلان                     |
+-------------------------------------------------------------------------------+
| ۱. انطباق بانکی: صدور کارنامه رد تسهیلات همراه با سهم درصدی علل طبق قانون     |
| ۲. پزشکی و رادیولوژی: مصورسازی بافت مشکوک با Grad-CAM جهت تایید جراح        |
| ۳. صنعت بیمه: تشریح علل افزایش نرخ حق بیمه خودرو برای مشتریان پرخطر           |
| ۴. سامانه‌های قضایی: ارائه دلایل احتمال تکرار جرم به قاضی جهت آزادی مشروط     |
| ۵. امنیت سایبری: نمایش زنجیره ترافیک مشکوک و لاگ‌های منجر به هشدار نفوذ      |
+-------------------------------------------------------------------------------+

۱۲. دیدگاه مشاوره‌ای (سناریوی آزمون نصر)

سناریوی آزمون نصر:

«یک نئوبانک مدلی مبتنی بر تقویت گرادیان (XGBoost) با دقت فوق‌العاده ۹۶٪ برای تخصیص اعتبار وام خرد مستقر کرده است. بازرسی بانک مرکزی طی بخشنامه‌ای اعلام می‌کند که به دلیل شکایات متعدد مردمی، بانک موظف است حداکثر ظرف ۷ روز، برای تک‌تک پرونده‌های رد صلاحیت‌شده، دلایل مستند و انفرادی ارائه دهد؛ در غیر این صورت مجوز درگاه پرداخت لغو خواهد شد. مدیرعامل نئوبانک اصرار دارد که مدل باید حذف شده و با یک درخت تصمیم تک‌لایه ساده جایگزین شود تا شفاف باشد، حتی اگر دقت به ۷۰٪ افت کند. شما به عنوان مشاور ارشد سیستم‌های هوش مصنوعی، چه راهکاری برای حفظ دقت و تامین خواسته رگولاتور ارائه می‌دهید؟»

تحلیل مشاور ارشد هوش مصنوعی:

1. نقد تصمیم عجولانه کارفرما (قربانی کردن بی‌مورد دقت):
2. تنزل مدل از XGBoost به درخت تصمیم تک‌لایه به معنای افزایش خطای ۲۶ درصدی در تشخیص ریسک و ضرر صدها میلیارد تومانی ناشی از سوخت وام‌هاست.
3. راهکار تلفیقی با فناوری‌های XAI:
4. نیازی به تغییر معماری مدل اصلی نیست؛ الگوریتم XGBoost می‌تواند در محیط عملیاتی باقی بماند و با افزودن لایه TreeSHAP تفسیرپذیر شود.
5. الگوریتم TreeSHAP به طور خاص برای مدل‌های مبتنی بر درخت بهینه‌سازی شده و محاسبات را در کسری از ثانیه (زیر ۱۰ میلی‌ثانیه) انجام می‌دهد.

بسته راهکار اجرایی مشاور:

1. پیاده‌سازی پکیج TreeSHAP در خط لوله وب‌سرویس بانک برای استخراج خودکار ۳ عامل دارای بالاترین ارزش منفی در رد وام.
2. طراحی فرمت پاسخ استاندارد در اپلیکیشن نئوبانک: «درخواست شما به این ۳ دلیل مشخص (مثلاً: سابقه اقساط معوق، پایین بودن مانده حساب، و نسبت چک برگشتی) رد شده است».
3. افزودن موتور تولید توضیحات خلاف واقع (Counterfactuals) تا به مشتری پیام دهد چه اقدام مالی او را واجد شرایط خواهد ساخت.
4. ارائه مستندات به بازرسی بانک مرکزی و حفظ کامل دقت ۹۶ درصدی سامانه.

۱۳. قاعده تصمیم‌گیری مشاور (درخت تصمیم انتخاب روش XAI)

                 نوع داده ورودی و معماری مدل هوش مصنوعی چیست؟
                                       |
    +----------------------------------+----------------------------------+
    |                                                                     |
[داده‌های تصویری / شبکه‌های CNN]                                  [داده‌های جدولی و متنی]
    |                                                                     |
    v                                                                     v
[Grad-CAM]                                                     آیا تضمین قطعی ریاضیاتی الزامی است؟
- نقشه حرارتی روی لایه آخر                                                 |
- کشف خط‌کش و آرتیفکت‌های مزاحم                                         /   \
                                                                      بله   خیر (سرعت مهم‌تر است)
                                                                      /       \
                                                                  [SHAP]      [LIME]
                                                                  - عادلانه   - تقریب موضعی سریع
                                                                  - یکتا      - اغتشاش در ورودی
                                                                  - نظریه بازی

۱۴. 🔴 نکات طلایی آزمون نصر (۱۰ نکته کنکوری)

1. اساس نظری SHAP: مقادیر شپلی (Shapley Values) در نظریه بازی‌های مشارکتی برای تسهیم عادلانه سود میان متغیرها.
2. چهار اصل ریاضی تضمین‌شده در SHAP: کارایی (Efficiency)، تقارن (Symmetry)، ویژگی پوچ (Dummy) و جمع‌پذیری (Additivity).
3. پایه عملکرد LIME: تقریب خطی موضعی (Local Linear Approximation) با استفاده از ایجاد اغتشاش تصادفی (Perturbation) در همسایگی داده.
4. تفاوت بنیادین SHAP و LIME: روش SHAP دارای راه‌حل یکتا و تضمین محکم ریاضی است؛ LIME فاقد پایداری تئوریک بوده و به دلیل تصادفی بودن ممکن است در دو اجرا نتایج اندک متفاوتی بدهد.
5. Grad-CAM منحصراً وابسته به مدل (Model-Specific) است: فقط بر روی شبکه‌های کانولوشنی (CNN) در بینایی ماشین برای استخراج نقشه حرارتی فعال‌سازی لایه‌ها کار می‌کند.
6. مفهوم Model-Agnostic: الگوریتم‌هایی که مستقل از ساختار داخلی مدل عمل کرده و با هر مدل یادگیری ماشین کار می‌کنند (نظیر SHAP و LIME).
7. توضیحات خلاف واقع (Counterfactuals): تعیین حداقل تغییر در ویژگی‌ها برای تغییر نتیجه مدل ($X \rightarrow X'$).
8. آرتیفکت‌های اخلال‌گر (Confounding Artifacts): نشانه‌های کاذب در تصاویر یا متن که مدل به اشتباه آن‌ها را به عنوان ویژگی اصلی یاد می‌گیرد و تنها با XAI کشف می‌شوند.
9. حق برخورداری از توضیح (Right to an Explanation): اصل حقوقی مصرح در ماده ۲۲ قانون GDPR و سند AI Act برای تصمیم‌گیری‌های تمام‌خودکار.
10. الگوریتم TreeSHAP: نسخه بهینه‌سازی‌شده فوق‌سریع الگوریتم SHAP برای مدل‌های مبتنی بر درخت (XGBoost, LightGBM, Random Forest) با زمان چندجمله‌ای.

۱۵. ⚠️ دام‌های رایج آزمون

دام ۱: «روش LIME هم تفسیر سراسری (Global) و هم محلی (Local) ارائه می‌دهد.»
❌ پاسخ دام‌شکن: این یک دام انحرافی بسیار متداول است! LIME منحصراً برای تفسیرهای محلی (Local) در اطراف یک نقطه خاص طراحی شده است؛ در حالی که SHAP هر دو بعد محلی و سراسری را پوشش می‌دهد.

دام ۲: «الگوریتم Grad-CAM برای مصورسازی لایه‌های درونی ترنسفورمرهای متنی مانند BERT به کار می‌رود.»
❌ پاسخ دام‌شکن: کاملاً اشتباه است! Grad-CAM مختص لایه‌های کانولوشن تصویری (CNN) است. برای ترنسفورمرهای متنی از Attention Weight Visualization یا Integrated Gradients استفاده می‌شود.

دام ۳: «مدل‌های یادگیری عمیق ذاتاً شفاف هستند چون فرمول ریاضی دارند.»
❌ پاسخ دام‌شکن: فرمول‌های غیرخطی تودرتوی میلیاردی برای ذهن انسان غیرقابل تفسیر بوده و نمونه کلاسیک مدل‌های جعبه‌سیاه (Black-box) هستند.

دام ۴: «تفسیرپذیری بعد از آموزش (Post-hoc) دقت مدل را کاهش می‌دهد.»
❌ پاسخ دام‌شکن: ابزارهایی مانند SHAP و LIME هیچ تغییری در وزن‌ها، دقت یا معماری مدل اصلی ایجاد نمی‌کنند؛ بلکه صرفاً خروجی‌ها را کالبدشکافی و توضیح می‌دهند.

۱۶. 🧠 خلاصه یک‌دقیقه‌ای

• پارادوکس XAI: دقت بالا برابر است با شفافیت کمتر؛ رسالت XAI تبیین مدل‌های جعبه‌سیاه بدون افت دقت است.
• SHAP: مبتنی بر نظریه بازی‌ها، دارای ۴ تضمین ریاضی، پوشش محلی و سراسری، و کاملاً یکتا.
• LIME: تقریب خطی محلی بر پایه اغتشاش، سریع اما بدون تضمین نظری یکتایی.
• Grad-CAM: نقشه حرارتی اختصاصی CNNها در بینایی ماشین برای کشف آرتیفکت‌های پنهان.
• الزامات حقوقی: حق دریافت توضیح و استفاده از Counterfactual برای ارائه راهکار تغییر تصمیم به کاربران.

۱۷. نقشه ذهنی (ASCII Mind Map)

                            هوش مصنوعی تفسیرپذیر و شفافیت (XAI)
                                            |
    +--------------------+------------------+-------------------+--------------------+
    |                    |                                      |                    |
[پارادوکس و دسته‌بندی]   [ابزار مرجع: SHAP]                    [ابزارهای مکمل XAI]    [کاربرد و الزامات حقوقی]
    |                    |                                      |                    |
    |-- ذاتاً شفاف (سفید)|-- Shapley Values (نظریه بازی)        |-- LIME             |-- حق دریافت توضیح
    |-- جعبه‌سیاه (عمیق) |-- اصول ۴ گانه ریاضی                  |   (تقریب خطی محلی) |   (GDPR Article 22)
    |-- محلی vs سراسری   |-- محلی (Force Plot)                  |-- Grad-CAM         |-- کشف آرتیفکت
    |-- Agnostic vs      |-- سراسری (Summary Plot)              |   (نقشه حرارتی CNN)|   (خط‌کش در پزشکی)
    |   Specific         |-- TreeSHAP (پرسرعت در درخت‌ها)       |-- Counterfactual   |-- ممیزی مراجع ناظر
                         |                                      |   (حداقل تغییر)    |   (FDA و بانک مرکزی)

۱۸. ارتباط با سایر مباحث

• مبحث ۱ از همین فصل (AI Ethics): شفافیت به عنوان رکن دوم هوش مصنوعی معتمد.
• مبحث ۳ از همین فصل (Bias & Fairness): کاربرد SHAP در کشف وزن پنهان متغیرهای پروکسی تبعیض‌آمیز.
• مبحث ۵ از فصل ۴ (AI in Finance): پیاده‌سازی الزام حق توضیح در اعتبارسنجی تسهیلات بانکی.
• مبحث ۴ از فصل ۴ (AI in Healthcare): اخذ تاییدیه بالینی FDA با نقشه‌های حرارتی Grad-CAM.

۱۹. سؤالات احتمالی آزمون (۶ تست استاندارد نصر)

تست ۱ (🔴 — مبانی نظری و اصول ریاضیاتی SHAP)

چهار اصل موضوعی ریاضی (Axioms) که تضمین می‌کنند مقادیر شپلی (Shapley Values) در الگوریتم SHAP عادلانه‌ترین سهم را به متغیرها تخصیص می‌دهند، کدامند؟

الف) Linear, Non-linear, Convex, Continuous
ب) Efficiency, Symmetry, Dummy (Null), Additivity
ج) Precision, Recall, F1, Accuracy
د) Supervised, Unsupervised, Semi-supervised, Reinforcement

کلید: ب
تحلیل تشریحی:
- تأیید ب: روش SHAP بر مبنای اثبات ریاضی لوید شپلی بنا شده که نشان داد تنها یک راه برای تقسیم عادلانه سود میان بازیکنان بر مبنای ۴ اصل موضوعی وجود دارد: کارایی (Efficiency)، تقارن (Symmetry)، ویژگی پوچ (Dummy)، و جمع‌پذیری (Additivity). این اصول تضمین می‌کنند که سهم ویژگی‌ها دارای پایه نظری متقن است.
- رد الف، ج، د: همگی اصطلاحات متفرقه ریاضی و یادگیری ماشین هستند.

تست ۲ (🔴 — مقایسه فنی الگوریتم‌های Model-Agnostic)

کدام گزاره در خصوص مقایسه دو ابزار محبوب XAI یعنی LIME و SHAP صحیح است؟

الف) LIME فقط برای شبکه‌های عصبی کار می‌کند اما SHAP فقط برای رگرسیون.
ب) SHAP دارای تضمین ریاضی یکتایی است و هم تفسیر محلی و هم سراسری ارائه می‌دهد، در حالی که LIME رفتار مدل را به صورت محلی با اغتشاش تقریب می‌زند و فاقد تضمین یکتایی است.
ج) LIME از مقادیر شپلی استفاده می‌کند و بسیار کندتر از SHAP است.
د) هر دو ابزار فقط روی داده‌های صوتی قابل اعمال هستند.

کلید: ب
تحلیل تشریحی:
- تأیید ب: تفاوت محوری و تستی این دو ابزار: SHAP با اتکا به تئوری بازی‌ها راه‌حلی کاملاً یکتا داشته و نمودارهای سراسری و محلی تولید می‌کند، در حالی که LIME یک تقریب خطی موضعی با نمونه‌برداری تصادفی (Perturbation) است و به دلیل ماهیت تصادفی تضمین یکتایی ندارد اما معمولاً سریع‌تر است.
- رد الف، ج، د: گزاره‌های نادرست هستند؛ هر دو ابزار Model-Agnostic بوده و با انواع داده کار می‌کنند.

تست ۳ (🔴 — رده‌بندی وابستگی فنی ابزارها)

الگوریتم Grad-CAM در کدام دسته از روش‌های هوش مصنوعی تفسیرپذیر قرار می‌گیرد و مختص کدام نوع معماری است؟

الف) Model-Agnostic — مختص درخت‌های تصمیم
ب) Model-Specific — مختص شبکه‌های عصبی پیچشی (CNN) در پردازش تصویر
ج) Intrinsic — مختص مدل‌های رگرسیون خطی
د) Post-hoc — مختص پایگاه داده‌های رابطه‌ای

کلید: ب
تحلیل تشریحی:
- تأیید ب: روش Grad-CAM یک تکنیک پسینی اما وابسته به مدل (Model-Specific) است؛ زیرا مستقیماً از گرادیان‌های جریان‌یافته به آخرین لایه کانولوشن شبکه‌های عصبی عمیق تصویری (CNN) برای تولید نقشه حرارتی استفاده می‌کند و روی سایر مدل‌ها (مانند مدل‌های درختی) کارایی ندارد.
- رد الف، ج، د: تعاریف نامربوط و غلط هستند.

تست ۴ (🟠 — مفاهیم کاربردی توضیحات خلاف واقع)

در یک سامانه صدور کارت اعتباری، خروجی: «اگر بدهی جاری شما ۱۵ میلیون تومان کمتر بود، درخواست شما تایید می‌شد»، نمونه‌ای از کدام تکنیک هوش مصنوعی تفسیرپذیر است؟

الف) استخراج مدل (Model Inversion)
ب) توضیحات خلاف واقع (Counterfactual Explanations)
ج) تقریب سراسری (Global Surrogate)
د) تحلیل گرادیان ناپدیدشونده

کلید: ب
تحلیل تشریحی:
- تأیید ب: مفهوم Counterfactual (خلاف واقع) بیانگر حداقل تغییرات لازم در متغیرهای ورودی برای رساندن خروجی مدل به وضعیت مطلوب جایگزین است؛ این رویکرد به مشتری نشان می‌دهد چه اقدامی می‌تواند تصمیم منفی سیستم را به تصمیم مثبت تبدیل کند.
- رد الف، ج، د: اصطلاحات نامربوط هستند؛ Model Inversion یک حمله امنیتی است.

تست ۵ (🔴 — کشف خطاهای گمراه‌کننده بالینی)

در بررسی عملکرد یک مدل یادگیری عمیق که با دقت ۹۹٪ کووید-۱۹ را از روی تصاویر رادیولوژی قفسه سینه تشخیص می‌دهد، نقشه حرارتی Grad-CAM نشان می‌دهد مدل بیشترین توجه را به نوشته‌های لاتین گوشه تصویر (مربوط به مدل دستگاه رادیولوژی بیمارستان مرجع) اختصاص داده است. این چالش فنی به چه پدیده‌ای اشاره دارد؟

الف) بیش‌برازش طیفی (Spectral Overfitting)
ب) یادگیری متغیرهای اخلال‌گر و آرتیفکت‌های گمراه‌کننده (Confounding Artifacts / Shortcut Learning)
ج) خطای پارادوکس بیز
د) کاهش دقت ناشی از کوانتایزاسیون

کلید: ب
تحلیل تشریحی:
- تأیید ب: در پزشکی و بینایی ماشین، مدل‌ها به شدت مستعد Shortcut Learning هستند؛ یعنی به جای یادگیری نشانه‌های بالینی ضایعه، میان‌برهای تصادفی موجود در داده‌ها (مانند برچسب بیمارستان، خط‌کش یا نوع دستگاه) را به عنوان ویژگی هدف یاد می‌گیرند. این خطای فاجعه‌بار تنها با ابزارهای XAI کشف و برطرف می‌شود.
- رد الف، ج، د: مفاهیم انحرافی و بی‌ارتباط با این رخداد هستند.

تست ۶ (🟠 — تفاوت قلمروهای تفسیرپذیری)

تفاوت اصلی «تفسیرپذیری محلی» (Local Interpretability) با «تفسیرپذیری سراسری» (Global Interpretability) چیست؟

الف) تفسیر محلی روی سرورهای داخلی انجام می‌شود و تفسیر سراسری در کلاد.
ب) تفسیر محلی دلایل پیش‌بینی برای یک نمونه ورودی مشخص و انفرادی را تبیین می‌کند، در حالی که تفسیر سراسری منطق رفتاری و سهم کلی ویژگی‌ها را در سرتاسر کل مدل شرح می‌دهد.
ج) تفسیر محلی به زبان فارسی است و تفسیر سراسری به زبان انگلیسی.
د) تفسیر محلی فقط در مسائل بدون نظارت کاربرد دارد.

کلید: ب
تحلیل تشریحی:
- تأیید ب: تمایز بنیادین در قلمرو است؛ اگر مشتری بپرسد «چرا شخص من رد شدم؟» پاسخ نیازمند تفسیر محلی (Local) است. اما اگر مدیر ارشد بپرسد «مدل به طور کلی چه عواملی را برای پذیرش مهم‌تر می‌داند؟» پاسخ نیازمند تفسیر سراسری (Global) است.
- رد الف، ج، د: تفاسیر خنده‌دار و غیرعلمی هستند.

۲۰. سطح‌بندی مطالب جهت مرور سریع