شاخص‌های موفقیت، KPI و ارزیابی در پروژه‌های هوش مصنوعی

مبحث ۵: شاخص‌های موفقیت، ارزیابی مدل و KPIs در پروژه‌های هوش مصنوعی

AI Success Metrics, Evaluation Frameworks & KPIs

فصل پنجم: مدیریت، امکان‌سنجی و MLOps در پروژه‌های هوش مصنوعی

۱. راهنمای مطالعه و هدف آموزشی

یکی از مهم‌ترین وظایف مشاوران هوش مصنوعی در آزمون نظام صنفی رایانه‌ای (نصر)، توانایی ترجمه اهداف تجاری کلان به سنجه‌های فنی یادگیری ماشین، و بالعکس، ارزیابی سلامت سیستمی مدل‌ها در محیط عملیاتی است. این مبحث به تشریح چارچوب سه‌لایه شاخص‌های موفقیت می‌پردازد. محورهای پربسامد تستی عبارتند از: - سه لایه تفکیک‌شده شاخص‌ها: شاخص‌های تجاری و کسب‌وکار (Business KPIs)، شاخص‌های فنی مدل (Model Performance) و شاخص‌های عملیاتی زیرساخت (Operational/System Metrics) - پارادوکس صحت (Accuracy Paradox) در داده‌های نامتوازن و ضرورت استفاده از PR-AUC و F1 / F-beta - سنجه‌های ارزیابی سیستم‌های مدرن RAG و زبان طبیعی بر پایه چارچوب RAGAS (شاخص‌های Faithfulness، Answer Relevance و Context Recall) - سنجه‌های استنتاجی مدل‌های زبانی: زمان تا اولین توکن (TTFT) و تأخیر صدک‌های بالا (p95 / p99 Latency) در برابر میانگین فریبنده - سنجه‌های رگرسیون (RMSE vs MAE) و سیستم‌های رتبه‌بندی (NDCG@K).

۲. این مبحث درباره چیست؟

بسیاری از پروژه‌های هوش مصنوعی با وجود دستیابی به دقت ۹۸٪ در محیط آزمایشگاهی، به عنوان یک فاجعه تجاری شناخته می‌شوند؛ زیرا یا به دلیل کندی شدید، کاربران از کار با آن منصرف شده‌اند (شکست سیستمی)، یا تمام تراکنش‌های متقلبانه را به درستی کشف نکرده‌اند (شکست هم‌راستایی فنی با کسب‌وکار)، و یا هیچ درآمد ملموسی ایجاد نکرده‌اند.
این مبحث به مشاور می‌آموزد که چگونه ماتریسی جامع از شاخص‌های چندبعدی تدوین کند تا موفقیت پروژه از هر سه دیدگاه مدیر ارشد کسب‌وکار، مهندس یادگیری ماشین و مهندس زیرساخت تضمین گردد.

۳. تعریف ساده

تعریف ساده: شاخص‌های موفقیت هوش مصنوعی مثل پنل کیلومترشمار یک هواپیما است! شما نمی‌توانید فقط با دانستن اینکه موتور چقدر دور می‌زند (دقت مدل) پرواز کنید؛ باید همزمان ارتفاع‌سنج (سرعت پاسخ به کاربر)، مقدار بنزین (هزینه سرور) و جهت حرکت به سمت مقصد (سود تجاری سازمان) را هم کنترل کنید تا سقوط نکنید!

۴. تعریف تخصصی

تعریف تخصصی: چارچوب چندلایه و ارزیابی کمّی متوازن (Balanced Quantitative Framework) که عملکرد سیستم‌های یادگیری ماشین را در سرتاسر زنجیره ارزش ارزیابی می‌نماید. این چارچوب شامل سنجه‌های کارایی الگوریتم (تعمیم‌پذیری، ماتریس درهم‌ریختگی، واریانس و تفکیک‌پذیری آماری)، سنجه‌های مهندسی زیرساخت برخط (توزیع صدک‌های تأخیر زمانی p95/p99، توان عملیاتی RPS، حافظه VRAM و شاخص TTFT)، و شاخص‌های کلیدی عملکرد تجاری (نرخ اتوماسیون، کاهش زمان چرخه کار، نرخ پذیرش کاربر و بازگشت سرمایه ROI) است.

۵. مفاهیم و ارکان کلیدی

۵.۱. هرم سه‌لایه شاخص‌های موفقیت هوش مصنوعی 🔴

+-------------------------------------------------------------------------------+
|                        هرم سه‌لایه شاخص‌های ارزیابی هوش مصنوعی                 |
+-------------------------------------------------------------------------------+
|              / \                                                              |
|             /   \      [لایه ۱: شاخص‌های کسب‌وکار (Business KPIs)]             |
|            /     \     - نرخ تبدیل، کاهش ریزش مشتری (Churn)، نرخ اتوماسیون     |
|           /=======\    - درآمدزایی، رضایت کاربر (NPS)، کاهش زمان چرخه کار     |
|          /         \                                                          |
|         /           \  [لایه ۲: شاخص‌های فنی یادگیری ماشین (Model Metrics)]   |
|        /             \ - F1-Score, Recall, PR-AUC, ROC-AUC, RMSE, NDCG@K      |
|       /===============\- سنجه‌های RAG: وفاداری متن (Faithfulness)، مرتبط بودن |
|      /                 \                                                      |
|     /                   \ [لایه ۳: شاخص‌های عملیاتی و سیستمی (System Metrics)]|
|    /                     \- تأخیر p95/p99 Latency, Throughput (RPS), TTFT     |
|   /-----------------------\- مصرف GPU/VRAM، نرخ خطای HTTP 5xx                  |
+-------------------------------------------------------------------------------+

۵.۲. لایه اول: شاخص‌های کسب‌وکار (Business KPIs) 🔴

• نرخ اتوماسیون (Automation Rate): نسبت درصدی پرونده‌ها یا تراکنش‌هایی که کاملاً بدون نیاز به دخالت انسانی توسط AI به نتیجه نهایی رسیده‌اند.
• کاهش زمان چرخه فرآیند (Cycle Time Reduction): مدت زمانی که برای انجام یک کار (مثلاً تایید وام یا استعلام بیمه) از چندین ساعت/روز به چند ثانیه کاهش یافته است.
• نرخ پذیرش کاربر نهایی (User Adoption Rate): درصد پرسنل یا مشتریانی که ابزار هوش مصنوعی جدید را به روش سنتی قبلی ترجیح داده و مداوم استفاده می‌کنند.
• نرخ مهار ریزش (Churn Prevention Impact): ارزش مالی مشتریانی که با پیش‌بینی زودهنگام مدل در سازمان حفظ شده‌اند.

۵.۳. لایه دوم: شاخص‌های فنی مدل بر حسب نوع مسئله 🔴

۱. مسائل طبقه‌بندی و پارادوکس صحت (Accuracy Paradox)

در سناریوهای نامتوازن (مانند کشف تقلب، نقص صنعتی یا بیماری نادر): - معیار Accuracy کاملاً فریبنده و بی‌ارزش است؛ زیرا مدلی که همیشه خروجی «سالم» بدهد به دقت ۹۹٪ می‌رسد در حالی که حتی یک مورد تقلب را کشف نکرده است! - شاخص‌های الزامی: - Recall (بازخوانی): توانایی مدل در شکار تمام نمونه‌های مثبت (کاهش False Negative). - Precision (دقت تفکیک): وقتی مدل اعلام تقلب کرد، چقدر درست گفته است (کاهش False Positive). - نمره F1 و $F_\beta$: میانگین هارمونیک Precision و Recall؛ اگر هزینه False Negative بالاتر باشد (مثل پزشکی) از $F_2$ استفاده می‌شود:

$$F_\beta = (1 + \beta^2) \frac{\text{Precision} \times \text{Recall}}{(\beta^2 \times \text{Precision}) + \text{Recall}}$$

• منحنی PR-AUC (مساحت زیر منحنی Precision-Recall): در داده‌های به شدت نامتوازن، جایگزین استاندارد ROC-AUC است.

۲. مسائل رگرسیون (پیش‌بینی مقادیر عددی)

• MAE (Mean Absolute Error): میانگین خطای مطلق؛ تفسیرپذیر و نسبت به داده‌های پرت (Outliers) مقاوم است.
• RMSE (Root Mean Squared Error): جذر میانگین مربعات خطا؛ خطاهای بزرگ را با به توان دو رساندن شدیداً جریمه می‌کند (بسیار مناسب برای سناریوهایی که خطای بزرگ مساوی فاجعه مالی است).
• MAPE (Mean Absolute Percentage Error): خطای درصدی مستقل از مقیاس داده‌ها.

۳. سامانه‌های زبانی مولد و معماری RAG (چارچوب RAGAS)

در ارزیابی مدل‌های زبانی بزرگ، استفاده از شاخص‌های کلاسیک مثل BLEU ناکارآمد است. استاندارد نوین بر ۳ سنجه استوار است: - وفاداری (Faithfulness): آیا پاسخ تولیدشده توسط مدل، مبتنی بر اسناد بازیابی‌شده است یا دچار توهم (Hallucination) شده است؟ - ارتباط پاسخ (Answer Relevance): آیا پاسخ مستقیماً سوال پرسیده‌شده توسط کاربر را پاسخ می‌دهد یا حاشیه‌پردازی است؟ - ارتباط کانتکست (Context Precision / Recall): آیا موتور جستجو اسناد دقیق و کامل مورد نیاز را پیدا کرده است؟

۵.۴. لایه سوم: شاخص‌های عملیاتی و زیرساختی (System & Inference KPIs) 🔴

+-------------------------------------------------------------------------------+
|                    چرا میانگین تأخیر (Mean Latency) فریبنده است؟               |
+-------------------------------------------------------------------------------+
| ۹۵ کاربر: تأخیر ۲۰ میلی‌ثانیه                                                 |
| ۵ کاربر: تأخیر ۵۰۰۰ میلی‌ثانیه (۵ ثانیه!)                                     |
| میانگین حسابی: ۲۶۹ میلی‌ثانیه (به ظاهر خوب!)                                  |
| اما صدک ۹۹ (p99): ۵۰۰۰ میلی‌ثانیه (۵ ثانیه معطلی برای مشتریان کلیدی!)         |
+-------------------------------------------------------------------------------+

1. تأخیر صدک‌های بالا (Percentile Latencies: p95 & p99):
2. زمان پاسخی که ۹۵٪ یا ۹۹٪ درخواست‌های کاربران در کمتر از آن زمان انجام می‌شوند. صدک ۹۹ گلوگاه‌های زیرساختی و کاربران ناراضی را آشکار می‌سازد.
3. زمان تا اولین توکن (Time To First Token - TTFT):
4. در چت‌بات‌ها و مدل‌های زبانی، کاربر نباید ۱۰ ثانیه به صفحه سفید خیره شود؛ TTFT زیر ۱ ثانیه حس تعامل بلادرنگ و چابک ایجاد می‌کند.
5. نرخ تولید توکن (Tokens Per Second - TPS):
6. سرعت استریم شدن پاسخ متن برای کاربر نهایی.
7. توان عملیاتی (Throughput):
8. تعداد درخواست‌های همزمان پاسخ‌داده‌شده در هر ثانیه (Requests Per Second - RPS).

۶. چگونه کار می‌کند؟ (ماتریس نگاشت شاخص‌های تجاری به فنی و سیستمی)

[هدف استراتژیک تجاری سازمان]
       |
       +---> "کاهش خسارت ناشی از تقلب‌های کارت‌به‌کارت بانکی"
       |
       v
[نگاشت به سنجه فنی یادگیری ماشین (Model Layer)]
       |
       +---> بیشینه‌سازی سنجه Recall در کلاس اقلیت و افزایش PR-AUC تا بالای ۰.۸۵
       |
       v
[نگاشت به سنجه عملیاتی زیرساختی (System Layer)]
       |
       +---> تأخیر استنتاج p99 کمتر از ۵۰ میلی‌ثانیه در بار ترافیکی ۱۰,۰۰۰ RPS
       |
       v
[سنجش تحقق نهایی در ترازنامه کسب‌وکار]
       |
       +---> "کاهش ۶۵ درصدی خسارت پرداختی بانک طی ۶ ماه استقرار"

۷. سناریوی واقعی سازمانی

سامانه تحلیل هوشمند قراردادهای حقوقی شرکت سرمایه‌گذاری سینا: - مسئله: تیم حقوقی برای بررسی مفاد ریسک در قراردادهای ۲۰۰ صفحه‌ای به طور میانگین ۳ روز زمان صرف می‌کرد. شرکتی یک مدل هوش مصنوعی با ادعای «دقت شگفت‌انگیز ۹۷٪» ارائه داد. - شکست اولیه: پس از استقرار، وکلای شرکت سامانه را تحریم کردند؛ چون اولا برای هر سند ۳۰ دقیقه زمان پردازش نیاز بود (افت شدید Throughput)، و ثانیاً مدل ۲ بند بسیار بحرانی عدم مسئولیت را جا انداخته بود (False Negative فاجعه‌بار). - اصلاح با تدوین ماتریس شاخص‌های سه‌گانه توسط مشاور نصر: 1. لایه تجاری: کاهش زمان بررسی سند از ۳ روز به زیر ۴ ساعت + نرخ رضایت وکلا بالای ۸۰٪. 2. لایه فنی: تغییر تابع هدف بهینه‌سازی از Accuracy به Recall بندهای پرخطر بالای ۹۹٪ + سنجه RAGAS Faithfulness بالای ۹۵٪. 3. لایه سیستمی: پارالل‌سازی پردازش با vLLM و کاهش زمان استنتاج هر سند به زیر ۴ دقیقه. - نتیجه: سامانه مورد استقبال ۱۰۰ درصدی وکلا قرار گرفت و سازمان ظرف ۹ ماه بازگشت سرمایه خود را محقق کرد.

۸. مثال خیلی ساده و شهودی

فرض کنید یک پیک موتوری هوشمند استخدام کرده‌اید: - شاخص فنی مدل: چند بار آدرس‌ها را درست پیدا کرده و گم نشده است؟ (Precision & Recall). - شاخص عملیاتی سیستم: چقدر طول کشید تا پیتزا را گرم به مقصد برساند؟ بنزین موتور چقدر سوخت؟ (Latency & GPU VRAM). - شاخص کسب‌وکار: آیا مشتری پیتزا را تحویل گرفت و دوباره سفارش داد؟ آیا درآمد رستوران بالا رفت؟ (Customer Retention & ROI). اگر پیک بعد از ۳ ساعت پیتزای یخ‌زده را به آدرس ۱۰۰٪ دقیق برساند، فنی موفق بوده اما کسب‌وکار را ورشکست کرده است!

۹. مقایسه عمیق مفاهیم مشابه

۱۰. مزایا و محدودیت‌ها

مزایا (✅)

1. جلوگیری از انزوای تیم هوش مصنوعی: ایجاد زبان مشترک میان توسعه‌دهندگان پایتون و مدیران ارشد سازمان.
2. تشخیص زودهنگام شکست پروداکشن: کشف افت شاخص‌های تجربه کاربری (مانند جهش p99 Latency) قبل از لغو اشتراک کاربران.
3. تخصیص بهینه بودجه زیرساخت: تعیین دقیق میزان سخت‌افزار مورد نیاز برای تأمین SLAهای سرعت.
4. تضمین سلامت اخلاقی و ایمنی مدل: با پایش سنجه‌های وفاداری و مهار توهم در مدل‌های مولد.

محدودیت‌ها و مخاطرات (⛔)

1. تعارض ذاتی میان شاخص‌ها (Trade-offs): افزایش Recall معمولاً به افت Precision منجر می‌شود؛ کاهش Latency معمولاً به قربانی کردن دقت و حجم مدل می‌انجامد.
2. سربار محاسباتی مانیتورینگ: محاسبه برخط سنجه‌های پیچیده برای تک‌تک استنتاج‌ها می‌تواند مصرف سرور را بالا ببرد.
3. قانون گودهارت (Goodhart's Law): «وقتی یک شاخص به هدف تبدیل می‌شود، خاصیت خود را به عنوان یک شاخص خوب از دست می‌دهد»؛ خطر مهندسی معکوس و دستکاری صوری سنجه‌ها توسط تیم فنی!

۱۱. کاربردهای کلیدی در صنایع

+-------------------------------------------------------------------------------+
|                       کاربردهای ماتریس شاخص‌های هوش مصنوعی                    |
+-------------------------------------------------------------------------------+
| ۱. فین‌تک و پرداخت: تنظیم آستانه هشدار با سنجه PR-AUC و پایش تأخیر زیر ۲۰ms   |
| ۲. خدمات درمانی و سلامت: بیشینه‌سازی شاخص F2-Score با اولویت دوبرابری بر Recall |
| ۳. چت‌بات‌های حقوقی و دولتی: سنجش وفاداری (Faithfulness) جهت جلوگیری از دروغ‌گویی |
| ۴. موتورهای جستجو و فروشگاه‌ها: ارزیابی دقت رتبه‌بندی نتایج با شاخص NDCG@10     |
| ۵. سیستم‌های خودران: تضمین اکید تأخیر p99.9 در سطح چند میلی‌ثانیه برای ترمز    |
+-------------------------------------------------------------------------------+

۱۲. دیدگاه مشاوره‌ای (سناریوی آزمون نصر)

سناریوی آزمون نصر:

«یک شرکت فناوری ارائه‌دهنده سرویس احراز هویت بیومتریک چهره، در کاتالوگ بازاریابی خود مدعی است سامانه دارای نرخ دقت کلی ۹۹.۸٪ است. یک بانک بزرگ این سامانه را برای ورود به همراه بانک مستقر می‌کند. ظرف هفته اول، موجی از اعتراضات در شبکه‌های اجتماعی شکل می‌گیرد؛ زیرا افراد دارای عینک یا ریش مدام با خطای ورود مواجه شده و قفل می‌شوند، در حالی که گزارش شده دو برادر دوقلو توانسته‌اند با چهره یکدیگر وارد حساب شوند! مدیرعامل بانک شما را به عنوان مشاور ارشد سیستم فراخوانده است. ایراد بنیادین شاخص‌های این پروژه چیست و چه اصلاحاتی لازم است؟»

تحلیل مشاور ارشد هوش مصنوعی:

1. نقد سنجه Accuracy به عنوان شاخص انحرافی:
2. ادعای دقت ۹۹.۸٪ هیچ اطلاعاتی درباره تفکیک دو نوع خطای بحرانی بیومتریک ارائه نمی‌دهد.
3. عدم تفکیک شاخص‌های استاندارد بیومتریک:
4. نرخ پذیرش نادرست (False Acceptance Rate - FAR): ورود برادر دوقلو به حساب دیگری (خطای امنیتی فاجعه‌بار).
5. نرخ عدم پذیرش نادرست (False Rejection Rate - FRR): رد شدن کاربر واقعی با عینک (خطای فرسایش تجربه کاربری و نارضایتی).
6. نادیده گرفتن انصاف الگوریتمی (Fairness Metric):
7. سیستم روی اقلیت‌های چهره (تغییرات ریش و عینک) تعمیم‌پذیر نبوده است.

بسته اصلاحی مشاور:

1. جایگزینی شاخص‌ها با نمودار DET (Detection Error Trade-off) و شاخص EER (Equal Error Rate): تنظیم دقیق آستانه تصمیم‌گیری برای کمینه‌سازی همزمان FAR و FRR.
2. الزام سیاست امنیتی Liveness Detection: سنجش زنده بودن بیومتریک در لایه سیستم.
3. تعهد بر سنجه‌های صدک تأخیر: تضمین اینکه احراز هویت در p95 کمتر از ۸۰۰ میلی‌ثانیه زمان ببرد.

۱۳. قاعده تصمیم‌گیری مشاور (درخت تصمیم انتخاب شاخص فنی مدل)

                       نوع مسئله یادگیری ماشین چیست؟
                                     |
    +--------------------------------+--------------------------------+
    |                                |                                |
[طبقه‌بندی (Classification)]     [رگرسیون (Regression)]         [تولید متن و RAG]
    |                                |                                |
آیا کلاس‌ها به شدت نامتوازنند؟     آیا خطاهای بزرگ خسارت بحرانی     [سنجه‌های RAGAS]
    |                               دارند؟ (نفت، بورس)               - Faithfulness (وفاداری)
  /   \                              /           \                   - Answer Relevance
بله   خیر                          بله           خیر                 - Context Recall
 |     |                            |             |
 |     +-> [Accuracy و ROC-AUC]    [RMSE]       [MAE]
 v
[PR-AUC و F1-Score]
- اولویت حذف غافلگیری: Recall
- اولویت حذف آلارم کاذب: Precision

۱۴. 🔴 نکات طلایی آزمون نصر (۱۰ نکته کنکوری)

1. پارادوکس صحت (Accuracy Paradox): در مسائل با عدم توازن کلاس‌ها، Accuracy بالا دلیلی بر کیفیت مدل نیست و سنجه‌ای کاملاً فریبنده است.
2. برتری PR-AUC بر ROC-AUC در کلاس اقلیت: در مسائلی مثل تقلب (Fraud) و نفوذ سایبری، تنها منحنی Precision-Recall بازتاب‌دهنده واقعیت عملکرد مدل است.
3. فرمول F1-Score: میانگین هارمونیک Precision و Recall؛ برابر است با: $\frac{2 \times P \times R}{P + R}$.
4. شاخص $F_\beta$: اگر $\beta = 2$ باشد، وزن Recall دو برابر Precision است (کاربرد پزشکی)؛ اگر $\beta = 0.5$ باشد، وزن Precision بیشتر است (کاربرد فیلتر هرزنامه).
5. سنجه‌های چارچوب RAGAS: سنجه‌های طلایی ارزیابی سامانه‌های بازیابی معنایی و LLM شامل Faithfulness (عدم توهم)، Answer Relevance (ارتباط پاسخ) و Context Recall است.
6. فریبندگی میانگین تأخیر (Mean Latency): سیستم‌های عملیاتی بر اساس صدک‌های بالا یعنی p95 و p99 قضاوت می‌شوند، نه میانگین.
7. شاخص TTFT (Time to First Token): معرف سرعت ظاهر شدن اولین پاسخ مدل مولد در مرورگر کاربر که حیاتی‌ترین سنجه تجربه کاربری (UX) در هوش مصنوعی مدرن است.
8. سنجه RMSE در برابر MAE: در RMSE خطاها به توان دو می‌رسند؛ بنابراین مدل را در برابر خطاهای بزرگ به شدت تنبیه می‌کند.
9. شاخص NDCG@K: استاندارد طلایی ارزیابی موتورهای جستجو و سیستم‌های توصیه‌گر که ترتیب و رتبه اقلام پیشنهادی را با لگاریتم جریمه می‌کند.
10. سنجه‌های بیومتریک (FAR vs FRR): در احراز هویت، اولویت اول کاهش FAR (جلوگیری از ورود غیرمجاز) و سپس بهینه‌سازی FRR (جلوگیری از مزاحمت برای کاربر مجاز) است.

۱۵. ⚠️ دام‌های رایج آزمون

دام ۱: «اگر Accuracy یک مدل بینایی ماشین ۹۹.۵٪ باشد، قطعا آماده استقرار در کارخانه است.»
❌ پاسخ دام‌شکن: اگر در کارخانه نرخ خرابی قطعات ۰.۱٪ باشد، مدلی که تمام قطعات را سالم اعلام کند دقت ۹۹.۹٪ می‌آورد اما کارخانه را به ورشکستگی می‌کشد! در این سناریو Recall قطعات معیوب معیار است.

دام ۲: «سنجه TTFT همان سرعت پردازش کل متن است.»
❌ پاسخ دام‌شکن: خیر! TTFT زمان سپری‌شده تا تولید اولین کلمه/توکن است. سرعت تولید مابقی متن با سنجه TPS (Tokens Per Second) سنجیده می‌شود.

دام ۳: «ROC-AUC در تمام شرایط برای ارزیابی طبقه‌بندی بدون نقص است.»
❌ پاسخ دام‌شکن: این یک دام کلاسیک است. در شرایط عدم توازن شدید داده‌ها (Imbalanced Data)، سنجه ROC-AUC به دلیل حجم عظیم True Negativeها تصویری به شدت اغراق‌آمیز و کاذب از عملکرد ارائه می‌دهد و باید با PR-AUC جایگزین شود.

دام ۴: «شاخص‌های فنی بالا تضمین‌کننده بازگشت سرمایه (ROI) هستند.»
❌ پاسخ دام‌شکن: موفقیت مدل مستلزم هم‌راستایی در هر سه لایه فنی، سیستمی و تجاری است. مدل دقیق اما کند یا ناهمخوان با نیاز کاربر، هیچ ارزش اقتصادی خلق نمی‌کند.

۱۶. 🧠 خلاصه یک‌دقیقه‌ای

• هرم سه‌لایه: کسب‌وکار (ROI و رضایت) + مدل فنی (F1, PR-AUC, RMSE) + سیستم زیرساخت (p99 Latency, TTFT).
• داده نامتوازن: دوری قطعی از Accuracy و تمرکز بر Recall و PR-AUC.
• تأخیر واقعی: تمرکز بر صدک‌های p95 و p99 به جای میانگین فریبنده.
• ارزیابی RAG: به‌کارگیری شاخص Faithfulness برای مهار توهم مدل‌های زبانی.

۱۷. نقشه ذهنی (ASCII Mind Map)

                           شاخص‌های ارزیابی و موفقیت در هوش مصنوعی
                                              |
    +--------------------+--------------------+--------------------+--------------------+
    |                    |                                         |                    |
[لایه ۱: کسب‌وکار]       [لایه ۲: طبقه‌بندی و رگرسیون]              [لایه ۲: RAG و LLMs] [لایه ۳: عملیاتی/سیستم]
    |                    |                                         |                    |
    |-- نرخ اتوماسیون    |-- پارادوکس صحت (Accuracy Paradox)        |-- Faithfulness     |-- p95 & p99 Latency
    |-- کاهش زمان فرآیند |-- Recall & Precision & F1               |   (سنجش توهم)      |-- TTFT (اولین توکن)
    |-- پذیرش کاربر      |-- PR-AUC (داده نامتوازن)                 |-- Relevance        |-- Throughput (RPS)
    |-- ROI مالی         |-- RMSE vs MAE (خطای بزرگ)               |-- Context Recall   |-- مصرف VRAM سرور

۱۸. ارتباط با سایر مباحث

• مبحث ۳ از همین فصل (Cost-Benefit Analysis): اتصال سنجه‌های لایه کسب‌وکار به جریان‌های نقدی ریالی.
• مبحث ۶ از همین فصل (MLOps): رصد بلادرنگ سنجه‌های سیستمی و فنی در ابزارهای مانیتورینگ نظیر Prometheus و Grafana.
• مبحث ۵ از فصل ۳ (RAG & Fine-tuning): سنجش کیفیت خط لوله تولید متن با سنجه‌های وفاداری.
• مبحث ۲ از فصل ۴ (Recommender Systems): کاربرد سنجه NDCG@K در سامانه‌های پیشنهاددهنده.

۱۹. سؤالات احتمالی آزمون (۶ تست استاندارد نصر)

تست ۱ (🔴 — پارادوکس صحت در داده‌های نامتوازن)

در یک مسئله غربالگری سرطان با استفاده از تصاویر ماموگرافی، شیوع بیماری در جامعه هدف ۰.۲٪ است. مدلی توسعه یافته که تمامی موارد را بدون استثنا «سالم» پیش‌بینی می‌کند. کدام گزاره در خصوص سنجه‌های ارزیابی این مدل صحیح است؟

الف) مدل دارای دقت کلی (Accuracy) معادل ۹۹.۸٪ است اما شاخص Recall آن برای کلاس سرطان دقیقاً صفر است و سیستم از نظر پزشکی کاملاً بی‌ارزش است.
ب) چون دقت مدل بالاتر از ۹۹٪ است، مدل بلافاصله باید تاییدیه وزارت بهداشت را اخذ کند.
ج) مدل دارای شاخص F1-Score معادل ۱۰۰٪ است زیرا خطایی در تشخیص افراد سالم ندارد.
د) شاخص PR-AUC این مدل برابر با ۱ خواهد بود.

کلید: الف
تحلیل تشریحی:
- تأیید الف: این مسئله مصداق بارز پارادوکس صحت (Accuracy Paradox) است. به دلیل اینکه ۹۹.۸٪ جامعه سالم هستند، پیش‌بینی صفر برای تمام داده‌ها به دقت ریاضی ۹۹.۸٪ منجر می‌شود؛ اما چون هیچ بیمار واقعی را شناسایی نکرده است، $\text{Recall} = \frac{0}{\text{Total Positives}} = 0$ خواهد بود و سیستم فاجعه‌بار و غیرقابل استفاده است.
- رد ب، ج، د: همگی توهمات ناشی از نگاه سطحی به دقت هستند؛ نمره F1 و PR-AUC مدل به دلیل صفر بودن بازخوانی، نزدیک به صفر خواهد بود.

تست ۲ (🔴 — سنجه‌های پیشرفته سامانه‌های زبانی و RAG)

در ارزیابی کیفی یک سامانه پرسش‌وپاسخ حقوقی مبتنی بر معماری RAG، شاخص «Faithfulness» در چارچوب RAGAS مستقیماً کدام بعد عملکردی مدل را می‌سنجد؟

الف) سرعت سخت‌افزاری کامپایل توکن‌ها بر روی کارت‌های گرافیکی
ب) میزان انطباق و استناد دقیق پاسخ تولیدشده با اسناد متنی بازیابی‌شده و عدم وجود ادعاهای ساختگی و توهم‌آلود (Hallucination)
ج) زیبایی ادبی و رعایت نکات گرامری زبان فارسی
د) تعداد درخواست‌های پاسخ‌داده‌شده در هر دقیقه

کلید: ب
تحلیل تشریحی:
- رد الف و د: مربوط به لایه سیستمی و سرعت استنتاج هستند.
- تأیید ب: در چارچوب استاندارد RAGAS، سنجه Faithfulness (وفاداری) دقیقاً بررسی می‌کند که آیا تمامی ادعاها و فکت‌های مندرج در پاسخ مدل زبانی از متن اسناد مرجع استخراج شده‌اند یا مدل از خود اطلاعات بی‌پایه اضافه کرده است (تله توهم).
- رد ج: سنجه‌های زبانی سنتی مانند BLEU به گرامر توجه دارند، نه فکت‌ها.

تست ۳ (🔴 — تحلیل توزیع زمانی و تأخیر سیستمی)

چرا در استانداردهای سطح توافق خدمات (SLA) برای وب‌سرویس‌های هوش مصنوعی پروداکشن، شاخص تأخیر صدک نود و نهم (p99 Latency) به عنوان معیار اصلی تعهد مهندسی تعیین می‌شود و به میانگین حسابی (Mean Latency) تکیه نمی‌شود؟

الف) زیرا محاسبه میانگین حسابی به توان پردازشی بسیار بالاتری نیاز دارد.
ب) زیرا میانگین حسابی خطاهای فاحش، ایستایی‌های مقطعی سیستم و معطلی طولانی بدشانس‌ترین کاربران را در انبوهی از درخواست‌های سریع پنهان می‌کند.
ج) چون p99 Latency همیشه عددی کوچکتر از میانگین است.
د) زیرا استانداردهای اتحادیه اروپا استفاده از میانگین را به دلایل امنیتی ممنوع کرده‌اند.

کلید: ب
تحلیل تشریحی:
- تأیید ب: توزیع تأخیر در سیستم‌های تحت شبکه به شدت چوله به راست (Right-skewed) و دارای دنباله بلند است. میانگین حسابی یک معیار فوق‌العاده فریبنده است که افت ناگهانی سرعت برای ۱٪ کاربران مهم (که ممکن است چند ثانیه معطل شوند) را پشت سرعت بالای ۹۹٪ دیگر پنهان می‌سازد؛ در حالی که p99 بدترین تجربه کاربران را با شفافیت نشان می‌دهد.
- رد الف، ج، د: همگی توجیهات نادرست هستند؛ p99 همیشه بزرگتر یا مساوی میانگین است.

تست ۴ (🟠 — شاخص‌های تجربه کاربری در مدل‌های زبانی بزرگ)

شاخص TTFT (Time to First Token) در سرویس‌دهی مدل‌های هوش مصنوعی مولد بر چه اساسی تعریف می‌شود و بهبود آن چه مزیتی دارد؟

الف) زمان مورد نیاز برای آموزش کامل اولین ایپاک مدل روی سرور
ب) فاصله زمانی میان ارسال پرامپت توسط کاربر تا آغاز تولید و مشاهده نخستین کاراکتر پاسخ بر روی صفحه؛ بهبود آن احساس تعاملی زنده و رضایت کاربر را بالا می‌برد
ج) تعداد دفعاتی که مدل به دلیل کمبود رم کرش می‌کند
د) مدت زمانی که طول می‌کشد تا متن ورودی به صورت برداری ذخیره شود

کلید: ب
تحلیل تشریحی:
- تأیید ب: سنجه TTFT مخفف Time To First Token است و مشخص می‌کند سیستم چه اندازه سریع استریم پاسخ را آغاز می‌کند. در پلتفرم‌های تعاملی، حتی اگر تولید کل متن چند ثانیه طول بکشد، دیدن اولین کلمه زیر ۱ ثانیه از خروج کاربر جلوگیری می‌نماید.
- رد الف، ج، د: تعاریف انحرافی و نادرست هستند.

تست ۵ (🔴 — مقایسه سنجه‌های رگرسیون)

در یک مسئله پیش‌بینی قیمت مسکن در بازار ملکی، سازمان می‌خواهد مدلی داشته باشد که به شدت در برابر پیش‌بینی‌های با خطای فوق‌العاده بزرگ تنبیه شود، زیرا یک خطای بزرگ می‌تواند شرکت را ورشکست کند. کدام سنجه خطا برای تابع زیان و ارزیابی مدل باید انتخاب گردد؟

الف) MAE (Mean Absolute Error)
ب) RMSE (Root Mean Squared Error)
ج) Accuracy
د) ROC-AUC

کلید: ب
تحلیل تشریحی:
- رد الف: شاخص MAE خطاها را به صورت خطی وزن‌دهی می‌کند و تفاوت فاحشی میان خطای بزرگ و کوچک قائل نمی‌شود.
- تأیید ب: در شاخص RMSE تفاضل مقادیر به توان دو می‌رسد؛ بنابراین خطاهای بزرگ وزن به مراتب سنگین‌تری در تابع پیدا کرده و مدل شدیداً مجبور به اجتناب از خطاهای سنگین و نامتعارف می‌شود.
- رد ج و د: این سنجه‌ها متعلق به مسائل طبقه‌بندی هستند و در مسائل عددی رگرسیون کاربرد ندارند.

تست ۶ (🟠 — ارزیابی سیستم‌های رتبه‌بندی)

شاخص NDCG@K (Normalized Discounted Cumulative Gain) در ارزیابی سیستم‌های توصیه‌گر و موتورهای جستجو چه مزیتی نسبت به شاخص‌های ساده دقت دارد؟

الف) حجم مصرف حافظه رم را کاهش می‌دهد.
ب) علاوه بر مرتبط بودن قلم پیشنهادی، جایگاه و رتبه آن را در لیست پیشنهادات با جریمه لگاریتمی لحاظ می‌کند (ارزش بالاتر برای اقلام ابتدای لیست).
ج) نیازی به برچسب‌گذاری انسانی داده‌ها ندارد.
د) سرعت اجرای کوئری در پایگاه داده‌های SQL را دو برابر می‌کند.

کلید: ب
تحلیل تشریحی:
- تأیید ب: در سیستم‌های رتبه‌بندی، قرار گرفتن یک کالای کاملاً مرتبط در رتبه اول بسیار باارزش‌تر از قرار گرفتن آن در رتبه دهم است. شاخص NDCG با اعمال تخفیف لگاریتمی (Discounted Gain)، کیفیت رتبه‌بندی را بر اساس روانشناسی رفتار کاربران (توجه بیشتر به نتایج ابتدای صفحه) ارزیابی می‌نماید.
- رد الف، ج، د: همگی گزینه‌های نامربوط هستند.

۲۰. سطح‌بندی مطالب جهت مرور سریع