امکان‌سنجی پروژه‌های هوش مصنوعی (AI Project Feasibility Study)

مبحث ۲: امکان‌سنجی پروژه‌های هوش مصنوعی

AI Project Feasibility Study

فصل پنجم: مدیریت، امکان‌سنجی و MLOps در پروژه‌های هوش مصنوعی

۱. راهنمای مطالعه و هدف آموزشی

امکان‌سنجی (Feasibility Study) در هوش مصنوعی اولین دروازه تصمیم‌گیری کارفرما و مشاور است. برخلاف مهندسی نرم‌افزار سنتی که در آن تقریباً هر نیازمندی منطقی با کدنویسی قابل پیاده‌سازی است، در هوش مصنوعی «امکان‌پذیری ریاضی و داده‌ای» از پیش تضمین‌شده نیست. محورهای تستی این مبحث در آزمون نصر عبارتند از: - ابعاد چهارگانه ارزیابی: داده‌ای/فنی، اقتصادی (ROI)، عملیاتی/فرهنگی، و حقوقی/انطباق - خطای بهینه بیز (Optimal Bayes Error) و عملکرد در سطح انسان (HLP: Human-Level Performance) - تفکیک سوگیری قابل اجتناب (Avoidable Bias) از خطای تقلیل‌ناپذیر - قانون بازده نزولی در دقت مدل و تحلیل هزینه حاشیه‌ای آخرین درصدهای صحت - تمایز دقیق میان PoC (اثبات مفهوم)، Prototype (نمونه اولیه) و MVP (محصول کمینه پذیرفتنی) - تحلیل مدل مبنا (Baseline) و سنجش توجیه جایگزینی رویکردهای ساده قاعده‌محور (Heuristics) با مدل‌های یادگیری عمیق.

۲. این مبحث درباره چیست؟

یکی از بزرگ‌ترین دلایل هدررفت بودجه سازمان‌ها در فناوری اطلاعات، ورود شتاب‌زده به پیاده‌سازی پروژه‌های هوش مصنوعی بر اساس ترندهای روز، بدون سنجش واقع‌بینانه داده‌ها و زیرساخت است. امکان‌سنجی یک مطالعه تحلیلی و تجربی سریع (Fast-Fail) است که پیش از صرف هزینه‌های سنگین استخدام، خرید سرورهای GPU و قراردادهای پیمانکاری، مشخص می‌کند که آیا داده‌های موجود قابلیت حل مسئله را دارند، دقت قابل حصول ارزش اقتصادی دارد، و آیا سازمان توانایی عملیاتی و حقوقی استقرار آن را دارد یا خیر.

۳. تعریف ساده

تعریف ساده: امکان‌سنجی در هوش مصنوعی مثل آزمایش خاک قبل از ساختن یک برج سنگین است! اگر زمین زیر پا سست باشد (داده‌ها کثیف، ناکافی، برچسب‌نخورده یا پر از نویز باشند)، گران‌ترین معماران دنیا و قوی‌ترین کامپیوترها هم نمی‌توانند برج پایداری بسازند و ساختمان فرو خواهد ریخت.

۴. تعریف تخصصی

تعریف تخصصی: فرآیند سیستماتیک، چندمعیاره و مبتنی بر شواهد تجربی جهت اعتبارسنجی فرضیه یادگیری ماشین پیش از تعهد منابع سرمایه‌ای. این فرآیند با اندازه‌گیری کیفیت و کفایت توزیع داده، سنجش حد نظری خطا بر اساس خطای بیز و عملکرد در سطح انسان (HLP)، ارزیابی تأخیر و توان عملیاتی (Latency & Throughput)، سنجش نسبت فایده به هزینه (Cost-Benefit) و ممیزی مالکیت فکری و رگولاتوری، ریسک شکست پروژه را به حداقل می‌رساند.

۵. مفاهیم و ارکان کلیدی

۵.۱. ابعاد چهارگانه منشور امکان‌سنجی هوش مصنوعی 🔴

در ارزیابی مشاوره‌ای، پروژه باید از هر چهار فیلتر زیر نمره قبولی دریافت کند:

۵.۲. عملکرد در سطح انسان (HLP) و خطای بهینه بیز (Optimal Bayes Error) 🔴

مفهومی فوق‌العاده مهم در مباحث طراحی و مدیریت پروژه‌های یادگیری ماشین (طرح‌شده توسط پروفسور اندرو ان‌جی):

خطای ۱۰۰٪ --------------------------------------------------------------------> خطای ۰٪
                                      ^                        ^
                                      |                        |
                       [عملکرد در سطح انسان: HLP]    [خطای بهینه بیز: Bayes Error]
                                      |                        |
                                      +----- خطای غیرقابل تقلیل -+
                                          (نویز ذاتی سنسورها/تصویر)

1. خطای بیز (Bayes Error): حداقل خطای تئوریک و مطلق ممکن در طبیعت برای یک مسئله است که هیچ الگوریتمی (حتی هوش مصنوعی فوق‌هوشمند) نمی‌تواند خطایی کمتر از آن داشته باشد (به دلیل نویز تصادفی و اطلاعات ناقص ورودی).
2. پراکسی خطای بیز (Human-Level Performance - HLP): در اموری که انسان در آن مهارت شناختی دارد (مثل خواندن تصویر پزشکی، متن یا شنیدن صوت)، عملکرد پزشکان یا کارشناسان خبره به عنوان تقریب خطای بیز عمل می‌کند.
3. سوگیری قابل اجتناب (Avoidable Bias): فاصله خطای مدل آموزشی تا HLP؛ این فاصله با پیچیده‌تر کردن مدل و مهندسی داده قابل حذف است.
4. واریانس (Variance): فاصله خطای تست تا خطای آموزش.

۵.۳. قانون بازده نزولی در ارتقای دقت مدل (Law of Diminishing Returns) 🔴

• هزینه و زمان رساندن دقت مدل از ۷۰٪ به ۸۵٪ معمولاً کم است (با الگوریتم‌های استاندارد).
• هزینه رساندن از ۸۵٪ به ۹۵٪ نیازمند پاکسازی عمیق داده‌هاست.
• اما رساندن دقت از ۹۵٪ به ۹۹٪ ممکن است نیازمند ۱۰ برابر هزینه، ماه‌ها زمان و خرید سوپرکامپیوترهای سنگین باشد!
• اصل مشاوره‌ای نصر: مشاور باید آستانه دقت تجاری قابل قبول (Satisficing Metric) را تعریف کند و مانع وسواس مهندسی برای ارتقای غیرضروری دقت شود.

هزینه / منابع
   ^
   |                                                        * (۹۹٪ دقت: هزینه نجومی)
   |                                                *
   |                                         *
   |                                  *
   |                           * (۹۵٪ دقت: نقطه بهینه تجاری)
   |                    *
   |             *
   |      * (۷۰٪ دقت اولیه: هزینه کم)
   +--------------------------------------------------------> دقت مدل

۵.۴. مقایسه PoC و Prototype و MVP 🟠

تفکیک این سه مفهوم در ارزیابی پیشرفت پروژه کاملاً سوال‌خیز است:

۵.۵. تحلیل خط مبنا (Baseline Comparison) 🔴

• قاعده طلایی مشاور: قبل از نوشتن یک خط کد یادگیری عمیق، یک خط مبنای ساده (Heuristic / Rule-based Baseline) ساخته شود.
• مثال: در سیستم پیش‌بینی ریزش مشتریان، خط مبنا می‌تواند یک قانون شرطی ساده باشد: «اگر مشتری بیش از ۶۰ روز لاگین نکرده، ریزش کرده است».
• اگر مدل یادگیری ماشین چند میلیارد تومانی تنها ۲٪ بهتر از این قانون ساده کار کند، پروژه فاقد توجیه امکان‌سنجی اقتصادی است!

۶. چگونه کار می‌کند؟ (فلوچارت فرآیند امکان‌سنجی گام‌به‌گام)

             [۱. تعریف دقیق مسئله و تبدیل به صورت مسأله یادگیری ماشین]
                                       |
                                       v
               [۲. سنجش کیفیت و حجم داده‌ها (Data Audit & Sanity Check)]
                                       |
                                       v
                    آیا داده به میزان کافی و باکیفیت وجود دارد؟
                               /               \
                             بله               خیر ---> [توقف پروژه یا فاز جمع‌آوری داده]
                             /
                            v
          [۳. تعیین HLP و ایجاد Baseline ساده و ارزان (Heuristic)]
                                       |
                                       v
          [۴. ساخت PoC سریع در بازه ۲ تا ۴ هفته‌ای روی نمونه داده]
                                       |
                                       v
                    آیا مدل PoC عملکرد بهتری از Baseline دارد؟
                               /               \
                             بله               خیر ---> [رد توجیه یادگیری ماشین]
                             /
                            v
      [۵. تحلیل چندبُعدی: هزینه سرور + تاخیر مجاز + بررسی حقوقی و لایسنس]
                                       |
                                       v
                         آیا پروژه توجیه کامل دارد؟
                               /               \
                             بله               خیر ---> [بازتعریف محدوده یا لغو]
                             /
                            v
            [تأیید نهایی منشور امکان‌سنجی و ورود به فاز توسعه MVP]

۷. سناریوی واقعی سازمانی

بیمارستان تخصصی قلب و عروق رازی: - پروپوزال اولیه: مدیریت بیمارستان قصد داشت قراردادی به ارزش ۵ میلیارد تومان برای ساخت مدل یادگیری عمیق جهت تشخیص زودهنگام گرفتگی عروق کرونر از روی صدای ضبط‌شده سینه بیمار منعقد کند. - بررسی امکان‌سنجی توسط مشاور نصر: 1. امکان‌سنجی فنی: صدای تنفس و ضربان قلب حاوی نویز شدید محیط بیمارستان است و حتی برجسته‌ترین متخصصان قلب (HLP) با گوشی پزشکی قادر به تفکیک گرفتگی‌های زیر ۵۰٪ بدون آنژیوگرافی نیستند (خطای بیز بسیار بالاست). 2. امکان‌سنجی حقوقی و بالینی: سازمان غذا و دارو (FDA) و وزارت بهداشت استانداردهای سخت‌گیرانه‌ای برای تشخیص غیرتهاجمی دارند و خطای نوع دوم (عدم تشخیص بیمار حاد) عواقب مرگبار و پیگرد کیفری دارد. 3. تحلیل خط مبنا: استفاده از یک پرسشنامه استاندارد بالینی با ۷ سوال (فشار خون، سن، دیابت و...) دقتی بالاتر از ۷۵٪ ارائه می‌داد. - تصمیم مشاور: صدور گزارش عدم امکان‌پذیری فنی (No-Go) برای طرح صوتی، و هدایت بودجه به سمت پردازش تصویر اسکن‌های سی‌تی‌آنژیوگرافی (که داده‌های معتبر و سابقه بالینی شفاف داشتند). این تصمیم از اتلاف کامل بودجه جلوگیری کرد.

۸. مثال خیلی ساده و شهودی

فرض کنید می‌خواهید بفهمید هندوانه‌ای که می‌خرید شیرین است یا نه: - امکان‌سنجی فنی: آیا با زدن چند ضربه به پوست هندوانه می‌توان با دقت ۹۹.۹٪ رنگ دانه‌ها را حدس زد؟ خیر! نویز صدای توخالی بودن زیاد است (خطای بیز بالاست). - امکان‌سنجی اقتصادی: اگر برای هر هندوانه ۲۰ هزار تومانی نیاز به یک دستگاه اسکن لیزری ۲۰۰ میلیون تومانی باشد، پروژه اقتصادی نیست! - تحلیل خط مبنا: اگر شرط ساده «دیدن لکه زرد زیر هندوانه» با دقت ۷۰٪ کار کند، نیازی به خرید اسکنر هوش مصنوعی نیست!

۹. مقایسه عمیق مفاهیم مشابه

۱۰. مزایا و محدودیت‌ها

مزایا (✅)

1. شکست سریع و کم‌هزینه (Fail-Fast): کشف بن‌بست‌های داده‌ای پیش از اتلاف صدها ساعت زمان تیم فنی.
2. مدیریت انتظارات ذینفعان: جلوگیری از شکل‌گیری توهم «هوش مصنوعی معجزه‌گر» در میان مدیران ارشد با تکیه بر اعداد HLP.
3. انتخاب فناوری متناسب: تطبیق مدل با واقعیت‌های زیرساختی و سخت‌افزاری موجود سازمان.
4. تضمین انطباق قانونی: پیشگیری از پیگردهای کیفری و جریمه‌های نقض مالکیت فکری.

محدودیت‌ها و مخاطرات (⛔)

1. سوگیری در تعمیم PoC: مدل ممکن است روی داده‌های تمیز آزمایشگاهی PoC خوب عمل کند اما در محیط واقعی با داده‌های پر از نویز شکست بخورد (PoC Mirage).
2. هزینه‌بر بودن ارزیابی‌های اولیه: ارزیابی کیفی هزاران رکورد داده توسط کارشناسان انسانی برای محاسبه HLP مستلزم زمان و بودجه است.
3. مقاومت ذینفعان در برابر نتایج منفی: گاهی مدیران به دلیل تعصبات حیثیتی حاضر به پذیرش گزارش «عدم امکان‌پذیری» مشاور نیستند.

۱۱. کاربردهای کلیدی در تصمیم‌گیری‌های کلان

+-------------------------------------------------------------------------------+
|                       کاربردهای ارزیابی امکان‌سنجی در سازمان                   |
+-------------------------------------------------------------------------------+
| ۱. تصمیم ساخت در برابر خرید (Build vs Buy): آیا توسعه داخلی مدل صرفه دارد؟   |
| ۲. ارزیابی مالکیت فکری مدل‌های پایه (بررسی لایسنس مدل‌هایی مثل LLaMA)        |
| ۳. تخمین سرمایه‌گذاری زیرساختی (CapEx/OpEx) سرورهای آموزش و پردازش استنتاج     |
| ۴. پالایش نیازمندی‌های قراردادی مناقصات هوش مصنوعی دستگاه‌های دولتی          |
| ۵. تعیین حدود شاخص‌های SLA و آستانه خطای مجاز در قراردادهای پیمانکاری          |
+-------------------------------------------------------------------------------+

۱۲. دیدگاه مشاوره‌ای (سناریوی آزمون نصر)

سناریوی آزمون نصر:

«یک شرکت استارتاپی در مناقصه هوشمندسازی فرآیند بررسی خسارت بدنه خودرو برای یک شرکت بیمه برنده شده است. مدیرعامل استارتاپ ادعا می‌کند که با استفاده از مدل بینایی ماشین آموزش‌دیده روی مدل‌های وزن‌باز (Open Weights) اینترنتی، دقت ۹۹.۵٪ در تخمین عمق فرورفتگی گلگیر خودروها از روی عکس‌های تار و ارسالی کاربران در شبکه‌های اجتماعی حاصل خواهد شد. به عنوان مشاور منتخب بیمه مرکزی، گزارش امکان‌سنجی شما درباره این ادعا شامل چه نکاتی خواهد بود؟»

تحلیل مشاور ارشد هوش مصنوعی:

1. خطای فنی و نادیده گرفتن خطای بیز (Unrealistic Accuracy):
2. حتی کارشناسان مجرب خسارت بیمه (HLP) با دیدن یک تصویر دوبعدی کم‌کیفیت، بدون نورسنجی و زاویه معین، قادر به تشخیص میلی‌متری عمق فرورفتگی نیستند و خطای انسانی در این زمینه بیش از ۱۵٪ است. ادعای دقت ۹۹.۵٪ با قوانین فیزیک و نظریه اطلاعات در تناقض کامل است.
3. عدم انطباق شرایط داده (Data Distribution Mismatch):
4. مدل‌های پایه اینترنتی بر روی عکس‌های استاندارد و نورپردازی‌شده آموزش دیده‌اند، در حالی که ورودی واقعی تصاویر با زوایای نامناسب، بازتاب نور، کثیفی بدنه و لرزش دست است.
5. ریسک لایسنس تجاری:
6. بسیاری از مدل‌های اوپن‌سورس دارای مجوزهای غیرتجاری (Research Only) هستند و استفاده تجاری از آن‌ها نقض کپی‌رایت و دارای پیگرد حقوقی است.

توصیه مشاور به بیمه:

• تغییر آستانه پذیرش: تعیین دقت منطقی ۸۵٪ به عنوان فیلتر اولیه و ارجاع موارد مشکوک به کارشناس انسانی (Human-in-the-Loop).
• تدوین استاندارد تصویربرداری: الزام کاربر به ارسال ۵ عکس با زاویه و مقیاس مشخص (مثلاً گذاشتن کارت عابربانک کنار خط‌وخش جهت مقیاس‌گذاری ابعاد).

۱۳. قاعده تصمیم‌گیری مشاور (درخت تصمیم منشور امکان‌سنجی)

              آیا برچسب‌گذاران خبره انسانی (HLP) در حل مسئله اتفاق نظر بالای ۸۰٪ دارند؟
                                      /                      \
                                    بله                      خیر
                                    /                          \
              آیا حداقل چند هزار داده باکیفیت و متنوع        [عدم امکان‌پذیری فنی]
              در دسترس سازمان وجود دارد؟                      - خطای بیز بسیار بالاست
                       /            \                         - بازتعریف یا لغو پروژه
                     بله            خیر
                     /                \
      آیا مدل یادگیری ماشین توانست     [فاز اصلاحی داده]
      حداقل ۱۰٪ از Baseline ساده بهتر کار کند؟  - پروژه‌های جمع‌آوری داده
               /            \
             بله            خیر
             /                \
   آیا ارزش مالی پروژه از       [به‌کارگیری رویکرد ساده]
   هزینه زیرساخت و نگهداری فراتر است؟  - استفاده از Heuristics سنتی
         /            \
       بله            خیر ---> [عدم توجیه اقتصادی / No-Go]
       /
  [پروژه تایید است؛ آغاز توسعه MVP]

۱۴. 🔴 نکات طلایی آزمون نصر (۱۰ نکته کنکوری)

1. Human-Level Performance (HLP): در وظایف شناختی به عنوان شاخص جایگزین (Proxy) برای خطای بهینه بیز استفاده می‌شود.
2. Avoidable Bias: فاصله میان خطای مجموعه آموزش (Training Error) و HLP؛ شاخصی که نشان می‌دهد چقدر جا برای بهبود مدل وجود دارد.
3. خطای بیز تقلیل‌ناپذیر است: هیچ مدلی با هیچ میزان داده و قدرتی نمی‌تواند از سقف خطای بیز عبور کند.
4. تحلیل Baseline: اولین قدم در ارزیابی اثربخشی هوش مصنوعی؛ اگر یادگیری ماشین نتواند از یک الگوریتم ساده مبتنی بر چند قانون شرطی بهتر عمل کند، پروژه فاقد توجیه اقتصادی است.
5. طول زمان مناسب برای PoC: یک PoC اصولی باید بسیار سبک و در بازه زمانی ۲ تا ۴ هفته انجام شود تا اصل Fast-Fail محقق گردد.
6. قانون بازده نزولی: به ازای هر یک درصد افزایش دقت در محدوده‌های بالای ۹۰٪، هزینه، داده و قدرت محاسباتی مورد نیاز به صورت نمایی افزایش می‌یابد.
7. تفاوت PoC و MVP: اولی امکان‌پذیری فنی را در محیط آزمایشگاهی می‌سنجد؛ دومی ارزش تجاری محصول را با کاربران واقعی در پروداکشن ارزیابی می‌کند.
8. بررسی لایسنس مدل‌ها: لایسنس‌های CC-BY-NC برای اهداف انتفاعی و شرکتی غیرمجاز هستند و لایسنس‌هایی نظیر Apache 2.0 و MIT استفاده تجاری را مجاز می‌دانند.
9. شاخص‌های رضایت‌بخش (Satisficing Metrics): متغیرهایی نظیر سرعت یا حجم مدل که تنها رسیدن به یک آستانه خاص (Threshold) در آن‌ها کافی است و نیازی به بیشینه‌سازی پیوسته ندارند.
10. Data Feasibility بر Algorithm Feasibility اولویت دارد: بهترین الگوریتم‌ها بدون داده‌های معتبر و متنوع با شکست قطعی مواجه می‌شوند (Garbage In, Garbage Out).

۱۵. ⚠️ دام‌های رایج آزمون

دام ۱: «اگر داده‌های زیادی در دیتابیس داریم، امکان‌سنجی داده‌ای پروژه قطعی است.»
❌ پاسخ دام‌شکن: حجم داده (Volume) هرگز به معنای کیفیت، ارتباط و صحت برچسب‌ها نیست. میلیون‌ها رکورد بدون برچسب، با مقادیر گمشده یا نویزدار، کمکی به حل مسئله نمی‌کنند.

دام ۲: «هدف از پروژه هوش مصنوعی، رسیدن به دقت ۱۰۰٪ در تمامی سناریوهاست.»
❌ پاسخ دام‌شکن: در دنیای واقعی به دلیل نویز ذاتی داده‌ها و خطای بیز (Bayes Error)، خطای صفر غیرممکن است و ادعای دقت ۱۰۰٪ نشان‌دهنده بیش‌برازش فاجعه‌بار (Overfitting) یا نشت داده (Data Leakage) است.

دام ۳: «PoC همان فاز اول پیاده‌سازی سیستم اصلی است و کدهای آن وارد نرم‌افزار نهایی می‌شود.»
❌ پاسخ دام‌شکن: کدهای PoC آزمایشی، کثیف و دورانداختنی (Throwaway Code) هستند و صرفاً برای اثبات فرضیه نگاشته می‌شوند؛ معماری تولیدی در فازهای بعدی از صفر طراحی می‌گردد.

دام ۴: «همیشه الگوریتم‌های پیچیده‌تر یادگیری عمیق بهتر از مدل‌های ساده رگرسیون یا قوانین ثابت هستند.»
❌ پاسخ دام‌شکن: اگر تفاوت دقت چشمگیر نباشد، مدل‌های ساده‌تر به دلیل تفسیرپذیری، سرعت بالا و هزینه نگهداری ناچیز، برتری قطعی دارند (اصل تیغ اوکام).

۱۶. 🧠 خلاصه یک‌دقیقه‌ای

• ابعاد امکان‌سنجی: فنی/داده‌ای، مالی/اقتصادی، عملیاتی و حقوقی/انطباق.
• نقش HLP: معیاری برای تعیین سقف انتظارات واقع‌بینانه از دقت مدل و تقریب خطای بیز.
• چرخه Fast-Fail: استفاده از PoC های کوتاه ۲ تا ۴ هفته‌ای برای رد سریع پروژه‌های غیرقابل اجرا.
• اهمیت Baseline: مقایسه پیوسته مدل با راهکارهای ساده برای توجیه‌پذیری سرمایه‌گذاری.
• هزینه دقت بالا: توجه به اصل بازده نزولی در دستیابی به آخرین درصدهای صحت.

۱۷. نقشه ذهنی (ASCII Mind Map)

                            امکان‌سنجی پروژه هوش مصنوعی
                                         |
    +--------------------+---------------+---------------+--------------------+
    |                    |                               |                    |
[ابعاد چهارگانه منشور]   [خطای بیز و HLP]                [روش‌های سنجش اولیه]   [توجیه و بازده]
    |                    |                               |                    |
    |-- ۱. داده‌ای/فنی   |-- خطای تقلیل‌ناپذیر بیز       |-- Baseline مقایسه‌ای|-- قانون بازده نزولی
    |-- ۲. اقتصادی (ROI) |-- HLP: خطای انسان خبره         |-- PoC (۲-۴ هفته)   |-- هزینه آخرین درصدها
    |-- ۳. عملیاتی       |-- Avoidable Bias (فاصله تا HLP)|-- Prototype       |-- شاخص Satisficing
    |-- ۴. حقوقی/لایسنس  |-- Variance (فاصله تست تا آموزش)|-- MVP در پروداکشن  |-- تصمیم ساخت یا خرید

۱۸. ارتباط با سایر مباحث

• مبحث ۳ از همین فصل (Cost-Benefit Analysis): فرمول‌بندی ریالی هزینه‌های زیرساخت و منافع تجاری.
• مبحث ۴ از همین فصل (Risk Management): ارزیابی ریسک‌های داده‌ای، فنی و منابع انسانی شناسایی‌شده در امکان‌سنجی.
• مبحث ۱ از فصل ۵ (Project Management): قرارگیری امکان‌سنجی در فاز Business & Data Understanding در متدولوژی CRISP-DM.
• مبحث ۴ از فصل ۶ (Governance & Licensing): ممیزی لایسنس‌های کپی‌رایت مدل‌های منبع‌باز و انطباق با قوانین رگولاتوری.

۱۹. سؤالات احتمالی آزمون (۶ تست استاندارد نصر)

تست ۱ (🔴 — مفاهیم نظری خطا و سقف دقت)

در یک مسئله بینایی ماشین برای طبقه‌بندی تصاویر رادیولوژی قفسه سینه، تیمی از پزشکان فوق‌تخصص دارای نرخ خطای ۱.۲٪ هستند. مدل توسعه‌یافته بر روی داده‌های آموزش به خطای ۶٪ و بر روی داده‌های ارزیابی (Validation) به خطای ۶.۵٪ رسیده است. تحلیل مشاور در خصوص وضعیت سوگیری و واریانس مدل کدام است؟

الف) مدل دچار واریانس بالا (Overfitting) است و باید داده‌های بیشتری جمع‌آوری شود.
ب) مدل دارای سوگیری قابل اجتناب (Avoidable Bias) بالا است و باید تمرکز روی پیچیده‌تر کردن مدل یا مهندسی ویژگی‌ها باشد.
ج) مدل به سقف خطای بیز رسیده و امکان هیچ‌گونه بهبودی وجود ندارد.
د) خطای ۱.۲٪ پزشکان نشان‌دهنده نقص در برچسب‌گذاری است و باید کل داده‌ها حذف شوند.

کلید: ب
تحلیل تشریحی:
- خطای پزشکان فوق‌تخصص ($1.2\%$) در اینجا تقریب خطای بهینه بیز (HLP) است.
- سوگیری قابل اجتناب برابر است با فاصله خطای آموزش از HLP: $6\% - 1.2\% = 4.8\%$.
- واریانس برابر است با فاصله خطای اعتبارسنجی از خطای آموزش: $6.5\% - 6\% = 0.5\%$.
- همان‌طور که مشخص است، مشکل اصلی مدل واریانس نیست (فاصله آموزش و تست تنها نیم درصد است)، بلکه سوگیری قابل اجتناب (Avoidable Bias) بسیار بالاست (۴.۸٪). بنابراین مدل دچار Underfitting نسبت به سطح توانایی انسان است و تیم باید با افزایش پیچیدگی مدل، معماری‌های عمیق‌تر و مهندسی داده این فاصله را جبران کند.

تست ۲ (🔴 — تحلیل خط مبنا و توجیه اقتصادی)

در بررسی امکان‌سنجی یک سامانه هوش مصنوعی برای اعتبارسنجی اسناد مالیاتی، یک الگوریتم ساده مبتنی بر چهار قاعده شرطی (Heuristic Baseline) دقتی معادل ۸۲٪ ارائه می‌دهد. ساخت یک سیستم یادگیری عمیق ترنسفورمر پس از ۳ ماه کار به دقت ۸۴٪ دست یافته است، اما هزینه نگهداری سرورهای ابری آن سالانه بالغ بر ۳ میلیارد تومان برآورد می‌شود. تصمیم منطقی مشاور چیست؟

الف) ارتقای مدل با افزودن ۱۰۰ لایه جدید برای رسیدن به دقت ۱۰۰٪
ب) صدور گزارش عدم توجیه اقتصادی یادگیری عمیق و پیشنهاد استقرار همان سیستم قواعد ساده با بهینه‌سازی‌های جزئی
ج) اخذ وام بانکی برای خرید سرورهای گران‌تر بدون توجه به اختلاف ۲ درصدی دقت
د) تغییر زبان برنامه‌نویسی از پایتون به جاوااسکریپت

کلید: ب
تحلیل تشریحی:
- رد الف و ج: گزاره‌های غیرمنطقی که مغایر با عقلانیت مالی و مهندسی هستند؛ دقت ۱۰۰٪ توهم است و هزینه ۳ میلیاردی برای ۲٪ بهبود در بسیاری از کاربردها قابل توجیه نیست.
- تأیید ب: هدف امکان‌سنجی جلوگیری از اتلاف منابع است. وقتی یک خط مبنای ساده، رایگان و فوق‌العاده سریع با دقت ۸۲٪ در دسترس است و مدل پیچیده با هزینه سنگین تنها ۲٪ ارتقا نشان می‌دهد، اصل حاکم بر تصمیم‌گیری، استقرار رویکرد ساده (قانون بازده نزولی) است.
- رد د: تغییر زبان تغییری در دقت ذاتی یا توجیه اقتصادی ایجاد نمی‌کند.

تست ۳ (🔴 — تفاوت ابزارهای اعتبارسنجی)

کدام یک از تعاریف زیر در خصوص «اثبات مفهوم» (Proof of Concept - PoC) در مقایسه با «محصول کمینه پذیرفتنی» (MVP) در چرخه حیات هوش مصنوعی صحیح است؟

الف) PoC بر روی سرورهای پروداکشن برای کاربران تجاری مستقر می‌شود، اما MVP در محیط لپ‌تاپ اجرا می‌شود.
ب) PoC صرفاً امکان‌پذیری فنی و علمی یادگیری الگو از داده را با داده‌های محدود و کدهای آزمایشی بررسی می‌کند، در حالی که MVP یک محصول کارا با ترافیک واقعی برای اعتبارسنجی ارزش تجاری است.
ج) PoC نیاز به هیچ داده‌ای ندارد و با مستندات متنی پایان می‌یابد.
د) MVP همیشه قبل از PoC اجرا می‌شود.

کلید: ب
تحلیل تشریحی:
- رد الف: کاملاً برعکس است؛ PoC روی محیط آزمایشگاهی اجرا می‌شود و MVP در محیط واقعی پروداکشن.
- تأیید ب: تعریف دقیق و استاندارد تفاوت این دو ابزار؛ PoC آزمونی سریع برای اثبات عملی بودن فرضیه فنی است، در حالی که MVP یک نسخه عملیاتی از نرم‌افزار است که برای سنجش کشش بازار به دست کاربران نهایی می‌رسد.
- رد ج و د: PoC حتماً به نمونه داده نیاز دارد و گام پیش از MVP است.

تست ۴ (🟠 — ابعاد چهارگانه و قوانین رگولاتوری)

یک شرکت پرداخت الکترونیک قصد دارد با استفاده از مدل زبانی منبع‌باز، تراکنش‌های مشکوک را تحلیل و صورتجلسات را تنظیم کند. در فاز امکان‌سنجی مشخص می‌شود که وزن‌های مدل پایه تحت لایسنس CC-BY-NC 4.0 منتشر شده‌اند. پیامد حقوقی این موضوع چیست؟

الف) استفاده از مدل بلامانع است زیرا متن‌باز به معنای استفاده تجاری رایگان است.
ب) پروژه امکان‌سنجی حقوقی را رد می‌کند زیرا پسوند NC به معنای Non-Commercial بوده و هرگونه انتفاع تجاری را منع کرده و ریسک حقوقی سنگین دارد.
ج) شرکت می‌تواند با پرداخت جریمه جزئی به وزارت ارتباطات از مدل استفاده کند.
د) این لایسنس تنها در کشور مبدأ معتبر است و در حوزه بین‌المللی اثری ندارد.

کلید: ب
تحلیل تشریحی:
- تأیید ب: در ارزیابی امکان‌سنجی حقوقی (Legal Feasibility)، بررسی لایسنس‌ها الزامی است. عبارت NC مخفف Non-Commercial (غیرتجاری) است. استفاده از مدلی با این لایسنس در بستر یک شرکت انتفاعی و تجاری نقض آشکار کپی‌رایت بوده و در صورت شکایت مالکین، سیستم با خطر تعطیلی و ادعای غرامت سنگین مواجه می‌شود.
- رد الف، ج، د: همگی توجیه‌های حقوقی غلط و باطل هستند.

تست ۵ (🔴 — قانون بازده نزولی در پروژه‌ها)

پدیده «بازده نزولی» (Diminishing Returns) در توسعه مدل‌های یادگیری ماشین به کدام مفهوم اشاره دارد؟

الف) کاهش خطای مدل با افزایش دفعات اجرای حلقه آموزش
ب) افزایش نمایی هزینه، داده و زمان مورد نیاز برای کسب بهبودهای کوچک در دقت، به ویژه در سطوح بالای عملکردی
ج) کاهش ارزش سهام شرکت‌های ارائه‌دهنده خدمات ابری
د) کاهش سرعت خواندن داده‌ها از هارد دیسک‌های مکانیکی

کلید: ب
تحلیل تشریحی:
- تأیید ب: اصل بازده نزولی در هوش مصنوعی بیان می‌کند که دستیابی به بهبودهای اولیه دقت ارزان و سریع است، اما هر چه دقت به سقف عملکردی نزدیک‌تر می‌شود، هزینه به دست آوردن هر دهم درصد دقت مضاعف به شدت و به صورت نمایی رشد می‌کند.
- رد الف، ج، د: همگی گزینه‌های نامربوط به مفهوم اقتصادی بازده نزولی در ML هستند.

تست ۶ (🟠 — شاخص‌های نیازمندی عملیاتی)

در ارزیابی امکان‌سنجی یک سامانه هوش مصنوعی برای پایش دوربین‌های پلاک‌خوان در خطوط خط‌ویژه اتوبوسرانی، سرعت استنتاج مدل به ازای هر فریم ۱.۵ ثانیه اندازه‌گیری شده است، در حالی که اتوبوس‌ها با سرعت ۵۰ کیلومتر بر ساعت تردد می‌کنند. پروژه از کدام بُعد امکان‌سنجی با شکست مواجه می‌شود؟

الف) امکان‌سنجی مالی و بودجه‌ای
ب) امکان‌سنجی عملیاتی و زیرساختی (Operational Feasibility / Latency Constraints)
ج) امکان‌سنجی اخلاقی
د) امکان‌سنجی حقوقی مربوط به مالکیت اتوبوس‌ها

کلید: ب
تحلیل تشریحی:
- تأیید ب: در این سناریو، محدودیت فنی تأخیر زمانی (Latency Constraint) نقض شده است. خودرویی که با سرعت ۵۰ کیلومتر در ساعت حرکت می‌کند، در ۱.۵ ثانیه حدود ۲۱ متر پیشروی می‌کند و از دید دوربین خارج می‌شود! این نقص نشان‌دهنده شکست در بُعد امکان‌سنجی عملیاتی (عدم توانایی مدل در برآورده کردن نیازمندی‌های بلادرنگ سیستم در دنیای واقعی) است.
- رد الف، ج، د: ارتباطی با نرخ تأخیر پردازش فریم‌های تصویری ندارند.

۲۰. سطح‌بندی مطالب جهت مرور سریع