رگرسیون و مدل‌سازی مقادیر پیوسته (Regression & Regularization)

مبحث ۵: رگرسیون

Regression

۱. این مبحث دقیقاً درباره چیست؟

رگرسیون (Regression) یکی از وظایف اصلی یادگیری نظارت‌شده است که هدف آن پیش‌بینی یک مقدار عددی پیوسته است. برخلاف طبقه‌بندی که خروجی آن یک کلاس/دسته است، خروجی رگرسیون یک عدد است.

مثلاً: پیش‌بینی قیمت خانه، پیش‌بینی دمای هوا، تخمین حقوق بر اساس سال تجربه، یا پیش‌بینی میزان فروش ماه آینده. در همه این موارد، خروجی یک مقدار پیوسته است، نه یک برچسب یا دسته.

رگرسیون در کنار طبقه‌بندی، یکی از دو ستون اصلی یادگیری نظارت‌شده است و درک تفاوت بین آن‌ها برای آزمون ضروری است.

۲. تعریف ساده

تعریف ساده: رگرسیون یعنی پیش‌بینی یک عدد (مقدار پیوسته) بر اساس داده‌های ورودی. مثلاً پیش‌بینی «قیمت خانه» بر اساس متراژ، موقعیت و سال ساخت.

۳. تعریف تخصصی

تعریف تخصصی: رگرسیون یک وظیفه یادگیری نظارت‌شده است که در آن هدف تقریب یک تابع f: X → Y است، به‌طوری که Y یک متغیر پیوسته (Continuous Variable) باشد. مدل با کمینه‌سازی تابع هزینه (مثل MSE) روی داده‌های آموزشی، رابطه بین ویژگی‌ها و متغیر هدف را یاد می‌گیرد.

۴. مفاهیم کلیدی

۴.۱. انواع رگرسیون 🔴

رگرسیون خطی ساده (Simple Linear Regression)

• تعریف: مدل‌سازی رابطه خطی بین یک ویژگی ورودی و یک خروجی.
• فرمول: y = mx + b
• y = خروجی (مقدار پیش‌بینی‌شده)
• x = ورودی (ویژگی)
• m = شیب خط (ضریب)
• b = عرض از مبدأ (بایاس)
• مثال: پیش‌بینی قیمت خانه فقط بر اساس متراژ.

رگرسیون خطی چندمتغیره (Multiple Linear Regression) 🔴

• تعریف: مدل‌سازی رابطه خطی بین چندین ویژگی ورودی و یک خروجی.
• فرمول: y = b₀ + b₁x₁ + b₂x₂ + ... + bₙxₙ
• مثال: پیش‌بینی قیمت خانه بر اساس متراژ + تعداد اتاق + سال ساخت + موقعیت.
• نکته آزمونی: هر ضریب (bᵢ) نشان‌دهنده تأثیر آن ویژگی بر خروجی است (با ثابت نگه‌داشتن سایر ویژگی‌ها).

رگرسیون چندجمله‌ای (Polynomial Regression) 🟠

• تعریف: وقتی رابطه بین ورودی و خروجی غیرخطی باشد، از توان‌های بالاتر ویژگی استفاده می‌شود.
• فرمول: y = b₀ + b₁x + b₂x² + b₃x³ + ...
• نکته: خطر بیش‌برازش با افزایش درجه چندجمله‌ای بیشتر می‌شود.

۴.۲. Regularization (منظم‌سازی) 🟠

• هدف: جلوگیری از بیش‌برازش با اضافه کردن جریمه برای ضرایب بزرگ.
• انواع مهم:
• Ridge (L2): جریمه مربع ضرایب → ضرایب کوچک می‌شوند ولی صفر نمی‌شوند
• Lasso (L1): جریمه قدرمطلق ضرایب → برخی ضرایب دقیقاً صفر می‌شوند (انتخاب ویژگی خودکار)
• Elastic Net: ترکیب Ridge و Lasso

۴.۳. معیارهای ارزیابی رگرسیون 🔴

مثال عددی ساده برای R²: - R² = ۰.۸۵ یعنی مدل ۸۵٪ واریانس خروجی را توضیح می‌دهد. - R² = ۰ یعنی مدل بهتر از میانگین عمل نمی‌کند. - R² = ۱ یعنی مدل کامل و بدون خطاست (در عمل تقریباً غیرممکن).

۵. چگونه کار می‌کند؟

توضیح ساده (رگرسیون خطی):

مدل تلاش می‌کند بهترین خط (یا صفحه در ابعاد بالاتر) را پیدا کند که از بین نقاط داده بگذرد و فاصله کل نقاط از خط کمینه شود.

فرآیند:

۱. داده‌ها: X (ویژگی‌ها) + Y (مقدار هدف)
        ↓
۲. فرض: y = b₀ + b₁x₁ + b₂x₂ + ...
        ↓
۳. تابع هزینه: MSE = میانگین (y_واقعی - y_پیش‌بینی)²
        ↓
۴. بهینه‌سازی: کمینه‌سازی MSE (گرادیان کاهشی یا حل تحلیلی)
        ↓
۵. خروجی: ضرایب بهینه (b₀, b₁, b₂, ...)

۶. مثال واقعی

پیش‌بینی قیمت مسکن

مسئله: یک آژانس املاک می‌خواهد قیمت خانه‌ها را بر اساس ویژگی‌هایشان تخمین بزند.

ویژگی‌ها: متراژ (x₁)، تعداد اتاق (x₂)، سال ساخت (x₃)، فاصله از مرکز شهر (x₄)

مدل: قیمت = ۵۰ + ۱۵×متراژ + ۲۰×اتاق - ۲×سال_ساخت - ۸×فاصله

تفسیر: هر متر مربع ۱۵ میلیون تومان به قیمت اضافه می‌کند. هر کیلومتر فاصله از مرکز ۸ میلیون تومان کاهش قیمت.

۷. مثال خیلی ساده

پیش‌بینی نمره امتحان یک دانش‌آموز بر اساس ساعت مطالعه: - ۲ ساعت → نمره ۶۰ - ۴ ساعت → نمره ۷۰ - ۶ ساعت → نمره ۸۰

الگو: هر ساعت مطالعه بیشتر ≈ ۵ نمره بیشتر.

مدل: نمره = ۵۰ + ۵ × ساعت_مطالعه

۸. تفاوت مفاهیم مشابه

رگرسیون vs طبقه‌بندی 🔴

رگرسیون خطی vs رگرسیون لجستیک 🔴

۹. مزایا و محدودیت‌ها

مزایا ✅

• سادگی و تفسیرپذیری: ضرایب مستقیماً تأثیر ویژگی‌ها را نشان می‌دهند
• سرعت: آموزش و پیش‌بینی سریع
• پایه تحلیلی: مبنای بسیاری از مدل‌های پیچیده‌تر

محدودیت‌ها ⛔

• فرض خطی بودن: رگرسیون خطی فقط روابط خطی را مدل می‌کند
• حساس به نقاط پرت (Outlier): یک نقطه پرت می‌تواند خط رگرسیون را منحرف کند
• هم‌خطی چندگانه (Multicollinearity): وقتی ویژگی‌ها با هم همبسته باشند، ضرایب غیرقابل اعتماد می‌شوند

۱۰. کاربردهای مهم

۱۱. دیدگاه مشاورهای

چه زمانی از رگرسیون استفاده کنیم؟

• خروجی مسئله یک عدد است (نه کلاس)
• می‌خواهیم بدانیم تأثیر هر متغیر بر خروجی چقدر است
• نیاز به مدل تفسیرپذیر داریم

مهم‌ترین ریسک:

• بیش‌برازش در رگرسیون چندجمله‌ای: درجه بالا = پیچیدگی زیاد
• نادیده‌گرفتن پیش‌فرض‌ها: خطی بودن، نرمال بودن خطاها
• نقاط پرت: تأثیر نامتناسب بر مدل

۱۲. 🔴 نکات طلایی آزمون

1. رگرسیون = نظارت‌شده + خروجی عدد پیوسته. با طبقه‌بندی (خروجی کلاس) اشتباه نگیرید.
2. رگرسیون لجستیک ≠ رگرسیون: رگرسیون لجستیک یک الگوریتم طبقه‌بندی است!
3. R² = نسبت واریانس توضیح‌داده‌شده. بین ۰ و ۱. بالاتر بهتر.
4. MSE خطاهای بزرگ را بیشتر جریمه می‌کند (به دلیل توان ۲).
5. Regularization: Ridge (L2) ضرایب را کوچک، Lasso (L1) برخی ضرایب را صفر (انتخاب ویژگی).
6. هر ضریب = تأثیر آن ویژگی بر خروجی (با ثابت نگه‌داشتن سایر ویژگی‌ها).
7. رگرسیون چندجمله‌ای: درجه بالا = خطر بیش‌برازش.
8. نقاط پرت: تأثیر زیاد بر رگرسیون خطی → نیاز به بررسی و مدیریت.

۱۳. ⚠️ دام‌های رایج آزمون

دام ۱: «رگرسیون لجستیک نوعی رگرسیون است.»
❌ با وجود نام «رگرسیون»، الگوریتم طبقه‌بندی است.

دام ۲: «R² بالا همیشه یعنی مدل خوب.»
❌ R² بالا ممکن است نشانه بیش‌برازش باشد. باید R² روی داده آزمایشی بررسی شود.

دام ۳: «رگرسیون فقط برای روابط خطی کاربرد دارد.»
❌ رگرسیون خطی فقط روابط خطی. ولی رگرسیون چندجمله‌ای و مدل‌های غیرخطی می‌توانند روابط پیچیده‌تر را مدل کنند.

۱۴. 🧠 خلاصه یک‌دقیقه‌ای

اگر فقط یک دقیقه وقت داشتم...

• رگرسیون = نظارت‌شده + خروجی عدد پیوسته (≠ طبقه‌بندی)
• خطی ساده: y = mx + b | چندمتغیره: y = b₀ + b₁x₁ + ... | چندجمله‌ای: y = b₀ + b₁x + b₂x²
• رگرسیون لجستیک = طبقه‌بندی (نه رگرسیون!)
• ارزیابی: MAE, MSE (جریمه بیشتر برای خطای بزرگ), RMSE, R² (۰ تا ۱)
• Regularization: Ridge (L2) = ضرایب کوچک | Lasso (L1) = ضرایب صفر (انتخاب ویژگی)
• ضرایب = تأثیر هر ویژگی بر خروجی
• حساس به Outlier و Multicollinearity
• درجه بالای چندجمله‌ای = خطر بیش‌برازش

۱۵. نقشه ذهنی

رگرسیون (Regression)
│
├── انواع
│   ├── خطی ساده (y = mx + b)
│   ├── چندمتغیره (y = b₀ + b₁x₁ + b₂x₂ + ...)
│   └── چندجمله‌ای (y = b₀ + b₁x + b₂x² + ...)
│
├── ارزیابی
│   ├── MAE ← ساده
│   ├── MSE ← جریمه خطای بزرگ
│   ├── RMSE ← واحد مشابه خروجی
│   └── R² ← واریانس توضیح‌داده‌شده
│
├── Regularization
│   ├── Ridge (L2) ← ضرایب کوچک
│   ├── Lasso (L1) ← انتخاب ویژگی
│   └── Elastic Net ← ترکیب
│
└── تفاوت مهم
    ├── رگرسیون ≠ طبقه‌بندی (خروجی عدد vs کلاس)
    └── رگرسیون خطی ≠ رگرسیون لجستیک

۱۶. ارتباط با سایر مباحث

۱۷. سؤالات احتمالی آزمون