پردازش توزیع‌شده و محاسبات خوشه‌ای (Distributed Processing & Apache Spark)

مبحث ۵: پردازش توزیع‌شده

Distributed Processing & Distributed AI Training

۱. این مبحث دقیقاً درباره چیست؟

با ظهور مدل‌های یادگیری عمیق در ابعاد صدها میلیارد پارامتر (مانند GPT-4 و Gemini) و مجموعه داده‌های آموزشی با حجم چند پتابایت، انجام محاسبات روی یک سرور یا یک کارت گرافیک منفرد از نظر فیزیکی غیرممکن شده است. حافظه VRAM پیشرفته‌ترین پردازنده‌های گرافیکی امروزی (مانند Nvidia H100 با ۸۰ گیگابایت حافظه) حتی قادر به بارگذاری وزن‌های خام یک مدل زبانی بزرگ نیست، چه رسد به محاسبه گرادیان‌ها و وضعیت‌های بهینه‌ساز در فرآیند آموزش.

پردازش توزیع‌شده (Distributed Computing) هنر و علم شکستن بار محاسباتی سنگین یا داده‌های حجیم میان ده‌ها، صدها یا هزاران پردازنده مستقل متصل به شبکه (Nodes) و همگام‌سازی بی‌وقفه نتایج است، به‌گونه‌ای که از دید کاربر نهایی، کل سیستم مانند یک ابررایانه واحد و منسجم عمل کند.

در پروژه‌های هوش مصنوعی، تسلط بر پردازش توزیع‌شده تمایز اصلی میان یک توسعه‌دهنده مبتدی مدل‌های کوچک و یک معمار ارشد زیرساخت‌های کلان‌مقیاس هوش مصنوعی است.

۲. تعریف ساده

تعریف ساده: پردازش توزیع‌شده یعنی وقتی کاری آن‌قدر سنگین و بزرگ است که قوی‌ترین کامپیوتر دنیا هم از پس آن برنمی‌آید، آن را به صدها کامپیوتر کوچک‌تر بسپاریم تا همزمان کار کنند و از طریق یک شبکه پرسرعت نتایج کارشان را با هم ترکیب کنند.

۳. تعریف تخصصی

تعریف تخصصی (اندرو تننبام و لزلی لمپورت): یک سیستم محاسباتی توزیع‌شده، مجموعه‌ای از ماشین‌های محاسباتی خودمختار، مستقل و دارای حافظه تفکیک‌شده است که از طریق یک شبکه ارتباطی با یکدیگر تعامل دارند و با استفاده از نرم‌افزارهای هماهنگ‌کننده، الگوریتم‌های اجماع و پروتکل‌های تبادل پیام، برای دستیابی به یک هدف مشترک به صورت یکپارچه همگام می‌شوند.

۴. مفاهیم کلیدی

۴.۱. قضیه CAP و بسط PACELC 🔴

قضیه بنیادین اریک بروئر (Eric Brewer) در سال ۲۰۰۰ بیان می‌کند که در هر سیستم ذخیره‌سازی توزیع‌شده، دسترسی همزمان به هر سه ویژگی زیر غیرممکن است و تنها می‌توان دو مورد از سه ویژگی را تضمین کرد:

                      [قضیه CAP]
                     Consistency
                      (سازگاری)
                        /   \
                       /     \
                      /   CA  \  (RDBMS متمرکز)
                     /         \
                    /   سیستم   \
                   /   توزیع‌شده  \
                  /                 \
     Availability ------------------- Partition Tolerance
     (دسترس‌پذیری)        AP          (تحمل شکافت شبکه)
                  (Cassandra, Dynamo)

1. سازگاری (Consistency - C): تمام نودها در هر لحظه دقیقاً یک داده واحد و به‌روز را نشان دهند (اگر رکوردی خوانده شد، آخرین مقدار نوشته‌شده باشد).
2. دسترس‌پذیری (Availability - A): هر درخواستی که به سیستم غیرخراب ارسال می‌شود، حتماً پاسخی موفق دریافت کند، بدون هیچ خطای عدم پاسخ.
3. تحمل شکافت شبکه (Partition Tolerance - P): در صورت قطع ارتباط شبکه میان دو گروه از سرورها، سیستم به کار خود ادامه دهد.

نکته کلیدی آزمون: چون در شبکه‌های واقعی و فیزیکی، قطع کابل یا اختلال شبکه (Partition) غیرقابل اجتناب است، سیستم‌های توزیع‌شده همیشه باید ویژگی P را بپذیرند؛ بنابراین انتخاب واقعی در عمل بین CP (توقف برای حفظ درستی داده مانند HBase) یا AP (پاسخ سریع با احتمال قدیمی بودن داده مانند Cassandra) است.

• قضیه تکمیلی PACELC: بیان می‌کند که اگر شکافت شبکه رخ دهد (If there is P)، باید بین A و C انتخاب کرد؛ وگرنه (Else)، باید بین تاخیر زمان پاسخگویی (Latency) و سازگاری داده‌ها (Consistency) توازن برقرار کرد.

۴.۲. الگوهای موازی‌سازی در هوش مصنوعی (Parallelism Paradigms) 🔴

[۱. موازی‌سازی داده - Data Parallelism]
دسته داده ۱ ──► [کپی کامل مدل روی GPU 1] ──┐
دسته داده ۲ ──► [کپی کامل مدل روی GPU 2] ──┼──► میانگین‌گیری گرادیان‌ها (All-Reduce)
دسته داده ۳ ──► [کپی کامل مدل روی GPU 3] ──┘

[۲. موازی‌سازی تانسور / مدل - Tensor/Model Parallelism]
تمام داده ──► [لایه ۱ تا ۱۰ روی GPU 1] ──► [لایه ۱۱ تا ۲۰ روی GPU 2] ──► خروجی

۱. موازی‌سازی داده (Data Parallelism)

• رویکرد: مدل به طور کامل روی تمام GPUها کپی می‌شود. هر پردازنده یک بخش متفاوت از داده‌های آموزشی (Mini-batch) را می‌خواند و گرادیان‌های محلی را حساب می‌کند. سپس گرادیان‌ها میان همه تجمیع می‌شوند.
• محدودیت: مدل باید در حافظه VRAM یک کارت گرافیک جا شود.

۲. موازی‌سازی تانسور (Tensor / Intra-layer Parallelism)

• رویکرد: یک عمل ماتریسی یا یک لایه بزرگ عصبی (مانند لایه Multi-Head Attention) به تکه‌های کوچک‌تر شکسته شده و روی چند GPU همزمان ضرب می‌شود (فریمورک Megatron-LM).

۳. موازی‌سازی خط لوله‌ای (Pipeline / Inter-layer Parallelism)

• رویکرد: لایه‌های متوالی مدل روی کارت‌های گرافیک مختلف چیده می‌شوند (مثلاً لایه ۱ تا ۸ روی نود ۱، لایه ۹ تا ۱۶ روی نود ۲). چالش اصلی ایجاد حباب بیکاری (Pipeline Bubble) است که با الگوریتم‌های میکرودسته (مانند GPipe) برطرف می‌شود.

۴.۳. آموزش همگام در برابر ناهمگام (Sync vs. Async Training) 🔴

۴.۴. الگوریتم‌های اجماع توزیع‌شده (Consensus Protocols) 🔴

در یک کلاستر توزیع‌شده، نودها باید بر سر اینکه چه کسی رهبر (Leader) است و چه داده‌ای معتبر است به توافق برسند: - الگوریتم Paxos: نخستین الگوریتم رسمی اجماع توزیع‌شده طراحی لزلی لمپورت؛ از نظر ریاضی فوق‌العاده اثبات‌شده اما پیاده‌سازی عملی آن بسیار دشوار است. - الگوریتم Raft: الگوریتم اجماع نوین و قابل فهم مبتنی بر وضعیت‌های Follower، Candidate و Leader. برای مدیریت لاگ‌های مشترک و تحمل خرابی در ابزارهای حیاتی مانند etcd (مغز متفکر کوبرنتیز) و ZooKeeper به کار می‌رود.

۴.۵. پروتکل‌های ارتباطی توزیع‌شده: حلقه کاهش تجمیعی (Ring All-Reduce) 🔴

در آموزش توزیع‌شده با صدها GPU، اگر همه کارت‌ها گرادیان‌های چند گیگابایتی خود را به یک سرور مرکزی (Parameter Server) بفرستند، پهنای باند سرور مرکزی فوراً قفل می‌شود.

       GPU 0 ───(ارسال به نود بعدی)───► GPU 1
         ▲                                │
         │                                ▼
       GPU 3 ◄───(ارسال به نود قبلی)─── GPU 2

• سازوکار Ring All-Reduce: کارت‌های گرافیک در یک حلقه منطقی مرتب می‌شوند. هر GPU گرادیان خود را به قطعات کوچک تقسیم کرده و تنها با همسایه مجاور خود تبادل می‌کند.
• مزیت انقلابی: حجم داده ارسالی توسط هر نود مستقل از تعداد کل پردازنده‌هاست؛ در نتیجه کلاستر تا صدها GPU بدون افت راندمان شبکه مقیاس‌پذیر می‌شود (کتابخانه‌های Nvidia NCCL و Horovod).

۴.۶. مکانیزم‌های تحمل‌پذیری خطا (Fault Tolerance) 🟠

• نقطه بازرسی دوره‌ای (Checkpointing): ذخیره خودکار وزن‌های مدل و وضعیت متغیرهای بهینه‌ساز روی ذخیره‌ساز ابری/دیسک در فواصل زمانی ثابت (مثلاً هر ۱۰۰۰ تکرار). در صورت سوختن یک GPU در ساعت پنجاهم، آموزش از ساعت چهل‌ونهم ادامه می‌یابد.
• گراف دودمان (Lineage Graph): مکانیزم اختصاصی RDD در اسپارک؛ به جای بکاپ‌گیری سنگین از کل داده‌ها در هر مرحله، صرفاً لیست توابع و تبدیلات اعمال‌شده ذخیره می‌شود تا در صورت سقوط یک سرور، داده آن نود از نو محاسبه شود.

۵. چگونه کار می‌کند؟

معماری اجرای پردازش توزیع‌شده هوش مصنوعی در سطح کلاستر (PyTorch DDP):

+-----------------------------------------------------------------------------+
|                           مجموعه داده آموزشی بزرگ                            |
+-----------------------------------------------------------------------------+
                                       │
            ┌──────────────────────────┼──────────────────────────┐
            ▼                          ▼                          ▼
      [Mini-batch 1]             [Mini-batch 2]             [Mini-batch 3]
            │                          │                          │
            ▼                          ▼                          ▼
+───────────────────────+  +───────────────────────+  +───────────────────────+
|      Worker Node 0    |  |      Worker Node 1    |  |      Worker Node 2    |
| ┌───────────────────┐ |  | ┌───────────────────┐ |  | ┌───────────────────┐ |
| │ کپی محلی مدل (GPU)│ |  | │ کپی محلی مدل (GPU)│ |  | │ کپی محلی مدل (GPU)│ |
| └─────────┬─────────┘ |  | └─────────┬─────────┘ |  | └─────────┬─────────┘ |
|           ▼           |  |           ▼           |  |           ▼           |
|  محاسبه گرادیان محلی  |  |  محاسبه گرادیان محلی  |  |  محاسبه گرادیان محلی  |
|      (G_0)            |  |      (G_1)            |  |      (G_2)            |
+───────────┬───────────+  +───────────┬───────────+  +───────────┬───────────+
            │                          │                          │
            └──────────────────────────┼──────────────────────────┘
                                       ▼
             [الگوریتم Ring All-Reduce از طریق شبکه InfiniBand/NCCL]
                                       │
            ┌──────────────────────────┼──────────────────────────┐
            ▼                          ▼                          ▼
     میانگین گرادیان            میانگین گرادیان            میانگین گرادیان
     به‌روزرسانی وزن ۰           به‌روزرسانی وزن ۱           به‌روزرسانی وزن ۲

۶. مثال واقعی

آموزش موازی مدل‌های بزرگ تشخیص تصویر پزشکی در ابعاد ۱۲۸ پردازنده گرافیکی

• مسئله: یک کنسرسیوم بهداشت و سلامت قصد داشت مدلی با ۲ میلیارد پارامتر را روی ۳۰ ترابایت اسکن‌های تومور ریه آموزش دهد. آموزش روی یک ایستگاه کاری با ۲ کارت گرافیک بیش از ۷ ماه زمان می‌برد که غیرعملیاتی بود.
• راهکار پیاده‌سازی پردازش توزیع‌شده:
• راه‌اندازی کلاستر شامل ۱۶ سرور، هر کدام دارای ۸ کارت گرافیک Nvidia A100 متصل با اینترکانکت پرسرعت NVLink و شبکه ۲۰۰ گیگابیت InfiniBand.
• استفاده از Distributed Data Parallel (DDP) در فریمورک PyTorch با بستر ارتباطی NCCL.
• اعمال الگوریتم همگام با سایز دسته بهینه (Global Batch Size) و تنظیم نرخ یادگیری با روش Linear Scaling Rule.
• اعمال چک‌پوینت اتوماتیک هر ۲ ساعت یکبار بر روی MinIO S3 Object Storage.
• نتیجه: کاهش زمان آموزش از ۷ ماه به ۳۸ ساعت بدون هیچ‌گونه افت دقت، همراه با ریکاوری خودکار در ۲ موردی که به دلیل نوسان حرارتی سرورها ریست شدند.

۷. مثال خیلی ساده

فرض کنید می‌خواهید یک پازل غول‌پیکر ۱۰,۰۰۰ تکه‌ای را حل کنید: - روش تک‌پردازنده: تنهایی می‌نشینید و تکه‌تکه امتحان می‌کنید. هفته‌ها طول می‌کشد. - روش پردازش توزیع‌شده (Data Parallelism): ۴ نفر از دوستانتان را دور میز جمع می‌کنید. پازل را به ۴ گوشه مساوی تقسیم می‌کنید و هر کس گوشه خودش را می‌چیند (محاسبات محلی). هر زمان تکه‌ای پیدا شد که لبه مشترک با گوشه دیگر داشت، سریع با همسایه خود چک می‌کنید و در پایان پازل کامل را در چند ساعت تحویل می‌دهید (الگوریتم همگام All-Reduce).

۸. تفاوت مفاهیم مشابه

ماتریس مقایسه متدهای موازی‌سازی هوش مصنوعی 🔴

۹. مزایا و محدودیت‌ها

مزایا ✅

• عبور از محدودیت‌های فیزیکی سخت‌افزار: امکان آموزش مدل‌هایی با اندازه‌های صدها میلیارد پارامتری.
• کاهش چشمگیر زمان رسیدن به بازار (Time-to-Market): کاهش زمان پروژه‌های تحقیقاتی از سال‌ها به چند روز یا ساعت.
• تحمل‌پذیری بالا در برابر خطای سخت‌افزار: پایداری سامانه با مکانیزم‌های بازتخصیص و Checkpointing.
• استفاده بهینه از سرمایه سخت‌افزاری: تجمیع توان ده‌ها سرور ارزان به جای خرید سوپرکامپیوترهای خاص.

محدودیت‌ها و چالش‌ها ⛔

• سربار تاخیر ارتباطی شبکه (Network Latency): اگر سوئیچ‌ها و شبکه کلاستر کند باشند، پردازنده‌ها بیش از محاسبات، معطل دریافت پیام می‌مانند.
• قانون آمداهل (Amdahl's Law): بخش‌های غیرقابل موازی‌سازی کد، حداکثر افزایش سرعت کلاستر را محدود می‌کنند (دو برابر کردن پردازنده‌ها هرگز سرعت را دو برابر نمی‌کند!).
• مشکل نودهای لنگان (Straggler Problem): افت عملکرد یک نود معیوب می‌تواند کل کلاستر را متوقف کند.
• پیچیدگی دیباگ و خطایابی: ردیابی خطاهای مسابقه (Race Conditions) و بن‌بست‌ها (Deadlocks) در کلاسترها بسیار پیچیده است.

۱۰. کاربردهای مهم در صنایع

۱۱. دیدگاه مشاوره‌ای

چه زمانی ورود به پردازش توزیع‌شده هوش مصنوعی توجیه‌پذیر است؟

1. وقتی زمان آموزش مدل روی یک سرور از ۳ روز کاری فراتر رفته و بازدهی تیم علم داده متوقف شده است.
2. وقتی ابعاد مدل به قدری بزرگ است که حتی با تکینک‌های کم‌حجم‌سازی (Quantization) در حافظه یک کارت گرافیک جا نمی‌شود.
3. وقتی سازمان دارای چندین پایگاه داده در استان‌های مختلف است و محدودیت‌های قانونی مانع از تجمیع مستقیم داده‌هاست (سناریوی یادگیری فدرال).

اشتباهات پرهزینه مشاوره‌ای در پردازش توزیع‌شده:

1. غفلت از گلوگاه شبکه (Network Bottleneck): خرید سرورهای متعدد GPU با کارت‌های شبکه معمولی ۱ گیگابیت خانگی! در پردازش توزیع‌شده، سرعت شبکه (حداقل ۱۰۰ تا ۴۰۰ گیگابیت InfiniBand یا RoCE) مهم‌تر از قدرت پردازنده است.
2. استفاده از معماری Parameter Server برای کلاسترهای بزرگ: همان‌طور که در سناریوها مطرح می‌شود، سرور مرکزی در کلاسترهای بزرگ تبدیل به گلوگاه مرگبار می‌شود.

سناریوی مشاوره‌ای ویژه آزمون نظام صنفی:

مسئله: یک پژوهشگاه ملی در حال آموزش یک مدل پردازش زبان طبیعی روی کلاستری شامل ۶۴ کارت گرافیک A100 است. مدیر پروژه گزارش می‌دهد که علی‌رغم ۴ برابر کردن کارت‌های گرافیک، سرعت آموزش تنها ۱۰ درصد بهتر شده و بررسی لاگ‌ها نشان می‌دهد پردازنده‌ها بیش از ۴۰ درصد زمان خود را در وضعیت «Idle» منتظر دریافت پیام از یک Master Node سپری می‌کنند.

راهکار مشاور رسمی هوش مصنوعی: ۱. شناسایی علت ریشه‌ای: وجود گلوگاه شدید ارتباطی ناشی از معماری سنتی Parameter Server و اشباع پورت شبکه سرور مرکزی. ۲. تغییر فوری استراتژی تبادل داده از Parameter Server به الگوریتم غیرمتمرکز Ring All-Reduce با استفاده از کتابخانه بهینه‌شده Nvidia NCCL. ۳. فعال‌سازی قابلیت FP16 / BF16 Mixed Precision جهت کاهش ۵۰ درصدی حجم گرادیان‌های ارسالی روی شبکه. ۴. ارتقای سوئیچ‌های شبکه به پروتکل RoCE v2 (RDMA over Converged Ethernet) برای دسترسی مستقیم حافظه بدون درگیر کردن CPU.

۱۲. قاعده تصمیم‌گیری

آیا مدل در حافظه VRAM یک کارت گرافیک جا می‌شود؟
├── بله ──► آیا زمان آموزش با یک کارت قابل قبول است؟
│           ├── بله ──► از محاسبات تک‌پردازنده استفاده کنید (وارد پیچیدگی توزیع‌شده نشوید!).
│           └── خیر ──► از **موازی‌سازی داده (Data Parallelism - PyTorch DDP)** استفاده کنید.
│
└── خیر (اندازه مدل فراتر از ظرفیت حافظه یک GPU است)
    ├── آیا مدل ساختار ترنسفورمر چندلایه دارد و پهنای باند شبکه نودها بسیار بالاست؟
    │   └── بله ──► از **موازی‌سازی تانسور (Tensor Parallelism)** با پلتفرم‌هایی نظیر DeepSpeed/Megatron استفاده کنید.
    └── در صورت محدودیت اینترکانکت شبکه ──► از **موازی‌سازی خط لوله‌ای (Pipeline Parallelism)** استفاده کنید.

۱۳. 🔴 نکات طلایی آزمون

1. قضیه CAP: در سیستم‌های توزیع‌شده واقعی همواره شکافت شبکه (P) رخ می‌دهد؛ بنابراین طراح سیستم باید آگاهانه بین سازگاری (CP) و دسترس‌پذیری (AP) انتخاب کند.
2. Data Parallelism: مدل کامل در تمام کارت‌ها کپی می‌شود؛ هر کارت بخش متفاوتی از داده‌ها را پردازش کرده و گرادیان‌ها در پایان به اشتراک گذاشته می‌شوند.
3. Model / Tensor Parallelism: لایه‌ها یا ماتریس‌های وزن شکسته شده و روی چند کارت گرافیک مجزا پخش می‌شوند (تنها راه آموزش مدل‌های بزرگ).
4. الگوریتم Ring All-Reduce: انتقال گرادیان‌ها در یک حلقه منطقی به گونه‌ای که پهنای باند مورد نیاز هر پردازنده مستقل از تعداد کل کارت‌های گرافیک کلاستر باقی می‌ماند.
5. آموزش همگام vs ناهمگام: در همگام دقت ریاضی بالاتر است اما مشکل نودهای لنگان (Straggler) وجود دارد؛ در ناهمگام سرعت بالاست اما خطر افت دقت به دلیل گرادیان‌های بیات (Stale Gradients) وجود دارد.
6. الگوریتم اجماع Raft: پروتکل اجماع نوین مبتنی بر رهبر برای مدیریت لاگ‌ها در ابزارهایی نظیر etcd و Apache Kafka.
7. کتابخانه NCCL (Nvidia Collective Communications Library): استاندارد ارتباطات پرسرعت میان چند GPU در پلتفرم‌های توزیع‌شده.
8. اصل بازسازی RDD در اسپارک: اتکا به Lineage Graph به جای ذخیره فیزیکی بکاپ در هر مرحله.
9. قانون آمداهل (Amdahl's Law): سقف حداکثر تسریع در پردازش موازی توسط کسری از برنامه که باید به صورت متوالی اجرا شود تعیین می‌گردد.
10. مکانیزم Checkpointing: تنها راهکار تضمین عدم اتلاف ساعت‌ها پردازش سنگین کلاستر در صورت خرابی قطعات سخت‌افزاری.

۱۴. ⚠️ دام‌های رایج آزمون

دام ۱: «با دو برابر کردن تعداد کارت‌های گرافیک در پردازش توزیع‌شده، زمان آموزش مدل دقیقاً نصف می‌شود.»
❌ پاسخ غلط! طبق قانون آمداهل و به دلیل سربار تاخیر انتقال داده‌ها روی شبکه، راندمان مقیاس‌پذیری کمتر از ۱۰۰٪ است (معمولاً بین ۷۰ تا ۹۰ درصد بسته به سرعت شبکه).

دام ۲: «در قضیه CAP می‌توان سیستمی طراحی کرد که همزمان C و A و P را به طور کامل پوشش دهد.»
❌ پاسخ غلط! از نظر ریاضی و فیزیکی اثبات شده است که در صورت قطع ارتباط شبکه (Partition)، دستیابی همزمان به داده‌های ۱۰۰٪ یکدست و پاسخگویی بی‌وقفه ناممکن است.

دام ۳: «موازی‌سازی داده (Data Parallelism) برای مدل‌هایی که حجم پارامترهای آن‌ها از رم پردازنده گرافیکی بیشتر است کافی است.»
❌ پاسخ غلط! در موازی‌سازی داده، باید کل مدل روی هر GPU جا شود. اگر مدل جا نشود، حتماً باید از موازی‌سازی تانسور یا خط لوله‌ای استفاده کرد.

دام ۴: «آموزش ناهمگام (Asynchronous) همیشه بهتر از همگام است زیرا هیچ کارتی معطل نمی‌ماند.»
❌ پاسخ غلط! آموزش ناهمگام منجر به پدیده Stale Gradients می‌شود که در مدل‌های حساس باعث واگرایی یا سقوط دقت خروجی شبکه عصبی می‌گردد.

۱۵. 🧠 خلاصه یک‌دقیقه‌ای

• پردازش توزیع‌شده یعنی اجرای هماهنگ وظایف محاسباتی فراتر از توان یک سرور روی کلاستری از ماشین‌های متصل به شبکه.
• قضیه CAP: اجبار به انتخاب میان سازگاری (CP) یا دسترس‌پذیری (AP) در زمان شکافت شبکه.
• موازی‌سازی داده: داده‌ها خرد می‌شوند و مدل در همه جا کپی است؛ گرادیان‌ها میانگین‌گیری می‌شوند.
• موازی‌سازی مدل/تانسور: وزن‌ها و ماتریس‌های لایه‌ها به دلیل بزرگی مدل بین کارت‌های گرافیک خرد می‌شوند.
• Ring All-Reduce: پروتکل انقلابی به اشتراک‌گذاری گرادیان‌ها در حلقه بدون نیاز به Master Node مرکزی.
• آموزش همگام (دقت بالا با خطر Straggler) در برابر ناهمگام (سریع با ریسک Stale Gradient).
• اجماع توزیع‌شده با Raft و Paxos برای حفظ هماهنگی پایدار کلاستر.

۱۶. نقشه ذهنی

پردازش توزیع‌شده در هوش مصنوعی
│
├── ۱. تئوری‌های پایه سیستم‌های توزیع‌شده
│   ├── قضیه CAP: سازگاری (C) | دسترس‌پذیری (A) | تحمل شکافت شبکه (P)
│   ├── قضیه PACELC: تعادل میان تاخیر (Latency) و سازگاری (Consistency)
│   └── الگوریتم‌های اجماع: Paxos و Raft (مدیریت کلاستر در etcd/ZooKeeper)
│
├── ۲. الگوهای موازی‌سازی هوش مصنوعی
│   ├── Data Parallelism: کپی کامل مدل، توزیع داده‌ها، تجمیع گرادیان‌ها
│   ├── Tensor Parallelism: خرد کردن ماتریس‌های وزن یک لایه (Megatron-LM)
│   └── Pipeline Parallelism: چیدن لایه‌های متوالی مدل روی نودهای مختلف (GPipe)
│
├── ۳. روش‌های همگام‌سازی
│   ├── Synchronous: دقت بالا، چالش نودهای کند (Stragglers)
│   └── Asynchronous: بدون معطلی، چالش گرادیان‌های تاریخ‌گذشته (Stale Gradients)
│
├── ۴. توپولوژی و پروتکل‌های شبکه
│   ├── Parameter Server: متمرکز، مستعد گلوگاه پهنای باند در کلاسترهای بزرگ
│   └── Ring All-Reduce: حلقه غیرمتمرکز، مقیاس‌پذیری مستقل از تعداد نودها (NCCL)
│
└── ۵. قابلیت پایداری و تحمل خطا
    ├── Checkpointing: ذخیره دوره‌ای وزن‌ها و وضعیت بهینه‌ساز روی استوریج
    └── Lineage Graph: بازسازی زنجیره محاسبات بدون ذخیره داده در اسپارک

۱۷. ارتباط با سایر مباحث