فناوری‌های کلان‌داده و ویژگی‌های ۵ گانه (Big Data & Hadoop Ecosystem)

مبحث ۴: فناوری‌های کلان داده

Big Data Technologies & Distributed Ecosystems

۱. این مبحث دقیقاً درباره چیست؟

با پیشرفت سامانه‌های وب، شبکه‌های اجتماعی، اینترنت اشیاء (IoT) و گوشی‌های هوشمند، حجم داده‌های دیجیتال جهان به مقیاس زتابایت (Zettabyte) رسیده است. این حجم عظیم و سرعت سرسام‌آور داده‌ها، مدل‌های سنتی محاسباتی و پایگاه‌های داده رابطه‌ای متمرکز را با بن‌بست فیزیکی مواجه کرده است؛ زیرا هیچ سرور تکی وجود ندارد که بتواند پتابایت‌ها داده را ذخیره کرده یا در کسری از ثانیه میلیاردها رکورد را تحلیل کند.

فناوری‌های کلان داده (Big Data Technologies) مجموعه‌ای از چارچوب‌های نرم‌افزاری، سیستم‌های فایل توزیع‌شده و موتورهای پردازش موازی هستند که امکان ذخیره‌سازی و پردازش داده‌ها را روی صدها یا هزاران سرور ارزان‌قیمت تجاری (Commodity Hardware) در قالب یک کلاستر هماهنگ فراهم می‌سازند.

در پروژه‌های هوش مصنوعی، فناوری‌های کلان داده زیربنای آماده‌سازی داده‌ها (Data Preprocessing)، مهندسی ویژگی در مقیاس وسیع (Feature Engineering at Scale) و آموزش موازی مدل‌های یادگیری عمیق به شمار می‌روند.

۲. تعریف ساده

تعریف ساده: کلان داده یعنی کار با داده‌هایی آن‌قدر بزرگ، سریع و متنوع که در یک کامپیوتر یا اکسل جا نمی‌شوند و برای ذخیره و خواندن آن‌ها باید ارتشی از صدها کامپیوتر را وادار کنیم همزمان با هم مثل یک تیم هماهنگ کار کنند.

۳. تعریف تخصصی

تعریف تخصصی (چارچوب NIST و تعریف داگ لینی - موسسه گارتنر): کلان داده به دارایی‌های اطلاعاتی با حجم بسیار بالا (High-Volume)، سرعت بسیار زیاد (High-Velocity) و تنوع بسیار گسترده (High-Variety) گفته می‌شود که پردازش، تحلیل و استخراج ارزش از آن‌ها نیازمند معماری‌های نوین، سیستم‌های توزیع‌شده مقیاس‌پذیر افقی و فناوری‌های پردازش موازی فراتر از ظرفیت سامانه‌های سنتی مدیریت پایگاه داده است.

۴. مفاهیم کلیدی

۴.۱. ابعاد بنیادین کلان داده (The 5Vs of Big Data) 🔴

                  +-------------------+
                  |      Volume       |  حجم بسیار بالا (ترابایت تا اگزابایت)
                  +---------+---------+
                            |
         +------------------+------------------+
         |                  |                  |
+--------+--------+ +-------+-------+ +--------+--------+
|    Velocity     | |    Variety    | |    Veracity     |
| سرعت تولید لحظه‌ای| | تنوع ساختاری  | | اعتبار و صحت داده|
+--------+--------+ +-------+-------+ +--------+--------+
                            |
                  +---------+---------+
                  |       Value       |  ارزش‌آفرینی تجاری و استخراج بینش
                  +-------------------+

1. حجم (Volume): مقیاس داده‌ها فراتر از توان ذخیره‌سازی محلی (از ترابایت و پتابایت تا اگزابایت).
2. سرعت (Velocity): نرخ بالای تولید و نیاز به پردازش بلادرنگ جریان‌های ورودی (مانند میلیون‌ها کلیک در ثانیه یا فید ترافیک بورس).
3. تنوع (Variety): پشتیبانی همزمان از داده‌های ساختاریافته (جداول SQL)، نیمه‌ساختاریافته (JSON, Log) و بدون‌ساختار (ویدیو، صوت، متن، امواج حسگرها).
4. صحت و دقت (Veracity): میزان اطمینان‌پذیری، پاکیزگی و غلبه بر نویزها و خطاهای ذاتی داده‌های گردآوری‌شده.
5. ارزش (Value): تبدیل سیل داده‌ها به بینش‌های قابل اقدام (Actionable Insights) و سودآوری اقتصادی برای سازمان.

۴.۲. اکوسیستم سنتی آپاچی هادوپ (Apache Hadoop Ecosystem) 🔴

هادوپ آغازگر عصر نوین کلان داده بود و سه لایه بنیادین دارد:

۱. سیستم فایل توزیع‌شده هادوپ (HDFS - Hadoop Distributed File System)

• داده‌ها را به بلاک‌های بزرگ با اندازه پیش‌فرض ۱۲۸ مگابایت خرد می‌کند.
• تحمل خطا (Fault Tolerance): هر بلاک به طور پیش‌فرض روی ۳ سرور مختلف کپی می‌شود (Replication Factor = 3).
• معماری Master/Worker: نود مدیریت فراداده موسوم به NameNode (مدیریت دایرکتوری و مکان بلاک‌ها) و نودهای ذخیره‌سازی موسوم به DataNode.

۲. مدیر منابع یارن (YARN - Yet Another Resource Negotiator)

• هسته زمان‌بندی وظایف و تخصیص منابع (CPU و RAM) به جاب‌های پردازشی در سطح تمام سرورهای کلاستر.

۳. الگوی پردازش مپ‌ریدیوس (MapReduce)

• الگوی پردازش دسته‌ای مبتنی بر دو گام اصلی: مرحله نگاشت (Map) برای تفکیک و فیلتر موازی، و مرحله کاهش (Reduce) برای تجمیع نتایج.
• نقطه ضعف اصلی: ذخیره‌سازی مکرر خروجی‌های میانی روی دیسک (Disk I/O) که باعث کندی شدید در پردازش‌های تکرارشونده و الگوریتم‌های هوش مصنوعی می‌شود.

۴.۳. موتور پردازش درون‌حافظه‌ای آپاچی اسپارک (Apache Spark) 🔴

اسپارک جایگزین مدرن MapReduce شد و به دلیل پردازش در حافظه رم (In-Memory Processing)، سرعت محاسبات را ۱۰ تا ۱۰۰ برابر افزایش داد:

• مفهوم RDD (Resilient Distributed Datasets): ساختار پایه‌ای داده‌ها در اسپارک؛ غیرقابل‌تغییر (Immutable)، توزیع‌شده و با قابلیت بازسازی خودکار در صورت خرابی یک سرور بر مبنای گراف منشا داده (Lineage Graph).
• لایه‌های تکاملی DataFrame و Dataset: ساختارهای جدولی بهینه‌سازی‌شده با موتور بهینه‌ساز Catalyst و موتور اجرای کدهای بومی Tungsten.
• کتابخانه‌های تخصصی اسپارک:
• Spark SQL: برای کوئری‌گیری استاندارد SQL روی داده‌های حجیم.
• Spark Streaming (Structured Streaming): برای پردازش جریان‌های زنده داده.
• MLlib: کتابخانه توزیع‌شده الگوریتم‌های یادگیری ماشین (رگرسیون، خوشه‌بندی، جنگل تصادفی).
• GraphX: پردازش محاسبات گراف‌های پیچیده شبکه‌ای.

۴.۴. سامانه‌های ارسال پیام و پردازش استریم (Streaming & Ingestion) 🔴

آپاچی کافکا (Apache Kafka)

• ماهیت: یک پایگاه داده توزیع‌شده مبتنی بر لاگ تعهدات (Distributed Commit Log) با توان پردازشی بسیار بالا (High Throughput) و تاخیر ناچیز.
• مفاهیم اصلی: تولیدکننده (Producer)، موضوعات پیام (Topics)، پارتیشن‌های موازی (Partitions)، گروه‌های مصرف‌کننده (Consumer Groups) و ذخیره‌سازی داده‌ها روی دیسک به شکل ترتیبی (Sequential I/O).
• کاربرد: ستون فقرات اتصال تمام سامانه‌های سازمانی به کلاسترهای کلان داده و خطوط انتقال داده بلادرنگ.

آپاچی فلینک (Apache Flink)

• ماهیت: موتور پردازش استریم واقعی (True Streaming / Event-by-Event) بر خلاف اسپارک استریمینگ سنتی که از خردتکه‌ها (Micro-batches) استفاده می‌کرد.
• مزیت: تاخیر زیر میلی‌ثانیه و پردازش وضعیت‌دار (Stateful Processing) دقیق حتی در صورت دیر رسیدن پیام‌ها (Out-of-Order Events).

۴.۵. پایگاه‌های داده غیررابطه‌ای (NoSQL Databases) 🔴

کلان داده نیازمند دیتابیس‌هایی بود که بدون اتکا به ساختارهای صلب رابطه‌ای (RDBMS) قابلیت مقیاس‌پذیری افقی خطی داشته باشند:

۴.۶. معماری‌های پردازش کلان داده: لامبدا در برابر کاپا (Lambda vs. Kappa) 🔴

[معماری لامبدا - Lambda]
                   ┌──► لایه دسته‌ای (Batch Layer - Hadoop/Spark) ──► لایه سرویس‌دهی ──┐
[جریان داده ورودی] ─┤                                                                 ├──► کوئری خروجی
                   └──► لایه سریع (Speed Layer - Kafka/Storm)     ──► نتایج بلادرنگ  ──┘

[معماری کاپا - Kappa]
[جریان داده ورودی] ─────► موتور پردازش استریم واحد (Kafka + Flink) ─────► لایه سرویس‌دهی ──► کوئری خروجی

۴.۷. محاسبات نزدیک به داده (Data Locality) و مقیاس‌پذیری 🔴

• مقیاس‌پذیری افقی (Scale-Out): افزودن سرورهای متوسط جدید به کلاستر (هسته اصلی فناوری‌های Big Data) در برابر مقیاس‌پذیری عمودی (Scale-Up) که ارتقای پرهزینه CPU و RAM یک تک‌سرور است و سقف فیزیکی دارد.
• اصل Data Locality: در سامانه‌های توزیع‌شده، انتقال پتابایت‌ها داده از طریق شبکه محلی برای رسیدن به CPU فاجعه پهنای باند ایجاد می‌کند. بنابراین هادوپ و اسپارک کدهای برنامه‌نویسی سبک را به همان سروری می‌فرستند که دیسک حاوی داده در آن قرار دارد («ارسال کد به داده، نه داده به کد»).

۵. چگونه کار می‌کند؟

گردش کار گام‌به‌گام پردازش یک جاب اسپارک روی کلاستر توزیع‌شده:

[برنامه کاربر (Driver Program)]
 (تعریف RDDها، فیلترها و عملیات)
       │
       ▼ ساخت گراف غیرمدور جهت‌دار (DAG) و ارسال به زمان‌بند
[Spark Master / Cluster Manager (YARN / K8s)]
       │
       ├──────────────────────────────┬──────────────────────────────┐
       ▼                              ▼                              ▼
[Worker Node 1]                [Worker Node 2]                [Worker Node 3]
┌─────────────────────────┐    ┌─────────────────────────┐    ┌─────────────────────────┐
│ Executor (CPU Cores)    │    │ Executor (CPU Cores)    │    │ Executor (CPU Cores)    │
│ Task 1 (پردازش بلاک ۱)  │    │ Task 2 (پردازش بلاک ۲)  │    │ Task 3 (پردازش بلاک ۳)  │
│ داده در RAM محلی (RDD)  │    │ داده در RAM محلی (RDD)  │    │ داده در RAM محلی (RDD)  │
└─────────────────────────┘    └─────────────────────────┘    └─────────────────────────┘

1. ارسال برنامه به درایور (Driver): کد کاربر گراف اجرای منطقی (DAG - Directed Acyclic Graph) را تشکیل می‌دهد.
2. بهینه‌سازی توسط Catalyst: فیلترها ادغام شده و ستون‌های زائد پیش از خواندن دیسک حذف می‌شوند.
3. شکستن جاب به فازها (Stages): جاب‌ها بر اساس نیاز به بازآرایی داده‌ها در شبکه (Shuffle Operations) به استیج‌های موازی شکسته می‌شوند.
4. اجرای وظایف (Tasks): تسک‌ها به صورت محلی در Executorهای مستقر روی نودها به موازات هم اجرا شده و نتایج نهایی به نود درایور برگشت داده می‌شوند.

۶. مثال واقعی

پردازش بلادرنگ تراکنش‌های کارت‌به‌کارت و کشف تقلب در شبکه بانکی

• مسئله: یک سامانه پرداخت شاپرکی با بیش از ۳۰ میلیون تراکنش روزانه، نیازمند شناسایی تراکنش‌های مشکوک (مانند خالی شدن متوالی کارت در دو شهر مختلف با فاصله زمانی ۵ دقیقه) در زمان کمتر از ۵۰۰ میلی‌ثانیه بود. پایگاه‌های داده اوراکل به دلیل حجم تقاضای همزمان، با تاخیر ۵ ثانیه‌ای پاسخ می‌دادند.
• راهکار پیاده‌سازی زیرساخت کلان داده:
• ارسال مستقیم رویدادهای تراکنشی به کلاستر توزیع‌شده Apache Kafka در چند پارتیشن مجزا بر اساس کد بانک.
• خواندن رویدادها توسط موتور پردازش استریم Apache Flink با اعمال پنجره‌های زمانی لغزان (Sliding Windows) ۵ دقیقه‌ای.
• استعلام مشخصات کارت از پایگاه داده کلید-مقداری توزیع‌شده Redis مستقر در رم نودها.
• تطبیق ویژگی‌های تراکنش با مدل سبک جنگل تصادفی آموزش‌دیده در اسپارک.
• نتیجه: کاهش زمان ارزیابی تقلب به ۱۲۰ میلی‌ثانیه و پیشگیری از صدها میلیارد تومان کلاهبرداری سایبری در سال بدون ایجاد گلوگاه پردازشی.

۷. مثال خیلی ساده

فرض کنید قرار است ۱ میلیون سیب‌زمینی را برای یک پادگان پوست بکنید: - روش سنتی (Scale-Up): یک آشپز بسیار ماهر و سریع استخدام می‌کنید و یک چاقوی برقی گران‌قیمت به او می‌دهید. هرچقدر هم ماهر باشد، بعد از چند هزار سیب‌زمینی خسته شده و دستش ظرفیت فیزیکی بیشتری ندارد! - روش کلان داده (Scale-Out و هادوپ/اسپارک): ۱۰۰۰ نفر سرباز معمولی استخدام می‌کنید. سیب‌زمینی‌ها را در ۱۰۰۰ گونی مساوی تقسیم کرده و به هر کدام یک گونی و یک چاقوی معمولی می‌دهید (توزیع داده HDFS). یک فرمانده به همه اعلام می‌کند کار را شروع کنند (مدیریت منابع YARN) و در پایان پوست‌کنده هر کیسه را تحویل دهند (عملیات MapReduce). ظرف چند دقیقه کل کار تمام می‌شود!

۸. تفاوت مفاهیم مشابه

ماتریس مقایسه پیشران‌های پردازش کلان داده 🔴

۹. مزایا و محدودیت‌ها

مزایا ✅

• مقیاس‌پذیری نامحدود و اقتصادی: اضافه کردن سرورهای ارزان با رشد نیاز سازمان، بدون نیاز به خرید سوپرکامپیوترهای چندمیلیون دلاری.
• تحمل خطای ذاتی سخت‌افزاری: سوختن هارد یا خاموش شدن یک سرور در کلاستر هادوپ/اسپارک هیچ اثری بر توقف کلی برنامه ندارد.
• پردازش چندوجهی: امکان ترکیب تحلیل‌های گراف، کوئری‌های SQL و یادگیری ماشین روی یک کلاستر واحد.
• پاسخگویی به نیازهای بلادرنگ: توانایی پاسخ به رویدادهای زنده بازار در کسری از ثانیه با ابزارهایی نظیر کافکا و فلینک.

محدودیت‌ها و چالش‌ها ⛔

• پیچیدگی فنی و کمبود نیروی انسانی متخصص: راه‌اندازی، تنظیم پارامترها (Tuning) و خطایابی کلاسترهای کلان داده نیازمند مهندسان داده ارشد است.
• سربار شبکه (Network Shuffle): در صورت طراحی نادرست کلیدها، ترافیک رد و بدل شدن داده بین سرورها می‌تواند کل شبکه را قفل کند.
• نامناسب بودن برای داده‌های کوچک: استفاده از هادوپ یا اسپارک برای داده‌های زیر چند گیگابایت به دلیل سربار راه‌اندازی کلاستر، کندتر از یک اسکریپت ساده پایتون یا دیتابیس PostgreSQL است!
• عدم پشتیبانی کامل از تراکنش‌های سنتی ACID: به دلیل اولویت با دسترس‌پذیری و مقیاس‌پذیری در قضیه CAP.

۱۰. کاربردهای مهم در صنایع

۱۱. دیدگاه مشاوره‌ای

چه زمانی باید به سراغ فناوری‌های کلان داده رفت؟

1. وقتی حجم داده از ظرفیت رم و دیسک یک سرور قدرتمند (مثلاً ۱ ترابایت) فراتر رفته است.
2. وقتی نرخ ورود داده به پایگاه داده از چند ده هزار عملیات نوشتن در ثانیه عبور کرده است.
3. وقتی پردازش گزارش‌های ماهانه سازمان بر روی دیتابیس‌های سنتی بیش از یک شبانه‌روز طول می‌کشد.
4. وقتی تنوع داده‌ها به گونه‌ای است که مدل‌های RDBMS قادر به ذخیره فرمت‌های نیمه‌ساختاریافته نیستند.

چه زمانی فناوری‌های کلان داده اتلاف هزینه و اشتباه مشاوره‌ای است؟

1. تله «داده‌های کوچک در لباس کلان داده»: شرکت‌هایی که مجموع کل داده‌های سالانه‌شان کمتر از ۵۰ گیگابایت است اما به دلیل تبلیغات رسانه‌ای به سراغ کلاستر چند سروره هادوپ می‌روند! یک سرور پایگاه داده بهینه‌سازی‌شده PostgreSQL بسیار سریع‌تر، ارزان‌تر و پایدارتر عمل می‌کند.
2. تیم‌های کوچکی که فاقد ادمین لینوکس، مهندس شبکه و مهندس داده مسلط بر اکوسیستم توزیع‌شده هستند.

سناریوی مشاوره‌ای ویژه آزمون نظام صنفی:

مسئله: یک خبرگزاری پرمخاطب داخلی برای تحلیل نظرات کاربران و اخبار لحظه‌ای شبکه‌های اجتماعی از یک کلاستر سنتی MapReduce هادوپ استفاده می‌کند. با بالا رفتن ترافیک در رویدادهای خبری مهم، پردازش اخبار تا ۳ ساعت به تاخیر می‌افتد و سرورها مدام با خطای پر شدن دیسک‌های نودها از کار می‌افتند.

راهکار مشاور رسمی هوش مصنوعی: ۱. مهاجرت از الگوی منسوخ MapReduce به Apache Spark / Flink برای انجام پردازش‌ها در حافظه رم و حذف سربار فاجعه‌بار دیسک I/O. ۲. استفاده از Apache Kafka به عنوان لایه بافر پیام در ورودی سامانه تا نوسانات ناگهانی ترافیک (Traffic Spikes) مهار شده و از سقوط سرورهای پردازشی جلوگیری شود. ۳. بازبینی پارتیشن‌بندی داده‌ها و استفاده از کش Redis برای نهادها و کلمات پرتکرار جهت تسریع چندبرابری تحلیل متن.

۱۲. قاعده تصمیم‌گیری

آیا حجم داده کمتر از ۱۰۰ گیگابایت است و به صورت جدولی ساختاریافته است؟
├── بله ──► از RDBMSهای استاندارد (PostgreSQL / SQL Server) استفاده کنید (سراغ Big Data نروید!).
│
└── خیر (حجم، سرعت یا تنوع بسیار بالاست)
    ├── آیا نیاز به پایگاه داده با قابلیت مقیاس افقی بالا دارید؟
    │   ├── داده شبه‌جیسون با ساختار متغیر ──► MongoDB
    │   ├── کش کلید-مقداری در رم با سرعت میکرونی ──► Redis
    │   ├── نرخ نوشتن دیوانه‌وار و ستون‌های نامحدود ──► Apache Cassandra / HBase
    │   └── تحلیل روابط پیچیده شبکه‌ای و دوستی‌ها ──► Neo4j
    │
    └── آیا نیاز به پردازش تحلیلی و یادگیری ماشین دارید؟
        ├── پردازش دسته‌ای و آموزش مدل‌های آفلاین ──► Apache Spark (MLlib)
        └── پردازش استریم واقعی زیرمیلی‌ثانیه ──► Apache Kafka + Apache Flink

۱۳. 🔴 نکات طلایی آزمون

1. پنج V اصلی کلان داده: Volume (حجم)، Velocity (سرعت)، Variety (تنوع)، Veracity (صحت)، Value (ارزش).
2. اندازه پیش‌فرض بلاک در HDFS: برابر با ۱۲۸ مگابایت (به منظور کاهش سربار فراداده در NameNode و انتقال بهینه داده‌های حجیم).
3. ضریب تکرار پیش‌فرض HDFS: برابر با ۳ نسخه (Replication Factor = 3) برای تضمین تحمل خطای سخت‌افزاری.
4. تفاوت بنیادین Spark و MapReduce: اسپارک با پردازش درون‌حافظه‌ای (In-Memory) و ساختار RDD تا ۱۰۰ برابر سریع‌تر از مپ‌ریدیوس عمل می‌کند.
5. ساختار RDD در اسپارک: داده‌های توزیع‌شده منعطف، تغییرناپذیر (Immutable) و دارای گراف دودمان (Lineage Graph) برای بازسازی خودکار خرابی‌ها.
6. آپاچی کافکا: بروکر توزیع‌شده با کارایی فوق‌العاده بالا مبتنی بر ثبت ترتیبی روی دیسک (Append-only Log).
7. انواع NoSQL: سندمحور (MongoDB)، کلید-مقداری (Redis)، ستون‌گسترده (Cassandra)، گراف‌محور (Neo4j).
8. معماری Lambda در برابر Kappa: لامبدا دارای دو مسیر مجزا (Batch + Speed) است؛ کاپا فقط یک مسیر واحد استریم (Stream-Only) دارد.
9. اصل Data Locality: جابجایی کدهای محاسباتی سبک به سرورهای محل ذخیره داده، نه ارسال داده‌های سنگین روی کابل‌های شبکه.
10. مقیاس‌پذیری افقی (Scale-Out): افزایش تعداد کامپیوترها در کلاستر؛ استراتژی پایه در تمام فناوری‌های کلان داده.

۱۴. ⚠️ دام‌های رایج آزمون

دام ۱: «آپاچی اسپارک برای کارکردن حتماً نیازمند نصب هادوپ و سیستم فایل HDFS است.»
❌ پاسخ غلط! اسپارک یک موتور پردازشی مستقل است و می‌تواند روی کلاسترهای Kubernetes، Standalone یا روی Object Storage (مانند Amazon S3 یا MinIO) بدون نیاز به هادوپ اجرا شود.

دام ۲: «افزایش اندازه بلاک در HDFS به ۱۲۸ مگابایت به دلیل هدر رفتن فضای ذخیره‌سازی اشتباه است.»
❌ پاسخ غلط! بلاک‌های بزرگ در HDFS هزینه‌ای برای فضای دیسک ندارند (تنها به اندازه فایل فضا مصرف می‌شود) و باعث می‌شوند جدول فراداده NameNode در رم سرور کوچک بماند و زمان Seek هارد دیسک کاهش یابد.

دام ۳: «پایگاه داده Redis به عنوان یک دیتابیس کلید-مقداری رم، گزینه مناسبی برای آرشیو ده‌ها ترابایت داده تاریخی است.»
❌ پاسخ غلط! ردیس داده‌ها را در RAM نگه می‌دارد که برای حجم‌های بسیار بالا به شدت گران و غیراقتصادی است؛ ردیس مناسب کش و صف‌بندی است و داده‌های حجیم باید در سیستم‌هایی مانند Cassandra یا HDFS ذخیره شوند.

دام ۴: «معماری کاپا (Kappa) دارای دو لایه پردازشی مجزا برای داده‌های تاریخی و داده‌های بلادرنگ است.»
❌ پاسخ غلط! معماری لامبدا دو لایه دارد؛ معماری کاپا تمامی پردازش‌ها را به شکل یک خط لوله واحد جریانی (Stream-only) انجام می‌دهد.

۱۵. 🧠 خلاصه یک‌دقیقه‌ای

• کلان داده یعنی عبور از مرز حجم، سرعت و تنوع قابل پردازش توسط سرورهای سنتی (5Vs).
• هادوپ: HDFS (بلاک‌های ۱۲۸ مگ با رپلیکیشن ۳) + YARN (مدیریت منابع) + MapReduce (پردازش دیسک‌محور).
• اسپارک: انقلاب پردازش در حافظه رم (RDD و DataFrames) با سرعتی تا ۱۰۰ برابر هادوپ.
• کافکا: لایه لاگ توزیع‌شده جریان داده با توان بی‌نظیر برای اتصال زیرساخت‌ها.
• فلینک: موتور پردازش استریم بلادرنگ با تاخیر زیر میلی‌ثانیه.
• دیتابیس‌های NoSQL: MongoDB (سندی)، Redis (کلید-مقدار رم)، Cassandra (ستون‌گسترده مقیاس‌پذیر)، Neo4j (گراف روابط).
• معماری لامبدا (Batch + Speed) در برابر کاپا (Stream-Only).
• اصل طلایی: محاسبات نزدیک به داده (Data Locality) و مقیاس‌پذیری افقی (Scale-Out).

۱۶. نقشه ذهنی

فناوری‌های کلان داده (Big Data Ecosystem)
│
├── ۱. مبانی و ابعاد
│   ├── ابعاد ۵ گانه: Volume | Velocity | Variety | Veracity | Value
│   └── استراتژی مقیاس: مقیاس‌پذیری افقی (Scale-Out) و اصل Data Locality
│
├── ۲. بستر آپاچی هادوپ (Hadoop)
│   ├── HDFS: بلاک‌های ۱۲۸ مگابایتی، Replication Factor=3، معماری NameNode/DataNode
│   ├── YARN: زمان‌بندی جاب‌ها و مدیریت منابع کلاستر
│   └── MapReduce: نگاشت و کاهش با سربار بالای خواندن/نوشتن دیسک
│
├── ۳. موتورهای پردازش نوین
│   ├── Apache Spark: پردازش درون‌حافظه‌ای، RDD، DataFrames، Catalyst Optimizer
│   └── Apache Flink: پردازش استریم واقعی (Event-driven) با تاخیر زیر میلی‌ثانیه
│
├── ۴. لایه پیام‌رسانی و استریم
│   └── Apache Kafka: ثبت ترتیبی، پارتیشن‌بندی، Topics، مقیاس‌پذیری جریان‌ها
│
├── ۵. پایگاه‌های داده NoSQL
│   ├── Document: MongoDB (BSON/JSON)
│   ├── Key-Value: Redis (بسیار سریع در RAM)
│   ├── Wide-Column: Cassandra و HBase (نوشتن نامحدود)
│   └── Graph: Neo4j (روابط شبکه‌ای و کشف تقلب)
│
└── ۶. معماری‌های تلفیقی
    ├── Lambda Architecture: دولایه موازی (Batch Layer + Speed Layer)
    └── Kappa Architecture: تک‌لایه یکپارچه استریمینگ

۱۷. ارتباط با سایر مباحث