فصل 2: مهندسی داده، زیرساخت و معماری سامانه‌های داده‌محور

طراحی معماری داده سازمانی، مقایسه راهبردی خطوط لوله ETL و ELT، مدل‌های ذخیره‌سازی داده و الگوهای مدرن یکپارچه‌سازی سامانه‌ها با مثال‌های اجرایی.

آموزش انبار داده: اسکیماهای ستاره‌ای و دانه‌برفی، جداول واقعیت و بعد، انواع ابعاد با تغییرات کند (SCD نوع ۱، ۲ و ۳) بر مبنای متدولوژی کیمبال.

راهنمای جامع دریاچه داده و Lakehouse: معماری برنز، نقره و طلا، فرمت‌های ستونی Parquet، تراکنش‌های اسیدی Delta Lake و تفکیک ذخیره‌سازی از پردازش.

ابعاد ۵گانه کلان‌داده (حجم، سرعت، تنوع، صحت و ارزش)، سیستم فایل توزیع‌شده HDFS، مدل پردازش موازی MapReduce و پایگاه‌های NoSQL.

بررسی عمیق آپاچی اسپارک: ساختارهای RDD و DataFrames، بهینه‌ساز کاتالیست Catalyst، پردازش جریانی Spark Streaming و معماری‌های Lambda و Kappa.

حاکمیت داده بر مبنای استاندارد DAMA-DMBOK: چرخ داما، کاتالوگ داده، شجره‌نامه (Data Lineage)، نقش‌های سازمانی Data Steward و داده‌های ارشد MDM.

ابعاد ۶گانه کیفیت داده: کامل‌بودن، صحت، سازگاری، به‌موقع‌بودن، اعتبار و یکتایی داده‌ها، همراه با پیاده‌سازی پایپ‌لاین‌های Great Expectations.

اصول معماری انقلابی Data Mesh زامک دهقانی: مالکیت غیرمتمرکز داده، داده به عنوان محصول (Data as a Product)، پلتفرم سلف‌سرویس و حاکمیت فدرال.