بازیابی افزوده متن (RAG) و تنظیم دقیق (Fine-Tuning)

مبحث ۵: RAG و Fine-Tuning

Retrieval-Augmented Generation & Parameter-Efficient Fine-Tuning (PEFT)

۱. این مبحث دقیقاً درباره چیست؟

مدل‌های زبانی بزرگ پایه (Pre-trained Foundation LLMs) مانند LLaMA یا GPT-4، با حجم انبوهی از داده‌های عمومی اینترنت آموزش دیده‌اند؛ اما در دو سناریوی حیاتی سازمانی دچار شکست حتمی می‌شوند: 1. دسترسی به دانش اختصاصی و زنده: مدل پایه از اسناد مالی محرمانه شرکت شما، بخشنامه‌های دیشب بانک مرکزی، پرونده‌های بیماران بیمارستان یا آیین‌نامه‌های داخلی سازمان هیچ اطلاعی ندارد و در صورت اصرار کاربر، دچار «توهم» (Hallucination) می‌شود. 2. انطباق بر سبک، زبان تخصصی و فرمت دقیق: مدل پایه ممکن است زبان پزشکی تخصصی، عبارات فقهی-حقوقی، اصطلاحات خطای سیستم‌های مخابراتی یا یک خروجی بدون نقص JSON را طبق استاندارد درون‌سازمانی تولید نکند.

برای رفع این دو نقیصه، دو پارادایم فناورانه وجود دارد: - تولید افزوده با بازیابی (RAG): نگه‌داشتن وزن‌های مدل در حالت منجمد (Frozen) و تزریق داده‌های مرتبط از یک پایگاه دانش خارجی در زمان پرسش. - تنظیم دقیق (Fine-Tuning): دستکاری و به‌روزرسانی وزن‌های درونی مدل با داده‌های جفت‌شده تخصصی جهت درونی‌سازی رفتار یا سبک نو.

این مبحث به عنوان سنگ‌بنای معماری سیستم‌های سازمانی، به کالبدشکافی خط لوله کامل RAG (از تقطیع Chunking تا Reranking و GraphRAG)، تکنیک‌های مدرن و کم‌هزینه Fine-Tuning نظیر LoRA و QLoRA، روش‌های هم‌راستاسازی رفتاری (RLHF و DPO) و ماتریس تصمیم‌گیری استراتژیک برای مشاوران فناوری اطلاعات می‌پردازد.

۲. تعریف ساده

تعریف ساده: فرض کنید یک دانشجو می‌خواهد در آزمون جامع تخصصی شرکت کند: - رویکرد RAG مانند «امتحان کتاب‌باز» (Open-Book Exam) است: دانشجو همه چیز را حفظ نکرده است؛ اما کتابخانه مرجع و آیین‌نامه‌ها جلوی دست اوست. هر وقت سؤالی بیاید، صفحه مرتبط را باز می‌کند، می‌خواند و با تکیه بر هوش خود پاسخی مستند با ذکر شماره صفحه می‌نویسد. - رویکرد Fine-Tuning مانند «دوره‌های کارآموزی تخصصی» (Intensive Training) است: به دانشجو صدها نمونه پرونده بالینی می‌دهیم تا لحن صحبت کردن، اصطلاحات اتاق عمل و آداب نوشتن گزارش پزشکی در مغز و استخوان او نهادینه شود (تغییر در ساختار حافظه درونی).

۳. تعریف تخصصی

تعریف تخصصی (مهندسی سامانه‌های شناختی): - RAG (Retrieval-Augmented Generation): یک الگوی معماری مرکب و بدون دستکاری وزن (Non-Parametric Memory) است که فرآیند استنتاج را به دو مرحله تفکیک می‌کند: الف) بازیابی چگال (Dense Retrieval) مبتنی بر جستجوی شباهت در فضای برداری نهان اسناد، ب) شرطی‌سازی مدل مولد پارامتری بر روی محتوای بازیابی‌شده ($P(\text{Output} \mid \text{Query}, \text{Context})$) جهت تضمین استنادپذیری و بهینه‌سازی فکت‌های پویا. - Fine-Tuning: فرآیند بهینه‌سازی پارامتریک و پس‌انتشار گرادیان (Gradient Backpropagation) بر روی توزیع داده هدف ($D_{\text{target}}$) است؛ چه به صورت تمام‌وزن (Full Fine-Tuning) و چه با سازگاری پارامتر-کارا (PEFT) از طریق بازنمایی رتبه پایین ماتریس‌های گرادیان جهت تثبیت سبک، گرامر ساختاریافته و هم‌راستاسازی با ترجیحات انسانی.

۴. مفاهیم کلیدی

۴.۱. کالبدشکافی خط لوله استاندارد RAG (Standard RAG Pipeline) 🔴

یک سامانه RAG سازمانی از دو فاز کاملاً مستقل تشکیل شده است:

[فاز ۱: آماده‌سازی داده‌ها (Offline Ingestion & Indexing)]
اسناد خام (PDF, Word, DB) ──► پاک‌سازی و تقطیع (Chunking) ──► مدل امبدینگ (Embedding Model) ──► پایگاه داده برداری (Vector DB)

[فاز ۲: بازیابی و پاسخ‌دهی برخط (Online Retrieval & Generation)]
پرسش کاربر ──► تولید بردار پرسش ──► جستجوی معنایی (Similarity Search) ──► بازیابی K سند برتر (Top-K Chunks)
                                                                                  │
                                                                                  ▼
کاربر ◄── پاسخ مستند و دقیق ◄── مدل مولد (LLM) ◄── ساخت پرامپت غنی‌شده (User Query + Retrieved Chunks)

ارکان فنی فاز آماده‌سازی:

1. استراتژی‌های تکه‌تکه‌سازی (Chunking Strategies):
2. متن‌های حجیم نمی‌توانند یکباره برداری شوند؛ باید به قطعات کوچک (Chunks) تقسیم شوند (معمولاً ۲۵۰ تا ۱۰۰۰ توکن).
3. همپوشانی (Chunk Overlap): نگه‌داشتن همپوشانی (مثلاً ۱۰٪ تا ۲۰٪ بین دو چانک متوالی) تا عبارات مرزی قطع نشوند و پیوستگی معنایی حفظ گردد.
4. روش‌های تقطیع: کاراکتری، بازگشتی (Recursive Character Splitter)، نشانه‌گذاری ساختار Markdown، و تقطیع معنایی (Semantic Chunking بر پایه فاصله اقلیدسی امبدینگ جملات).
5. مدل‌های امبدینگ (Text Embeddings):
6. تبدیل متن به یک بردار متراکم با طول ثابت (مانند ابعاد ۷۶۸ یا ۱۵۳۶) در فضای معنایی چندبعدی.
7. نمونه‌ها: OpenAI text-embedding-3، BGE-m3، Cohere Embed و مدل‌های فارسی‌سازی‌شده مبتنی بر پارس‌برت.
8. پایگاه‌های داده برداری (Vector Databases):
9. سامانه‌های بهینه‌سازی‌شده برای جستجوی تقریبی نزدیک‌ترین همسایه (ANN - Approximate Nearest Neighbor) با الگوریتم‌های گراف HNSW یا نمایه اینورت‌شده IVF.
10. سامانه‌های پیشرو: Milvus، Qdrant، Pinecone، Weaviate، ChromaDB و افزونه pgvector در پایگاه داده رابطه‌ای PostgreSQL.
11. معیارهای فاصله: شباهت کسینوسی (Cosine Similarity)، ضرب داخلی (Dot Product) و فاصله اقلیدسی ($L2$).

۴.۲. فناوری‌های پیشرفته RAG (Advanced RAG) 🔴

در سامانه‌های واقعی شرکتی، جستجوی ساده برداری شکست می‌خورد؛ بنابراین تکنیک‌های پیشرفته زیر وارد مدار می‌شوند:

                    ┌────────────────────────────────────────────────────────┐
                    │               تکنیک‌های پیشرفته در RAG                 │
                    ├────────────────────────────────────────────────────────┤
                    │ ۱. Hybrid Search: جستجوی هم‌زمان معنایی + کلیدواژه‌ای  │
                    │ ۲. Reranking    : رتبه‌بندی مجدد با Cross-Encoder      │
                    │ ۳. Query Expand : بازنویسی و شکستن سوال کاربر          │
                    │ ۴. GraphRAG     : پیوند گراف دانش با پایگاه برداری     │
                    └────────────────────────────────────────────────────────┘

1. جستجوی ترکیبی (Hybrid Search) 🔴:
2. ترکیب جستجوی متراکم معنایی (Dense Vector Search) با جستجوی سنتی کلمات کلیدی (Sparse Keyword Search بر پایه الگوریتم BM25).
3. چرا برای آزمون مهم است؟ مدل‌های برداری معنای کلی را می‌فهمند ولی روی نام‌های خاص، ارقام فاکتور، کدهای ملی یا شماره مواد قانونی کور هستند. BM25 کلمات خاص را می‌یابد و Vector معنا را پوشش می‌دهد. ترکیب این دو با تکنیک RRF (Reciprocal Rank Fusion) بالاترین دقت بازیابی را پدید می‌آورد.
4. رتبه‌بندی مجدد (Reranking) 🔴:
5. پایگاه برداری ۵۰ تکه متن اولیه را سریع می‌آورد (Bi-Encoder با دقت متوسط و سرعت بالا).
6. یک مدل Cross-Encoder (مانند Cohere Rerank یا BGE-Reranker) جفت (پرسش + هر تکه متن) را دقیق می‌خواند و به ارتباط واقعی امتیاز می‌دهد و ۵ تکه عالی را جدا می‌کند.
7. RAG مبتنی بر گراف دانش (GraphRAG):
8. تبدیل اسناد سازمانی به گره‌ها (موجودیت‌ها مانند اشخاص، شرکت‌ها، قراردادها) و یال‌ها (روابط).
9. کشف پاسخ برای سوالاتی که نیازمند استدلال چندمرحله‌ای (Multi-hop Reasoning) در میان ده‌ها سند متقاطع هستند.

۴.۳. مفاهیم بنیادین تنظیم دقیق (Fine-Tuning) 🔴

Fine-Tuning فرآیند ادامه آموزش مدل برای تغییر وزن‌هاست.

خانواده‌های تنظیم دقیق (Fine-Tuning)
├── ۱. Full Fine-Tuning: تغییر ۱۰۰٪ وزن‌های شبکه (نیازمند ده‌ها کارت A100/H100)
│
└── ۲. PEFT (Parameter-Efficient Fine-Tuning): تغییر کمتر از ۱٪ وزن‌ها
    ├── روش LoRA (Low-Rank Adaptation) ──► استاندارد صنعتی کاهش ابعاد ماتریس
    ├── روش QLoRA ──────────────────────► ادغام کوانتایزاسیون ۴ بیتی با LoRA
    ├── روش Prefix / Prompt Tuning ─────► افزودن بردار مجازی آموزش‌پذیر به ورودی
    └── روش Adapters ───────────────────► درج لایه‌های میانی درون بلاک ترنسفورمر

فرمول‌بندی و مکانیزم ریاضی LoRA (Low-Rank Adaptation) 🔴 — فوق‌العاده تست‌خیز

• در آموزش مدل‌های زبانی، به‌روزرسانی ماتریس وزن به صورت $W = W_0 + \Delta W$ است که در آن $W_0 \in \mathbb{R}^{d \times k}$ ماتریس اصلی فریز‌شده مدل است.
• فرضیه بنیادین پژوهشگران مایکروسافت: تغییرات گرادیان ($\Delta W$) دارای رتبه ذاتی بسیار پایینی (Low Intrinsic Rank) است.
• بنابراین به جای آموزش ماتریس عظیم $\Delta W$، آن را به حاصل‌ضرب دو ماتریس کم‌رتبه $B$ و $A$ تجزیه می‌کنیم: $$\Delta W = B \times A$$ که در آن $A \in \mathbb{R}^{r \times k}$ با مقادیر تصادفی نرمال گاوسی مقداردهی شده و $B \in \mathbb{R}^{d \times r}$ با مقادیر صفر مقداردهی می‌شود تا در ابتدای آموزش $\Delta W = 0$ باشد.
• مقدار رتبه $r$ یک عدد بسیار کوچک است (مثلاً $r = 8$ یا $16$ در برابر ابعاد چند هزارتایی $d$ و $k$).
• نتیجه شگفت‌انگیز: کاهش بیش از ۹۵٪ تا ۹۹٪ در حافظه و زمان آموزش بدون افت کارایی!

فناوری QLoRA (Quantized Low-Rank Adaptation) 🟠

• ادغام دو تکنولوژی انقلابی:
• کوانتایزاسیون ۴ بیتی ماتریس وزن‌های پایه با فرمت داده‌ای نرمال فلوت (NF4 - NormalFloat 4-bit).
• اعمال آداپتورهای LoRA با دقت ۱۶ بیتی (Brain Floating Point 16) بر روی لایه‌های خطی.
• استفاده از Paged Optimizers برای جلوگیری از خطای کمبود حافظه (Out of Memory) با انتقال بار به حافظه اصلی CPU در صورت جهش رم کارت گرافیک.
• ارزش تجاری: امکان تنظیم دقیق یک مدل ۷۰ میلیارد پارامتری (مانند LLaMA-3-70B) بر روی تنها یک یا دو کارت گرافیک تجاری (مثلاً ۲۴ گیگابایت VRAM) به جای کلاسترهای نیم میلیون دلاری!

۴.۴. مراحل هم‌راستاسازی رفتاری: SFT، RLHF و DPO 🔴

یک مدل زبانی پس از آموزش اولیه فقط کلمات را پیش‌بینی می‌کند و ممکن است هذیان بگوید یا رفتارهای خطرناک نشان دهد. فرآیند رساندن مدل خام به یک دستیار هوشمند سازمانی شامل ۳ مرحله است:

[مدل پایه خام (Pre-trained LLM)]
               │
               ▼
[گام ۱: آموزش با نظارت دستورات (SFT - Supervised Fine-Tuning)]
(آموزش مدل روی چند ده هزار جفت «دستور -> پاسخ مطلوب»)
               │
               ▼
[گام ۲: آموزش مدل پاداش انسانی (Reward Modeling)]
(مدل دوم بر اساس قضاوت داوران انسانی یاد می‌گیرد کدام پاسخ نمره بهتری دارد)
               │
               ▼
[گام ۳: بهینه‌سازی سیاست با یادگیری تقویتی (RLHF via PPO)]
(الگوریتم PPO وزن‌های مدل مولد را برای کسب بیشترین پاداش از Reward Model هدایت می‌کند)
               │
               ▼
[مدل هم‌راستا، مودب و امن (Aligned Assistant: ChatGPT / Claude)]

روش نوین DPO (Direct Preference Optimization) 🔴 — تست‌خیز مدرن

• الگوریتم RLHF بسیار ناپایدار و پیچیده است (نیازمند آموزش هم‌زمان ۴ مدل مجزا در مموری: مدل پایه، مدل مرجع، مدل پاداش و منتقد!).
• فناوری DPO نشان داد که می‌توان تابع اتلاف ریاضیاتی مستقیمی نوشت که بدون نیاز به آموزش یک «مدل پاداش» جداگانه و بدون الگوریتم تقویتی PPO، مدل مستقیماً بر اساس جفت داده‌های ترجیحی انسانی («پاسخ برتر» در برابر «پاسخ ضعیف») بهینه‌سازی شود.
• مزیت DPO: پایداری محاسباتی مطلق، سرعت بسیار بالاتر و کاهش شدید پیچیدگی پایپ‌لاین.

۴.۵. پدیده فراموشی فاجعه‌بار (Catastrophic Forgetting) 🔴

• یکی از بزرگ‌ترین خطرات در Fine-Tuning است.
• تعریف: زمانی که یک مدل عمومی را با حجم زیادی از داده‌های خاص (مثلاً اصطلاحات پزشکی یا حقوقی) بازآموزی می‌کنید، مدل در آن حوزه عالی می‌شود اما توانایی‌های عمومی پایه خود (مانند محاسبات ریاضی، استدلال منطقی یا ترجمه زبان‌ها) را فراموش می‌کند.
• راهکار جلوگیری: اعمال تکنیک‌های PEFT/LoRA (چون وزن‌های پایه فریز هستند، فراموشی رخ نمی‌دهد) یا افزودن داده‌های بازپخش عمومی (Replay Regularization Data) به دادگان فاین‌تیونینگ.

۵. چگونه کار می‌کند؟

گردش کار گام‌به‌گام استعلام در یک سامانه ترکیبی Enterprise RAG:

[کاربر سازمانی: «ماده ۱۲ قرارداد شرکت آلفا با ما چه جریمه‌ای تعیین کرده؟»]
                               │
                               ▼
            [ماژول بازنویسی پرسش (Query Rewriter)]
   (تبدیل سوال به: «متن ماده ۱۲ قرارداد شرکت آلفا، شروط فسخ و جریمه تاخیر»)
                               │
                               ▼
        ┌──────────────────────┴──────────────────────┐
        ▼ (مسیر معنایی)                               ▼ (مسیر کلیدواژه‌ای)
[مدل امبدینگ: تبدیل به بردار]             [استخراج کلمات کلیدی و عبارات]
        │                                             │
        ▼                                             ▼
[جستجوی شباهت در Vector DB]                   [جستجوی BM25 در موتور Elasticsearch]
        │                                             │
        └──────────────────────┬──────────────────────┘
                               │
                               ▼
                [ترکیب رتبه‌ها با متد Reciprocal Rank Fusion]
                               │
                               ▼
                  [۵۰ قطعه متن بازیابی‌شده]
                               │
                               ▼
               [مدل رتبه‌بندی مجدد Cross-Encoder Reranker]
                (امتیازدهی متقاطع و فیلتر کردن نویزها)
                               │
                               ▼
            [۳ قطعه برتر کاملاً منطبق با قرارداد آلفا]
                               │
                               ▼
         [تزریق به عنوان زمینه مستند (Context) در پرامپت LLM]
                               │
                               ▼
[پاسخ نهایی به همراه استناد و رفرنس مستقیم به صفحه و بند قرارداد]

۶. مثال واقعی

راه‌اندازی سامانه پاسخ‌گویی به دعاوی مشتریان در یک بانک ملی بزرگ

• مسئله: بازرسان و حقوق‌دانان بانک برای بررسی شکایات مشتریان باید به بیش از ۱۰,۰۰۰ بخشنامه، مصوبه شورای پول و اعتبار و آیین‌نامه‌های اجرایی که طی ۳۰ سال گذشته صادر شده و صدها مورد آن در طول زمان اصلاح یا منسوخ شده بود رجوع می‌کردند. زمان رسیدگی به هر پرونده به طور میانگین ۱۲ روز کاری بود.
• راهکار پیاده‌سازی‌شده:
• استقرار سامانه Advanced RAG بر روی کلاستر داخلی بانک (بدون خروج اطلاعات محرمانه از دیتاسنتر).
• تقطیع هوشمند بر پایه مواد و بندهای بخشنامه‌ها به همراه درج متادیتای تاریخ صدور و وضعیت منسوخ/معتبر بودن.
• استفاده از Hybrid Search برای تضمین پیدا کردن شماره بخشنامه‌ها و اسامی بانک‌ها.
• اعمال فیلتر پیش از بازیابی بر مبنای متادیتای اعتبار بخشنامه (حذف اتوماتیک بخشنامه‌های لغوشده).
• الزام مدل مولد در پرامپت به درج شماره سند، تاریخ و پاراگراف دقیق برای هر گزاره (Grounded Citations).
• نتیجه: کاهش زمان بررسی پرونده‌ها از ۱۲ روز به کمتر از ۳۰ دقیقه و کاهش نرخ خطای استناد به صفر درصد.

۷. مثال خیلی ساده

تفاوت RAG با Fine-Tuning مثل تفاوت دو پزشک است: - پزشک با رویکرد RAG: یک پزشک عمومی بسیار باهوش است که جلوی میزش به جدیدترین پایگاه داده مقالات پزشکی دنیا (PubMed) متصل است. هر بیماری با علائم نادر وارد می‌شود، او سریع در دیتابیس جستجو می‌کند، مقالات ۲۰۲۴ را بازبینی کرده و با استناد دقیق داروی جدید را تجویز می‌کند. - پزشک با رویکرد Fine-Tuning: پزشکی است که ۵ سال تخصص جراحی قلب خوانده است. او بدون نگاه کردن به کتاب، حرکات دست، نحوه برش زدن و سرعت عمل در جراحی را از حفظ است و ساختار مهارت در مغز و دستان او حک شده است؛ اما اگر از او بپرسید هفته پیش چه داروی جدیدی برای دیابت تایید شده، ممکن است اطلاعی نداشته باشد!

۸. تفاوت مفاهیم مشابه

۸.۱. ماتریس مقایسه‌ای جامع: RAG در برابر Fine-Tuning 🔴

۸.۲. مقایسه متدهای تنظیم دقیق پارامتر-کارا (PEFT) 🔴

۹. مزایا و محدودیت‌ها

مزایا و نقاط قوت RAG ✅

• حذف توهمات فکتی: مدل به جای اتکا به حافظه تار احتمالات، بر روی داده‌های فیزیکی پیش‌روی خود استدلال می‌کند.
• تزریق بلادرنگ دانش: به‌روزرسانی دانش سیستم در عرض چند ثانیه با درج فایل جدید در دیتابیس بدون نیاز به خاموشی مدل.
• استنادپذیری حقوقی (Explainability): قابلیت ارائه پیوند به شماره صفحه و پاراگراف منبع برای تمامی ادعاها.
• امنیت داده‌ها و سطح دسترسی (RBAC): می‌توان جستجوی دیتابیس برداری را بر مبنای نقش کاربر (مثلاً کارمند ساده vs مدیرعامل) فیلتر کرد.

محدودیت‌ها و ریسک‌های RAG ⛔

• وابستگی شدید به کیفیت بازیابی (Garbage In, Garbage Out): اگر موتور بازیابی تکه متن نامربوطی استخراج کند، مدل پاسخی کاملاً پرت تحویل می‌دهد.
• مصرف بالای پنجره زمینه: تزریق ده‌ها سند باعث طولانی شدن پرامپت و افزایش تاخیر زمانی (Latency) و هزینه API می‌شود.
• معضل تقطیع (Chunking Challenge): تکه‌تکه کردن جداول پیچیده یا نمودارها در اسناد اداری موجب از دست رفتن روابط ستونی می‌شود.

مزایا و نقاط قوت Fine-Tuning ✅

• یادگیری رفتاری عمیق: تسلط کامل بر فرمت‌های داده‌ای بسیار خاص و پیچیده.
• کاهش مصرف توکن ورودی: نیازی به درج مثال‌های طولانی Few-Shot در هر بار ارسال پرامپت نیست.
• کاهش زمان تاخیر پاسخ‌دهی (Latency): مدل با کمترین کلمات هدایت‌کننده فوراً خروجی مدنظر را تولید می‌کند.

محدودیت‌ها و ریسک‌های Fine-Tuning ⛔

• هزینه بالای آماده‌سازی داده: نیازمند هزاران جفت نمونه داده استاندارد و برچسب‌خورده انسانی.
• عدم حل قطعی توهم: مدل فاین‌تیون‌شده ممکن است فکت‌های تخصصی جدید را با اطمینان کاذب از خود جعل کند!
• عدم پویایی: هر روز نمی‌توان مدل را بازآموزی کرد؛ بنابراین برای داده‌های خبری و لحظه‌ای ناکارآمد است.

۱۰. کاربردهای مهم در صنایع

۱۱. دیدگاه مشاوره‌ای

چه زمانی RAG، چه زمانی Fine-Tuning و چه زمانی هر دو؟

به عنوان مشاور رسمی هوش مصنوعی نظام صنفی، قانون سرانگشتی زیر را برای ارائه گزارش به هیئت مدیره سازمان‌ها در نظر داشته باشید:

                            ماتریس تصمیم مشاوره‌ای
                 ┌──────────────────────────┬──────────────────────────┐
                 │  آیا نیازمند یادگیری     │  آیا نیازمند دسترسی به   │
                 │  فرم و رفتار خاص هستیم؟  │  فکت‌ها و اسناد روز هستیم؟│
┌────────────────┼──────────────────────────┼──────────────────────────┤
│ صرفاً پرامپتینگ  │          خیر             │           خیر            │
│ فقط RAG        │          خیر             │           بله            │
│ فقط Fine-Tuning│          بله             │           خیر            │
│ ترکیب هر دو    │          بله             │           بله            │
└────────────────┴──────────────────────────┴──────────────────────────┘

• اگر کارفرما گفت «می‌خواهم مدل اسناد داخلی را بداند و به آن‌ها ارجاع دهد»: ۱۰۰٪ پاسخ RAG است. فاین‌تیونینگ برای این هدف یک اشتباه مهلک معماری است!
• اگر کارفرما گفت «می‌خواهم مدل کدهای اختصاصی ما را با گرامر شرکت بنویسد یا لحن پاسخگویی بسیار محترمانه قجری داشته باشد»: پاسخ Fine-Tuning با LoRA است.
• راهبرد بهینه معماری در پروژه‌های بزرگ: آموزش یک آداپتور سبک LoRA جهت تطبیق لحن و یادگیری اصطلاحات فنی + تغذیه مداوم مدل از طریق پایگاه داده برداری RAG.

سناریوی مشاوره‌ای ویژه آزمون نظام صنفی:

صورت مسئله: یک شرکت هلدینگ دارویی تصمیم دارد سامانه‌ای برای استعلام عوارض و تداخلات دارویی بیش از ۵,۰۰۰ داروی تولیدی راه‌اندازی کند. پیمانکار اولیه ادعا کرده است که با انجام Full Fine-Tuning بر روی یک مدل پایه متن‌باز، تمامی کتابچه‌های فارماکوپه را به مدل «تفهیم» کرده است! پزشکان پس از آزمایش متوجه شده‌اند که مدل گاهی دوز داروهای خطرناک را اشتباه گزارش می‌کند، برای داروهای ترکیبی جدید منابع جعلی می‌سازد، و هر زمان داروی جدیدی به سبد شرکت اضافه می‌شود باید هفته‌ها منتظر آموزش مجدد مدل بمانند.

تحلیل و راهکار مشاور رسمی هوش مصنوعی: ۱. ابطال رویکرد پیمانکار: فرآیند Fine-Tuning برای درونی‌سازی فکت‌ها و دوزهای دقیق دارویی مطلقا غیرقابل اتکاست؛ چرا که مدل‌های زبانی ذاتا غیرقطعی هستند و حفظ کردن ارقام در وزن‌ها منجر به خطای توهم مرگبار پزشکی می‌شود. همچنین هزینه و تاخیر بازآموزی مجدد برای هر داروی جدید توجیه اقتصادی ندارد. ۲. تغییر معماری به Advanced RAG: ایجاد یک خط لوله RAG با استفاده از Hybrid Search (ترکیب جستجوی متراکم معنایی و کلمات کلیدی BM25) جهت یافتن اسامی دقیق شیمیایی داروها. ۳. اعمال Reranking و استناد قطعی (Citation): اضافه کردن لایه رتبه‌بندی مجدد پیش از ارسال به مدل و الزام اکید مدل به سلب پاسخ‌گویی در صورت عدم وجود دوز در کانتکست بازیابی‌شده (نفی توهم). ۴. کاهش هزینه‌ها: فریز کردن مدل پایه و استفاده از یک آداپتور سبک LoRA صرفاً برای استانداردسازی فرمت گزارش نسخه به زبان جامعه پزشکی.

۱۲. قاعده تصمیم‌گیری

آیا مسئله اصلی دسترسی به اسناد محرمانه، قوانین متغیر یا منابع نیازمند استناد است؟
├── بله ──► از معماری RAG استفاده کنید.
│   ├── آیا نام‌های خاص، ارقام یا کدهای دقیق جستجو می‌شوند؟
│   │   ├── بله ──► از Hybrid Search (BM25 + Vector) استفاده کنید.
│   │   └── خیر ──► از Dense Vector Search استاندارد استفاده کنید.
│   └── در صورت نیاز به دقت فوق‌العاده ──► فیلتر Reranker را به پایپ‌لاین بیفزایید.
│
└── خیر (اسناد از قبل ثابت است و مسئله سبک نگارش، رفتار یا فرمت خروجی است)
    ├── آیا بودجه سخت‌افزاری محدود است و کلاستر چند صدهزار دلاری ندارید؟
    │   ├── بله ──► از تکنیک LoRA یا QLoRA بر بستر فریمورک PEFT استفاده کنید.
    │   └── خیر ──► اگر مدل پایه‌ای برای زبان یا تسک شما وجود ندارد ──► Full Fine-Tuning
    │
    └── آیا بهینه‌سازی مدل بر اساس نظرات و ترجیحات رتبه‌بندی‌شده انسانی مدنظر است؟
        ├── آیا ساده‌سازی فرآیند و پایداری محاسباتی می‌خواهید؟ ──► متد DPO
        └── آیا خط لوله کلاسیک یادگیری تقویتی مدنظر است؟ ──► متد RLHF با الگوریتم PPO

۱۳. 🔴 نکات طلایی آزمون

1. تمایز کلیدی وزن‌ها: در RAG وزن‌های مدل دست‌نخورده و فریز باقی می‌مانند؛ در Fine-Tuning وزن‌ها (یا زیرمجموعه‌ای از ماتریس‌های افزوده) تغییر می‌کنند.
2. برتری قطعی RAG در کاهش توهم: RAG با استناد مستقیم به اسناد بازخوانی‌شده (Grounding) و توانایی درج ارجاع و Citation، توهم فکتی را به حداقل می‌رساند.
3. فرمول و منطق ریاضی LoRA: تجزیه ماتریس به‌روزرسانی $\Delta W_{d \times k}$ به حاصل‌ضرب دو ماتریس کم‌رتبه $B_{d \times r} \times A_{r \times k}$ که در آن $r \ll \min(d, k)$.
4. مزیت QLoRA: ترکیب کوانتایزاسیون ۴ بیتی نوع NF4 با آداپتورهای LoRA و Paged Optimizers برای اجرای آموزش روی تک کارت گرافیک.
5. جستجوی ترکیبی (Hybrid Search): ترکیب جستجوی متراکم برداری (Dense Vector) با جستجوی کلیدواژه‌ای کلمات متفرقه (BM25) برای جبران ناتوانی وکتورها در تطبیق کدهای خاص.
6. مدل Cross-Encoder Reranker: به جفت (سوال + سند) به طور همزمان توجه متقاطع می‌کند و دقت بسیار بالاتری نسبت به Bi-Encoderهای ساده دارد.
7. پدیده فراموشی فاجعه‌بار (Catastrophic Forgetting): پاک شدن دانش عمومی مدل در صورت اجرای Full Fine-Tuning روی داده‌های اختصاصی جدید.
8. روش DPO (Direct Preference Optimization): جایگزین نوین و پایدار RLHF که نیازی به مدل پاداش (Reward Model) جداگانه یا یادگیری تقویتی PPO ندارد.
9. همپوشانی چانک‌ها (Chunk Overlap): حفظ ۱۰٪ تا ۲۰٪ اشتراک متنی میان قطعات پیاپی جهت پیشگیری از بریده شدن معنا در لبه‌ها.
10. الگوریتم‌های نمایه وکتور دیتابیس: الگوریتم HNSW (گراف دنیای کوچک قابل پیمایش سلسه‌مراتبی) و IVF برای جستجوی تقریبی سریع (ANN).
11. الگوریتم همجوشی متقابل رتبه‌ها (RRF): روش تلفیق نتایج موتور جستجوی متنی با موتور برداری در Hybrid Search.
12. سه ضلع ارزیابی RAG (RAG Triad): سنجش کیفیت سامانه بر مبنای ۱) ارتباط زمینه بازیابی‌شده (Context Relevance)، ۲) مستند بودن پاسخ به زمینه (Groundedness/Faithfulness)، ۳) ارتباط پاسخ به سوال (Answer Relevance).
13. پایگاه‌های داده برداری مطرح: Qdrant، Milvus، Pinecone، Weaviate و اکستنشن pgvector در Postgres.
14. نقش SFT (Supervised Fine-Tuning): مرحله نخست تبدیل مدل زبانی خام به دستیار پاسخ‌گو با جفت‌های دستوری انسان‌محور.
15. ماتریس B در LoRA با صفر و ماتریس A با توزیع نرمال گاوسی مقداردهی می‌شوند تا در گام اول آموزش، مقدار $\Delta W = 0$ بوده و رفتار مدل دچار پرش ناگهانی نشود.

۱۴. ⚠️ دام‌های رایج آزمون

دام ۱: «برای اینکه مدل از اسناد محرمانه و قوانین جدید شرکت مطلع شود، باید حتماً آن را Fine-Tune کنیم.»
❌ پاسخ کاملاً غلط! فاین‌تیون کردن مدل روی اسناد جدید موجب یادگیری سبک می‌شود اما مدل همچنان در ارقام و فکت‌های دقیق دچار توهم خواهد شد و به‌روزرسانی آن نیازمند بازآموزی مداوم است؛ برای اسناد جدید RAG تنها انتخاب استاندارد است.

دام ۲: «در جستجوی شباهت برداری، مدل‌های Embedding قادرند شماره حساب بانکی، کد ملی و پلاک خودرو را دقیق‌تر از جستجوی کلمات کلیدی پیدا کنند.»
❌ پاسخ کاملاً غلط! مدل‌های امبدینگ بر مفاهیم معنایی متمرکزند و در تطبیق ارقام یا رشته‌های کاراکتری منحصربه‌فرد بسیار ضعیف عمل می‌کنند؛ برای کدهای خاص حتماً باید از BM25 / Keyword Search استفاده شود.

دام ۳: «روش LoRA تمام لایه‌ها و وزن‌های شبکه اصلی ترنسفورمر را از نو آموزش می‌دهد اما با دقت اعشاری کمتر.»
❌ پاسخ کاملاً غلط! در LoRA وزن‌های اصلی شبکه کاملاً منجمد (Frozen) هستند و هیچ تغییری نمی‌کنند؛ فقط دو ماتریس کم‌رتبه جانبی به لایه‌های توجه اضافه شده و آموزش داده می‌شوند.

دام ۴: «روش DPO نسبت به RLHF نیازمند منابع پردازشی بسیار بیشتری است زیرا به چند مدل پاداش هم‌زمان نیاز دارد.»
❌ پاسخ کاملاً معکوس! DPO مدل پاداش را کلاً حذف می‌کند و به همین دلیل مصرف منابع بسیار کمتر و پایداری محاسباتی بسیار بالاتری نسبت به RLHF سنتی دارد.

۱۵. 🧠 خلاصه یک‌دقیقه‌ای

• سفارشی‌سازی LLM دو شاخه اصلی دارد: RAG (بدون تغییر وزن) و Fine-Tuning (با تغییر وزن).
• RAG: بازیابی اسناد مرتبط از Vector DB + تزریق به پرامپت $\rightarrow$ مهار توهم، داده به‌روز، شفافیت و ارجاع دقیق.
• خط لوله RAG: Chunking با همپوشانی $\rightarrow$ Embedding $\rightarrow$ ذخیره در Vector DB $\rightarrow$ بازیابی شباهت $\rightarrow$ تولید پاسخ توسط LLM.
• Advanced RAG: جستجوی ترکیبی (Hybrid = BM25 + Vector) و Reranking برای حداکثر دقت بازیابی.
• Fine-Tuning: تغییر وزن‌ها برای یادگیری سبک، لحن و وظیفه خاص.
• روش‌های PEFT: روش LoRA با تجزیه کم‌رتبه $\Delta W = B \times A$ مصرف حافظه را تا ۹۰٪ می‌کاهد؛ QLoRA با کوانتایز ۴ بیتی NF4 مدل‌های غول‌پیکر را روی تک‌کارت ممکن می‌سازد.
• هم‌راستاسازی: SFT (دستورات نظارت‌شده)، RLHF (مدل پاداش + الگوریتم PPO) و DPO (بهینه‌سازی مستقیم ترجیحات بدون نیاز به Reward Model).

۱۶. نقشه ذهنی

تکنیک‌های سفارشی‌سازی مدل‌های زبانی
│
├── ۱. بازیابی افزوده برای تولید (RAG)
│   ├── خط لوله پایه: Chunking (با Overlap) ──► Embedding ──► Vector DB ──► LLM
│   ├── پایگاه‌های برداری: Qdrant, Milvus, Pinecone, pgvector (معیارهای Cosine, L2)
│   └── تکنیک‌های پیشرفته:
│       ├── Hybrid Search (ترکیب معنایی چگال با کلمات کلیدی BM25)
│       ├── Reranking با Cross-Encoderها جهت حذف نویز
│       └── GraphRAG برای استدلال چندمرحله‌ای بر روی گراف دانش
│
└── ۲. تنظیم دقیق مدل‌ها (Fine-Tuning)
    ├── رویکرد سنتی: Full Fine-Tuning (تغییر تمام پارامترها + ریسک فراموشی فاجعه‌بار)
    ├── روش‌های نوین PEFT:
    │   ├── LoRA: تجزیه رتبه پایین ماتریس وزن‌ها (ΔW = B × A) با رتبه کوچک r
    │   ├── QLoRA: ادغام فرمت ۴ بیتی NF4 با LoRA بر روی کارت‌های تجاری
    │   └── Prompt / Prefix Tuning: اضافه کردن توکن مجازی به ورودی
    └── هم‌راستاسازی با ترجیحات انسانی:
        ├── SFT (آموزش جفت‌های دستور-پاسخ)
        ├── RLHF (مدل پاداش Reward Model + الگوریتم PPO)
        └── DPO (بهینه‌سازی مستقیم ترجیحات بدون نیاز به مدل پاداش مجزا)

۱۷. ارتباط با سایر مباحث