RAG چیست؟ چرا چتبات باید از اسناد شما جواب بدهد، نه از حافظهاش
یک مدل زبانی بزرگ میتواند درباره تاریخ روم توضیح بدهد، کد بنویسد و شعر بگوید. اما نمیداند شرایط مرجوعی شرکت شما چیست، ساعت کاری شعبه شما کی است، یا نرخ سود طرح جدید شما چقدر است. بدتر: اگر بپرسید، جواب میدهد - جوابی که با اطمینان کامل بیان میشود و کاملاً از خودش ساخته شده است.
محصول آماده کارن تکنولوژی
این را روی داده واقعی کسبوکار خودتان ببینید
آنچه در این مقاله میخوانید، در محصولات کارن پیادهسازی شده است. در جلسه دمو، همان را روی داده و فرآیند خودتان اجرا میکنیم.
درخواست دمو رایگان یا تماس بگیرید: ۰۲۱-۸۸۶۱۴۲۸۲در این صفحه
مسئله: توهم
این پدیده را توهم (Hallucination) مینامند، و بزرگترین مانع استفاده جدی از هوش مصنوعی در سازمانهاست. راهحل غالب امروز، RAG است.
RAG چیست؟
RAG مخفف Retrieval-Augmented Generation است: تولید پاسخ بهکمک بازیابی.
قیاس ساده: تفاوت بین دانشجویی که در امتحان تشریحی از حافظه مینویسد، و دانشجویی که امتحان با کتاب باز میدهد. دومی نهتنها دقیقتر جواب میدهد، بلکه میتواند بگوید جوابش از کدام صفحه آمده.
RAG چطور کار میکند؟ پنج مرحله
مرحله ۱: آمادهسازی و تکهتکه کردن (Chunking)
اسناد شما - PDF، Word، Excel، صفحات سایت، پرسشهای متداول - به قطعات کوچکتر شکسته میشوند. چرا؟ چون نمیشود یک کتابچه ۲۰۰ صفحهای را کامل به مدل داد. باید قطعه مرتبط را پیدا کرد و همان را داد.
اندازه قطعه مهم است. قطعه خیلی کوچک، زمینه را از دست میدهد (جمله «این شامل خسارت نمیشود» بدون پاراگراف قبلی بیمعناست). قطعه خیلی بزرگ، نویز وارد پاسخ میکند. معمولاً قطعات با کمی همپوشانی ساخته میشوند تا مرزها اطلاعات را قطع نکنند.
مرحله ۲: تبدیل به بردار (Embedding)
هر قطعه به یک بردار عددی تبدیل میشود که معنای آن را نمایندگی میکند - نه کلماتش را.
نتیجهاش این است که «چطور کالا را پس بدهم» و «شرایط بازگشت محصول» بردارهای نزدیکی دارند، با اینکه هیچ کلمه مشترکی ندارند. این همان جستجوی معنایی (Semantic Search) است.
اینجا دقیقاً جایی است که RAG از جستجوی کلیدواژهای سنتی جلو میزند: مشتری لازم نیست کلمات شما را بنویسد.
مرحله ۳: بازیابی (Retrieval)
سؤال کاربر هم به بردار تبدیل میشود و نزدیکترین قطعات به آن پیدا میشوند.
سیستمهای خوب اینجا جستجوی ترکیبی (Hybrid Search) به کار میبرند: ترکیب جستجوی معنایی با جستجوی کلیدواژهای. چون برای چیزهایی مثل شماره سفارش، کد محصول یا نام دقیق طرح، تطابق کلمهای هنوز بهتر جواب میدهد.
مرحله ۴: رتبهبندی مجدد (Re-ranking)
از میان قطعات بازیابیشده، مرتبطترینها انتخاب میشوند. این مرحله کیفیت پاسخ نهایی را بهشکل محسوسی بالا میبرد، چون بازیابی اولیه معمولاً چند نتیجه بیربط هم میآورد.
مرحله ۵: تولید پاسخ (Generation)
قطعات منتخب بههمراه سؤال کاربر به مدل زبانی داده میشود، با دستوری از این جنس:
مدل پاسخ را به زبان طبیعی میسازد و - در پیادهسازیهای خوب - به سند مرجع ارجاع میدهد.
RAG یا Fine-tuning؟
این سؤال مرتب پرسیده میشود و پاسخش معمولاً بدفهمیده میشود.
| معیار | RAG | Fine-tuning |
|---|---|---|
| چه چیزی را تغییر میدهد | دانشی که مدل به آن دسترسی دارد | رفتار، لحن و سبک مدل |
| بهروزرسانی دانش | فوری - سند را عوض کنید | نیاز به آموزش مجدد |
| هزینه | پایینتر | بالاتر |
| قابلیت ارجاع به منبع | دارد | ندارد |
| مناسب برای | حقایق، مقررات، اسناد متغیر | لحن برند، فرمت خاص، دامنه تخصصی |
برای پشتیبانی مشتری، تقریباً همیشه RAG انتخاب درست است. دانش سازمانی مدام تغییر میکند؛ نرخ عوض میشود، محصول جدید میآید، شرایط اصلاح میشود. با RAG، فقط سند را بهروز میکنید و سیستم بلافاصله جدید را میگوید.
چالشهای RAG در زبان فارسی
RAG فارسی سختتر از RAG انگلیسی است، به چند دلیل مشخص:
- نیمفاصله و املای متغیر. «میروم»، «میروم»، «می روم». بدون نرمالسازی درست، اینها سه چیز متفاوتاند.
- ی و ک عربی و فارسی. حرف «ي» عربی و «ی» فارسی از نظر کد کاراکتر متفاوتاند و جستجو را خراب میکنند.
- اعداد. ۱۲۳ فارسی، ١٢٣ عربی، 123 لاتین - همه باید یکسانسازی شوند.
- ریشهیابی. فارسی صرف غنی دارد و ریشهیابی آن پیچیدهتر از انگلیسی است.
- کیفیت مدلهای Embedding. بیشتر مدلهای تعبیهسازی روی داده انگلیسی آموزش دیدهاند و عملکردشان روی فارسی ضعیفتر است.
- PDF اسکنشده. بخش بزرگی از اسناد سازمانی در ایران، PDF اسکنشده یا تصویر است. بدون OCR فارسی دقیق، این اسناد اصلاً وارد پایگاه دانش نمیشوند.
هر پیادهسازی جدی RAG فارسی باید این شش مورد را حل کرده باشد - و این چیزی است که هنگام ارزیابی تأمینکنندگان باید بپرسید.
میخواهید بدانید اسناد شما به RAG تبدیلشدنی هستند؟
در جلسه شناخت رایگان، نمونهای از اسناد واقعی شما را بررسی میکنیم و میگوییم چه مقدارش قابل استفاده است و چه چیزی باید مرتب شود.
چطور بفهمیم RAG درست کار میکند؟
سه سؤال کلیدی برای ارزیابی هر سیستم RAG:
۱. وقتی جواب را ندارد، چه میکند؟
این مهمترین آزمون است. یک سؤالی بپرسید که مطمئنید در اسناد نیست. اگر سیستم چیزی سرِ هم کرد، به آن اعتماد نکنید. پاسخ درست، «نمیدانم» است.
۲. آیا به منبع ارجاع میدهد؟
پاسخی که میگوید از کدام سند و کدام بخش آمده، قابل راستیآزمایی است. پاسخی که نمیگوید، نیست.
۳. اگر سند را عوض کنم، پاسخ فوراً عوض میشود؟
اگر نه، احتمالاً دانش جایی کش شده یا در مدل جا خوش کرده - و این یعنی روزی که مقررات عوض میشود، سیستم شما همچنان جواب قدیمی میدهد.
معیارهای فنیتر
اگر میخواهید عمیقتر ارزیابی کنید، سه معیار رایج وجود دارد:
- صحت بازیابی (Retrieval Accuracy) - آیا قطعه درست پیدا شد؟
- وفاداری (Faithfulness) - آیا پاسخ واقعاً از قطعه بازیابیشده آمده یا مدل اضافه کرده؟
- ارتباط (Relevance) - آیا پاسخ به سؤال کاربر مربوط است؟
RAG در مانوتل
دستیارهای مانوتل بر پایه RAG کار میکنند:
- ورودی دانش: PDF، Word، Excel، PowerPoint، تصویر - با استخراج متن از تصویر و PDF اسکنشده به فارسی
- خزش سایت: آدرس سایتتان را میدهید؛ صفحهبهصفحه میخواند، منو و فوتر را دور میریزد و فقط محتوای واقعی را نگه میدارد
- پرسشهای متداول با چند شکل نوشتن: برای هر سؤال چند صورتبندی تعریف کنید تا همه به یک پاسخ برسند
- جستجوی معنایی با نرمالسازی فارسی
- چند دستیار مستقل: هرکدام با دانش، لحن و مدل هوش مصنوعی جدا - یکی برای فروش، یکی برای پشتیبانی فنی، یکی داخلی برای خود تیم
- اگر نداند، میگوید نمیداند و به اپراتور تحویل میدهد
- قابل اجرا روی سرور خودتان - برای سازمانهایی که اسناد نباید از شبکه داخلی خارج شود
پایگاه دانش و مرکز راهنما · نصب روی سرور اختصاصی (On-Premise)
جمعبندی
RAG جادو نیست. یک معماری مهندسی است که یک مسئله مشخص را حل میکند: چطور از قدرت زبانی مدل استفاده کنیم بدون اینکه به حافظهاش اعتماد کنیم.
کیفیت خروجی آن مستقیماً به کیفیت دانشی که به آن میدهید بستگی دارد. اسناد پراکنده، قدیمی و متناقض، با هیچ معماریای به پاسخ خوب تبدیل نمیشوند. اما اگر دانش سازمانیتان مرتب باشد، RAG آن را به چیزی تبدیل میکند که ۲۴ ساعته، در هفت کانال، به زبان مشتری در دسترس است.
پرسشهای متداول
RAG مخفف Retrieval-Augmented Generation است، یعنی تولید پاسخ بهکمک بازیابی. ایده در یک جمله: بهجای اینکه مدل از حافظهاش جواب بدهد، اول در اسناد شما بگردد و بعد فقط از روی چیزی که پیدا کرده جواب بسازد. قیاس سادهاش تفاوت بین امتحان تشریحی از حافظه و امتحان با کتاب باز است؛ دومی نهتنها دقیقتر جواب میدهد بلکه میتواند بگوید جوابش از کدام صفحه آمده.
وقتی از یک مدل زبانی درباره چیزی میپرسید که نمیداند - مثلاً شرایط مرجوعی شرکت شما - بهجای سکوت، جوابی میسازد که با اطمینان کامل بیان میشود و کاملاً ساختگی است. این پدیده را توهم (Hallucination) مینامند و بزرگترین مانع استفاده جدی از هوش مصنوعی در سازمانهاست.
پنج مرحله: تکهتکه کردن اسناد (Chunking) با همپوشانی مناسب؛ تبدیل هر قطعه به بردار معنایی (Embedding)؛ بازیابی نزدیکترین قطعات به سؤال کاربر، ترجیحاً با جستجوی ترکیبی معنایی و کلیدواژهای؛ رتبهبندی مجدد قطعات بازیابیشده؛ و تولید پاسخ توسط مدل زبانی فقط بر اساس همان قطعات، همراه با ارجاع به سند مرجع.
RAG دانشی را که مدل به آن دسترسی دارد تغییر میدهد و بهروزرسانیاش فوری است - کافی است سند را عوض کنید؛ همچنین میتواند به منبع ارجاع بدهد. Fine-tuning رفتار، لحن و سبک مدل را تغییر میدهد، برای بهروزرسانی به آموزش مجدد نیاز دارد و ارجاع به منبع ندارد. قاعده ساده: RAG برای اینکه مدل چه چیزی بداند، Fine-tuning برای اینکه چطور حرف بزند.
تقریباً همیشه RAG. دانش سازمانی مدام تغییر میکند؛ نرخ عوض میشود، محصول جدید میآید و شرایط اصلاح میشود. با RAG فقط سند را بهروز میکنید و سیستم بلافاصله پاسخ جدید را میدهد.
شش دلیل مشخص: نیمفاصله و املای متغیر («میروم»، «میروم»، «می روم»)؛ تفاوت کد کاراکتر «ي» عربی و «ی» فارسی؛ سه شکل نوشتن اعداد (فارسی، عربی، لاتین)؛ ریشهیابی پیچیدهتر بهدلیل صرف غنی فارسی؛ ضعف مدلهای Embedding که عمدتاً روی داده انگلیسی آموزش دیدهاند؛ و PDFهای اسکنشده که بدون OCR فارسی دقیق اصلاً وارد پایگاه دانش نمیشوند.
سه سؤال: وقتی جواب را ندارد چه میکند؟ سؤالی بپرسید که مطمئنید در اسناد نیست؛ پاسخ درست «نمیدانم» است. آیا به منبع ارجاع میدهد؟ پاسخی که میگوید از کدام سند آمده قابل راستیآزمایی است. اگر سند را عوض کنم، پاسخ فوراً عوض میشود؟ اگر نه، دانش جایی کش شده و روزی که مقررات عوض شود سیستم همچنان جواب قدیمی میدهد.
