پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

RAG و دانشپیشرفته 20 دقیقه

ساخت اولین سیستم RAG برای دانش سازمانی

از خط لولهٔ پنج‌مرحله‌ای و تله‌های تکه‌بندی تا بازیابی ترکیبی و ارزیابی مستمر — نقشهٔ راه عملی برای وصل‌کردن مدل زبانی به اسناد واقعی شرکتتان.

ساخت اولین سیستم RAG برای دانش سازمانی

RAG چه دردی را دوا می‌کند؟

مدل زبانی فقط چیزی را می‌داند که در آموزشش بوده؛ اسناد داخلی، قیمت‌های امروز و سیاست‌های شرکت شما را نمی‌داند. RAG این شکاف را با یک ایدهٔ ساده پر می‌کند: قبل از پاسخ‌دادن، بخش‌های مرتبط از منابع شما بازیابی و داخل پرامپت قرار می‌گیرد — پاسخ به‌جای «حافظه» به «مستندات واقعی» گره می‌خورد و همراهش ارجاع هم می‌آید.

  • سه فایدهٔ اصلی: تازگی داده، کاهش توهم، و پاسخ قابل‌استناد با ارجاع به سند.
  • جایگزین فاین‌تیون نیست؛ برای دانش متنیِ متغیر، RAG از بازآموزی مدل سریع‌تر و ارزان‌تر است.

خط لولهٔ پنج‌مرحله‌ای

هر RAG عملی — فارغ از ابزار — پنج مرحله دارد: دریافت و پاک‌سازی اسناد؛ تکه‌بندی به قطعات معنی‌دار؛ تبدیل هر تکه به امبدینگ و ذخیره در پایگاه برداری؛ بازیابی k تکهٔ مرتبط با پرسش؛ و تولید پاسخ با استناد به همان تکه‌ها. مراحل ۱ تا ۳ یک‌بار در زمان ورود داده اجرا می‌شوند و ۴ و ۵ روی هر پرسش.

  • متادیتا را از روز اول نگه دارید: نویسنده، تاریخ، بخش، لینک سند.
  • برای مجموعهٔ فارسی/انگلیسی، امبدینگ چندزبانه انتخاب کنید.
  • هر تکه را با «تیترهای بالادستی» ذخیره کنید تا زمینه از دست نرود.

تکه‌بندی: جایی که اکثر سیستم‌ها خراب می‌شوند

اولین نسخهٔ RAG معمولاً به‌خاطر تکه‌بندی بد ضعیف جواب می‌دهد، نه به‌خاطر مدل. تکهٔ خیلی کوچک زمینه را می‌برد؛ تکهٔ خیلی بزرگ، بی‌ربطی را وارد بازیابی می‌کند. شروع معقول برای اسناد متنی، تکه‌های ۳۰۰ تا ۵۰۰ توکن با هم‌پوشانی ۱۰ تا ۲۰ درصد است — بعد با دادهٔ خودتان تنظیمش کنید.

  • تکه‌ها را روی مرزهای طبیعی (پاراگراف/تیتر) ببرید، نه وسط جمله.
  • جداول و کد را جدا و با قالب خاص خودشان نگه دارید.
  • بازیابی ترکیبی (کلیدواژه + برداری) تقریباً همیشه از برداریِ خالص بهتر است.
  • یک reranker سبک روی نتایج بازیابی، دقت را یک پله بالا می‌برد.

ارزیابی: بدون آن در تاریکی توسعه می‌دهید

قبل از هر تغییر معماری، یک مجموعهٔ طلایی بسازید: ۳۰ تا ۵۰ پرسش واقعی با جواب درستِ تأییدشده. بعد هر تغییر (اندازهٔ تکه، مدل امبدینگ، عدد k) را با دو سنجه بسنجید: نرخِ یافتنِ منبع درست در بازیابی، و وفاداری پاسخ به منابع. همین دو عدد ساده از ده‌ها ساعت حدس‌زدن جلوگیری می‌کند.

  • لاگ پرسش‌های واقعی کاربران را نگه دارید — بهترین منبع برای مجموعهٔ طلایی.
  • پاسخ‌های ناموفق را دسته‌بندی کنید: بازیابی بد یا تولید بد؟ اصلاحشان متفاوت است.