هوش مصنوعی و اتوماسیون · · ۸ دقیقه
چطور اسناد را برای بازیابی دقیق در سامانه‌های RAG آماده کنیم؟
دستیار متصل به اسناد وقتی پاسخ قابل اتکاتری می‌دهد که فایل‌ها کامل، خوانا، بخش‌بندی‌شده و دارای نسخه و تاریخ روشن باشند. این راهنما مسیر آماده‌سازی و نگهداری منبع را از انتخاب فایل تا بازبینی تغییرها توضیح می‌دهد.
پاسخ کوتاه: پیش از تقسیم متن، منبع را تمیز و قابل‌ردیابی کنید
در سامانهٔ بازیابی‌افزوده (RAG)، دستیار بخش‌هایی از اسناد را برای پاسخ به پرسش پیدا می‌کند و آن‌ها را در اختیار مدل می‌گذارد. اگر فایل ناقص باشد، نسخهٔ قدیمی داشته باشد یا متنش هنگام استخراج به‌هم ریخته باشد، جست‌وجو ممکن است همان بخش نادرست را پیدا کند؛ حتی اگر مدل و دستور پاسخ‌گویی خوب تنظیم شده باشند. پس پیش از تبدیل متن به نمایش مناسب جست‌وجو، روشن کنید هر سند از کجا آمده، آیا نسخهٔ معتبر است، بخش‌هایش درست خوانده می‌شوند و چه زمانی باید بازبینی شود. برای نمونه، در دستیار پرسش‌های منابع انسانی، اگر یک جدول مرخصی در فایل استخراج‌شده از عنوان ستون‌ها جدا شود، عدد روزها بدون زمینه وارد پاسخ می‌شود. هدف آماده‌سازی، انباشتن فایل‌های بیشتر نیست؛ ساخت مجموعه‌ای از منابع روشن و قابل‌پیگیری است که پاسخ را به متن درست وصل کند.
منابع را از پرسش‌های واقعی و نسخهٔ معتبر شروع کنید
ابتدا از تیمی که قرار است از دستیار استفاده کند، چند پرسش پرتکرار و چند مورد دشوار را بگیرید؛ سپس سندی را پیدا کنید که پاسخ هر پرسش باید به آن تکیه کند. این کار از ورود فایل‌هایی جلوگیری می‌کند که فقط به‌دلیل در دسترس‌بودن انتخاب شده‌اند. برای هر موضوع، منبع اصلی را مشخص کنید: نسخهٔ جاری آیین‌نامه، صفحهٔ رسمی راهنما یا فهرست محصولی که مالک آن معلوم است. نسخه‌های تکراری در پوشه‌های مختلف، فایل‌های پیش‌نویس و خروجی‌های قدیمی را جدا علامت بزنید تا بی‌صدا کنار نسخهٔ معتبر وارد نشوند. در یک راهنمای بازپرداخت، مثلاً باید معلوم باشد پاسخ به شرایط جاری فروشگاه مربوط است یا نسخهٔ آزمایشی که هنوز تأیید نشده. اگر چند واحد دربارهٔ یک موضوع سند دارند، اختلاف را پیش از ورود به سامانه به مالک محتوا ارجاع دهید؛ جست‌وجو نمی‌تواند خودش تصمیم بگیرد کدام قاعده رسمی است.
متن استخراج‌شده را با خود فایل مقایسه کنید
فایل PDF، صفحهٔ وب، سند متنی و جدول صفحه‌گسترده متن را به شکل یکسان نگه نمی‌دارند. PDF اسکن‌شده ممکن است به بازشناسی نوری نویسه‌ها نیاز داشته باشد؛ جدول‌ها ممکن است ترتیب ردیف و عنوان ستون را از دست بدهند؛ سربرگ و پابرگ تکراری هم گاهی میان جمله‌ها قرار می‌گیرند. پیش از ورود انبوه، چند فایل از هر قالب را به متن تبدیل کنید و خروجی را کنار اصل بخوانید: آیا عنوان و بندها به ترتیب آمده‌اند؟ شماره‌ها، تاریخ‌ها و نشانه‌های فارسی درست مانده‌اند؟ متن داخل جدول هنوز با نام ستونش قابل فهم است؟ اگر سند تصویری است، خطاهای بازشناسی را در بخش‌هایی که عدد، نام محصول یا شرط تصمیم دارند دستی بررسی کنید. گاهی نگه‌داشتن یک جدول به صورت متن ردیفی همراه با عنوان ستون بهتر از تبدیل آن به جمله‌های پیوسته است. نوع تبدیل را ثبت کنید تا اگر بعداً بخشی مبهم بود، بتوان مسیر بازبینی را پیدا کرد.
متن را بر اساس معنای سند بخش‌بندی کنید
سامانه معمولاً سند بلند را به قطعه‌های کوچک‌تر می‌شکند؛ اما اندازهٔ ثابت برای همهٔ محتوا مناسب نیست. اگر قطعه خیلی کوتاه باشد، پرسش و شرط پاسخ از هم جدا می‌شوند؛ اگر خیلی بلند باشد، بندهای نامرتبط کنار هم قرار می‌گیرند و جست‌وجو شواهد دقیق را دشوارتر می‌کند. از عنوان‌ها، بندها و موضوع هر بخش به‌عنوان مرز اولیه استفاده کنید. برای جدول، عنوان، نام ستون و ردیف مربوط را کنار مقدار نگه دارید؛ برای دستورالعمل مرحله‌ای، شمارهٔ گام را از توضیح همان گام جدا نکنید. عنوان سند و نام فصل را نیز به هر قطعه وصل کنید تا عبارت بازیابی‌شده بیرون از متن اصلی بی‌معنا نباشد. هم‌پوشانی میان قطعه‌ها می‌تواند پیوستگی را حفظ کند، ولی استفادهٔ زیاد از آن متن تکراری تولید می‌کند و زمینهٔ بازیابی‌شده را شلوغ می‌سازد. چند سند واقعی و پرسش معمول را با بخش‌بندی پیشنهادی مرور کنید و تنظیم را بر اساس نوع منبع اصلاح کنید.
فراداده را برای تشخیص و فیلتر سند نگه دارید
فراداده یعنی اطلاعاتی دربارهٔ خود سند که همراه متن ذخیره می‌شود. یک شناسهٔ پایدار، عنوان قابل‌خواندن، موضوع، نوع منبع، مالک محتوا، نسخه، تاریخ اجرا، وضعیت انتشار و نشانی فایل اصلی معمولاً از نام خام فایل مفیدترند. مثلاً «final-v3-new.pdf» به‌تنهایی نمی‌گوید سند نهایی است یا نه؛ عنوان، وضعیت و تاریخ اعتبار این ابهام را کمتر می‌کند. تاریخ اعتبار را از تاریخ بارگذاری جدا ثبت کنید، چون فایلی که امروز وارد سامانه شده ممکن است دربارهٔ قاعده‌ای قدیمی باشد. فیلدها را فقط وقتی اضافه کنید که کاربردشان روشن است: می‌توان بر پایهٔ موضوع یا بازهٔ زمانی جست‌وجو را محدود کرد، نسخهٔ جاری را از آرشیو جدا دید و سند را به مالک محتوا رساند. تعریف نام فیلد و قالب تاریخ را میان تیم‌ها یکسان کنید. اگر هر واحد «وضعیت» را با معنای دیگری پر کند، فراداده به‌جای روشن‌کردن سند به منبع سردرگمی تازه تبدیل می‌شود.
نسخه و چرخهٔ عمر سند را با متن آن همگام کنید
آماده‌سازی فقط یک مرحلهٔ پیش از راه‌اندازی نیست. هر وقت دستورالعمل تغییر می‌کند، باید بتوانید نسخهٔ تازه را جای نسخهٔ پیشین بنشانید و قطعه‌های قدیمی را از جست‌وجوی جاری خارج کنید؛ وگرنه سامانه ممکن است هر دو قاعده را برگرداند و پاسخ متناقض بسازد. شناسهٔ منبع را میان نسخه‌ها ثابت نگه دارید، اما نسخه و تاریخ اعتبار را جدا کنید. تغییرهای کوچک را می‌توان دوباره پردازش کرد؛ برای سندی که ساختار یا قالبش عوض شده، استخراج و بخش‌بندی را از ابتدا کنترل کنید. نسخهٔ جایگزین‌شده را فقط برای نیاز آرشیوی نگه دارید و آن را با وضعیت روشن از محتوای جاری جدا کنید. همین قاعده برای حذف هم مهم است: حذف فایل از پوشهٔ اصلی کافی نیست اگر نسخهٔ نمایه‌شده در مخزن جست‌وجو باقی بماند. پیش از هر به‌روزرسانی، مشخص کنید منبع چگونه تشخیص داده می‌شود، چه زمانی نمایه تازه می‌شود و چه کسی کامل‌شدن تغییر را تأیید می‌کند.
پیش از نمایه‌سازی، چند کنترل ساده اجرا کنید
یک دروازهٔ بازبینی کوتاه جلوی بسیاری از خطاهای قابل‌پیشگیری را می‌گیرد. تعداد فایل‌های ورودی و پردازش‌شده را مقایسه کنید؛ سندهای خالی، استخراج‌های بسیار کوتاه، شناسه‌های تکراری و فیلدهای ضروریِ جاافتاده را پیدا کنید؛ و برای هر قالب، نمونه‌ای از متن خروجی را با اصل سند بخوانید. سپس چند پرسش از فهرست کاربران را انتخاب کنید و ببینید آیا بخش مورد انتظار در مجموعهٔ آماده‌شده وجود دارد و با عنوان و زمینهٔ کافی می‌آید. این بازبینی جای ارزیابی کامل کیفیت پاسخ را نمی‌گیرد؛ پرسش آن محدودتر است: آیا منبع درست، سالم و با نسخهٔ قابل‌تشخیص وارد جست‌وجو شده؟ خطاهای پیدا‌شده را با علت ثبت کنید—برای مثال، فایل اسکن‌شده، جدول بی‌عنوان یا نسخهٔ تکراری—تا اصلاح فرایند از وصله‌کردن موردی فراتر برود. نتیجهٔ بررسی را به فایل یا نسخهٔ مشخص وصل کنید، نه فقط به یک گزارش کلی.
بازبینی سند را به مسئول و زمان مشخص وصل کنید
برای هر خانوادهٔ سند، یک مالک محتوایی و یک رویداد بازبینی تعیین کنید: انتشار نسخهٔ تازه، پایان تاریخ اعتبار، تغییر محصول یا رسیدن موعد مرور. لازم نیست همهٔ منابع در یک فاصلهٔ زمانی یکسان بازبینی شوند؛ سیاستی که با سرعت تغییر محتوا هماهنگ باشد، هم بار بی‌دلیل ایجاد نمی‌کند و هم احتمال ماندن دستور قدیمی را کم می‌کند. فهرست منابع می‌تواند تاریخ آخرین بررسی، وضعیت پردازش، خطای استخراج و اقدام باز بعدی را نشان دهد. اگر فایل منبع تغییر نکرده ولی خروجی جست‌وجو مبهم شده، ابتدا بررسی کنید آیا مالک، تاریخ یا ساختار سند تغییر کرده است؛ سپس سراغ تنظیم قطعه‌ها بروید. این ترتیب کمک می‌کند مشکل داده با تغییرهای پی‌درپی در مدل اشتباه گرفته نشود. محدودیت هم روشن است: آماده‌سازی خوب، سند متناقض یا قاعدهٔ مبهم را به حقیقت قطعی تبدیل نمی‌کند؛ تصمیم محتوایی هنوز به مسئول انسانی نیاز دارد. اگر می‌خواهید منابع یک دستیار RAG را برای ورود یا بازبینی دوره‌ای سامان دهید، در یک جلسهٔ مشاوره می‌توان دامنهٔ اسناد، قالب‌ها و روال نگهداری مناسب همان تیم را مشخص کرد.