Back to blog
چت‌بات و پردازش زبان

چت‌بات: مدل زبانی یا بازیابی از دانش سازمان؟

بازیابی هزینهٔ هر پاسخ ندارد و چیزی از خود نمی‌سازد؛ مدل زبانی انعطاف می‌دهد و ریسک پاسخ نادرست. معیار عملی انتخاب، و اینکه معماری ترکیبی کجا جواب می‌دهد.

تیم قطره۱۴ شهریور ۱۴۰۵6 min read
چت‌بات: مدل زبانی یا بازیابی از دانش سازمان؟

پرسش رایج سازمان‌ها این است: «چت‌بات ما باید از مدل زبانی بزرگ استفاده کند یا نه؟» پاسخ به اندازهٔ سازمان بستگی ندارد؛ به این بستگی دارد که پرسش‌های ورودی چقدر متنوع‌اند و اشتباه چقدر برایتان گران تمام می‌شود.

پاسخ کوتاه

دو معماری وجود دارد. در بازیابی، سامانه پرسش را به یکی از پاسخ‌های ازپیش‌نوشتهٔ خود سازمان نگاشت می‌کند؛ هرگز جمله‌ای تازه نمی‌سازد. در مدل زبانی، پاسخ در لحظه تولید می‌شود. بازیابی هزینهٔ هر پاسخ ندارد، داده‌ای بیرون نمی‌فرستد و هیچ‌وقت چیزی از خود درنمی‌آورد — به قیمت اینکه فقط همان چیزی را می‌داند که نوشته‌اید. انتخاب، معاملهٔ میان کنترل و انعطاف است.

دو معماری، دو نوع ریسک

بازیابی از دانش سازمان. پرسش یکدست می‌شود، با فهرستی از موضوع‌ها و اسناد سازمان مقایسه می‌شود، و نزدیک‌ترین پاسخ ازپیش‌نوشته برگردانده می‌شود. ریسک اصلی‌اش نرسیدن است: اگر پرسش خارج از دامنهٔ نوشته‌شده باشد، پاسخ پیش‌فرض می‌گیرد.

تولید با مدل زبانی. پرسش به مدل داده می‌شود و پاسخ در لحظه ساخته می‌شود. ریسک اصلی‌اش رسیدن به پاسخ نادرست با لحن مطمئن است. مدل کم‌تر «نمی‌دانم» می‌گوید و بیشتر چیزی می‌سازد که درست به‌نظر می‌رسد.

توجه کنید این دو ریسک هم‌جنس نیستند. اولی کاربر را بی‌پاسخ می‌گذارد؛ دومی به او اطلاعات نادرست می‌دهد و او بر اساسش تصمیم می‌گیرد. برای پرسش‌هایی مثل شرایط پرداخت، تعهد تحویل یا مشخصات فنی محصول، دومی گران‌تر تمام می‌شود.

هزینه: چه چیزی واقعاً پول می‌برد

در بازیابی، هزینهٔ هر پاسخ عملاً صفر است؛ هزینه یک‌بار در نوشتن دانش پرداخت می‌شود. در مدل زبانی، هر پاسخ هزینهٔ محاسباتی دارد و این هزینه با ترافیک بالا می‌رود.

نکتهٔ کمتر دیده‌شده این است که هزینهٔ مدل زبانی با سوءاستفاده هم بالا می‌رود. اگر مسیر پاسخ‌گویی سقف روزانه نداشته باشد، یک اسکریپت ساده می‌تواند بدون هیچ هدف مخربی هزینهٔ ماه شما را در یک شب مصرف کند. اگر این معماری را انتخاب می‌کنید، پیش از انتشار سه چیز لازم است: محدودیت نرخ برای هر نشانی، سقف مصرف روزانهٔ کل، و پایش هزینه.

داده‌ای که از سازمان بیرون می‌رود

اگر مدل روی سرویس بیرونی اجرا شود، متن پرسش کاربر — که ممکن است شمارهٔ سفارش، نام یا شمارهٔ تماس داشته باشد — از سازمان خارج می‌شود.

برای بسیاری از کسب‌وکارها این پذیرفتنی است. برای سازمان‌هایی که با دادهٔ مالی، سلامت یا اطلاعات هویتی کار می‌کنند، یک تصمیم حقوقی است نه فنی، و باید پیش از انتخاب معماری گرفته شود، نه بعد از آن.

بازیابی این مسئله را ندارد چون پردازش کامل روی زیرساخت خودتان می‌ماند.

وابستگی به سرویس بیرونی

معماری مبتنی بر مدل بیرونی یعنی وقتی آن سرویس در دسترس نباشد، پاسخ‌گویی شما هم نیست. این موضوع را در قطعی سرویس هوش مصنوعی و تداوم کسب‌وکار جداگانه بررسی کرده‌ایم؛ خلاصه‌اش این است که هر وابستگی بیرونی باید مسیر جایگزین داشته باشد.

سامانهٔ پاسخ‌گوی خود ما بازیابی است و به هیچ مدل بیرونی وصل نیست. نتیجهٔ سنجش: زمان پردازش سمت سرور ۱۰ تا ۱۴ میلی‌ثانیه، بدون هزینهٔ هر پاسخ، و بدون هیچ سطحی برای تزریق دستور به مدل — چون مدلی در کار نیست.

کدام معماری برای کدام کسب‌وکار

بازیابی مناسب است وقتی:

  • پرسش‌های ورودی تکراری‌اند: ساعت کاری، قیمت، آدرس، شرایط تحویل، مشخصات محصول
  • پاسخ باید دقیق و یکسان باشد و تغییر نکند
  • داده نباید از سازمان خارج شود
  • بودجهٔ عملیاتی ماهانه باید قابل پیش‌بینی باشد

مدل زبانی مناسب است وقتی:

  • پرسش‌ها باز و غیرقابل‌پیش‌بینی‌اند
  • کاربر انتظار گفت‌وگوی چندمرحله‌ای و خلاصه‌سازی دارد
  • محتوای مرجع آن‌قدر زیاد است که نگاشت دستی عملی نیست
  • سازمان توان پایش کیفیت پاسخ را دارد

معیار عملی: پیام‌های واقعی شش ماه گذشتهٔ خود را بشمارید. اگر بیش از هفتاد درصدشان در ده دستهٔ تکراری جا می‌شوند، بازیابی کافی است و ساده‌تر و ارزان‌تر خواهد بود.

معماری ترکیبی

در عمل، بهترین نتیجه معمولاً ترکیب است: بازیابی برای پرسش‌های شناخته‌شده، و ارجاع به مدل فقط وقتی هیچ موضوعی تطبیق نکرد.

این ساختار سه فایده دارد: بیشتر ترافیک با هزینهٔ صفر و پاسخ دقیق مدیریت می‌شود، هزینهٔ مدل فقط برای موارد واقعاً باز پرداخت می‌شود، و اگر سرویس بیرونی در دسترس نباشد، سامانه به بازیابی برمی‌گردد و از کار نمی‌افتد.

هر کدام از این دو مسیر را که انتخاب کنید، سنجش کیفیت پاسخ الزامی است؛ روش عملی‌اش در راهنمای تست چت‌بات فارسی آمده، و مسائل زبانی مشترک هر دو معماری در چرا چت‌بات فارسی جواب اشتباه می‌دهد.

اجرا در کرج و البرز

برای کسب‌وکارهای کرج و البرز، یک عامل عملی هم به این تصمیم اضافه می‌شود: پرداخت به سرویس‌های بیرونی و پایداری دسترسی به آن‌ها همیشه ساده نیست. این تنها معیار نیست، ولی معیاری واقعی است و بهتر است پیش از طراحی روی میز بیاید، نه بعد از آن.

تیم ما این جلسه را حضوری در پارک علم و فناوری البرز یا در محل خود سازمان برگزار می‌کند، چون تصمیم درست به شناخت جنس پرسش‌های واقعی مشتریان شما نیاز دارد و آن شناخت نزد تیم پشتیبانی شماست.

پرسش‌های متداول

کدام معماری ارزان‌تر است؟

بازیابی، در بهره‌برداری. هزینهٔ هر پاسخ ندارد و بار محاسباتی‌اش ناچیز است. در عوض هزینهٔ اولیهٔ نوشتن و ساختاردهی دانش را دارد. مدل زبانی راه‌اندازی سریع‌تری دارد و هزینه‌اش با ترافیک رشد می‌کند.

آیا بازیابی یعنی چت‌بات ساده و ضعیف؟

نه. کیفیت بازیابی به کیفیت یکدست‌سازی متن، ساختار دانش و منطق امتیازدهی بستگی دارد، نه به سادگی ظاهری‌اش. سامانه‌ای که پرسش‌های فارسی با املاهای مختلف را درست می‌فهمد و به صفحهٔ درست ارجاع می‌دهد، از یک مدل بزرگِ بدون بازیابیِ دقیق مفیدتر است.

چطور جلوی پاسخ نادرست مدل را بگیریم؟

با محدود کردن دامنه: مدل فقط اجازه داشته باشد از اسناد بازیابی‌شده پاسخ بسازد و اگر سندی نبود، صریح بگوید نمی‌داند. این همان الگوی ترکیبی است و هزینهٔ پیاده‌سازی‌اش کمتر از هزینهٔ یک پاسخ نادرست به مشتری است.

داده‌های مشتریان ما کجا می‌رود؟

در بازیابی روی زیرساخت خودتان، جایی نمی‌رود. در معماری مبتنی بر مدل بیرونی، متن پرسش به سرویس ارائه‌دهنده ارسال می‌شود. پیش از انتخاب، شرایط نگهداری داده در قرارداد آن سرویس را بخوانید.

راه‌اندازی هرکدام چقدر طول می‌کشد؟

بستگی به دامنه دارد و پیش از تعریف دقیق نمی‌توان عدد داد. روش ما شروع با یک نمونهٔ اولیه در دامنهٔ محدود است تا پیش از تعهد بزرگ‌تر، اثر واقعی سنجیده شود.

آیا می‌شود بعداً معماری را عوض کرد؟

بله، اگر از ابتدا دانش سازمان جدا از منطق پاسخ‌گویی نگهداری شود. سازمان‌هایی که پاسخ‌ها را داخل کد می‌نویسند، در تعویض معماری عملاً همه‌چیز را از نو می‌سازند.

خدمات مرتبط قطره