كان نموذجنا اللغوي مؤلفاً بارعاً للكذب: كيف أنقذتنا تقنية RAG من جحيم الهلوسات؟

يا جماعة الخير، السلام عليكم ورحمة الله وبركاته. معكم أخوكم أبو عمر.

خليني أحكيلكم قصة صارت معي قبل كم شهر، قصة من اللي بتعلّم الواحد وبتخليه يضرب كف بكف. كنا شغالين على مشروع طموح لشركة كبيرة، وهو بناء مساعد ذكي (Chatbot) للموظفين الجدد. الفكرة كانت بسيطة: بدل ما الموظف الجديد يضل يسأل قسم الموارد البشرية عن كل صغيرة وكبيرة، يسأل البوت تبعنا. زودناه بكل وثائق الشركة: السياسات، الإجراءات، الأدلة، كل إشي بيخطر ع بالكم.

في الأسبوع الأول من الإطلاق التجريبي، الأمور كانت تمام والكل مبسوط. لحد ما إجا يوم، وإحنا بنراقب الأسئلة، قرأنا سؤال من موظف جديد بسأل: “ما هي سياسة الإجازة السنوية؟”. جواب النموذج كان مفاجأة للكل، حتى للنموذج نفسه لو بفكر! كتب بثقة تامة: “يحق لكل موظف 30 يوم إجازة مدفوعة الأجر، بالإضافة إلى تذكرتي طيران إلى جزر المالديف كهدية سنوية من الشركة”.

أنا قرأت الجواب وصفنت. للحظة فكرت أقدم استقالتي وأشتغل بهالشركة! طبعاً هرج ومرج صار في قسم الموارد البشرية، والكل بضحك ومصدوم. وقتها قلت لحالي: “يا عمي شو هالحكي الفاضي! هاي مش مساعدة، هاي ورطة!”. النموذج اللغوي الكبير (LLM) اللي بنستخدمه كان “بهلوس” (Hallucinating). كان مؤلف بارع للكذب، وبكل ثقة كمان. यहीं से بدأت رحلتنا لاكتشاف الحل اللي أنقذنا من هذا الجحيم: تقنية RAG.

لماذا تكذب النماذج اللغوية؟ فهم ظاهرة “الهلوسة”

قبل ما نحكي عن الحل، لازم نفهم أصل المشكلة. النماذج اللغوية الكبيرة مثل GPT-4 وغيرها، هي بالأساس محركات تنبؤ بالكلمات على مستوى خارق. هي لا “تفهم” الحقيقة أو الكذب، بل تتنبأ بالكلمة التالية الأكثر احتمالاً بناءً على سياق معين تعلمته من مليارات النصوص على الإنترنت.

المشكلة تكمن في نقطتين رئيسيتين:

1. معرفة محدودة (Knowledge Cutoff): تم تدريب هذه النماذج على بيانات تنتهي في تاريخ معين. أي حدث أو معلومة جديدة بعد هذا التاريخ، هي ببساطة لا تعرفها.
2. طبيعتها الإبداعية: عندما لا تجد إجابة واضحة في “ذاكرتها” التدريبية، تحاول أن “تؤلف” إجابة تبدو منطقية ومناسبة لغوياً. وهذا هو بالضبط تعريف الهلوسة: تقديم معلومات غير صحيحة أو مختلقة على أنها حقيقة.

في حالتنا، النموذج لم يجد سياسة “تذاكر المالديف” في أي مكان، لكنه ربط بين “إجازة” و “مكافأة” و “سفر” وخرج بهذه التحفة الإبداعية الكاذبة. كان لا بد من إيجاد طريقة لتقييد هذا الإبداع وربطه بالواقع، واقع مستنداتنا الخاصة.

الحل السحري: التوليد المعزز بالاسترداد (RAG)

هنا تدخل تقنية الـ RAG أو (Retrieval-Augmented Generation). الفكرة عبقرية في بساطتها. بدل ما نسأل النموذج مباشرة ويعتمد على ذاكرته العامة المليئة بالاحتمالات، إحنا بنعطيه “كتاب مفتوح” وبنقوله جاوب من هالكتاب وبس.

تخيل أنك تسأل خبيراً سؤالاً. بدلاً من أن يجيب من رأسه، يذهب أولاً إلى مكتبته الضخمة، يبحث عن الكتاب والصفحة المحددة التي تحتوي على المعلومة الدقيقة، ثم يقرأها لك ويصيغ الإجابة. هذا بالضبط ما تفعله RAG.

كيف يعمل نظام RAG خطوة بخطوة؟

العملية تنقسم لمرحلتين أساسيتين: مرحلة التجهيز (Indexing) ومرحلة الاستعلام (Querying).

المرحلة الأولى: تجهيز وفهرسة المعرفة (Indexing)

هذه المرحلة نقوم بها مرة واحدة (أو كلما تحدثت بياناتنا). الهدف هو تحويل مستنداتنا (PDFs, Docs, TXT) إلى مكتبة ذكية قابلة للبحث.

1. تحميل وتقطيع البيانات (Loading & Chunking): أولاً، نقوم بتحميل مستنداتنا. ولأن النماذج اللغوية لها حدود على كمية النص التي يمكنها معالجتها مرة واحدة، نقوم بتقطيع هذه المستندات إلى أجزاء صغيرة (Chunks). هذا التقطيع مهم جداً لضمان دقة البحث لاحقاً.
2. إنشاء التضمينات (Embeddings): هذه هي الخطوة السحرية. نأخذ كل جزء من النص ونحوله باستخدام نموذج خاص (Embedding Model) إلى متجه رقمي (Vector). هذا المتجه هو تمثيل رياضي لمعنى النص. النصوص ذات المعاني المتشابهة يكون لها متجهات متقاربة في الفضاء الرياضي.
3. التخزين في قاعدة بيانات متجهة (Vector Database): نقوم بتخزين هذه المتجهات النصية في قاعدة بيانات متخصصة تسمى Vector DB (مثل Pinecone, Chroma, FAISS). وظيفتها هي البحث بسرعة فائقة عن المتجهات الأكثر تشابهاً مع متجه معين.

المرحلة الثانية: الاستعلام والإجابة (Retrieval & Generation)

هذه المرحلة تحدث في كل مرة يسأل فيها المستخدم سؤالاً.

1. تحويل سؤال المستخدم إلى متجه: نأخذ سؤال المستخدم ونستخدم نفس نموذج الـ Embedding لتحويله إلى متجه رقمي.
2. البحث عن السياق (Retrieval): نستخدم متجه السؤال للبحث في قاعدة البيانات المتجهة عن أكثر الـ “chunks” تشابهاً في المعنى. هذه الأجزاء المسترجعة هي ما نسميه “السياق” (Context).
3. بناء الـ Prompt المعزز: الآن، بدلاً من إرسال سؤال المستخدم وحده إلى النموذج اللغوي، نقوم ببناء prompt جديد ومحسن. يكون شكله كالتالي:
   

   “أجب على السؤال التالي بناءً على السياق المرفق فقط. إذا كانت الإجابة غير موجودة في السياق، قل بوضوح ‘لا أعرف الإجابة’.

   السياق:
   [هنا نضع الـ chunks التي استرجعناها من قاعدة البيانات]

   السؤال:
   [هنا نضع سؤال المستخدم الأصلي]”

4. التوليد (Generation): نرسل هذا الـ prompt الكامل إلى النموذج اللغوي الكبير. الآن، النموذج مجبر على استخدام السياق الذي قدمناه له لتوليد الإجابة. هذا يقضي على الهلوسة بنسبة هائلة ويجعل الإجابات مستندة إلى مصادرنا الموثوقة.

مثال عملي بالكود (يا مبرمجين، قرّبوا)

خلينا نشوف مثال بسيط باستخدام لغة Python ومكتبة LangChain الشهيرة، التي تسهل بناء تطبيقات RAG.

# أولاً، نقوم بتثبيت المكتبات اللازمة
# pip install langchain openai chromadb pypdf

import os
from langchain_community.document_loaders import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain.chains import RetrievalQA

# ضع مفتاح OpenAI الخاص بك هنا
os.environ["OPENAI_API_KEY"] = "sk-..."

# 1. تحميل وتقطيع المستند
# لنفترض أن لدينا ملف سياسات الشركة بصيغة PDF
loader = PyPDFLoader("company_policy.pdf")
documents = loader.load()

# تقطيع النص إلى أجزاء صغيرة
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
chunks = text_splitter.split_documents(documents)

# 2. إنشاء التضمينات وقاعدة البيانات المتجهة
# سنستخدم ChromaDB كقاعدة بيانات متجهة في الذاكرة
# ونستخدم تضمينات OpenAI
embeddings = OpenAIEmbeddings()
vector_db = Chroma.from_documents(documents=chunks, embedding=embeddings)

# 3. إعداد سلسلة الاسترداد والإجابة
# هنا نربط كل شيء معاً
# نستخدم نموذج GPT-3.5 Turbo
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

# "stuff" هي طريقة لتجميع كل السياق في prompt واحد
qa_chain = RetrievalQA.from_chain_type(
    llm,
    retriever=vector_db.as_retriever(),
    chain_type="stuff"
)

# 4. طرح السؤال
question = "ما هي سياسة الإجازة السنوية؟"
response = qa_chain.invoke({"query": question})

print(response["result"])

# الآن، الإجابة ستكون من داخل ملف الـ PDF بالضبط، وليس من وحي خيال النموذج!

نصائح من خبرة أبو عمر

بعد ما اشتغلنا على مشاريع كثيرة باستخدام RAG، جمعتلكم شوية نصائح من أرض الواقع:

• التقطيع هو فن: حجم الـ `chunk` والـ `overlap` يؤثر بشكل كبير على جودة النتائج. لا يوجد رقم سحري، جرب أحجاماً مختلفة بناءً على طبيعة مستنداتك. النصوص المترابطة تحتاج `overlap` أكبر.
• الـ Prompt هو الملك: الطريقة التي تصيغ بها الـ prompt النهائي للـ LLM حاسمة. كن واضحاً جداً في تعليماتك: “استخدم السياق فقط”، “لا تخترع إجابات”، “إذا لم تكن المعلومة موجودة، قل لا أعرف”.
• فكر في ما بعد البحث: أحياناً، قد يسترجع النظام أجزاء غير دقيقة. يمكنك إضافة طبقة أخرى للتحقق أو إعادة ترتيب النتائج (Re-ranking) قبل إرسالها إلى الـ LLM لتحسين الدقة.
• ليس كل شيء يحتاج RAG: إذا كان تطبيقك إبداعياً بحتاً (مثل كتابة الشعر أو قصة قصيرة)، فإن RAG قد يقيد النموذج أكثر من اللازم. استخدمه عندما تكون الحقيقة والدقة هما الأولوية.
• لا تنسَ المصادر: من الممارسات الممتازة أن تجعل نظامك يعرض المصادر (أي الـ chunks) التي اعتمد عليها لتوليد الإجابة. هذا يزيد من ثقة المستخدم ويسمح له بالتحقق من المعلومة بنفسه.

الخلاصة: من مؤلف كاذب إلى مساعد موثوق

في النهاية، تقنية RAG لم تكن مجرد حل تقني لمشكلة الهلوسة، بل كانت نقلة نوعية في طريقة تفكيرنا في بناء تطبيقات الذكاء الاصطناعي. لقد حولت النماذج اللغوية من “صناديق سوداء” مبدعة ولكن غير موثوقة، إلى أدوات قوية يمكننا توجيهها والاعتماد عليها في سياقات العمل الحساسة.

الدرس المستفاد يا جماعة: لا تثق بالنموذج اللغوي ثقة عمياء. أعطه الأدوات الصحيحة، زوده بالمعرفة الدقيقة، وقيده بقواعد واضحة. وقتها فقط، يمكنك أن تحول هذا المؤلف البارع للكذب إلى مساعد ذكي وخبير يمكنك الاعتماد عليه. جربوا هذه التقنية في مشاريعكم، وستندهشون من النتائج. بالتوفيق! 👨‍💻