أذكرها وكأنها البارحة، ليلة طويلة في المكتب، رائحة القهوة الباردة تملأ المكان، و”خالد” – المبرمج الشاب في فريقي – يضرب رأسه بالمكتب (بشكل مجازي طبعاً، بس كان قريب من الحقيقة). كنا قد أطلقنا للتوّ نظام دعم فني آلي لعميل كبير، وكان النظام، بكل بساطة، “أهبل”.
كان المستخدم يكتب: “كيف أسترجع نقودي؟”، والنظام يرد بكل ثقة: “لم أجد ما تبحث عنه، هل يمكنك إعادة صياغة سؤالك؟”. المشكلة أن قاعدة المعرفة لدينا كانت تحتوي على مقال كامل بعنوان “سياسة استرداد الأموال”. لكن لأن كلمة “نقودي” لم تظهر حرفياً في العنوان، ولأن استعلام البحث القديم كان يعتمد على `LIKE ‘%…%’`، اعتبر النظام أن لا وجود للإجابة.
نظر إليّ خالد بعينين يائستين وقال: “يا أبو عمر، شو الحل؟ بدنا نضيف جدول synonyms لكل كلمة؟ بدنا نعمل stemming وlemmatization لكل اللهجات العربية؟ هاي شغلانة ما بتخلص!”. ابتسمت وقُلت له: “روّق يا خال. المشكلة مش في الكود، المشكلة في الفكرة كلها. إحنا بنجبر الكمبيوتر يدور على حروف، والمفروض نخليه يدور على معنى. خلينا نحكي عن إشي اسمه Vector Databases”.
تلك الليلة كانت نقطة تحول. انتقلنا من عالم البحث الحرفي المُحبِط إلى عالم البحث الدلالي الساحر. وهذه هي قصتنا، وقصتكم أيضاً لو كنتم تعانون من نفس المشكلة.
جحيم البحث الحرفي: لماذا تفشل الطرق التقليدية؟
قبل أن نغوص في الحل، دعونا نعترف بالمشكلة. لسنوات، اعتمدنا في البحث على تقنيات مثل:
- استعلامات SQL LIKE: أبسط أشكال البحث، يبحث عن تطابق جزئي للسلاسل النصية. هو سريع للحالات البسيطة، ولكنه غبي تماماً من الناحية الدلالية.
- البحث بالنص الكامل (Full-Text Search): وهو تحسين كبير، حيث يفهم أساسيات مثل الكلمات الشائعة (stop words) وأصل الكلمات (stemming). محركات مثل Elasticsearch و Solr مبنية على هذا المبدأ.
لكن حتى مع Full-Text Search، بقينا في “جحيم البحث الحرفي”. لماذا؟
لأن اللغة البشرية فوضوية، غنية، ومليئة بالفروق الدقيقة. الكمبيوتر الذي يبحث عن كلمات فقط سيفشل دائماً في فهم النية.
المشاكل كانت واضحة:
- المرادفات (Synonyms): “سيارة” و”عربية” و”مركبة”. بالنسبة للبحث الحرفي، هي ثلاث كلمات مختلفة تماماً.
- السياق (Context): كلمة “عين” قد تعني عضو البصر، أو نبع الماء، أو جاسوس. السياق هو ما يحدد المعنى.
- الأخطاء الإملائية واللهجات: “بدي أرجع مصاريي” باللهجة العامية مقابل “أريد استرداد أموالي” بالفصحى. البحث التقليدي ينهار هنا.
كنا نقضي وقتاً طويلاً في بناء طبقات معقدة من المعالجة المسبقة للنصوص، قوائم مرادفات لا تنتهي، ومحاولات يائسة لتعليم الآلة “فهم” اللغة. كانت حرباً خاسرة.
القفزة النوعية: الدخول إلى عالم البحث الدلالي (Semantic Search)
الحل لم يكن في تحسين البحث عن الكلمات، بل في التوقف عن البحث عن الكلمات من الأساس. الحل كان في البحث عن “المعنى”. وهنا يأتي دور السحر الحقيقي: تضمين المتجهات (Vector Embeddings).
ما هي تضمينات المتجهات (Vector Embeddings)؟
تخيل معي أن كل كلمة أو جملة أو فقرة في لغتنا يمكن تحويلها إلى مجموعة من الأرقام في فضاء متعدد الأبعاد. هذه الأرقام (أو الإحداثيات) ليست عشوائية، بل تمثل “المعنى” الدلالي للنص.
فكر فيها هكذا: في هذا الفضاء الخيالي، ستجد أن متجه جملة “أفضل هاتف ذكي للتصوير” قريب جداً من متجه جملة “موبايل بكاميرا ممتازة”، وبعيد جداً عن متجه جملة “وصفة عمل الكنافة”.
هذه العملية تتم عبر نماذج لغوية ضخمة (LLMs) مدربة مسبقاً (مثل نماذج BERT أو نماذج OpenAI). أنت تعطيها النص، وهي تعطيك “المتجه” الذي يمثله. هذا المتجه هو مجرد قائمة من الأرقام، على سبيل المثال `[0.12, -0.45, 0.67, …, 0.99]`.
فجأة، تحولت مشكلة مقارنة النصوص غير المنظمة إلى مشكلة رياضية بحتة: إيجاد المتجهات الأقرب لبعضها البعض في فضاء رياضي. وهذا ما تبرع فيه “قواعد بيانات المتجهات”.
قواعد بيانات المتجهات (Vector Databases): المنقذ الجديد
قاعدة بيانات المتجهات هي نوع جديد من قواعد البيانات مصمم خصيصاً لتخزين، فهرسة، والبحث في كميات هائلة من تضمينات المتجهات بسرعة فائقة.
إذا كانت قاعدة البيانات التقليدية (مثل MySQL) مُحسّنة للبحث عن صفوف تتطابق فيها قيمة `id` أو `username`، فإن قاعدة بيانات المتجهات (مثل Pinecone, Chroma, Weaviate) مُحسّنة للإجابة على سؤال واحد بكفاءة مذهلة: “بالنسبة لهذا المتجه، ما هي أقرب 10 متجهات أخرى في قاعدة البيانات؟”.
كيف تعمل هذه المنظومة؟
العملية بسيطة ومكونة من خطوتين رئيسيتين:
- مرحلة الفهرسة (Indexing):
- تأخذ كل قطعة محتوى لديك (مقالات، أوصاف منتجات، تعليقات مستخدمين).
- تقوم بتمريرها عبر نموذج تضمين (Embedding Model) لتحويلها إلى متجه.
- تخزن هذا المتجه في قاعدة بيانات المتجهات مع مؤشر (ID) يعود إلى المحتوى الأصلي.
- مرحلة البحث (Querying):
- يأتي المستخدم ويكتب استعلام بحث (مثلاً: “بدي تلفون بطاريته تدوم طويلاً”).
- تأخذ استعلام المستخدم هذا وتمرره عبر نفس نموذج التضمين لتحويله إلى “متجه استعلام”.
- ترسل هذا المتجه إلى قاعدة بيانات المتجهات وتطلب منها إيجاد أقرب `K` متجهات له (مثلاً، أقرب 5).
- قاعدة البيانات تعيد لك مؤشرات (IDs) المحتوى الأصلي الأقرب دلالياً.
- تقوم بعرض النتائج للمستخدم.
النتيجة؟ المستخدم الذي يبحث عن “تلفون بطاريته تدوم طويلاً” سيجد المنتج الذي يحمل وصف “هاتف ذكي بأداء بطارية يدوم ليومين كاملين”، حتى لو لم تتطابق أي كلمة بين الاستعلام والوصف!
مثال عملي بالكود (Python)
دعونا نرى كيف يمكن تطبيق هذا بمثال بسيط باستخدام مكتبة `sentence-transformers` لتوليد المتجهات ومكتبة `chromadb` كقاعدة بيانات متجهات تعمل في الذاكرة.
# أولاً، قم بتثبيت المكتبات اللازمة
# pip install sentence-transformers chromadb
import chromadb
from sentence_transformers import SentenceTransformer
# 1. تهيئة نموذج التضمين وقاعدة البيانات
# سنستخدم نموذجاً عربياً جيداً
model = SentenceTransformer('aub-mind/bert-base-arabizi')
client = chromadb.Client()
# أنشئ "collection" جديد. فكر فيه كجدول في SQL
collection = client.create_collection("articles_db")
# 2. مرحلة الفهرسة (Indexing)
# لنفترض أن هذه هي المقالات في قاعدة المعرفة لدينا
documents = [
"سياسة استرداد الأموال تكون خلال 14 يوماً من الشراء.",
"لإعادة ضبط كلمة المرور، اذهب إلى صفحة ملفك الشخصي.",
"شركتنا تقدم خدمات استضافة سحابية فائقة السرعة.",
"يمكنك تتبع شحنتك عبر الموقع الإلكتروني باستخدام رقم الطلب."
]
# توليد المتجهات وتخزينها
# ChromaDB يمكنها التعامل مع التضمين مباشرة إذا أعطيتها نموذجاً
collection.add(
documents=documents,
ids=["doc1", "doc2", "doc3", "doc4"] # لكل مستند معرف فريد
)
# 3. مرحلة البحث (Querying)
# الآن، لنطرح سؤالاً باللهجة العامية وبكلمات مختلفة
user_query = "كيف أرجع فلوسي لو ما عجبني المنتج؟"
# ابحث في قاعدة البيانات عن أقرب 2 نتيجة
results = collection.query(
query_texts=[user_query],
n_results=2
)
# 4. عرض النتائج
print(f"سؤال المستخدم: {user_query}n")
print("أفضل النتائج التي تم العثور عليها:")
for doc in results['documents'][0]:
print(f"- {doc}")
# --- المخرجات المتوقعة ---
# سؤال المستخدم: كيف أرجع فلوسي لو ما عجبني المنتج؟
#
# أفضل النتائج التي تم العثور عليها:
# - سياسة استرداد الأموال تكون خلال 14 يوماً من الشراء.
# - يمكنك تتبع شحنتك عبر الموقع الإلكتروني باستخدام رقم الطلب.
لاحظ السحر! بالرغم من عدم وجود أي كلمة مشتركة تقريباً بين “كيف أرجع فلوسي” و”سياسة استرداد الأموال”، فهم النموذج السياق وأعطانا الإجابة الصحيحة كنتيجة أولى. هذه هي قوة البحث الدلالي.
نصائح من خبرة أبو عمر
بعد العمل على عدة مشاريع باستخدام هذه التقنية، اسمحوا لي أن أقدم لكم بعض النصائح العملية:
1. اختر نموذج التضمين (Embedding Model) بعناية
النموذج هو قلب نظامك. هناك نماذج متعددة اللغات، ونماذج متخصصة باللغة العربية، ونماذج للمجالات التقنية أو الطبية. جرب عدة نماذج على بياناتك وقِس أداءها قبل الاعتماد على واحد.
2. استراتيجية التقطيع (Chunking) هي مفتاح الدقة
لا تقم بتضمين مستندات طويلة جداً (مثل كتاب كامل) كمتجه واحد. المعنى سيضيع. أفضل طريقة هي تقطيع المستندات إلى “قطع” (chunks) ذات معنى، مثل فقرات أو أقسام. قم بتضمين كل قطعة بشكل منفصل. عندما تجد قطعة متطابقة، يمكنك عرض المستند الأصلي بالكامل للمستخدم.
3. البحث الهجين (Hybrid Search) هو الأقوى
لا تتخلص من البحث بالكلمات المفتاحية تماماً! أحياناً، يريد المستخدم البحث عن رقم منتج محدد (SKU) أو اسم علامة تجارية بالضبط. أفضل الأنظمة اليوم تستخدم “البحث الهجين”، حيث تجمع نتائج البحث الدلالي مع نتائج البحث بالكلمات المفتاحية لتعطي أفضل ما في العالمين.
4. ليس للنصوص فقط!
تذكر، المتجهات هي مجرد أرقام. يمكنك تحويل أي شيء إلى متجه: صور، مقاطع صوتية، وحتى بيانات سلوك المستخدم. هذا يفتح الباب لتطبيقات مذهلة مثل البحث عن الصور باستخدام وصف نصي (“أرني صور غروب الشمس على الشاطئ”) أو أنظمة التوصية المتقدمة.
الخلاصة: من الحروف إلى المعنى ✨
لقد حررتنا قواعد بيانات المتجهات من قيود البحث الحرفي. لم نعد نبني أنظمة تبحث عن تطابق الكلمات، بل أصبحنا نبني أنظمة تفهم نية المستخدم. الانتقال من البحث السطحي إلى البحث الدلالي ليس مجرد تحسين تقني، بل هو تغيير جوهري في كيفية تفاعل برامجنا مع العالم ومع البشر.
إذا كنت لا تزال تعاني من “جحيم البحث الحرفي”، فأتمنى أن تكون هذه المقالة هي الشرارة التي تحتاجها للبدء في استكشاف هذا العالم الجديد والمثير. قد تبدو الخطوة الأولى كبيرة، لكن العائد يستحق كل هذا العناء وأكثر. لا تخف من التجربة، فالمستقبل يفهم المعنى، وليس فقط الحروف. 🙏
