يا جماعة الخير، السلام عليكم ورحمة الله.
قبل كم سنة، كنت شغال على مشروع متجر إلكتروني لبيع الملابس التقليدية الفلسطينية المطرزة. كان المشروع عزيز على قلبي، وصاحب المشروع، أبو خليل، رجل كبير في السن لكن همته همة شباب. المشكلة الكبيرة اللي واجهتنا ما كانت في التصميم ولا في الدفع، كانت في شغلة بسيطة ومعقدة بنفس الوقت: البحث.
كان المستخدم يدخل على الموقع ويكتب في مربع البحث “شال مطرز يدوي خفيف للصيف”. نظام البحث اللي بنيناه، واللي كان يعتمد على البحث الحرفي (Full-Text Search)، كان يرجع بنتيجة “لا يوجد نتائج”. ليش؟ لأنه المنتجات في قاعدة البيانات كانت مسجلة بأسماء مثل “كوفية صيفية” أو “شال تطريز فلاحي”. النظام كان “أعمى”، ما بفهم المعنى ولا السياق. كان يبحث عن الكلمات بحذافيرها، وإذا ما لقاها، خلص، انتهى الموضوع.
أتذكر ليلة من الليالي وأنا وأبو خليل قاعدين في المكتب، والقهوة قدامنا، وهو يقول لي بحسرة: “يا أبو عمر، الزبون مش مبرمج، ما بعرف شو الكلمات اللي إحنا كاتبينها بالزبط. هو بده يوصف اللي في باله، والموقع لازم يفهم عليه. هيك بنخسر ناس كثير”.
كلماته هاي ضلت ترن في بالي. بحثنا كان أعمى، يبحث عن الحروف ولا يرى المعنى. هذه الحادثة كانت بداية رحلتي لفهم وإنقاذ أنظمتنا من “جحيم البحث الحرفي”، والحل كان في تقنية غيرت قواعد اللعبة: قواعد بيانات المتجهات.
ما هو جحيم البحث الحرفي؟
قبل ما ندخل في الحل، خلينا نفهم أصل المشكلة. معظمنا كمطورين بدأنا مع طرق البحث التقليدية. سواء كنت تستخدم جملة LIKE '%query%' في SQL (وهي كارثة أداء بحد ذاتها)، أو أنظمة البحث المتقدمة شوي مثل Elasticsearch أو Solr، فالفكرة الأساسية واحدة: أنت تبحث عن تطابق الكلمات.
هذا النوع من البحث، اللي بنسميه البحث الحرفي أو القائم على الكلمات المفتاحية (Keyword-based search)، عنده مشاكل جوهرية:
- لا يفهم المرادفات: كلمة “سيارة” و “مركبة” هما نفس الشيء بالنسبة للإنسان، لكنهما كلمتان مختلفتان تمامًا بالنسبة للبحث الحرفي.
- يجهل السياق: جملة “تفاحة شركة أبل” تختلف كليًا عن “تفاحة فاكهة”، لكن البحث الحرفي قد يخلط بينهما بسهولة.
- حساس للأخطاء الإملائية: خطأ إملائي بسيط يمكن أن يؤدي إلى فشل البحث تمامًا.
- عاجز أمام المحتوى غير النصي: كيف تبحث عن صورة “غروب الشمس فوق بحر غزة” باستخدام كلمات مفتاحية فقط؟ الأمر شبه مستحيل.
كنا نحاول نرقع هذه المشاكل بأساليب معقدة: قوائم ضخمة من المرادفات (synonym lists)، تحليل لغوي معقد (stemming & lemmatization)، لكن كل هذه الحلول كانت مثل وضع ضمادة على جرح عميق. كنا نعالج الأعراض، لا المرض نفسه.
الخروج من الظلمات إلى النور: عالم “المتجهات” (Embeddings)
الحل الحقيقي يكمن في تغيير طريقة تفكيرنا بالبيانات. بدلاً من التعامل مع النص كـ “حروف وكلمات”، ماذا لو استطعنا التعامل معه كـ “معنى وفكرة”؟ هنا يأتي دور السحر الحقيقي: التمثيلات المتجهية أو الـ Embeddings.
شو يعني “Embedding” يا أبو عمر؟
بكل بساطة، الـ Embedding هو تحويل أي قطعة بيانات (نص، صورة، مقطع صوتي) إلى قائمة من الأرقام. هذه القائمة من الأرقام تسمى “مُتَّجَه” (Vector).
الجميل في الموضوع أن عملية التحويل هذه، والتي تتم عبر نماذج ذكاء اصطناعي مدربة مسبقًا (مثل نماذج BERT أو نماذج OpenAI)، ليست عشوائية. هي مصممة بحيث أن البيانات ذات المعاني المتقاربة يكون لها متجهات (قوائم أرقام) متقاربة في “الفضاء المتجهي”.
تخيل معي خريطة ضخمة للمعاني. على هذه الخريطة، ستجد كلمة “ملك” قريبة جداً من كلمة “ملكة”. وستجد جملة “أفضل المطاعم في نابلس” قريبة من جملة “وين آكل أكل زاكي في نابلس؟”. وحتى صورة قطة ستكون قريبة من كلمة “قطة”.
هذه المتجهات لم تعد مجرد أرقام، بل أصبحت “بصمة المعنى” للبيانات. فجأة، أصبح لدينا طريقة رياضية لقياس “التقارب في المعنى” بين شيئين.
ولادة قواعد بيانات المتجهات (Vector Databases)
طيب، ممتاز. الآن صار عنا متجهات (Embeddings) لكل بياناتنا. السؤال الطبيعي: أين سنقوم بتخزين هذه المتجهات وكيف سنبحث فيها؟
قد يفكر البعض: “بسيطة، أضيف حقل جديد في قاعدة بياناتي الـ PostgreSQL أو MySQL من نوع JSON أو TEXT وأخزن فيه قائمة الأرقام”. للأسف، هذه الفكرة لن تنجح إلا في التجارب الصغيرة جدًا. عندما يكون لديك ملايين المتجهات، وكل متجه يتكون من مئات أو آلاف الأبعاد (الأرقام)، فإن البحث عن “أقرب متجه” باستخدام الطرق التقليدية يصبح مستحيلًا حسابيًا.
لماذا لا تكفي قواعد البيانات التقليدية؟
السبب هو ما يسمى بـ “لعنة الأبعاد” (Curse of Dimensionality). البحث في فضاء ثلاثي الأبعاد سهل، لكن تخيل البحث في فضاء له 768 بُعدًا! الفهارس التقليدية (مثل B-Tree) التي تجعل قواعد البيانات العلاقية سريعة، تنهار تمامًا في هذه البيئة عالية الأبعاد. إن محاولة البحث عن أقرب جار لكل متجه ستكون أبطأ من البحث اليدوي في سجلات ورقية!
إذن، ما الذي تفعله قواعد بيانات المتجهات بشكل مختلف؟
قواعد بيانات المتجهات (مثل Pinecone, Weaviate, Milvus, ChromaDB) هي أنظمة متخصصة تم بناؤها من الصفر لغرض واحد: تخزين والبحث في كميات هائلة من المتجهات عالية الأبعاد بسرعة فائقة.
هي لا تقوم بالبحث الدقيق الكامل (Exact Nearest Neighbor)، لأن ذلك بطيء. بدلاً من ذلك، تستخدم خوارزميات ذكية تسمى “البحث التقريبي عن أقرب الجيران” (Approximate Nearest Neighbor – ANN). هذه الخوارزميات، مثل HNSW أو IVFFlat، تبني هياكل بيانات معقدة (تشبه شبكات الطرق السريعة على خريطة المعاني التي تحدثنا عنها) تسمح لها بالعثور على نتائج “جيدة بما فيه الكفاية” وجدًا قريبة من النتائج المثالية، ولكن بسرعة أكبر بآلاف المرات.
الفكرة هي التضحية بجزء صغير جدًا من الدقة (قد لا تجد الجار الأقرب 100% بل ثاني أقرب جار مثلاً) مقابل الحصول على سرعة خرافية تجعل البحث الدلالي ممكنًا على نطاق واسع.
مثال عملي: لنبني نظام بحث بسيط
الكلام النظري جميل، لكن خلينا نشوف مثال عملي بسيط باستخدام لغة Python. سنستخدم مكتبة sentence-transformers لتوليد المتجهات، ومكتبة ChromaDB كقاعدة بيانات متجهات بسيطة تعمل في الذاكرة.
الخطوة الأولى: تجهيز البيئة وتوليد المتجهات
أولاً، قم بتثبيت المكتبات اللازمة:
pip install sentence-transformers chromadbالآن، لنكتب الكود لتوليد المتجهات لمجموعة من الجمل:
from sentence_transformers import SentenceTransformer
import chromadb
# 1. تحميل نموذج ذكاء اصطناعي قادر على فهم اللغة العربية وتحويلها لمتجهات
# 'paraphrase-multilingual-MiniLM-L12-v2' is a good multilingual model.
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
# بياناتنا (المنتجات في متجرنا الافتراضي)
documents = [
"كنزة صوف ثقيلة مناسبة للشتاء القارس",
"فستان سهرة طويل وأنيق باللون الأحمر",
"بنطال جينز عصري للشباب",
"قميص قطني خفيف ومريح لفصل الصيف",
"معطف شتوي مقاوم للماء والرياح"
]
# 2. تحويل النصوص إلى متجهات (Embeddings)
embeddings = model.encode(documents)
print("تم تحويل النصوص إلى متجهات بنجاح!")
print(f"لدينا {len(documents)} مستند، وكل متجه له {len(embeddings[0])} بُعد.")
الخطوة الثانية: تخزين المتجهات والبحث عنها في ChromaDB
الآن بعد أن حصلنا على المتجهات، سنقوم بتخزينها في ChromaDB والبحث فيها.
# 3. إعداد قاعدة بيانات المتجهات (في الذاكرة لسهولة المثال)
client = chromadb.Client()
collection = client.create_collection("products")
# 4. إضافة المتجهات والبيانات الأصلية إلى قاعدة البيانات
# من المهم أن نعطي لكل مدخل ID فريد
collection.add(
embeddings=embeddings,
documents=documents,
ids=[f"id_{i}" for i in range(len(documents))]
)
print("تمت إضافة المتجهات إلى ChromaDB.")
# 5. الآن تبدأ المتعة: البحث الدلالي!
query = "بدي إشي دافي ألبسه في البرد"
# تحويل سؤال المستخدم إلى متجه بنفس الطريقة
query_embedding = model.encode([query])
# البحث في قاعدة البيانات عن أقرب 3 متجهات لمتجه السؤال
results = collection.query(
query_embeddings=query_embedding,
n_results=3
)
print(f"nنتائج البحث عن: '{query}'")
for doc in results['documents'][0]:
print(f"- {doc}")
عند تشغيل هذا الكود، ستكون النتيجة المتوقعة شيئًا كهذا:
نتائج البحث عن: ‘بدي إشي دافي ألبسه في البرد’
– كنزة صوف ثقيلة مناسبة للشتاء القارس
– معطف شتوي مقاوم للماء والرياح
– بنطال جينز عصري للشباب
لاحظ السحر! بالرغم من أن كلمة “دافي” أو “برد” غير موجودة حرفيًا في أفضل نتيجتين، إلا أن النظام فهم المعنى وجلب “كنزة صوف ثقيلة” و “معطف شتوي”. لقد انتقلنا من البحث الأعمى إلى البحث الذي يفهم القصد.
نصائح من خبرة أبو عمر
بعد سنوات من العمل على هذه التقنيات، حابب أشارككم بعض النصائح العملية:
- الـ Embedding هو كل شيء: جودة البحث تعتمد 100% على جودة نموذج الـ Embedding الذي تستخدمه. اختر نموذجًا مناسبًا للغة (عربية، إنجليزية) والمجال (تقني، طبي، عام). لا تتردد في تجربة عدة نماذج.
- ليس كل شيء يحتاج Vector DB: لا تستخدم المطرقة لقتل ذبابة. قواعد بيانات المتجهات ممتازة للبحث الدلالي، أنظمة التوصية، اكتشاف الحالات الشاذة. لكن لإدارة بيانات المستخدمين أو الفواتير، قواعد البيانات التقليدية هي الخيار الأنسب.
- قوة الفلترة المزدوجة: أفضل الأنظمة هي التي تدمج بين العالمين. استخدم البحث الدلالي لإيجاد المنتجات “المشابهة لستايل معين”، ثم استخدم الفلاتر التقليدية (metadata filtering) لتحديد النتائج حسب السعر، اللون، أو المقاس. معظم قواعد بيانات المتجهات الحديثة تدعم هذا النوع من البحث الهجين.
- الأداء مقابل الدقة: خوارزميات ANN هي لعبة موازنات. يمكنك تعديل إعدادات الفهرس (index) لتحصل على دقة أعلى على حساب سرعة أبطأ، أو العكس. افهم هذه الموازنة جيدًا لتناسب حالة استخدامك.
الخلاصة: البحث عن المعنى لم يعد أعمى 💡
الرحلة من “جحيم البحث الحرفي” إلى عالم البحث الدلالي كانت طويلة، لكنها تستحق كل لحظة. قواعد بيانات المتجهات ليست مجرد “موضة” تقنية عابرة، بل هي قطعة أساسية في بنية الذكاء الاصطناعي الحديث. هي الذاكرة طويلة الأمد التي تعتمد عليها أنظمة مثل ChatGPT (في تقنية RAG)، وهي المحرك الخفي وراء أنظمة التوصية الدقيقة في Netflix و Spotify.
لو أن هذه التقنية كانت متاحة ومنتشرة أيام مشروع أبو خليل، لكانت وفرت علينا الكثير من القهوة والليالي الطوال. اليوم، هي بين أيديكم. نصيحتي لكم: لا تخافوا من تجربتها. ابدأوا بمثال بسيط مثل الذي عرضناه، ابنوا نظام بحث صغير، وجربوا بأنفسكم قوة البحث الذي يفهم المعنى. فالمستقبل ليس في البحث عن الكلمات، بل في فهم النوايا. والله ولي التوفيق.
