في مارس 2023، أطلقت OpenAI أولى واجهات برمجة التطبيقات (APIs) الموجهة للمبرمجين لبناء تطبيقات باستخدام الذكاء الاصطناعي التوليدي (النماذج اللغوية الكبيرة). مع هذا الحدث، وُلد مجال هندسة الأنظمة الذكية (AI Engineering)، وهو مجال مختلف عن هندسة تعلم الآلة (ML Engineers). يميل مجال هندسة تعلم الآلة إلى الطابع البحثي ويهتم بكافة أنواع الذكاء الاصطناعي، بينما يميل مجال هندسة الذكاء الاصطناعي إلى التطبيق العملي، وهو في الأساس خليط من هندسة البرمجيات وبناء واستخدام نماذج اللغة الكبيرة (LLMs). لا أريد الأستطراد في مهام مهندسي الذكاء الأصطناعي، لكن اذا كنت مهتم أقرأ المزيد هنا.
وتزامن مع إطلاق هذه الـAPI، خرجت لنا برمجيات وشركات كثيرة تستخدم الذكاء الاصطناعي التوليدي. وأصبح الكثير من الشركات تنافس في تزويد المبرمجين بأحدث نماذج الذكاء الاصطناعي التوليدي. بحسب موقع Chatbot Arena، هناك ٨٤ نموذجًا يتنافسون على تقديم أفضل نماذج الذكاء الاصطناعي التوليدي، للمزيد اطلع على الموقع.
لكن السؤال المهم يبقى: "ما هو أفضل نموذج ذكاء اصطناعي توليدي باللغة العربية واللهجة السعودية يمكن استخدامه لبناء تطبيقات محلية في السعودية؟" هذا السؤال تكرر بشكل كبير ولا يوجد حتى الآن جواب قاطع له، إلا تجارب شخصية. هناك بعض الاجتهادات مثل OALL، لكن مثل هذه الاجتهادات تميل أن تكون أكاديمية ولا يوجد، لحد علمي، اختبار للهجة السعودية، والتي أراها مهمة لبناء تطبيقات محلية بالذكاء الاصطناعي التوليدي.
في هذا المقال، سأقدم تقريرًا مبسطًا عن نماذج الذكاء الاصطناعي ودعمها للغة العربية واللهجة السعودية، وأسعارها، والاستضافة وخصوصية البيانات، وفي الأخير سأختم بملخص عن أهم ماتوصلت له. أتمنى أن يكون هذا المقال مفيد لأي شخص أو شركة تريد الدخول في هذا المجال.
هناك الكثير من النماذج اللغوية (أو نماذج ذكاء اصطناعي توليدي فكلهما بنفس المعنى) المتوفرة للمبرمجين، لكن في هذه المقالة سنركز على أشهر ١٥ نموذج لغوي. سأقوم بسرد المعلومات العامة عن هذه النماذج، هذه المعلومات من عدة مصادر من أهمها artificialanalysis. المعلومات العامة التي سأذكرها تتمركز حول ثلاث محاول: حجم السياق، أسعار الاستخدام، وسياسات الاستخدام.
السياق هو مجموعة المعلومات التي تُقدم كجزء من الأمر النصي ( prompt ) للنموذج اللغوي. على سبيل المثال، بدلاً من أن تسأل النموذج اللغوي، 'من هو أحمد؟' وتتوقع منه أن يُعطيك إجابة دقيقة بدون سياق، يُفضل أن تزوده بمعلومات تاريخية أو سيرة ذاتية عن شخصية أحمد قبل طرح سؤالك. هناك فائدتان رئيسيتان لاستخدام السياق في النماذج اللغوية الكبيرة:
- توفير معلومات إضافية: يمكن أن يتضمن السياق معلومات غير معروفة للنموذج مثل أسماء وأسعار السلع في متجرك الخاص، الأخبار الجديدة، أو أي معلومة لم تكن متاحة في بيانات التدريب الخاصة بالنموذج. العديد من هذه النماذج يتم تدريبها حتى تاريخ معين يعرف بـ "cut-off knowledge". أي معلومة جديدة لم تكن ضمن معلومات التدريب يجب تزويدها كسياق للنموذج لتجنب الهلوسة (الهلوسة هنا تعني الإجابة أو الرد الغير صحيح).
- استخدامه كذاكرة: يمكن للنموذج استخدام السياق كذاكرة. على سبيل المثال، إذا أخبرت النموذج بأن اسمك عبد العزيز، فسيتذكر الاسم ما دامت المحادثة ضمن حجم السياق المحدد. إذا تعدت المحادثة حجم السياق فلن يكون اسمك من ضمن المدخلات للنموذج اللغوي، مما يعني أن لو سئلت النموذج عن اسمك لاحقاً في المحادثة ففي الغالب ستكون الإجابة عبارة عن هلوسة (مثلاً سيقول اسمك محمد).
كلما زاد حجم السياق، كانت إمكانية بناء تطبيقات أفضل على النموذج. ومع ذلك، يجب على مهندس الذكاء الاصطناعي إدارة السياق بشكل فعال ومحاولة تقليصه قدر الإمكان لأن زيادة حجم السياق مكلفة وقد تسبب بطء في استجابة النموذج. كما أن زيادة حجم السياق يمكن أن تزيد من احتمالية "الهلوسة" لدى النموذج.
للمزيد حول أهمية إدارة السياق، يمكنك قراءة الورقة الشهيرة: Lost in the Middle: How Language Models Use Long Contexts.
هذا الجدول يوضج حجم السياق للأشهر ١٥ نموذج لغوي موجود حالياً:
| Model | Context Window (token) |
|---|---|
| Gemini1.5-pro | 1M |
| Gemini1.5-flash | 1M |
| Claude-3.5-sonnet | 200K |
| ChatGPT-o4 | 128K |
| Llama3.1_405b | 128K |
| ChatGPT-o4mini | 128K |
| Command-R+ | 128K |
| Llama3.1_70b | 128K |
| Mistral-Large2 | 128K |
| Command-R | 128K |
| Llama3.1_8b | 128K |
| Mistral-nemo | 128K |
| Aya-35b | 8K |
| Aya-8b | 8K |
| Gemma-2-27B | 8K |
إذا سبق لك وتعاملت مع API مدفوعة، في الغالب أن التكلفة مرتبطة بعدد استخدامات ال API. لكن في النماذج اللغوية الكبيرة يختلف الأمر؛ فالسعر ليس على عدد مرات الاستخدام، بل على عدد رموز المدخلات والمخرجات. لكن ماهو الرمز؟ النماذج اللغوبة تقوم بترميز الكلمات قبل معالجتها. والترميز ممكن تبسيطة الى عملية تقسيم النصوص الى أجزاء صغيرة (كلمات أو حروف). مايهمنا هنا أن اللغة العربية للأسف يتم ترميزها في الغالب إلى أحرف بينما اللغة الإنجليزية إلى كلمات. هذا يعني أن استخدام النماذج اللغوية الكبيرة الحالية باللغة العربية مكلفة! وسعر أستخدامها باللغة العربية أعلى بثلاث إلى اربع اضعاف سعر الأستخدام باللغة الإنجليزية. أنظر للصورتين أدناه كيف أن ChatGPT 4 يقوم بترميز نص بالعربي بثلاث اضعاف الترميز الازم للغة الإنجليزية لنص مساوي في عدد الأحرف.
هذا الجدول يعرض اسعار النماذج لكل مليون رمز مرتب من الأرخص إلى الأغلى تكلفة:
| النموذج | السعر لكل مليون رمز مدخل (دولار) | السعر لكل مليون رمز مخرج (دولار) |
|---|---|---|
| Llama3.1_8b | $0.06 | $0.08 |
| ChatGPT-o4mini | $0.15 | $0.60 |
| Gemini1.5-flash (< 128K token) | $0.35 | $1.05 |
| Gemini1.5-flash (> 128K token) | $0.70 | $2.10 |
| Mistral-nemo | $0.30 | $0.30 |
| Aya-8b | $0.20 (تقديري) | $0.40 (تقديري) |
| Llama3.1_70b | $0.59 | $0.79 |
| Command-R | $0.50 | $1.50 |
| Gemma-2-27B | $0.80 | $0.80 |
| Aya-35b | $1.00 (تقديري) | $3.00 (تقديري) |
| Llama3.1_405b | $2.80 | $2.80 |
| Mistral-Large2 | $3.00 | $9.00 |
| Claude-3.5-sonnet | $3.00 | $15.00 |
| Command-R+ | $3.00 | $15.00 |
| Gemini1.5-pro (< 128K token) | $3.50 | $10.50 |
| Gemini1.5-pro (> 128K token) | $7 | $12 |
| ChatGPT-o4 | $5.00 | $15.00 |
فعلى سبيل المثال لو أرسلت هذا المدخل للنموذج ChatGPT o4:
- المستخدم: السلام عليكم
- النموذج: وعليكم السلام ورحمة الله وبركاته
فالمدخل "السلام عليكم" يساوي ٩ رموز والمخرج "وعليكم السلام ورحمة الله وبركاته" يساوي 23 رمز. المدخل كلف ٠.٠٠٠٠٤٥ دولار، والمخرج كلف ٠.٠٠٠٣٤٥ دولار، فالسعر النهائي لهذه المحادثة هو ٠.٠٠٠٣٩ دولار أو ٠.٠٠١٥ ريال.
واحدة من أهم الأمور التي يجب على مهندسي الذكاء الاصطناعي الانتباه لها هي سياسة الاستخدام للنماذج اللغوية الكبيرة. فالكثير من النماذج تصنف تحت (مفتوحة الأوزان) بمعنى انه بمقدورك كمهندس تحميل النموذج في جهازك الخاص واستخدامه. لكن غالب تلك النماذج المفتوحة لا تستطيع استخدامها بشكل تجاري قبل شراء ترخيص من الشركة. الجدول التالي يفصل سياسات الترخيص والاستضافة
| Model | Open Wight | Private Hosting | Cloud Hosting | License Type |
|---|---|---|---|---|
| Claude-3.5-sonnet | ❌ | ❌ | • Google Cloud’s Vertex AI (Dammam, Saudi Arabia) • Amazon Bedrock (Non-Saudi Hosting) • Anthropic API (Non-Saudi Hosting) |
Proprietary Anthropic Terms |
| ChatGPT-o4 | ❌ | ❌ | • OpenAI API (Non-Saudi Hosting) • Azure OpenAI Service (Non-Saudi Hosting) |
Proprietary OpenAI Terms |
| Gemini1.5-pro | ❌ | ❌ | • Google Cloud’s Vertex AI (Dammam, Saudi Arabia) | Proprietary Google Gemini Terms |
| Llama3.1_405b | ✅ | ✅ | Any provider with GPU. Please see Llama Partners | Llama 3.1 Community License Agreement License |
| ChatGPT-o4mini | ❌ | ❌ | • OpenAI API (Non-Saudi Hosting) • Azure OpenAI Service (Non-Saudi Hosting) |
Proprietary OpenAI Terms |
| Command-R+ | ✅ | • non-commercial use is free • commercial needs License |
• Google Cloud’s Vertex AI (Non-Saudi Hosting) • Amazon Bedrock (Non-Saudi Hosting) • Azure OpenAI Service (Non-Saudi Hosting) • Cohere API (Non-Saudi Hosting) |
Creative Commons Attribution Non Commercial 4.0 |
| Gemini1.5-flash | ❌ | ❌ | • Google Cloud’s Vertex AI (Dammam, Saudi Arabia) | Proprietary Google Gemini Terms |
| Llama3.1_70b | ✅ | ✅ | Any provider with GPU. Please see Llama Partners | Llama 3.1 Community License Agreement License |
| Mistral-Large | ✅ | • non-commercial use is free • commercial needs License |
• Google Cloud’s Vertex AI (Non-Saudi Hosting) • Amazon Bedrock (Non-Saudi Hosting) • Azure OpenAI Service (Non-Saudi Hosting) • Mistral API (Non-Saudi Hosting) |
Mistral AI Research License License |
| Aya-35b | ✅ | • non-commercial use is free • commercial needs License |
• Google Cloud’s Vertex AI (Non-Saudi Hosting) • Amazon Bedrock (Non-Saudi Hosting) • Azure OpenAI Service (Non-Saudi Hosting) • Cohere API (Non-Saudi Hosting) |
Creative Commons Attribution Non-Commercial 4.0 |
| Aya-8b | ✅ | • non-commercial use is free • commercial needs License |
• Google Cloud’s Vertex AI (Non-Saudi Hosting) • Amazon Bedrock (Non-Saudi Hosting) • Azure OpenAI Service (Non-Saudi Hosting) • Cohere API (Non-Saudi Hosting) |
Creative Commons Attribution Non-Commercial 4.0 |
| Command-R | ✅ | • non-commercial use is free • commercial needs License |
• Google Cloud’s Vertex AI (Non-Saudi Hosting) • Amazon Bedrock (Non-Saudi Hosting) • Azure OpenAI Service (Non-Saudi Hosting) • Cohere API (Non-Saudi Hosting) |
Creative Commons Attribution Non-Commercial 4.0 |
| Llama3.1_8b | ✅ | ✅ | Any provider with GPU. Please see Llama Partners | Llama 3.1 Community License Agreement License |
| Gemma-2-27B | ✅ | ✅ | Any provider with GPU. Please see Gemma Terms | Gemma Terms of Use Terms |
| Mistral-nemo | ✅ | ✅ | Any provider with GPU. Please see Mistral Deployment | Apache License Version 2.0 |
تحدثت مع العديد من الأشخاص المهتمين باستخدام النماذج اللغوية الكبيرة في تطوير وتحسين التطبيقات البرمجية. هؤلاء الأشخاص يمكن تقسيمهم إلى فئتين: الفئة الأولى تسأل عن أفضل نموذج لغوي من حيث الأداء باللغة العربية، والفئة الثانية تستخدم ChatGPT-o4. كان واضحًا لدي الحاجة لتقديم إجابة لهذا السؤال وتحدي الرأي السائد بأن ChatGPT هو الخيار الأفضل. لذا قررت إجراء هذا الاختبار، الأول من نوعه على حد علمي. الاختبار ينقسم إلى قسمين: القسم الأول يتضمن 418 سؤالًا قياسيًا لفظيًا تم استخراجها من الإنترنت وتنقيحها، وقد طُلب من أشهر 15 نموذجًا لغويًا الإجابة عليها، وهي أسئلة متعددة الخيارات كما هو معلوم. القسم الثاني يتضمن ثلاثة أسئلة تحاكي الأسئلة الموجهة إلى خدمة العملاء في القطاع العقاري، بهدف اختبار النماذج اللغوية في الإجابة على أسئلة العملاء باللهجة السعودية. استخدمت مزيجًا من LLM-as-a-Judge و Human-as-a-Judge. حيث تم اختيار ChatGPT-04 وClaude-3.5-Sonnet كنماذج لغوية قضائية، وأنا مثلت القضاة البشر. تم تقييم كل رد على الأسئلة الثلاث من عشر درجات. أدناه نتائج القسمين الأول والثاني من الاختبار. كافة بيانات الأختبار موجودة هنا.
النموذج اللغوي المقدم من شركة Anthropic، المسمى Claude-3.5-sonnet، حقق نتائج تفوق منافسه ChatGPT-o4 بفارق 6%. المفاجأة الأخرى كانت من نصيب نموذج Llama3.1_405b الذي قدمته Meta، حيث حصل على المرتبة الثالثة رغم عدم دعمه للغة العربية بشكل رسمي.
| Model | Correct | Incorrect | % of correct answers |
|---|---|---|---|
| Claude-3.5-sonnet | 287 | 131 | 68.66028708 |
| ChatGPT-o4 | 262 | 156 | 62.67942584 |
| Llama3.1_405b | 258 | 160 | 61.72248804 |
| Gemini1.5-pro | 247 | 171 | 59.09090909 |
| ChatGPT-o4mini | 246 | 172 | 58.85167464 |
| Gemini1.5-flash | 233 | 185 | 55.74162679 |
| Llama3.1_70b | 213 | 205 | 50.9569378 |
| Mistral-Large | 209 | 209 | 50 |
| Command-R+ | 174 | 244 | 41.62679426 |
| Aya-35b | 169 | 249 | 40.43062201 |
| Command-R | 163 | 255 | 38.99521531 |
| Mistral-nemo | 154 | 264 | 36.84210526 |
| Llama3.1_8b | 140 | 278 | 33.49282297 |
| Aya-8b | 131 | 287 | 31.33971292 |
| Gemma-2-27B | 127 | 291 | 30.38277512 |
مرة أخرى، النموذج اللغوي المقدم من شركة Anthropic والمسمى Claude-3.5-sonnet، قد حقق أعلى النتائج بين جميع النماذج الأخرى في الثلاثة أسئلة المخصصة لاختبار اللهجة السعودية. يمكنك مراجعة جميع الردود في الجداول أدناه
السلام عليكم، أخوي عندكم عقارات في الرياض؟ واذا ايه، وش أفضل منطقة في الرياض؟ الشمال ولا الغرب؟
| Model | Response | chatGPTo4-judge | claude-3.5-sonnet-judge | Human | Avg |
|---|---|---|---|---|---|
| claude-3.5-sonnet | هلا وغلا فيك يالغالي، حياك الله. إي والله عندنا عقارات كثيرة في الرياض، من شقق وفلل وأراضي. بالنسبة لأفضل منطقة، هذا يعتمد على احتياجاتك ورغباتك. لكن بشكل عام، الشمال والغرب من أفضل المناطق في الرياض. الشمال فيه أحياء راقية مثل حي الملقا والياسمين والنرجس، وقريب من الخدمات والمجمعات التجارية. أما الغرب ففيه أحياء حلوة زي السليمانية والعليا، وقريب من وسط المدينة. وش رايك تعلمني أكثر عن اللي تدور عليه؟ تبي شقة ولا فيلا؟ وكم عدد الغرف اللي تحتاجها؟ وهل عندك ميزانية معينة؟ لما أعرف تفاصيل أكثر، أقدر أساعدك بشكل أفضل وأقترح عليك عقارات تناسبك. | 8 | 9 | 10 | 9 |
| Aya-8b | وعليكم السلام ورحمة الله وبركاته أهلاً بك أخوي، نعم لدينا عقارات متوفرة في الرياض، وأفضل منطقة في الرياض تعتمد على تفضيلاتك الشخصية، ولكن إذا كنت تبحث عن منطقة متميزة وذات قيمة عالية للعقارات، فإن منطقة الشمال في الرياض تعتبر من أفضل المناطق. تتميز منطقة الشمال في الرياض بكونها منطقة راقية وذات مستوى عالٍ من البنية التحتية والمرافق الحيوية. فهي تحتوي على العديد من المراكز التجارية والمؤسسات التعليمية والطبية المهمة. كما أن المناطق السكنية في الشمال معروفة بكونها آمنة وهادئة نسبياً. إذا كنت مهتماً بالبحث عن عقار في الشمال، يمكنني مساعدتك في العثور على خيارات تناسب احتياجاتك وميزانيتك. يمكننا مناقشة متطلباتك بالتفصيل حتى أتمكن من تقديم أفضل الاقتراحات لك. هل تبحث عن عقار للاستئجار أو الشراء؟ | 9 | 9 | 7.5 | 8.5 |
| Gemini1.5-pro | وعليكم السلام ورحمة الله وبركاته، هلا وغلا أخوي. إيه طبعًا، عندنا عقارات كثيرة في الرياض للإيجار وللبيع. 🏘️ بالنسبة لأفضل منطقة، هذي ترجع لرغبتك أنت بالضبط وش تبي؟ 🤔 الشمال فيه حركة وحيوية أكثر، وراقي وفيه مجمعات تجارية كثيرة، زي حي حطين. 🏙️ أما الغرب فهو أهدأ بشكل عام وفيه فلل فخمة، زي حي العقيق. 🏡 قول لي وش متطلباتك، كم غرفتك المطلوبة وميزانيتك، وأنا أساعدك في البحث. 😊 | 8 | 9 | 8.5 | 8.5 |
| o4 | وعليكم السلام، أهلاً وسهلاً بك! نعم، عندنا عقارات متعددة في الرياض سواء للإيجار أو للبيع. بالنسبة لأفضل المناطق في الرياض، يعتمد الأمر على احتياجاتك وتفضيلاتك الشخصية. لكن بشكل عام، الشمال يعتبر من المناطق الفخمة وفيها تنمية كبيرة وخدمات متعددة مثل الأحياء: النخيل والعقيق والملقا ، بينما الغرب زي حي لبن وعرقة يعتبرون خيارات جيدة وراقية بس بأسعار معقولة أكثر. إذا عندك أي استفسارات إضافية أو تحتاج لمعرفة تفاصيل أكثر، تفضل اسأل وأنا بخدمتك. | 8 | 9 | 8 | 8.333333333 |
| o4mini | وعليكم السلام ورحمة الله، أهلاً وسهلاً بك! نعم، لدينا عقارات متعددة للإيجار والبيع في الرياض. بالنسبة لأفضل منطقة، كل منطقة لها مميزاتها. إذا كنت تبحث عن مناطق سكنية هادئة ومناسبة للعائلات، فالشمال يعتبر خيار ممتاز، مثل حي النخيل والرياض الجديدة. أما إذا كنت تفضل المناطق القريبة من المرافق التجارية والمراكز، فالغرب مثل حي السليمانية والغرابي يمكن أن يكون الأنسب. إذا تحتاج معلومات أكثر عن عقار معين أو تفاصيل إضافية، لا تتردد في طرح سؤالك! | 7 | 9 | 8 | 8 |
| Gemma-2-27B | وعليكم السلام ورحمة الله وبركاته! 👋 نعم أخوي، لدينا عقارات في الرياض، والله يبارك لك. 🤔 بالنسبة لأفضل منطقة، هذا يعتمد على احتياجاتك وذوقك! 😊 الشمال يشتهر بحيوية المنطقة، والمناطق الخضراء، والكثير من الخدمات. 🌳 أما الغرب فله جو هادئ أكثر، ومناطق سكنية راقية. 🏘️ أُخبرني أكثر عن احتياجاتك، ما نوع العقار اللي تبحث عنه؟ شقة، فيلا، أرض؟ وكم عدد الغرف اللي تحتاجها؟ وبعدين يمكنني مساعدتك في اختيار المنطقة الأنسب والافضل لك. 👍 | 7 | 9 | 7.5 | 7.833333333 |
| Large | وعليكم السلام، اهلا وسهلا بك. عندنا عقارات في كل منطقة في الرياض بالطبع. بالنسبة لأفضل منطقة، فهذا يعتمد على احتياجاتك وتفضيلاتك. الشمال الرياض عادةً مايكون مكاناً ذو أجواء هادئة وأكثر ملاءمة للأسر، بينما الغرب قد يكون أقرب للعمل والمرافق التجارية. هل يمكنك أن تخبرني عن تفضيلاتك وميزانيتك لكي أعرض عليك خيارات مناسبة؟ | 8 | 9 | 6.5 | 7.833333333 |
| Aya-35b | وعليكم السلام ورحمة الله وبركاته حياك الله يا أخي. نعم، لدينا العديد من العقارات في الرياض. بالنسبة لأفضل منطقة، فهذا يعتمد على تفضيلاتك الشخصية. المنطقة الشمالية والغربية كلاهما مناطق ممتازة ولها مميزاتها الخاصة. المنطقة الشمالية: تتميز المنطقة الشمالية في الرياض بكونها منطقة حيوية ونابضة بالحياة، حيث تضم العديد من المرافق والخدمات الهامة، مثل المستشفيات والمدارس والجامعات والمراكز التجارية. كما أن المنطقة الشمالية تتمتع ببنية تحتية متطورة، بما في ذلك الطرق السريعة والمواصلات العامة. بالإضافة إلى ذلك، فإن المنطقة الشمالية تتميز بوجود العديد من الحدائق والمنتزهات الجميلة، مما يجعلها مناسبة للعائلات والأطفال. المنطقة الغربية: من ناحية أخرى، تتميز المنطقة الغربية في الرياض بكونها منطقة هادئة وراقية، حيث تضم العديد من الفلل والقصور الفاخرة. كما أن المنطقة الغربية تتمتع بوجود العديد من المرافق الترفيهية، مثل النوادي الصحية ومراكز التسوق الفاخرة. بالإضافة إلى ذلك، فإن المنطقة الغربية قريبة من العديد من المعالم الهامة في المدينة، مثل قصر اليمامة ومركز الملك عبد العزيز التاريخي. في النهاية، اختيار المنطقة المناسبة يعتمد على تفضيلاتك الشخصية واحتياجاتك الخاصة. إذا كنت تبحث عن منطقة حيوية ونابضة بالحياة، فإن المنطقة الشمالية قد تكون الخيار الأفضل. أما إذا كنت تفضل منطقة هادئة وراقية، فإن المنطقة الغربية قد تكون الأنسب لك. أتمنى أن أكون قد ساعدتك في فهم خياراتك بشكل أفضل. إذا كان لديك أي استفسارات أخرى، لا تتردد في السؤال. نحن هنا لمساعدتك في العثور على العقار المناسب الذي يلبي احتياجاتك وتطلعاتك. | 6 | 9 | 7 | 7.333333333 |
| Command-R+ | وعليكم السلام، حياك الله أخوي. نعم، عندنا عقارات فخمة وحديثة في الرياض، ونسعد بمساعدتك وخدمتك. بالنسبة لسؤالك عن أفضل منطقة، هذا يعتمد على تفضيلاتك الشخصية وطبيعة احتياجاتك. شمال الرياض وجنوبه أكثرازدحاماً من غربه وإشراق الشمس فيه أطول. شمال الرياض جداً جميل وفيه كل الخدمات اللي تحتاجها للعيلة والويكند، مثلاً كافيهات ومطاعم وشاليهات ومراكز تسوق. لكنه يعتبر أبعد شوي عن وسط المدينة. أما غرب الرياض، فهو قريب من وسط المدينة والدوائر الحكومية، ويوفر سهولة الوصول إلى المناطق التجارية والصناعية الرئيسية في المدينة. أيضاً، غرب الرياض يعتبر أكثر هدوءً مقارنة بالشمال. الشمال والغرب، كلاهمافيهم مناطق هادية وخدماتها ممتازة، وفيها مجمعات سكنية راقية وفخمة، وفيها كل ما تحتاجه للعيش الكريم والراحة. إذا حاب استفسر عن تفاصيل أكثر، أو تبغى نحدد موعد نشوفلك العقارات اللي تناسبك، أرحب فيك وأنا جاهز أساعدك واقترح عليك بعض الخيارات الممتازة. | 6 | 9 | 7 | 7.333333333 |
| mistral-nemo | وعليكم السلام، أهلاً وسهلاً. نعم، لدينا العديد من العقارات في الرياض. أفضل منطقة في الرياض تعتمد على احتياجاتك وميزانيتك. إذا كنت تفضل الحي الحيوي، فإن شمال الرياض هو خيار جيد. ومع ذلك، فإن غرب الرياض هو أيضًا منطقة راقية وتوفر العديد من المرافق. ما هو نوع العقار الذي تبحث عنه؟ سنحاول مساعدتك على إيجاد أفضل الخيار لك. | 7 | 8 | 7 | 7.333333333 |
| Llama3.1_405b | وَعلَيكُمالسَلام، نورتنا! نعم حنا عنا العديد والعديد من العقارات والفلل والشقق في الرياض. أفضل المنطقة في الرياض تعتمد على إحتياجك وذوقك. لكن بشكل عام أغلب الناس يفضلون الشمال، لاحتوائه على العديد من خدمات ومرافق. على سبيل المثال مدينة الملك عبدالله المالية وفندق ريتز-كارلتون. يعني المنطقة شبه كلها خدمات. وأشكرك على ثقة في شركتنا بخصوص العقارات. ماذا تريد بالذات عقار للإجارة ولا للبيع في الرياض؟ | 5 | 8 | 7 | 6.666666667 |
| Llama3.1_70b | أهلاً بك، نعم عندنا عقارات متوفرة للإيجار والبيع في الرياض، ومن أفضل المناطق في الرياض منطقة الشمالية، لانها تحتوي على الكثير من الخدمات الحكومية والتجارية والترفيهية، بالإضافة إلى أنها منطقة حديثة التنظيم وتهتم بشكل كبير بنظافة الشوارع، ومنطقة الغرب ايضاً من المناطق الجيدة ولكنها تحتوي على الكثير من الزحام في الشوارع، لكن في النهاية الاختيار يعتمد على احتياجاتك ورغباتك، هل هناك نوع معين من العقارات تبحث عنه؟ | 6 | 8 | 6 | 6.666666667 |
| Llama3.1_8b | مرحباً بكم في خدمة العملاء. نعم، لدينا عقارات متاحة للإيجار والبيع في الرياض. أفضل منطقة في الرياض تعتمد على تفضيلاتك الشخصية. إذا كنت تبحث عن منطقة هادئة، فمنطقة الشمال مثل القصيم وملزيمه هي خيار جيد. أما إذا كنت تبحث عن منطقة أكثر نشاطًا، فمنطقة الغرب مثل الخالدية وملزيمه هي خيار جيد. يمكننا أن نقدم لك قائمة بالعقارات المتاحة في كل منطقة. ما هو نوع العقار الذي تبحث عنه؟ | 6 | 9 | 5 | 6.666666667 |
| Gemini1.5-flash | وعليكم السلام ورحمة الله وبركاته، اهلاً وسهلاً فيك يا أخوي. نعم، عندنا عقارات في الرياض، أنواعها وأحجامها مختلفة، بالنسبة لأفضل منطقة، هذا يعتمد على احتياجاتك وأولوياتك. الشمال عادةً يكون أغلى من ناحية الإيجار ، و فيه كثافة سكانية أكبر، لكن فيه خدمات ومدارس وعيادات أكثر. الغرب أهدأ وأقل تكلفة، بس قد يكون بعد عن المراكز التجارية والخدمات بعض الشيء. شو بتبحث عنّه بالضبط ؟ ممكن تقول لي عن نوع العقار، العدد المطلوب من الغرف ، و الميزانية ، وهذا يساعدني في اختيار المنطقة المناسبة لك . | 5 | 7 | 7.5 | 6.5 |
| Command-R | وعليكم السلام، هلا وغلا فيكم اخواني وأخواتي زبائننا الكرام، نعم لدينا عقارات في الرياض، ومقسمين حسب المناطق. متاح لدينا عقارات في شمال وغرب الرياض. портал عقارنا ب Konflikthundred تقدم لكم أفضل العروض. الشمال يعتبر أفضل شيء للعائلات، الهدوء والراحة والجو الجميل دائماً موجود. وكمان فيه الكثير من المجمعات الترفيهية والمراكز التجارية، mencionadas الشيء اللي يعطيكم تجربة سكن راقية ومريحة. وأسعارها تعتبر مناسبة مقارنة بالخدمات اللي تقدمها. أما الغرب فهي منطقة فيها كثير مرافق حكومية، وفله أكثر زحمة وحركة من الشمال. الأسعار فيها أغلى شوي، لكن فيه Magister أكثر من الشمال، والطرق سريعة للوصول لأي مكان بالرياض. اذا كان لديكم أي استفسار آخر عن عقار محدد او أي معلومات إضافية تبغونها عن المنطقة، بشرفنا نرد عليكم ونقدم لكم اللي تبونه. | 3 | 5 | 5.5 | 4.5 |
عدد عائلتنا مكون من ٥ افراد، هل عنكم شقق اجار مناسبة لحجم العائلة، عطني تفاصيل الشقق المناسبة
| Model | Response | chatGPTo4-judge | claude-3.5-sonnet-judge | Human | Avg |
|---|---|---|---|---|---|
| claude-3.5-sonnet | هلا وغلا فيك! أكيد عندنا شقق مناسبة لعائلتكم الكريمة. بالنسبة لحجم عائلتكم، أقترح عليكم شقق بثلاث غرف نوم وصالة. عندنا كم خيار زين: 1. شقة في حي النزهة، مساحتها 150 متر مربع، فيها 3 غرف نوم وصالة كبيرة ومطبخ مجهز. الإيجار 45 ألف ريال بالسنة. 2. شقة في حي الروضة، مساحتها 170 متر مربع، 3 غرف نوم وصالتين ومطبخ واسع. الإيجار 50 ألف ريال بالسنة. 3. شقة في حي الملقا، مساحتها 160 متر مربع، 3 غرف نوم وصالة ومطبخ أمريكي. الإيجار 48 ألف ريال بالسنة. كل هالشقق نظيفة ومرتبة وقريبة من الخدمات. إيش رايك فيها؟ تبغى تعرف أكثر عن وحدة معينة؟ أو عندك أي استفسارات ثانية؟ | 10 | 9 | 10 | 9.666666667 |
| Command-R+ | هلا والله، اتفضل، تسعدنا خدمتك. عندنا عدة خيارات لشقق مناسبة لعايلة مكونة من ٥ أفراد، وكلها بمواصفات رائعة وبأسعار معقولة. معظم الشقق فيها ٣ غرف نوم وصالة كبيرة، ودورتين مياه على الأقل، ومطبخ مجهز. مثلاً، عندنا شقة ممتازة في حي الرمال، مساحتها ١٤٠ متر مربع، مؤثثة تأثيث كامل وراقي، وفيها جميع الأجهزة الكهربائية اللازمة، وبسعر ٣٥ ألف ريال سنوياً. أو إذا حاب تاخذ شقة بدون أثاث، عندنا شقة فاخرة في حي النسيم، مساحتها ١٦٠ متر مربع، و3 غرف نوم وصالة كبيرة، و3 دورات مياه، ومطبخ مجهز بالأجهزة الأساسية، وفيها بلكونة مطلة على شارع تجاري، وتبعد دقايق من الخدمات والمدارس، وسعرها مناسب جداً، بس ٣٠ ألف ريال في السنة. هذا غير عدة خيارات أخرى في أحياء متفرقة من الرياض، وبننسق معك لمعرفة طلباتك بالضبط علشان نقدر نساعدك بأفضل شكل إن شاء الله. يهمنا نسمع طلباتك علشان نساعدك تلاقي المكان المناسب الي يريحك. إذا عندك أي استفسارات أخرى، أو إذا ودك نزودك بصور ومعلومات إضافية، ترا حنا حاضرين وعلى أتم الاستعداد. | 9 | 9 | 9 | 9 |
| Gemini1.5-pro | هلا وغلا، حياك الله. أكيد، عندنا شقق كثيرة تناسب عائلة من ٥ أفراد. ممكن تعطيني فكرة عن وش نوع الشقة اللي تدورها بالضبط؟ يعني مثلاً: * كم غرفة نوم تحتاجون؟ * وش المنطقة اللي تفضّلونها؟ * وش الميزانية اللي محددينها للإيجار؟ بمجرد ما تعطيني هالمعلومات، أقدر أدوّر لك على أفضل الخيارات المتاحة. 😊 | 9 | 9 | 9 | 9 |
| o4 | ياهلا ومرحبا! حياكم الله، نعم، لدينا عدة شقق تناسب حجم عائلتكم المكونة من ٥ أفراد. هنا بعض الخيارات المتاحة: 1. شقة ثلاث غرف نوم: - الموقع: حي الرمال - المساحة: ١٥٠ متر مربع - المميزات: موقف سيارة، مكيفات، مطبخ مجهز، قريب من المدارس والمحلات التجارية - السعر: ٥٠٠٠٠ ريال سنوياً 2. شقة أربع غرف نوم: - الموقع: حي اليرموك - المساحة: ١٨٠ متر مربع - المميزات: موقف سيارة، مكيفات مركزية، مطبخ مجهز، غرفة خادمة، قريبة من المرافق العامة - السعر: ٦٥٠٠٠ ريال سنوياً 3. شقة مع سطح خاص: - الموقع: حي العليا - المساحة: ٢٠٠ متر مربع - المميزات: موقف سيارة، مكيفات، مطبخ مجهز، سطح خاص، قريب من الأسواق والمستشفيات - السعر: ٨٠٠٠٠ ريال سنوياً إذا رغبت بمزيد من التفاصيل أو تودون زيارة أي من هذه الشقق، يرجى التواصل معنا، ونحن في خدمتكم. | 9 | 9 | 8 | 8.666666667 |
| Llama3.1_405b | مرحباً بك! شكراً لتواصلك معنا. نعم، لدينا العديد من الشقق المناسبة لعائلتك الكريمة المكونة من ٥ أفراد. لدينا شقق في عدة مناطق من الرياض، مثل الشرفية، المعذر، والعليا. كما لدينا شقق في مدن أخرى مثل جدة والدمام. الشقق التي نتوفر عليها تتراوح مساحتها بين ١٢٠ متر مربع إلى ٢٠٠ متر مربع، وتتضمن من ٣ إلى ٤ غرف نوم، و ٢ إلى ٣ دورات مياه، ومطبخ مجهز بجميع الأجهزة الكهربائية. كما أن بعض الشقق يحتوي على غرفة خادمة ومرحاض خاص بها. بالنسبة لأسعار الإيجار، فإنها تتراوح بين ٣٥٠٠ ريال سعودي إلى ٦٠٠٠ ريال سعودي شهرياً، وذلك حسب الموقع ووسائل الراحة المقدمة. هل تود معرفة المزيد من التفاصيل حول شقة معينة؟ أو ربما تود جدولة موعد لزيارة بعض الشقق؟ نحن هنا لمساعدتك! | 9 | 9 | 7 | 8.333333333 |
| Llama3.1_70b | أهلاً بك في خدمتنا. بالتأكيد، لدينا شقق للإيجار تناسب عائلتك. لدينا شقق ثلاث غرف نوم وصالة ومطبخ وثلاث حمامات، تبلغ مساحة الشقة 150 متر مربع. الشقق مجهزة تجهيزًا جيدًا، مع أرضيات رخامية وديكورات فاخرة. كما أن الشقق تتمتع بإطلالات رائعة على المدينة. السعر الشهري للشقة هو 2500 ريال سعودي. إذا كنت ترغب في المزيد من التفاصيل أو رؤية الشقة، يمكنني ترتيب زيارة لك في أقرب وقت ممكن. | 8 | 9 | 7 | 8 |
| Aya-35b | مرحبا! يسعدنا مساعدتك في إيجاد شقة مناسبة لعائلتك. لدينا العديد من الخيارات التي قد تناسبك. لدينا شقق مفروشة بالكامل ومجهزة بجميع وسائل الراحة، وتتوفر بمساحات مختلفة لتناسب احتياجات عائلتك. تقع هذه الشقق في أحياء راقية وآمنة، وقريبة من جميع الخدمات التي قد تحتاجها عائلتك. بالنسبة للتفاصيل، لدينا شقق مكونة من ثلاث غرف نوم، وغرفتي نوم، وحتى أربع غرف نوم. تحتوي كل شقة على حمامات متعددة، ومطبخ مجهز بالكامل، وغرفة معيشة واسعة. كما تتوفر بعض الشقق مع شرفة أو تراس للاستمتاع بالهواء الطلق. بالنسبة للأسعار، تختلف حسب حجم الشقة وموقعها. ولكن يمكننا أن نضمن لك أن أسعارنا تنافسية ومعقولة. يمكننا أيضاً مناقشة خيارات الدفع والتفاوض على السعر الذي يناسب ميزانيتك. إذا كنت مهتمًا بمعرفة المزيد أو ترغب في زيارة إحدى هذه الشقق، يرجى إعلامنا بالموعد المناسب لك، وسنكون سعداء بترتيب زيارة لمعاينة الشقق المتاحة. لا تتردد في طرح أي أسئلة أخرى، وسنكون سعداء بتقديم المساعدة! | 8 | 8 | 7 | 7.666666667 |
| Aya-8b | مرحباً بك، يسعدنا مساعدتك في البحث عن عقار مناسب لعائلتك الكريمة. لدينا العديد من الخيارات الرائعة لشقق الإيجار التي تناسب عائلتك المكونة من 5 أفراد. أحد الخيارات الرائعة هو مجمع سكني يقع في قلب مدينة الرياض. يحتوي هذا المجمع على شقق فسيحة ومؤثثة بالكامل، مع 3 غرف نوم و2 حمام، ومطبخ مجهز بالكامل، وغرفة معيشة. كما يوفر المجمع مرافق رائعة مثل حمام سباحة ومركز لياقة بدنية وجيم، بالإضافة إلى منطقة مخصصة للأطفال. يقع المجمع على مقربة من جميع وسائل الراحة والخدمات، بما في ذلك المراكز التجارية والمدارس والمستشفيات. خيار آخر رائع هو شقق تمليك في مدينة جدة، والتي توفر مساحة أكبر للعائلة. تحتوي هذه الشقق على 4 غرف نوم و3 حمامات، ومطبخ مجهز، وغرفة معيشة مفتوحة، بالإضافة إلى مساحة خارجية خاصة. تقع الشقق في حي راقي في جدة، على مقربة من جميع وسائل الراحة والخدمات، بما في ذلك المراكز التجارية والحدائق والمدارس. إذا كنت تبحث عن شيء أكثر هدوءًا وسكينة، فيمكننا أيضًا تقديم شقق تقع في مناطق سكنية هادئة في كل من الرياض وجدة. هذه الشقق توفر بيئة سكنية مريحة مع سهولة الوصول إلى جميع وسائل الراحة الضرورية. يمكننا مناقشة متطلباتك بالتفصيل وتزويدك بتفاصيل كاملة حول هذه العقارات، أو البحث عن خيارات أخرى تناسب ميزانيتك وتفضيلاتك. نحن هنا لمساعدتك في العثور على المنزل المثالي لعائلتك. | 8 | 8 | 7 | 7.666666667 |
| Large | مرحبا بك! بالطبع، نحن لدينا شقق مناسبة لعائلة مكونة من ٥ أفراد. سأقدم لك تفاصيل بعض الخيارات المتاحة: 1. شقة في حي النخيل: - عدد الغرف: 3 غرف نوم + غرفة خادمة. - المساحة: 150 متر مربع. - المستوى: طابق ثاني. - الموقع: قريب من المدارس والأسواق. - الإيجار: 3000 ريال شهرياً. 2. شقة في حي الملك فهد: - عدد الغرف: 3 غرف نوم. - المساحة: 140 متر مربع. - المستوى: طابق أرضي. - الموقع: قريب من المستشفيات والمراكز التجارية. - الإيجار: 2800 ريال شهرياً. 3. شقة في حي الصفا: - عدد الغرف: 4 غرف نوم. - المساحة: 160 متر مربع. - المستوى: طابق أول. - الموقع: قريب من المتنزهات والمطاعم. - الإيجار: 3500 ريال شهرياً. إذا كنت بحاجة لمزيد من التفاصيل أو لديك أي استفسارات أخرى، فلا تتردد في مراسلتنا. سعيد بخدمتك! | 8 | 8 | 7 | 7.666666667 |
| o4mini | مرحبًا، وشكرًا لك على تواصلك معنا! بالتأكيد، عندنا شقق للإيجار تناسب عائلتكم المكونة من 5 أفراد. لدينا عدة خيارات، مثل شقق مكونة من 3 غرف نوم بحمامات خاصة، مع صالة واسعة ومطبخ مجهز بالكامل. بعض الشقق تحتوي على شرفة مطلة، وهذا شيء جميل. المساحات تبدأ من 150 متر مربع، وتتسع بسهولة لعائلتكم. إذا كانت لديكم تفضيلات معينة مثل الموقع أو الميزانية، أخبروني وسأساعدكم في العثور على الأنسب لكم. | 8 | 8 | 7 | 7.666666667 |
| Gemini1.5-flash | وعليكم السلام ورحمة الله وبركاته، حياك الله! أفهم إنك تبحث عن شقة للإيجار لعائلة مكونة من خمسة أفراد. عندك حق! لازم تكون الشقة مناسبة لحجم العائلة. عشان أقدر أرشح لك شقق مناسبة، ممكن تقول لي شو نوع الشقة اللي تبغى؟ * هل تبغى شقة دوبلكس؟ * أو شقة معروفة ؟ * أو شقة بالأعلى؟ * و كم عدد غرف النوم اللي تحتاجها؟ خلينا نشوف مع بعض شو ممكن نلقى لك من شقق مناسبة لعائلتك. | 4 | 6 | 7 | 5.666666667 |
| Llama3.1_8b | مرحباً بكم في خدمة العملاء السعودية لقطاع العقار. نرحب بكم وتقبلوا اعتذاري على الإجابة عن أسئلتكم بسرعة. إذا كنت تبحث عن شقق للإيجار مناسبة لحجم عائلتكم المكونة من ٥ أفراد، يمكننا التوديع لك بعض الخيارات التالية: 1. شقق 3 غرف في حي الرياض: تقع في حي الرياض، وتمتلك ٣ غرف، وصالة، ومطبخ، وبيت ساونا، ووضعية ممتازة. وقد تمリت ك، وتم تعقيمها، وتمتلك شرفات ووضعية ممتازة. 2. شقق 3 غرف في حي العليا: تقع في حي العليا، وتمتلك ٣ غرف، وصالة، ومطبخ، وبيت ساونا، ووضعية ممتازة. وقد تمتلك شرفات ووضعية ممتازة. 3. شقق 3 غرف في حي السليمانية: تقع في حي السليمانية، وتمتلك ٣ غرف، وصالة، ومطبخ، وبيت ساونا، ووضعية ممتازة. وقد تم تعقيمها، وتمتلك شرفات ووضعية ممتازة. 4. شقق 3 غرف في حي السليمانية: تقع في حي السليمانية، وتمتلك ٣ غرف، وصالة، ومطبخ، وبيت ساونا، ووضعية ممتازة. وقد تمتلك شرفات ووضعية ممتازة. يمكنك زيارة موقعنا الإلكتروني وتصفح الخيارات المتاحة لدينا، أو يمكنك التواصل معنا من خلال رقم الهاتف في حالة وجود أي أسئلة أخرى. | 3 | 6 | 6 | 5 |
| Gemma-2-27B | أهلاً وسهلاً بيكم، وعليكم السلام! ممتاز، لدينا شقق مناسبة لعائلات مثل عيلتكم. 🤔 قُدر بقيGimme some more details about what you're looking for to help me find the perfect fit. * كم عدد الغرف اللي تت문ونها؟ * هل تبغون شقة مفروشة ولا غير مفروشة؟ * في أي منطقة تفضلون السكن؟ * ماهو الميزانية اللي حددتها للإيجار؟ بمجرد ما تعطوني هذه المعلومات، بأقدر أساعدكم بأفضل طريقة ممكنة. 😊 | 3 | 5 | 3 | 3.666666667 |
| mistral-nemo | مرحبًا، أنا سعيد auxiliar لكم. نعم، عندنا شقق مناسبة لحجم عائلتكم. لدينا شقق مكونة من 3 غرف و 2 حمام في حي [اسم الحي]. الشقق مزودة بوسائط تواصل وإضاءة led. كل شقة لديها مساحة إصلاحية وparking خاصة. السعر starts من [سعر starting] ريال سعودي. هل هناك شيء محدد ترغبون في السؤال عنه؟ | 3 | 5 | 2 | 3.333333333 |
| Command-R | dires al ahleases fe l 5declaration welcome 3oyal papers ena 3ンディImm family feaha banka cre се 5 individuals bs el hamdulillah feهمfteel eigaraat gher 3 δια Berthold ha stat، fel ht에o main qleat 9 coś sترin apts 3le sterl gبعa 3g diamond s awal سعر rent gبعa 13一个人/ليال 900sr بset ٣غرف نوم و صالة و ٢ حمام و مطبخ رايق | 1 | 1 | 0 | 0.666666667 |
الله يعافيك شكرا لك صراحة خدمتني مره، متى اقدر اجي اشوف الشقق الي عندكم؟
| Model | Response | chatGPTo4-judge | claude-3.5-sonnet-judge | Human | Avg |
|---|---|---|---|---|---|
| claude-3.5-sonnet | هلا وغلا فيك يالغالي، الله يعافيك ويسلمك. حياك الله في أي وقت يناسبك! احنا موجودين من الساعة 9 صباحاً لين 9 مساءً طول أيام الأسبوع. إذا تبي تجي بكرة أو أي يوم ثاني، بس قولي وأنا أرتب لك موعد مع أحد مندوبينا عشان يوريك الشقق اللي عندنا بالتفصيل. وإذا عندك أي استفسارات قبل ما تجي، لا تتردد تسألني وأنا بخدمتك. | 10 | 9 | 10 | 9.666666667 |
| Command-R | مرحبا بك اخوي، والعفو هذا واجبنا نخدمك بكافة استفساراتك. بخصوص الشقق فإنها متاحة لمعاينة كل يوم من الساعة ٩ الصباح الى ٥ العصر، وآخر موعد للدخول يكون الساعة ٤:٣٠ العصر عشان تلحق تشوف الشقة براحتك. ننتظرك اخوي في اي وقت يناسبك. | 10 | 9 | 10 | 9.666666667 |
| o4 | الله يعافيك، ما سوينا إلا الواجب. بالنسبة لمواعيد زيارة الشقق، تقدر تجي تشوفها من السبت إلى الخميس من الساعة 9 صباحًا إلى 5 عصرًا. إذا حاب نحدد لك موعد مناسب، بس عطني خبر ونرتب لك الزيارة. إذا عندك أي استفسارات إضافية أو تحتاج أي مساعدة، أنا في خدمتك. | 10 | 9 | 10 | 9.666666667 |
| Gemini1.5-flash | وعليكم السلام ورحمة الله وبركاته. حياك الله، يشرفنا خدمتك. متى تبي تجي؟ تقدر تيجي بكرة أو بعد بكرة أو اي يوم يناسبك. تفضل حدد لنا موعد يناسبك ونكون حاضرين | 10 | 8 | 10 | 9.333333333 |
| Gemini1.5-pro | هلا والله، الله يسلمك ويعافيك. تشرفنا بخدمتك، ونسعد بزيارتك لنا في أي وقت. الشقق متاحة للمعاينة طول اليوم، متى ما ناسبك تفضل ونتشرف فيك. | 10 | 9 | 9 | 9.333333333 |
| Command-R+ | هلا والله! الله يعافيك وشكراً لك على كلامك الطيب، ما نقدر نوصف لك قد ايه اسعدتنا ملاحظتك. حابين نرحب فيك في أي وقت من السبت للأربعاء من الساعة 9 صباحاً إلى 6 مساءً إلا يوم الجمعة لأنه إجازتنا الأسبوعية. تواصل معانا قبلها علشان نتأكد ان مندوبنا موجود ويخدمك، أو اذا حاب نرسلك صور الشقق أو معلومات أكثر. لاتتردد في السؤال عن أي شي ودّك تعرفه وانا مستعد اخدمك. | 8 | 9 | 10 | 9 |
| Llama3.1_405b | أهلاً وسهلاً بك! الحمد لله أن خدمتنا عجبتك، نحن هنا لنخدمك بأفضل ما نستطيع. بخصوص زيارة الشقق، نعم بالتأكيد! يمكنك زيارتنا في أي وقت خلال ساعات العمل، من الساعة ٩ صباحًا حتى الساعة ٥ مساءً. لكن، أنصحك بالحجز المسبق حتى نضمن توافر الشقق التي تريد مشاهدتها. متى تنوي القدوم؟ | 8 | 9 | 10 | 9 |
| o4mini | هلا وغلا! يسعدني إنك لقيت الخدمة مفيدة. بالنسبة لموعد رؤية الشقق، تقدر تحدد موعد زيارة في أي وقت يناسبك. ممكن تقولي متى تفضّل تجي، وبإذن الله ننسق لك الزيارة. | 9 | 9 | 9 | 9 |
| Aya-35b | حياك الله يا الغالي، سعيد بمساعدتك وخدمتك. بالنسبة لزيارتك لمشاهدة الشقق، يمكنك الحضور في أي وقت يناسبك خلال أوقات العمل الرسمية. نحن متواجدون هنا لمساعدتك وإرشادك خلال عملية المعاينة. إذا كان لديك أي استفسارات إضافية أو إذا كنت ترغب في تحديد موعد مسبق، يرجى إعلامنا بذلك. نحن هنا لضمان تجربة استئجار أو شراء ممتعة وخالية من المتاعب. لا تتردد في إخباري إذا كان لديك أي طلبات محددة أو إذا كنت ترغب في الحول عقارات المتاحة. | 8 | 8 | 9 | 8.333333333 |
| Llama3.1_70b | عفوًا، تفضل أخي الكريم، نحن هنا من الساعة 8 صباحًا حتى 5 مساءً، ويمكنك زيارتنا في أي وقت يناسبك، وسنكون سعداء بتقديم خدمتنا لك. هل تريد أن نحدد موعدًا معينًا لزيارتك؟ | 9 | 7 | 9 | 8.333333333 |
| Aya-8b | تفضل يا الغالي، أي وقت يناسبك نحن تحت خدمتك. | 8 | 7 | 9 | 8 |
| Large | اهلا وسهلا، رحب بيك في خدمة عملائنا الكرام. بالنسبة لزيارة الشقق المتاحة لدينا للإجار أو البيع، يمكنك الحضور في أي وقت مناسب لك خلال ساعات العمل. إذا أردت تحديد موعد مسبق لضمان الحصول على خدمة مخصصة، يمكنك الاتصال علينا أو إرسال رسالة وسنقوم بترتيب الموعد المناسب لك. كيف نساعدك اليوم؟ | 5 | 8 | 7 | 6.666666667 |
| Llama3.1_8b | مرحباً بكم في خدمة العملاء العقارية. نرحب بكم دائماً. يمكنكم زيارة مكتبنا في أي وقت خلال ساعات العمل، وهي من الساعة 8 صباحاً حتى الساعة 5 مساءً، من أيام الأسبوع. كما يمكنكم التواصل معنا عبر الهاتف أو البريد الإلكتروني لتحديد موعد لزيارة الشقق المتاحة. | 7 | 5 | 7 | 6.333333333 |
| Gemma-2-27B | وعليكم السلام، مرحباً بك 😊 يسعدني مساعدتك! متى يكون لك وقت فراغ؟ 🤔 هل تفضلين/تفاضل تاخذين موعد معي لمشاهدة الشقق؟ بحاول قدر المستطاع أكون مرنًا في المواعيد 🗓️ | 4 | 1 | 9 | 4.666666667 |
| mistral-nemo | و الله الله يا brother، تفضلي أيتها المودة. هن نحب أن نجوعك. يمكن تتقدر تأتي تشوف الشقق اللي عندنا بكره في العاشرة، إيه تقول؟ | 2 | 2 | 0 | 1.333333333 |
المجوع الكلي للأختبارات تظهر تفوق واضح لـ Claude-3.5-sonnet.
| Model | Q418 | Q1 | Q2 | Q3 | Final Score |
|---|---|---|---|---|---|
| Claude-3.5-sonnet 🥇 | 15 | 15 | 15 | 15 | 60 |
| ChatGPT-o4 🥈 | 14 | 13 | 13 | 15 | 55 |
| Gemini1.5-pro 🥉 | 12 | 14 | 14 | 14 | 54 |
| Llama3.1_405b | 13 | 9 | 12 | 13 | 47 |
| ChatGPT-o4mini | 11 | 12 | 10 | 13 | 46 |
| Command-R+ | 7 | 10 | 14 | 13 | 44 |
| Gemini1.5-flash | 10 | 8 | 9 | 14 | 41 |
| Llama3.1_70b | 9 | 9 | 11 | 12 | 41 |
| Mistral-Large2 | 8 | 11 | 10 | 10 | 39 |
| Aya-35b | 6 | 10 | 10 | 12 | 38 |
| Aya-8b | 2 | 14 | 10 | 11 | 37 |
| Command-R | 5 | 7 | 5 | 15 | 32 |
| Llama3.1_8b | 3 | 9 | 8 | 10 | 30 |
| Gemma-2-27B | 1 | 11 | 7 | 9 | 28 |
| Mistral-nemo | 4 | 10 | 6 | 8 | 28 |
من نتائج الاختبارات، برز بوضوح أن ChatGPT-o4 لم يكن الأفضل في اختبار اللغة العربية. بناءً على ذلك، يمكنني التوصية بشدة باستخدام Claude-3.5-sonnet لمن يرغب في الحصول على أفضل النتائج باللغة العربية؛ ليس فقط لتفوقه الواضح، بل أيضًا لتكلفته الأقل مقارنةً بـ ChatGPT-o4. النماذج اللغوية تتطور باستمرار؛ فعلى سبيل المثال، أعلنت OpenAI اليوم عن ميزة Structured Outputs، وهي ميزة قد لا تتوفر في النماذج الأخرى بهذه الموثوقية. نتائج هذا الاختبار قابلة للتغيير مع كل تحديث جديد، ولكن بإذن الله سأحرص على تحديث المقال مع أي جديد. خلاصة القول:
-استخدم Claude-3.5-sonnet للحصول على أفضل النتائج باللغة العربية.
-استخدم ChatGPT-o4mini لتحقيق توازن بين التكلفة والجودة.
-النتائج التي حققها Llama3.1_405b مذهلة، بالنظر إلى أن Meta لم توفر دعمًا رسميًا للغة العربية بعد.
-لا يوجد حاليًا نموذج صغير (8b أو أصغر) مفتوح المصدر يقدم نتائج مرضية، لكن هناك أخبار مبشرة من جهات محلية حول تطوير نماذج بهذا الحجم تؤدي بشكل متميز باللغة العربية، نأمل أن نراها قريبًا.
كتبة عبدالعزيز العبودي - أستاذ هندسة البرمجيات المساعد بجامعة الملك سعود.