يعمل الجميع على بناء وكلاء ذكاء اصطناعي - ولكن في المقام الأول يأتي النموذج اللغوي الكبير (LLM)، واختيار النموذج المناسب أمر بالغ الأهمية. ومع إطلاق نماذج جديدة كل أسبوع، كيف يمكننا اتخاذ قرارات مدروسة وقائمة على البيانات؟ في هذا الجلسة، سنغوص في موضوع اختيار النماذج اللغوية الكبيرة. وسنتشارك نتائج دراسة قمنا بها لاختبار 15 نموذجًا رائدًا في مهام تلخيص الشيفرات البرمجية الواقعية، باستخدام مقاييس عملية مثل حجم النص الناتج، زمن الاستجابة، التكلفة، الدقة، وكمية المعلومات المستفادة. نأمل أن نقدم رؤى واضحة حول أداء النماذج الحالية فعليًا - وراء مقاييس الأداء التقليدية والضجة الإعلامية - وما يعنيه ذلك لبناء أدوات مساعدة في البرمجة، ومساعدين للمطورين، ووكلاء متعددي الوسائط.