اكتشاف نموذج 'فيريت' Ferret متعدد الوسائط: خطوة أبل الجديدة في الذكاء الاصطناعي
31/12/2023 - اخبار ابل - 468
إضغط للاستماع الى المقال:
قامت شركة أبل بإطلاق نموذج التعلم الآلي متعدد الوسائط المفتوح المصدر "فيريت"، مما يمثل إضافة مهمة في مجال الذكاء الاصطناعي التفاعلي.
نموذج "فيريت"، الذي تم تطويره بالتعاون مع باحثين من جامعة كورنيل، يستطيع استخدام مناطق من الصور في استفساراته وقد تم نشره بشكل هادئ على منصة GitHub.
من المزايا الأساسية لنموذج "فيريت" هي:
-
الذكاء الاصطناعي متعدد الوسائط:
يدمج بين فهم الصور وفهم اللغة لتمكين الأنظمة الذكية من الإشارة إلى الصور وتحديد مواقعها. -
تمثيل المنطقة المختلطة:
يجمع بين التمثيل المبني على الإحداثيات والميزات، مما يسمح للنموذج بفهم العلاقات المكانية بين أجزاء مختلفة من الصورة. -
الفهم المكاني:
يوفر إجابات لأسئلة حول أشياء أو كائنات أومشاهد محددة داخل الصورة. -
مفتوح المصدر:
تم إصدار "فيريت" تحت ترخيص غير تجاري، ولكن قد يتم استخدامه في منتجات أو خدمات أبل المستقبلية. -
التخفيف من الهلوسة:
يعالج فيريت قضية هلوسة الأشياء التي تواجهها النماذج التوليدية.
فهو يخفف من المشكلة من خلال دمج التقنيات التي تعمل على تحسين قدرة النموذج على توليد معلومات مرئية دقيقة وذات صلة بالسياق.
يعمل "فيريت" على فحص الصور، تحديد العناصر، واستخدامها في الاستعلامات بدقة عالية.
يتكون النموذج من مشفر الصور، العينة البصرية المدركة للمكان، ونموذج LLM (Large Language Model) لتفسير الصور والنصوص وميزات المنطقة معًا.
تم تدريب "فيريت" باستخدام مجموعة بيانات "GRID"، التي تحتوي على حوالي 1.1 مليون حوار متعدد الوسائط.
هذه المجموعة تشمل تحويل بيانات متطوره إلى تنسيقات تتبع التعليمات، وتوليد البيانات عبر استفسارات ChatGPT وGPT-4.
يمكن الوصول إلى "فيريت" كمشروع مفتوح المصدر على GitHub، حيث يمكن استخدام الكود وتعديله، وهو مخصص للاستخدامات البحثية فقط وفقًا لاتفاقية الترخيص.
على الرغم من قوة "فيريت"، لا يزال يواجه بعض التحديات، وكونه نموذجًا جديدًا نسبيًا، قد لا يكون بنفس متانة النماذج الأكثر نضجًا.
ختامًا، يُعد "فيريت" خطوة كبيرة في مجال الذكاء الاصطناعي، مما يُظهر اهتمام أبل بالبحث في هذا المجال.
هذا النموذج يفتح آفاقًا جديدة لاستخدام الذكاء الاصطناعي، وقد يغير في المستقبل الطريقة التي نستخدم بها منتجات وخدمات أبل.
المصدر: 