Sign Language Classification to Text Conversion - تحويل لغة الإشارة إلى نص مكتوب

وصف المشروع

مشروع تحويل لغة الإشارة إلى نص مكتوب يهدف هذا المشروع إلى تطوير نظام ذكي قادر على التعرف على إشارات اليد بلغة الإشارة وتحويلها إلى نص مكتوب في الوقت الفعلي، مما يسهم في تسهيل التواصل مع ذوي الإعاقة السمعية. 1. جمع البيانات: تم إنشاء مجموعة بيانات متوازنة تتضمن إشارات تمثل الحروف الأبجدية وبعض الإشارات الخاصة: عدد الفئات: 29 فئة: 26 فئة تمثل حروف الأبجدية الإنجليزية (A-Z). 3 فئات مخصصة: "Next"، "Delete"، و"Space". عدد الصور لكل فئة: 1,000 صورة تقريبًا. مصادر الصور: صور تم التقاطها يدويًا. صور تم جمعها من الإنترنت لضمان تنوع الأشكال والخلفيات. 2. استخراج الخصائص باستخدام MediaPipe: تم استخدام مكتبة MediaPipe لاستخراج معالم اليد (Landmarks): يتم استخراج 21 نقطة لكل يد. استخدمنا فقط الإحداثيات x و y، ما نتج عنه 42 ميزة تمثل كل صورة. هذه الميزات تُستخدم كمدخلات للنموذج بعد التجهيز والمعالجة. 3. بناء النموذج: تم استخدام شبكة عصبية متعددة الطبقات (MLP) لتصنيف الإشارات بناءً على الإحداثيات: المدخلات: 42 قيمة رقمية (x, y). المخرجات: 29 فئة بدالة تفعيل Softmax. 4. النشر (Deployment): تم نشر النظام على جهاز Raspberry Pi لجعله محمولًا ومستقلًا. الكاميرا (Webcam): تُستخدم لالتقاط صور اليد بشكل مباشر. شاشة LCD: تُعرض عليها المخرجات النصية بعد تعرف النموذج على الإشارة. النظام يعمل في الزمن الحقيقي، حيث يتم استخراج النقاط، تمريرها إلى النموذج، ثم عرض الإشارة النصية مباشرةً.

مجالات المشروع