عنوان کامل پروژه:

پروژه تشخیص بلادرنگ حرکات دست در الفبای دستی ناشنوایان با استفاده از مدل مخفی مارکوف با نرم افزار MATLAB و به همراه فیلم آموزشی نرم افزار MATLAB

در تعامل‌های انسان-انسان حرکت‌های دست یکی از مهمترین ابزار‌‌های برقراری ارتباط و بیان خواسته‌ها می‌باشد، به ‌طوری‌ که برای افراد ناشنوا حرکت‌های اشاره‌ای خاصی طراحی شده که می‌توانند با استفاده از حرکات دست، منظور و مقصود خود را به مخاطبان برسانند. از ابتدای تولید کامپیوتر‌ها یکی از مهمترین فعالیت‌های طراحان این بوده است که کاربران بتوانند هر چه ساده‌تر با کامپیوتر‌ها ارتباط برقرار کرده و به راحتی از قابلیت‌های آن استفاده کنند. متداول‌ترین شیوه‌ی تعامل با کامپیوتر‌های فعلی که برای چندین دهه است که تغییرات زیادی نیز نداشته، استفاده از سخت‌افزارهایی نظیر موس و صفحه کلید می‌باشد. با وجود سادگی این وسایل ، هنوز هم افراد زیادی هستند که در استفاده از کامپیوترها مشکل داشته و حتی استفاده از این ابزارها برای کاربران حرفه‌ای نیزدر بعضی موارد خسته‌کننده است. از طرف دیگر با توجه به افزایش روزافزون نقش رباتها در زندگی مدرن امروزی و گسترش زمینه‌های کاربردی آنها‌، در آینده‌ای نزدیک این نیاز احساس خواهد شد که انسان‌ها بتوانند طوری با کامپیوترها ارتباط برقرار کنند که گویی با انسان‌های دیگر تعامل دارند. طراحی سیستمی برمبنای الفبای دستی ناشنوایان نیز نه تنها می‌تواند ارتباط آنها را با دیگر افراد ساده‌تر کند بلکه می‌تواند نحوه‌ای از ارتباط با ماشین نیز تلقی گردد. موضوع تشخیص حرکات انسان در بازی‌های رایانه‌ای تعاملی نیز بسیار کاربرد دارد.

در این پژوهش الگوریتمی مبتنی بر بینایی ماشین ارائه می‌شود که می‌تواند حرکتهای دست کاربران در الفبای دستی ناشنوایان را به صورت بلادرنگ تشخیص دهد. این پژوهش روی حروف و ارقام زبان لاتین صورت گرفته است. در ابتدا با استفاده از روش تفاضل پس زمینه، تصویر کاربر از زمینه جدا و سپس با استفاده از یک مدل گاوسی، پیکسل‌هایی که به رنگ پوست انسان هستند مشخص می‌شوند. از ویژگی‌های مهم الگوریتم پیشنهادی، عدم نیاز به داشتن تصویر زمینه از قبل است. در این روش، الگوریتم خود، از روی فریم‌های اولیه، تصویر زمینه را می‌سازد و در فریم‌های بعدی آن را به روزرسانی می‌کند. سپس با استفاده از ویژگی‌های فاصله‌ی اقلیدسی سرانگشتان و ترتیب رویت انگشتان و الگوریتم بام ولچ، مدل مخفی مارکوف آموزش داده شده‌ است. استفاده از ویژگی‌های انگشتان دست برای آموزش مدل مخفی مارکوف باعث کارآمدی بالای الگوریتم مورد استفاده در این پروژه شده است. در فاز آزمایش از الگوریتم ویتربی استفاده شده و با استفاده از نمونه‌های جدید ازتصاویر دست، میزان کارایی مدل پیشنهادی محک زده شده است. هیچ محدودیتی در تصاویر مورد استفاده در این مقاله اعمال نشده است و در پایان میزان دقت تشخیص به 87 درصد رسید.

آنچه در این کد خواهید آموخت:

1- به کارگیری پردازش تصویر در استخراج تصویر دست‌های کاربر

2- آشنایی با اصول مدل مخفی مارکوف و استخراج ویژگی

3- مساله يادگيري و الگوريتم بام- ولش در نرم افزار متلب

4- مساله کد گشايي و الگوريتم ويتربي در نرم افزار متلب

نکات و الزامات:

۱- 27 حرکت دست و 27 مدل

2- تعداد 100 نود در لایه مشاهدات مدل مخفی مارکوف

3- آموزش زنجیره‌ی مخفی مارکوف با الگوریتم بام ولچ

4- تست زنجیره‌ی مخفی مارکوف با الگوریتم ویتربی