تحقیق روش جدید لب خوانی استفاده پردازش تصویر

لینک دریافت فایل خرید پایین توضیحات

دسته بندی : وورد

نوع فایل :  .doc ( قابل ویرایش اماده پرینت )

تعداد : 13 صفحه

---

 قسمتی متن : 

روش جدید لب‌خوانی استفاده پردازش تصویر

وحیده نیکفرجام هفت‌اسیا

گروه کامپیوتر- دانشگاه ازاد اسلامی مشهد

[e-mail]

چکیده :

بازشناسی تصویری گفتار عنوان فرایندی کمک افرادی دچار اسیب سیستم صوتی شده‌اند، سالهای اخیر توجه محققین قرار گرفته‌ است. مقاله سعی بوده سه روش استخراج ویژگی شکل لب ارائه شود : استخراج کانتور لب ، قطعه‌بندیWatershed ، پارامترهای پویانمایی چهره . سپس شناسایی گفتار حرکات لب الگوریتم HMM شبکه‌های عصبی پرسپترون دولایه ساختاری ساده استفاده شده است.

واژه‌های کلیدی : بازشناسی تصویری گفتار ،استخراج کانتور لب ، قطعه‌بندی Watershed ، پویانمایی چهره ، ردیابی علائم .

1- مقدمه :

سامانه‌ی لب‌خوانی رایانه‌ای معلولینی کمک کند دچار اسیب سیستم صوتی بوده قادر برقراری ارتباط دیگران نیستند. افراد معمولا توانایی انجام صحیح حرکات لب شکلی تکلم لازم داشته حالت ایده‌ال می‌توان انجام لب‌خوانی مقصود انها پی برد. نرم‌افزار معلولینی صندلی چرخدار استفاده می‌کنند فقط توانایی انجام صحیح حرکات لبشان دارند کمک می‌کند؛ بدین ترتیب کمک دوربین فیلمبرداری حرکات لب انها ثبت می‌شود پس انالیز ، فرامین لازم ویلچر داده می‌شود.

از جمله کاربرد سامانه می‌توان تشخیص فرامین ناتوانان گفتاری ،تشخیص برخی کلمات خاص، مکمل بازشناسی گفتار صوتی همچنین کاربرد‌های نظامی اطلاعاتی ذکر کرد .در کاربرد حفاظتی ، سامانه می‌تواند بهره‌گیری حرکات لب بدون ثبت سیگنال صوتی ،کلمات خاصی شناسایی تصویر گوینده‌ی مراکز عمومی محل‌های تردد ثبت کند.

فرایند بازشناسی تصویری گفتار شامل دو مرحله‌ی استخراج ویژگی دنباله تصاویر لب طبقه‌بندی ویژگی‌های بدست امده است. ویژگی گفتاری تصویر حرکات لب معلولین دارای رنگ پوست ظاهر متفاوتی هستند ، کمک طراحی یک الگوریتم جدید استخراج شده مرحله‌ی بعد استفاده الگوریتم مدل مخفی مارکوف ، حرکات گفتار تصویری تشخیص داده می‌شود . بهره‌گیری اطلاعات تصویری شکل‌های لب حرکات ، دقت اطمینان سیستم‌های تشخیص اتوماتیک گفتار صوتی ـ خصوصا محیط‌های نویزی ـ بطور قابل توجهی بهبود بخشد .

ازمایش نرم‌فزار مجموعه‌ی دادگان جمع‌اوری شده ،شامل 20 نفر زن مرد 20 تا50 سال صورت گرفته 6 واژه گفتاری 1،2،3،4،5،6 91درصد موفقیت ، بازشناسی گفتار انجام شده . پژوهش‌ها مراحل تکمیلی توانند افزایش تعداد کلمات قابل شناسایی ، محدوده‌ی تشخیص هر چه بیشتر افزایش دهند .

2- استخراج کانتورلب

به منظوراستخراج ویژگیهای تصویری مربوط تولید گفتار،استخراج دقیق شکل لب حیاتی باشد.استفاده ازرویکردهای مبتنی برلبه استخراج لب دارای مشکلات فراوانی باشد؛ زیرانگاشتهای بدست امده براساس ویژگی لبه معمولا دارای نویزواشتباهات فراوانی باشد. علاوه لبه هااغلب درمرزلب مفقود بوده یاازنظردامنه خیلی ضعیف هستند.باتوجه مشکلات، رویکرد استخراج کانتورلب مابه اشکارسازی لبه هادرلب استناد نکرده است، بلکه هدف ماتقسیم بندی تصاویرلب داده شده ناحیه لب وغیرلب براساس شدت روشنایی ورنگ پیکسلهامی باشد.دراین روش،فرض نمی شود که لب دارای یک رنگ خاص باشد بلکه جستجو اساس تفاوت شدت روشنایی ورنگ بین نواحی لب وغیرلب صورت گیرد.درادامه درابتدا مدل پیشنهادی باجزئیات شرح داده شود.سپس تابع هزینه پیداکردن بهینه مرزبین ناحیه لب وغیرلب ولگوریتم بهینه سازی پارامترهای مدل توضیح داده شود.

3-2- مدل لب

ازمدلهای انعطاف پذیرهندسی مدل کردن شکل لب استفاده شده .مدل هندسی شکل لب اجازه دهد که بوسیله یک مجموعه کوچکی ازپارامترهاباتفسیرفیزیکی توصیف شود. مدل هندسی لب درشکل (1) نشان داده شده وبامعادلات(1) و(2) توصیف شود:

(1) (2)

تفسیرفیزیکی پارامترهادرشکل نشان داده شده است.پارامترs انحراف شکل لب رانشان دهد. پارمترs انحراف منحنی ازحالت چهارگوش راتوصیف کند.s توان دورسیده وبایک جمع شده تاهمیشه مثبت باشد.همچنین پارامترs اجازه دهد که مدل لب تصاویرلب بادرجه متفاوت خمیدگی منطبق شود.اگرچه لب گوینده وحرکات لب طورکلی متقارن نمی باشد اما انحراف ازحالت متقارن بودن معمولا دارای اهمیت نمی باشد.

شکل1-مدل لب هندسی

2-2- فرمول بندی تابع هزینه

برای بدست اوردن یک مدل دقیق،تابع هزینه تعیین پارامترهای مدل طریقه که پیکسلهای دارای ناحیه لب دارای احتمال پایین باشند،تعریف شود وفرض شود که ناحیه لب وخارج لب پوشانی نداشته باشند.مرزاین ناحیه زمانی بدست اید که تابع هزینه مینیمم شود.تابع هزینه بصورت (3) تعریف شود:

(3)

که ) B) 1R و) B)R 2 ترتیب ناحیه لب وغیرلب باشند Prob1 (m,n) احتمال اینکه پیکسل درمکان (m,n) ،پیکسل غیرلب باشد رامشخص کند. مرز بهینه B مینیم سازی C(B)به طریقه‌ای که R1(B) شامل پیکسلهایی Prob1(m,n) بالا R2(B) شامل پیکسلهایی Prob2( m,n) بالا باشد،مشخص شود.با لگاریتم گرفتن ازمعادله بالا وساده سازی رابطه (4) بدست اید:

(4)

که

(5)

ازانجاکه درمعادلات(3)و(4)،m وn گسسته هستند بنابراین مرزB نیزگسسته بدست اید. اما موضوع مامطلوب نیست زیرامایک مرزپیوسته نیازداریم.بنابراین حل مشکل معادله (4) رادرحوزه پیوسته بسط دهیم.درابتداm وn x وy پیوسته بسط داده شود. اکنون مرزB پیوسته شده ومی تواند هرشکل دلخواهی رافرض کند.سپس ،ما داریم:

(6)

(m,n)f باانتگرال گیری از(x,y)g سطح واحد (m,n)مرکزان باشد)بدست اید. سپس معادله (4) بصورت زیربسط داده شود:

(7)

که مرزB پیوسته باشد بوسیله مدل لب مامشخص شود.سپس پارامترهای بهینه مدل مینیمم سازی تابع هزینه زیر بدست اید :

(8) g(x,y)dydx

که x2 (p)=xc+wcos wcos + xc = (P) x2 نقاط گوشه راست وچپ لب، P ، مجموعه پارامترهای مدل باشند .(p,x) y1 y2(p;x) دو نقطه مرز عمودی خطx هستند.

پس داشتن نگاشت احتمال Prob(m,n) ، f(m,n) بوسیله معادله (5) بدست می‌اید. سپس سطح هزینه پیوسته g(x,y) درمعادله (8) باید ایجاد شود.اگرچهارنقطه zjk , zj +1k, zj +1,k+1,zjk+1 راداشته باشیم. سطح درون یابی دوسویه شده بطریقه زیربدست اید:

(9) gjk (x,y) = (1+j-x) (1+k-y) zjk+(x-j)(1+k-y) zj+1k+(x-j)(y-k)zj+1k+1+(1+j-x)(y-k)zjk+1

بنابراین ایجاد سطح (x,y)g مسئله تعیین } zm,n { تبدیل شود.بااستفاده ازمعادله (6) و(9) وبعد ازتعدادی محاسبات جبری ، توان نشان داد که f(m,n) zm,n بوسیله معادله کانولوشن گسسته زیر باهم ارتباط دارند :

(10)

که ماسک کانولوشن(m,n)h، باماتریس زیربیان شود:

(11)

درحوزه فرکانس معادله (10) بصورت زیرمی باشد :

(12)

بنابراین } m,n‍{ بامعکوس تبدیل فوریه بدست اید :

(13) Z(w1,w2) = f(w1,w2) /H (w1,w2)

2-3- نگاشت احتمال تصاویرلب

ارزیابی (P)E نیازبه نگاشت احتمال تصاویرلب دارد که نگاشت ،احتمال رامشخص کند که پیکسل،پیکسل لب هست یانه؟ الگوریتم خوشه بندی فازی]11[ ایجاد چنین نگاشت احتمالی استفاده شود .این یک روش یادگیری بدون سرپرستی باشد ونه فرض اولیه توضیع ویژگیهادرنظرمی گیرد ونه اموزش نیازمی باشد.الگوریتم تلاش کند هرپیکسل براساس توزیع بردارهای ویژگی هرپیکسل درفضای ویژگی واثرمتقابل هرپیکسل با8 تاازهمسایگی اش، یک مقداراحتمال مناسب هرپیکسل مشخص کند.

استفاده تنهاازشدت روشنایی درتصاویرلب،کنتراست کافی تفاوت قائل شدن یک پیکسل لب وغیرلب راندارد.بنابراین ازشدت روشنایی ورنگ عنوان ورودی الگوریتمهای خوشه بندی استفاده شود.ابتداتصاویردرفضای رنگ غیریکنواخت RGB تبدیل فضای رنگ یکنواخت CIELAB شود[12] . فضای رنگی یک دیاگرام رنگی یکنواختی دارد بنابراین هردورنگ یک تفاوت ادراکی دارد ودراین فضای رنگ ، اطلاعات روشنایی اطلاعات رنگ جدامی باشند.

درشکل (2- الف) تصویراولیه ازلب نشان داده شده همانطورکه مشاهده شود کنتراست بین ناحیه لب وغیرلبب بسیارپایین باشد.خوشه بندی بااستفاده ازویژگیهای رنگ (L*.a*,b*) ماراقادرمی سازد که یک نگاشت احتمال قابل قبولی بدست اوریم.درشکل (2- ب)

نگاشت احتمال نشان داده شده .