بهبود سرعت یادگیری شبکه عصبی ص

لینک دریافت فایل خرید پایین توضیحات

فرمت word  قابل ویرایش پرینت

تعداد صفحات: 24

مقدمه

شبکه عصبی چند لایه پیش خور1 طور وسیعی د ر زمینه متنوعی قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع ... استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا2، یکی رایج الگوریتم جهت اموزش شبکه عصبی چند لایه پیش خور باشد. الگوریتم، تقریبی الگوریتم بیشترین تنزل3 باشد چارچوب یادگیری عملکردی 4 قرار گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی کاربردهای موفقیت امیزش حل مسایل فنی- مهندسی باشد.

علیرغم، موفقیت کلی الگوریتم BP یادگیری شبکه عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

- الگوریتم پس انتشار خطا، ممکن نقاط مینیمم محلی فضای پارامتر، همگرا شود. بنابراین زمانی الگوریتم BP همگرا شود، نمی توان مطمین یک جواب بهینه رسیده باشیم.

- سرعت همگرایی الگوریتم BP، خیلی اهسته است.

از گذشته، همگرایی الگوریتم BP، انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس پارامترها موجود الگوریتم، مانند نرخ یادگیری، وابسته است.

در گزارش، هدف بهبود الگوریتم BP، تکنیک مختلفی ارایه شده است. نتایج شبیه سازیهای انجام شده نشان دهد، الگوریتم پیشنهادی نسبت الگوریتم استاندارد BP، سرعت همگرایی بالاتری برخوردار هستند.

خلاصه الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، اموزش شبکه عصبی چند لایه پیش خور عموما شبکه چند لایه پرسپترون 5 (MLP) نامیده شود، استفاده شود، استفاده کنند. عبارتی توپولوژی شبکه MLP، قانون یادگیری پس انتشار خطا تکمیل شود. قانون تقریبی الگوریتم بیشترین نزول (S.D) چارچوب یادگیری عملکردی قرار گیرد.

بطور خلاصه، فرایند پس انتشار خطا دو مسیر اصلی تشکیل شود. مسیر رفت6 مسیر برگشت 7 .

در مسیر رفت، یک الگوی اموزشی شبکه اعمال شود تاثیرات طریق لایه میانی لایه خروجی انتشار یابد اینکه

_________________________________

1. Multi-Layer Feedforward Neural Networks

2. Back-Propagation Algorithm

3. Steepest Descent (S.D)

4. Performance Learning

5. Multi Layer Perceptron

6. Forward Path

7. Backward Path

نهایتا خروجی واقعی شبکه MLP، دست اید. مسیر، پارامترهای شبکه (ماتریس وزن بردارهای بایاس)، ثابت بدون تغییر نظر گرفته شوند.

در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر تنظیم گردند. تنظیمات اساس قانون یادگیری اصلاح خطا1 انجام گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل گردد. بردار خطا برابر اختلاف بین پاسخ مطلوب پاسخ واقعی شبکه باشد. مقدار خطا، پس محاسبه، مسیر برگشت لایه خروجی طریق لایه شبکه سمت پاسخ مطلوب حرکت کند.

در شبکه MLP، هر نرون دارای یک تابع تحریک غیر خطی ویژگی مشتق پذیری برخوردار است. حالت، ارتباط بین پارامترهای شبکه سیگنال خطا، کاملا پیچیده و غیر خطی باشد، بنابراین مشتقات جزیی نسبت پارامترهای شبکه راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات قانون زنجیره ای2 معمول جبر استفاده شود.

فرمول بندی الگوریتم BP

الگوریتم یادگیری BP، اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق سیگنالهای خطا اساس ارایه هر الگو شبکه محاسبه شود، صورت گیرد.

الگوریتم بیشترین تنزل معادلات زیر توصیف شود:

(1)

(2)

به طوری WLji bLj، پارامترهای نرون j ام لایه iام است. α، نرخ یادگیری2 F، میانگین مربعات خطا باشد.

(3)

(4)

(5)

به طوریکه SLj(k)، حساسیت رفتار شبکه لایه L ام است.

_________________________________

1. Error-Correctting Learning Rule

2. Chain Rule

3. Learning Rate

معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)

الگوریتم BP، فراهم اوردن روشی نظر محاسباتی کارا، رنسانسی شبکه عصبی ایجاد نموده زیرا شبکه MLP، قانون یادگیری BP، بیشترین کاربرد حل مسایل فنی- مهندسی دارند.

با وجود، موفقیت کلی الگوریتم یادگیری شبکه عصبی چند لایه پیش خود، هنوز مشکلات اساسی وجود دارد:

- اولا سرعت همگرایی الگوریتم BP اهسته است.

همانطور دانیم، تغییرات ایجاد شده پارامترهای شبکه (ماتریس وزن بردارهای بایاس)، پس هر مرحله تکرار الگوریتم BP، اندازه ، است، طوریکه F، شاخص اجرایی، x پارامترهای شبکه α، طول قدم یادگیری است.

از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده پارامترهای شبکه، پس هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، خود منجر هموار گشتن مسیر حرت پارامترها سمت مقادیر بهینه فضای پارامترها گردد. مسیله موجب کندتر گشتن الگوریتم BP گردد. عکس افزایش طول قدم α، اگرچه نرخ یادگیری سرعت یادگیری الگوریتم BP افزایش یابد، لیکن تغییرات فاحشی پارامترهای شکه هر تکراربه تکرار بعد ایجاد گردد، گاهی اوقات موجب ناپایداری نوسانی شدن شبکه شود اصطلاح گویند پارامترهای شبکه واگرا شده اند:

در شکل زیر، منحنی یادگیری شبکه جدا سازیالگوها مساله XOR، ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR جدا نماید، ددر صورتی ازای 9/0= α شبکه واگرا شود.

_________________________________

1. Standard Back-Propagation Algorithm

شکل (1). منحنی یادگیری شبکه نرخ یادگیری مختلف مساله XOR

- ثانیا احتمالا دام افتادن شبکه نقاط مینیمم محلی وجود دارد.

در شبکه MLP، میانگین مجوز خطا، حالت کلی خیلی پیچیده تعداد زیادی نقطه اکسترمم فضای پارامترهای شبکه برخوردار باشد. بنابراین الگوریتم پس انتشار خطا شروع یک سری شرایط اولیه پارامترهای شبکه، نقطه مینیمم سراسری شروع یک مجموعه شرایط اولیه دیگر تقاط مینیمم محلی فضای پارامترها همگرا گردد، بنابراین زمانی الگوریتم BP همگرا شود، نمی توان مطمین یک جواب بهینه رسیده باشیم.

- ثالثا: همگرایی الگوریتم BP، یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب تواند کمک بزرگی همگرایی سریعتر الگوریتم BP فراهم اورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر گیر افتادن شبکه نقاط مینیمم محلی فضای برداری پارامترهای شبکه گردد که خود منجر شود که شبکه خیلی زودتر معمول موضعی بیفتد که منحنی یادگیری شبکه تعداد بزرگی دفعات تکرار، تغییر نکند.

به عنوان مثال، فرض کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، حالی که دانیم توابع تبدیل نرونها مخصوصا لایه میانی نوع زیگمویید هستند. حالت نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ باشد خروجی نرون (ai) مقدار 1± میل کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد