ارائه یک الگوریتم زمانبندی جدید برای کاهش زمان محاسبات در محیط هادوپ

نوع مقاله: مقاله پژوهشی

نویسندگان

1 کارشناس ارشد معماری کامپیوتر، پایگاه علمی و پژوهشی ناحیه مقاومت هدشت، سپاه فتح استان کهگیلویه و بویراحمد، ایران.

2 کارشناس ارشد برق-کنترل، پایگاه علمی و پژوهشی ناحیه مقاومت دهدشت، سپاه فتح استان کهگیلویه و بویراحمد، ایران.

چکیده

امروزه پروژه متن باز هادوپ به همراه چهارچوب نگاشت-کاهش در بین مؤسسات، سازمان‌ها و محققین محبوبیت زیادی دارد که برای پردازش حجم انبوهی از داده‌ها بصورت موازی بر روی خوشه‌ای از کامپیوتر‌ها بسیار مناسب است. نگاشت-کاهش برای حل مشکلات محاسبات داده‌های حجیم معرفی شده است که از قاعده تقسیم-غلبه پیروی می‌کند. مانند هر جای دیگر، مبحث زمان و زمانبندی در نگاشت-کاهش از اهمیت بسیار بالایی برخوردار است. به همین دلیل در دهه اخیر الگوریتم‌های زمانبندی متعددی در این زمینه تدارک یافته است. ایده اصلی این الگوریتم‌ها افزایش نرخ محلی ‌سازی داده، همزمان‌سازی، کاهش زمان پاسخ و زمان اتمام وظایف می‌باشد. اکثر این الگوریتم‌ها تک هدفه می‌باشند و فقط یکی از موارد ذکر شده را مورد هدف قرار می‌دهند. الگوریتم‌های چندهدفه موجود فقط بر روی یکی از فازهای اول یا دوم نگاشت-کاهش تمرکز دارند. در این مقاله، یک الگوریتم زمانبندی ترکیبی مبتنی بر اولویت‌بندی پویای کار‌ها و محلی ‌سازی داده در محیط نگاشت‌-کاهش به نام "HSMRPL" ارائه می‌دهیم که هدف اصلی آن افزایش نرخ محلی ‌سازی داده و کاهش زمان محاسبات می‌باشد. در این الگوریتم از دو تکنیک اولویت بندی پویا و شناسه محلی ‌سازی استفاده می‌شود. برای ارزیابی الگوریتم پیشنهادی، آن‌ را با الگوریتم‌های پیش‌فرض هادوپ و به کمک محک‌های استاندارد مقایسه کردیم. نتایج حاصله نشان می‌دهد که الگوریتم پیشنهادی ما نرخ محلی سازی را نسبت به الگوریتم FIFO، 5/18 درصد و نسبت به الگوریتم Fair، 4/10 درصد افزایش داده است. همچنین، الگوریتم پیشنهادی ما نسبت به الگوریتم FIFO، 8/3 درصد و نسبت به Fair، 4/13 درصد سریعتر است.

کلیدواژه‌ها



مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از تاریخ 06 آذر 1398
  • تاریخ دریافت: 11 خرداد 1398
  • تاریخ بازنگری: 15 تیر 1398
  • تاریخ پذیرش: 14 مهر 1398