برون‌سپاری محاسبات غیرمتمرکز مبتنی بر یادگیری تقویتی عمیق چندعامله در رایانش لبه همراه
الموضوعات : electrical and computer engineeringآتوسا دقایقی 1 , محسن نیک رای 2
1 - دانشكده مهندسی كامپيوتر و فناوری اطلاعات، دانشگاه قم، قم، ایران،
2 - دانشكده مهندسي كامپيوتر و فناوری اطلاعات، دانشگاه قم، قم، ایران،
الکلمات المفتاحية: برون‌سپاری محاسبات, تخصیص منابع, رایانش لبه همراه, یادگیری تقویتی عمیق چندعامله, برداشت انرژی,
ملخص المقالة :
پشتیبانی از برنامه‌های کاربردی حساس به تأخیر و نیازمند محاسبات سنگین برای دستگاه‌های همراه با ظرفیت باتری محدود و منابع محاسباتی کم به‌سختی امکان‌پذیر است. توسعه فناوری‌های رایانش لبه همراه و انتقال توان بی‌سیم به دستگاه‌های همراه امکان می‌دهند تا وظایف محاسباتی خود را به سرورهای لبه برون‌سپاری کنند و انرژی را برای افزایش طول عمر باتری خود برداشت کنند. با این حال برون‌سپاری محاسبات با چالش‌هایی مانند منابع محاسباتی محدود سرور لبه، کیفیت کانال ارتباطی موجود و زمان محدود برای برداشت انرژی مواجه است. ما در این مقاله مسئله مشترک برون‌سپاری محاسبات و تخصیص منابع غیرمتمرکز را در محیط پویای رایانش لبه همراه مطالعه می‌کنیم. برای این منظور یک طرح برون‌سپاری مبتنی بر یادگیری تقویتی عمیق چندعامله را پیشنهاد می‌دهیم که همکاری بین دستگاه‌های همراه را برای تنظیم استراتژی‌هایشان در نظر می‌گیرد. به طور خاص، ما یک نسخه بهبودیافته الگوریتم گرادیان سیاست قطعی عمیق چندعامله را با به‌کارگیری ویژگی‌های clipped double Q-learning، به‌روزرسانی با تأخیر سیاست، هموارسازی سیاست هدف و بازپخش تجربه اولویت‌بندی‌شده پیشنهاد می‌دهیم. نتایج شبیه‌سازی نشان می‌دهند طرح برون‌سپاری پیشنهادی، عملکرد همگرایی بهتری نسبت به سایر روش‌ها دارد و همچنین میانگین مصرف انرژی، میانگین تأخیر پردازش و نرخ شکست وظیفه را کاهش می‌دهد.