برون‌سپاری محاسبات غیرمتمرکز مبتنی بر یادگیری تقویتی عمیق چندعامله در رایانش لبه همراه
محورهای موضوعی : electrical and computer engineeringآتوسا دقایقی 1 , محسن نیک رای 2
1 - دانشكده مهندسی كامپيوتر و فناوری اطلاعات، دانشگاه قم، قم، ایران،
2 - دانشكده مهندسي كامپيوتر و فناوری اطلاعات، دانشگاه قم، قم، ایران،
کلید واژه: برون‌سپاری محاسبات, تخصیص منابع, رایانش لبه همراه, یادگیری تقویتی عمیق چندعامله, برداشت انرژی,
چکیده مقاله :
پشتیبانی از برنامه‌های کاربردی حساس به تأخیر و نیازمند محاسبات سنگین برای دستگاه‌های همراه با ظرفیت باتری محدود و منابع محاسباتی کم به‌سختی امکان‌پذیر است. توسعه فناوری‌های رایانش لبه همراه و انتقال توان بی‌سیم به دستگاه‌های همراه امکان می‌دهند تا وظایف محاسباتی خود را به سرورهای لبه برون‌سپاری کنند و انرژی را برای افزایش طول عمر باتری خود برداشت کنند. با این حال برون‌سپاری محاسبات با چالش‌هایی مانند منابع محاسباتی محدود سرور لبه، کیفیت کانال ارتباطی موجود و زمان محدود برای برداشت انرژی مواجه است. ما در این مقاله مسئله مشترک برون‌سپاری محاسبات و تخصیص منابع غیرمتمرکز را در محیط پویای رایانش لبه همراه مطالعه می‌کنیم. برای این منظور یک طرح برون‌سپاری مبتنی بر یادگیری تقویتی عمیق چندعامله را پیشنهاد می‌دهیم که همکاری بین دستگاه‌های همراه را برای تنظیم استراتژی‌هایشان در نظر می‌گیرد. به طور خاص، ما یک نسخه بهبودیافته الگوریتم گرادیان سیاست قطعی عمیق چندعامله را با به‌کارگیری ویژگی‌های clipped double Q-learning، به‌روزرسانی با تأخیر سیاست، هموارسازی سیاست هدف و بازپخش تجربه اولویت‌بندی‌شده پیشنهاد می‌دهیم. نتایج شبیه‌سازی نشان می‌دهند طرح برون‌سپاری پیشنهادی، عملکرد همگرایی بهتری نسبت به سایر روش‌ها دارد و همچنین میانگین مصرف انرژی، میانگین تأخیر پردازش و نرخ شکست وظیفه را کاهش می‌دهد.
It is hardly possible to support latency-sensitive and computational-intensive applications for mobile devices with limited battery capacity and low computing resources. The development of mobile edge computing and wireless power transfer technologies enable mobile devices to offload computing tasks to edge servers and harvest energy to extend their battery lifetime. However, computation offloading faces challenges such as the limited computing resources of the edge server, the quality of the available communication channel, and the limited time for energy harvesting. In this paper, we study the joint problem of decentralized computation offloading and resource allocation in the dynamic environment of mobile edge computing. To this end, we propose a multi-agent deep reinforcement learning-based offloading scheme that considers the cooperation between mobile devices to adjust their strategies. To be specific, we propose an improved version of the multi-agent deep deterministic policy gradient algorithm by employing the features of clipped double Q-learning, delayed policy update, target policy smoothing, and prioritized experience replay. The simulation results reveal that the proposed offloading scheme has better convergence performance than other baseline methods and also reduces the average energy consumption, average processing delay and task failure rate.