تولید متن با رویکرد جمعی مبتنی بر شبکه‌های مولد مقابله‌ای
محورهای موضوعی : مهندسی برق و کامپیوتراحسان منتهایی 1 , مهدیه سلیمانی باغشاه 2
1 - دانشگاه صنعتی شریف
2 - دانشگاه صنعتی شریف
کلید واژه: تولید متنمدل مولدشبکه‌های GANیادگیری جمعی,
چکیده مقاله :
تولید متن یکی از مسايل مهم در حوزه پردازش زبان طبیعی به حساب می‌آید. روش‌های پایه ارائهشده در این حوزه، دارای مشکلاتی نظیر ناهمخوانی داده در زمان آموزش و آزمون و همچنین تابع هدف نامناسب هستند. در چند سال اخیر پیشرفت‌های زیادی در حوزه تولید تصویر به وسیله شبکه‌های مولد مقابله‌ای انجام شده است. همین موضوع باعث شده که استفاده از شبکه‌های مولد مقابله‌ای در تولید متن نیز به تازگی مورد توجه قرار گیرد. اما به دلیل گسسته‌بودن جنس دنباله‌ها، این امر به سادگی میسر نبوده و برای حل آن نیاز به استفاده از راهکار‌هایی مثل یادگیری تقویتی و استفاده از تقریب وجود دارد. به علاوه ناپایداری شبکه‌های مولد مقابله‌ای باعث ایجاد چالش‌های جدید و بالارفتن پیچیدگی مسأله می‌شود. در این پژوهش با رویکردی جدید که جمعی و مبتنی بر ایده شبکه‌های مولد مقابله‌ای است به ارائه روشی جمعی برای حل مسأله تولید متن می‌پردازیم. اساس روش پیشنهادی تخمین نسبت چگالی احتمال بوده و با این رویکرد روشی بدون مشکل در برابر گسستگی دنباله‌ها ارائه شده است. راهکار ارائهشده نسبت به روش‌های شبکه‌های مولد مقابله‌ای در حوزه دنباله، آموزشی پایدار‌تر دارد و همچنین مشکل اُریبی مواجهه نیز در روش پیشنهادی وجود ندارد. آزمایش‌های انجام‌شده نشان‌دهنده برتری روش پیشنهادی در مقایسه با روش‌های پیشین بر روی مجموعه داده‌های معروف مربوط به تولید متن است.
Text generation is one of the important problems in Natural Language Processing field. The former methods for text generation that are based on language modeling by the teacher forcing approach encounter the problem of discrepancy between the training and test phases and also employing an inappropriate objective (i.e., Maximum Likelihood estimation) for generation. In the past years, Generative Adversarial Networks (GANs) have achieved much popularity due to their capabilities in image generation. These networks have also attracted attention for sequence generation in the last few years. However, since text sequences are discrete, GANs cannot be easily employed for text generation, and new approaches like Reinforcement Learning and approximation have been utilized for this purpose. Furthermore, the instability problem of GANs training causes new challenges. In this paper, a new GAN-based ensemble method is proposed for sequence generation problem. The idea of the proposed method is based on the ratio estimation which enables the model to overcome the problem of discreteness in data. Also, the proposed method is more stable than the other GAN-based methods. It also should be noted that the exposure bias problem of teacher forcing approach does not exist in the proposed method. Experiments show the superiority of the proposed method to previous GAN-based methods for text generation.