راهکاری توزیع‌شده برای خوشه‌بندی کلان‌داده‌های ترکیبی
محورهای موضوعی : electrical and computer engineeringمحسن محمودی 1 , نگین دانشپور 2
1 - دانشگاه تربیت دبیر شهید رجایی
2 - دانشگاه شهید رجایی
کلید واژه: اصلاح داده‌هاپردازش توزیع‌شدهخوشه‌بندیکلان‌دادهداده‌های ترکیبی,
چکیده مقاله :
با توجه به سرعت روزافزون تولید اطلاعات و همچنین وجود نیازمندی تبدیل اطلاعات به دانش، نیاز به الگوریتم‌های داده‌کاوی به شدت لمس می‌شود. خوشه‌بندی یکی از تکنیک‌های داده‌کاوی است و توسعه آن سبب پیشرفت در جهت فهم بیشتر محیط پیرامون می‌شود. در این مقاله، راهکاری پویا و مقیاس‌پذیر برای خوشه‌بندی داده‌های ترکیبی با ابعاد کلان به همراه نقصان در داده‌ها ارائه گردیده است. به علت هدف‌گذاری حوزه کلان‌داده‌ها، راهکار پیشنهادی به صورت توزیع‌شده، داده‌ها را پردازش می‌کند. در این راهکار از ادغام معیارهای فاصله رایج با مفهوم نزدیک‌ترین همسایگی مشترک و همچنین به کارگیری نوعی از کدگذاری هندسی بهره برده شده است. همچنین روشی برای ترمیم داده‌های از دست رفته در مجموعه داده نیز در آن در نظر گرفته شده است. با بهره‌گیری از تکنیک‌های موازی‌سازی و توزیع پردازش فی‌‌مابین گره‌های متعدد می‌توان به مقیاس‌پذیری و تسریع دست یافت. الگوریتم پیشنهادی نیزاز این روش‌ها به جهت دستیابی به این مهم بهره می‌برد. ارزیابی این راهکار بر اساس معیارهای سرعت، دقت و حافظه مصرفی با مقایسه با دیگر موارد انجام می‌شود.
Due to the high-speed of information generation and the need for data-knowledge conversion, there is an increasing need for data mining algorithms. Clustering is one of the data mining techniques, and its development leads to further understanding of the surrounding environments. In this paper, a dynamic and scalable solution for clustering mixed big data with a lack of data is presented. In this solution, the integration of common distance metrics with the concept of the closest neighborhood, as well as a kind of geometric coding are used. There is also a way to recover missing data in the dataset. By utilizing parallelization and distribution techniques, multiple nodes can be scalable and accelerated. The evaluation of this solution is based on speed, precision, and memory usage criteria compared to other ones.