کنفرانس بین المللی فناوری اطلاعات و دانش

صفحه اصلی / سیزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

طبقه بندی روش های شناسایی داده های تکراری در جهت تسهیل فرایند پاکسازی داده ها

نویسندگان :

مهدی جعفری¹ احمد عبدالله زاده بار فروش²

1- دانشگاه صنعتی امیرکبیر 2- دانشگاه صنعتی امیرکبیر

کلمات کلیدی :

پاکسازی داده ها،شناسایی داده های تکراری،کیفیت داده ها،کلان داده

چکیده :

روز به روز حجم داده‌های تولید شده توسط انسان‌ها در حال افزایش است. این داده ها اگر به درستی مدیریت شوند می توانند در امر تجزیه و تحلیل و استخراج دانش از آنها مفید واقع شوند. داده ها اغلب پس از جمع آوری، یکپارچه سازی و ذخیره سازی با مشکلات کیفیتی روبرو می شوند. این مشکلات کیفیتی در جهت بهبود کیفیت داده ها و به دنبال آن استخراج دانش مفید از آنها در طی فرایند تجزیه و تحلیل باید در ابتدا شناسایی شده و سپس پردازش های متناسب در جهت مقابله با آنها انجام شود. داده های تکراری به عنوان یکی از مشکلات کیفیتی رایج و مهم مورد توجه این مقاله است. از گذشته تاکنون پژوهش های متعددی بر مبنای رویکردهای مختلف از جمله مبتنی بر قانون، مبتنی بر مفاهیم یادگیری، مبتنی بر خرد جمعی و ... در جهت شناسایی انواع مختلف داده های تکراری انجام و هر یک از آنها منجر به ارائه یک روش نوین در جهت مقابله با این مشکل شده است. هدف ما در این مقاله ارائه یک طبقه بندی از روش های شناسایی داده های تکراری و به دنبال آن بحث و تجزیه و تحلیل هر یک از روش های مطرح بر اساس طبقه بندی ارائه شده است.