چگونه Data Mining کار می کند؟

داده کاوی فرآیند درک داده ها از طریق پاکسازی داده های raw, یافتن الگوها، ایجاد مدل ها و آزمایش آن مدل ها است. این شامل آمار، یادگیری ماشین و سیستم های پایگاه داده است. داده کاوی اغلب شامل چندین پروژه داده است، بنابراین به راحتی می توان آن را با تجزیه و تحلیل، Data governance و سایر فرآیندهای داده اشتباه گرفت. این data guide کاوی را تعریف می کند، مزایا و چالش های آن را به Subscription می گذارد و نحوه عملکرد داده کاوی را بررسی می کند.

داده کاوی سابقه ای طولانی دارد. با محاسبات در دهه 1960 تا 1980 ظهور کرد. از لحاظ تاریخی، داده کاوی یک فرآیند فشرده کدگذاری دستی بود – و هنوز هم شامل توانایی کدنویسی و متخصصان آگاه برای پاکسازی، پردازش و تفسیر نتایج داده کاوی امروزه است. متخصصان داده برای تکمیل دقیق تکنیک های داده کاوی به دانش آماری و مقداری دانش زبان برنامه نویسی افزوده شود  با این حال، برخی از فرآیندهای دستی اکنون می‌توانند با جریان‌های تکرارپذیر، یادگیری ماشین (ML) و سیستم‌های هوش مصنوعی (AI) خودکار شوند.

داده کاوی دقیقاً تجزیه و تحلیل داده نیست

همانطور که بحث شد، داده کاوی ممکن است با سایر پروژه های داده اشتباه گرفته شود. فرآیند داده کاوی شامل پروژه هایی مانند پاکسازی داده ها و تجزیه و تحلیل اکتشافی است، اما این فقط این شیوه ها نیست. متخصصان داده‌کاوی داده‌ها را تمیز و آماده می‌کنند، مدل‌هایی ایجاد می‌کنند، آن مدل‌ها را در برابر فرضیه‌ها آزمایش می‌کنند و آن مدل‌ها را برای پروژه‌هایتجاری منتشر می‌کنند. به عبارت دیگر، تجزیه و تحلیل و پاکسازی داده ها بخشی از داده کاوی هستند، اما آنها تنها بخشی از کل یا هوش تجاری (Business intelligence) منتشر می‌کنند. به عبارت دیگر، تجزیه و تحلیل و پاکسازی داده ها بخشی از داده کاوی هستند، اما آنها تنها بخشی از کل هستند

 

مزایای داده کاوی

کاوی زمانی مؤثرتر است که به صورت استراتژیک برای خدمت به یک هدف تجاری، پاسخ به سؤالات تجاری یا تحقیقاتی یا بخشی از راه حل یک مشکل به کار گرفته شود. داده‌کاوی به پیش‌بینی‌های دقیق، تشخیص الگوها و موارد پرت کمک می‌کند و اغلب به پیش‌بینی کمک می‌کند. علاوه بر این، داده‌کاوی به سازمان‌ها کمک می‌کند تا شکاف‌ها و خطاها را در فرآیندها شناسایی کنند، مانند تنگناها در زنجیره‌های تامین یا ورود نامناسب داده‌ها.

داده کاوی چگونه کار می کند

اولین قدم در داده کاوی تقریباً همیشه جمع آوری داده است. سازمان‌های امروزی می‌توانند هر روز سوابق، گزارش‌ها، داده‌های بازدیدکنندگان وب‌سایت، داده‌های برنامه، داده‌های فروش و موارد دیگر را جمع‌آوری کنند. جمع‌آوری و نگاشت داده‌ها اولین قدم خوب برای درک محدودیت‌های کاری است که می‌توان با داده‌های مورد نظر انجام داد و از آنها پرسید. فرآیند استاندارد بین صنعتی برای داده کاوی (CRISP-DM) یک دستورالعمل عالی برای شروع فرآیند داده کاوی است.

The 6 CRISP-DM phases

مجاز و تشویق می شوند تا در صورت نیاز به مرحله قبلی برگردند. این مدل همچنین فرصت هایی را برای پلتفرم های نرم افزاری فراهم می کند که به انجام یا افزایش برخی از این وظایف کمک می کند

1-درک کسب و کار

پروژه های جامع داده کاوی ابتدا با شناسایی اهداف و محدوده پروژه شروع می شوند. Beneflciaries کسب و کار سوالی می پرسند یا مشکلی را بیان می کنند که داده کاوی می تواند به آن پاسخ دهد یا حل کند.

2-درک داده ها

هنگامی که مشکل کسب و کار درک شد، زمان جمع آوری داده های مربوط به سؤال و درک مجموعه داده ها فرا می رسد. این داده ها اغلب از منابع متعدد، از جمله داده های ساخت یافته و داده های بدون ساختار می آیند. این مرحله ممکن است شامل برخی تحلیل‌های اکتشافی برای کشف برخی الگوهای اولیه باشد. در پایان این مرحله، تیم داده کاوی زیرمجموعه داده ها را برای تحلیل و مدل سازی انتخاب کرده است.

3-آماده سازی داده ها

این مرحله با کار فشرده تر شروع می شود. آماده سازی داده ها شامل تهیه مجموعه داده های نهایی است که شامل تمام داده های مربوطه مورد نیاز برای پاسخ به سؤال تجاری است. ذینفعان ابعاد و متغیرها را برای کشف و آماده سازی مجموعه داده های نهایی برای ایجاد مدل شناسایی خواهند کرد

4-مدل سازی

در این مرحله، تکنیک های مدل سازی مناسب برای داده های داده شده را انتخاب خواهید کرد. این تکنیک‌ها می‌توانند شامل خوشه‌بندی، مدل‌های پیش‌بینی، طبقه‌بندی، تخمین یا ترکیبی باشند. Front Health از مدل‌سازی آماری و تحلیل‌های پیش‌بینی برای تصمیم‌گیری در مورد گسترش برنامه‌های مراقبت‌های بهداشتی به سایر جمعیت‌ها استفاده کرد. اگر تکنیک مدل‌سازی را انتخاب می‌کنید که نیاز به انتخاب متغیرهای دیگر یا تهیه منابع مختلف دارد، ممکن است مجبور شوید به مرحله آماده‌سازی داده‌ها بازگردید

5-ارزشیابی

پس از ایجاد مدل‌ها، باید آن‌ها را آزمایش کنید و میزان موفقیت آن‌ها را در پاسخ به سؤالی که در مرحله اول مشخص شد، بسنجید. مدل ممکن است به جنبه‌هایی از مواردی که در نظر گرفته نشده پاسخ دهد، و ممکن است لازم باشد مدل را ویرایش کنید یا سؤال را ویرایش کنید. این مرحله به گونه‌ای طراحی شده است که به شما امکان می‌دهد به پیشرفت تاکنون نگاه کنید و مطمئن شوید که در مسیر درست برای دستیابی به اهداف تجاری قرار دارد. اگر اینطور نیست، ممکن است قبل از آماده شدن پروژه برای مرحله استقرار، نیاز به حرکت به عقب به مراحل قبلی وجود داشته باشد.

6-استقرار

در نهایت، زمانی که مدل دقیق و قابل اعتماد شد، زمان به کارگیری آن در دنیای واقعی فرا می رسد. استقرار می تواند در داخل سازمان انجام شود، با مشتریان به اشتراک گذاشته شود، یا از آن برای تهیه گزارشی برا Beneflciariesبرای اثبات قابلیت اطمینان آن استفاده شود. وقتی آخرین خط کد کامل شود، کار تمام نمی شود. استقرار مستلزم تفکر دقیق، یک برنامه توسعه و راهی برای اطمینان از اینکه افراد مناسب به درستی مطلع هستند. تیم داده کاوی مسئول درک مخاطب از پروژه است.

 

  tableau

انواع تکنیک های داده کاوی

داده کاوی شامل تکنیک های متعددی برای پاسخ به سوال تجاری یا کمک به حل یک مشکل است. این بخش فقط مقدمه ای بر دو تکنیک داده کاوی است و در حال حاضر جامع نیست.

طبقه بندی

رایج ترین تکنیک طبقه بندی است. برای انجام این کار، یک متغیر هدف را شناسایی کنید و سپس آن متغیر را به سطح مناسبی از دسته‌های جزئیات تقسیم کنید. برای مثال، متغیر «job level» ممکن است به «Entrance level»، «colleague» و « senior» تقسیم شود. با سایر زمینه‌ها مانند سن و سطح تحصیلات، می‌توانید مدل داده‌های خود را برای پیش‌بینی سطح شغلی که احتمال بیشتری دارد فرد داشته باشد، آموزش دهید

خوشه بندی        tableau

خوشه بندی یکی دیگر از تکنیک های رایج است که سوابق، مشاهدات یا موارد را بر اساس شباهت گروه بندی می کند. متغیر هدف مانند طبقه بندی وجود نخواهد داشت. در عوض، خوشه بندی فقط به معنای جداسازی مجموعه داده ها به زیر گروه ها است.

این روش می تواند شامل گروه بندی سوابق کاربران بر اساس منطقه جغرافیایی (geographical)یا گروه سنی باشد. به طور معمول، خوشه‌بندی داده‌ها در زیر گروه‌ها آماده‌سازی برای تجزیه و تحلیل است. زیرگروه ها به ورودی های یک تکنیک متفاوت تبدیل می شوند

چگونه از اشتباهات داده کاوی جلوگیری کنیم

داده کاوی یک فرآیند قدرتمند و مفید برای کاوش داده ها برای پیش بینی الگوها یا نتایج است.

متأسفانه، انجام نادرست داده کاوی آسان است. اگر رهبران شما دانش تحلیلی یا آماری برای نظارت بر نرم افزار ندارند، نباید از داده کاوی استفاده کنید. تکنیک‌های استخراج نادرست می‌تواند مدل‌های نادرستی ایجاد کند که منجر به عدم دقت می‌شود.

علاوه بر این، اگر تیم از اطلاعات شناسایی شخصی در فعالیت‌های داده کاوی استفاده می‌کند، باید اطمینان حاصل کند که از مقررات مطابقت و استانداردهای حاکمیتی پیروی می‌کنند

چه کسی داده کاوی را در یک سازمان انجام میدهد؟

پروژه‌های گسترده و متقابل نیاز دارد و می‌تواند به تیم‌های تحلیلی یا تحلیل تجاری نردبانی برسد. برخی از سازمان‌ها برای ساختن اسکریپت‌های یادگیری ماشین یا هوش مصنوعی به متخصصان داده‌کاوی مراجعه می‌کنند، بنابراین مهارت و دانش این موارد اغلب یک شایستگی اصلی است. در سازمان‌های تحقیقاتی یا دانشگاهی، متخصصان داده‌کاوی احتمالاً دانشمندان داده یا تحلیل‌گر نامیده می‌شوند و می‌توانند به عنوان بخشی از یک آزمایشگاه واحد یا به عنوان بخشی از یک مرکز خدمات یا مرکز برتر تیم برای بسیاری از آزمایشگاه‌ها وجود داشته باشند.

داده کاوی و R

تیم داده آنها توانست از Tableau و R برای به حداکثر رساندن قدرت محاسباتی خود استفاده کند و پروژه های بزرگ را بسیار سریعتر از ابزارهای سنتی به پایان برساند. پلتفرم‌های مدرن به کاربران این امکان را می‌دهد تا بدون تیم‌های داده‌ای زیاد، عمیقاً وارد داده‌کاوی شوند.

 

 

برای خرید لایسنس نرم افزار Tableau ، می‌توانید از خدمات ما استفاده نموده و درخواست خود را از طریق فرم زیر ثبت نمایید.

فرم درخواست لایسنس Tableau

 

tableau desktop download