پاک‌سازی داده‌ها از فایل‌های اکسل، CSV، PDF و گوگل شیت با ابزار Data Interpreter

وقتی داده‌ها را در صفحات اکسل ثبت و ردیابی می‌کنید، معمولاً آن‌ها را به شکلی طراحی می‌کنید که برای کاربر انسانی راحت و خوانا باشد. برای اینکه ساختار فایل شما ظاهر خوبی داشته باشد، ممکن است مواردی مانند عناوین، سرستون‌های چندطبقه (stacked headers)، یادداشت‌ها و شاید سطرها و ستون‌های خالی (برای ایجاد فضای سفید) به آن اضافه کنید؛ همچنین احتمالاً داده‌های خود را در تب‌های (Tabs) مختلفی قرار می‌دهید.

اما وقتی می‌خواهید این داده‌ها را در نرم‌افزار تبلو تحلیل کنید، همین ویژگی‌های ظاهری و زیباسازی‌شده، درک و تفسیر داده‌ها را برای تبلو بسیار دشوار می‌کنند. این دقیقاً همان‌جایی است که ابزار Data Interpreter (مفسر داده) به کمک شما می‌آید.

نکته: اگرچه افزونه اکسل تبلو (Excel add-in) دیگر پشتیبانی نمی‌شود، اما ابزار Data Interpreter می‌تواند به شما کمک کند تا ساختار داده‌های خود را برای تحلیل در تبلو بازآرایی و اصلاح کنید.

ابزار Data Interpreter چه کاری انجام می‌دهد؟

این ابزار در شروع فرآیند پاک‌سازی داده‌ها، یک قدم بزرگ شما را جلو می‌اندازد. Data Interpreter می‌تواند مواردی مانند عناوین، یادداشت‌ها، پاورقی‌ها، سلول‌های خالی و مواردی از این دست را در فایل شما شناسایی کرده و با نادیده گرفتن آن‌ها، فیلدها (ستون‌ها) و مقادیر واقعیِ مجموعه داده شما را استخراج کند.

این ابزار حتی می‌تواند جدول‌های اضافی و زیرجدول‌های موجود در فایل را هم تشخیص دهد تا بتوانید روی بخش خاصی از داده‌هایتان، مستقل از بقیه اطلاعات کار کنید.

پس از اینکه Data Interpreter جادوی خود را نشان داد، می‌توانید خروجی کار را بررسی کنید تا مطمئن شوید داده‌های مدنظر شما را به درستی شناسایی و استخراج کرده است. سپس در صورت نیاز، اصلاحات لازم را اعمال کنید.

بعد از انتخاب داده‌هایی که قصد کار با آن‌ها را دارید، ممکن است همچنان به مراحل پاک‌سازی بیشتری نیاز داشته باشید؛ کارهایی مثل پایوت کردن داده‌ها (Pivoting)، تفکیک فیلدها (Splitting) یا اعمال فیلترها، تا قبل از شروع تحلیل، داده‌ها دقیقاً به شکل و ساختار دلخواه شما درآیند.

توجه: اگر داده‌های شما به پاک‌سازی پیشرفته‌تری نیاز دارند که از عهده Data Interpreter خارج است، پیشنهاد می‌شود از نرم‌افزار Tableau Prep استفاده کنید.

فعال‌سازی Data Interpreter و بررسی نتایج

• از پنل Connect، به یک فایل اکسل یا هر منبع دیگری که از این قابلیت پشتیبانی می‌کند (مانند فایل‌های متنی CSV، فایل‌های PDF یا گوگل شیت) متصل شوید.

• جدول موردنظر را (در صورت نیاز) به داخل صفحه بوم (Canvas) بکشید.

• در صفحه Data Source و از پنل سمت چپ، تیک گزینه Use Data Interpreter را بزنید تا ببینید این ابزار چگونه به پاک‌سازی داده‌های شما کمک می‌کند.

توجه: وقتی داده‌های خود را با استفاده از Data Interpreter پاک‌سازی می‌کنید، این ابزار تمامی داده‌های مرتبط با آن اتصال (Connection) را در منبع داده پاک‌سازی خواهد کرد. لازم به ذکر است که Data Interpreter هیچ تغییری در داده‌های اصلی و خام شما (فایل مبدأ) ایجاد نمی‌کند.

• در پنل داده‌ها (Data pane)، روی لینک Review the results (بررسی نتایج) کلیک کنید تا خروجی و عملکرد ابزار Data Interpreter را بررسی و ارزیابی نمایید.

یک کپی از منبع داده شما در اکسل در تب Data Interpreter با گزینه Key باز می‌شود. برای فهمیدن نحوه خواندن نتایج، کلید را بررسی کنید.

هوش تجاری Tableau چیست؟

Tableau

• روی هر تب (Tab) کلیک کنید تا ببینید ابزار Data Interpreter چگونه داده‌های منبع شما را تفسیر و درک کرده است.

اگر Data Interpreter جدول‌های اضافی (که به آن‌ها جدول‌های یافت‌شده یا زیرجدول نیز می‌گویند) پیدا کرده باشد، آن‌ها را در تبی با نام <sheet name>_subtables مشخص می‌کند؛ به این صورت که محدوده سلول‌های هر زیرجدول با یک کادر (خط محیطی) تعیین می‌شود. همچنین برای هر زیرجدول، یک تب مجزا در نظر گرفته می‌شود که به صورت رنگی کدگذاری شده است تا سطرِ سرستون‌ها (Header) و سطرهای داده‌ها (Data) به راحتی از یکدیگر تشخیص داده شوند.

اگر خروجی Data Interpreter مطابق انتظار شما نبود، کافی است تیک گزینه Cleaned with Data Interpreter را بردارید تا دوباره از همان منبع داده اصلی و اولیه استفاده کنید.

• برای جایگزین کردن جدول فعلی با هر یک از جدول‌های یافت‌شده (Found Tables)، ابتدا جدول فعلی را از روی صفحه بوم (Canvas) به بیرون بکشید و سپس جدول یافت‌شده‌ی مورد نظر خود را روی بوم رها کنید.

اگر ابزار Data Interpreter محدوده جدول یافت‌شده را به اشتباه تشخیص داده است، پس از کشیدن آن جدول به روی بوم، روی فلشِ رو به پایینِ (منوی کشویی) آن جدول کلیک کنید و سپس گزینه Edit Found Table را انتخاب نمایید تا بتوانید گوشه‌های جدول (یعنی سلول بالا-چپ و سلول پایین-راست جدول) را به دلخواه تنظیم و اصلاح کنید.

• پس از اینکه داده‌های مورد نظر خود را برای کار انتخاب کردید، می‌توانید عملیات پاک‌سازی تکمیلی را روی آن‌ها اعمال کنید تا داده‌ها آماده‌ی تحلیل شوند.

نمونه‌ای از عملکرد Data Interpreter

در این مثال، ما در حال متصل شدن به یک صفحه اکسل هستیم که حاوی داده‌های مربوط به جرایم خشونت‌آمیز به تفکیک شهر و ایالت برای سال ۲۰۱۶ است. این صفحه اکسل شامل چندین جدول در یک شیت (Sheet) واحد بوده و تزیینات و فرمت‌بندی‌های اضافه‌ای نیز در آن به کار رفته است.

1. عنوان
2. سلول‌های سربرگ ادغام‌شده
3. فضای خالی اضافی
4. زیرجدول‌ها

 

فرمت‌بندی‌های اضافه در این صفحه اکسل باعث می‌شود که تبلو نتواند به درستی تشخیص دهد که سرستون‌ها (Field Headers) و مقادیر (Values) واقعی کدامند.

در عوض، تبلو داده‌ها را به صورت عمودی می‌خواند و به هر ستون یک نام پیش‌فرض مانند F1، F2، F3 (مخفف Field 1، Field 2، Field 3) و غیره اختصاص می‌دهد. همچنین، سلول‌های خالی نیز به عنوان مقادیر پوچ (Null) خوانده می‌شوند.

برای اینکه ببینیم آیا ابزار Data Interpreter می‌تواند به پاک‌سازی این مجموعه داده کمک کند، گزینه Use Data Interpreter را انتخاب می‌کنیم.

ابزار Data Interpreter توانست سرستون‌های مناسب را برای فیلدها تشخیص دهد، فرمت‌بندی‌های اضافه را حذف کند و چندین زیرجدول (Sub-tables) را بیابد. این زیرجدول‌ها در بخش Sheets در پنل داده‌ها لیست شده‌اند و نام‌گذاری آن‌ها بر اساس نام شیت اصلی و محدوده سلول‌های هر زیرجدول انجام شده است.

در این مثال، سه زیرجدول وجود دارد:

• Crimes 2016 A4:H84

• Crimes 2016 K5:L40

• Crimes 2016 O5:P56

برای بررسی دقیق‌تر نتایج، روی لینک Review the results (بررسی نتایج) در پنل داده‌ها کلیک می‌کنیم تا یک نسخه نشانه‌گذاری‌شده (یادداشت‌نویسی‌شده) از این صفحه اکسل را مشاهده کنیم.

در اینجا کپی داده‌های اصلی را می‌بینیم که به صورت رنگی کدگذاری شده است تا مشخص شود کدام داده‌ها به عنوان سرستون (Header Data) و کدام داده‌ها به عنوان مقادیر فیلدها (Field Values) شناسایی شده‌اند.

پاکسازی داده

تب بعدی، زیرجدول‌هایی را که مفسر داده پیدا کرده است، به ما نشان می‌دهد که با محدوده سلول‌ها مشخص شده‌اند.

در این مثال، اولین زیرجدول یعنی Crimes 2016 A4:H84 حاوی داده‌های اصلی است که ما قصد داریم روی آن‌ها کار کنیم. برای اینکه از این جدول به عنوان جدول داده‌های خود استفاده کنیم، به سادگی می‌توانیم جدول اصلی را از روی صفحه بوم (Canvas) به بیرون بکشید و سپس این جدول جدید را روی بوم رها کنیم.

پس از اینکه داده‌های مورد نظر خود را روی صفحه بوم (Canvas) آوردیم، می‌توانیم چند مرحله پاک‌سازی تکمیلی دیگر نیز روی آن‌ها انجام دهیم. به عنوان مثال می‌توانیم کارهای زیر را انجام دهیم:

• تغییر نام فیلدها (ستون‌ها) به طوری که نشان‌دهنده نام شهر، ایالت و ماه باشند.

• پایوت کردن (Pivot) فیلدهای مربوط به ماه‌ها.

• کشیدن زیرجدول سوم یعنی Crimes 2016 o5:P56 به روی بوم و پیوند دادن (Join) آن با زیرجدول اول بر اساس فیلد State، تا بتوانیم اطلاعات جمعیت ایالت‌ها را نیز برای تحلیل خود وارد کنیم.

• مخفی کردن (Hide) فیلدهای تکراری که به دلیل فرآیند Join (پیوند) ایجاد شده‌اند.

خروجی کار ممکن است چیزی شبیه به این باشد:

حالا ما آماده‌ایم تا تحلیل داده‌های خود را در تبلو آغاز کنیم.

چه زمانی ابزار Data Interpreter در دسترس نیست؟

گزینه Data Interpreter ممکن است به دلایل زیر در دسترس نباشد:

• منبع داده از قبل در ساختاری است که تبلو می‌تواند آن را درک کند: اگر تبلو دسکتاپ برای مدیریت فرمت‌بندی‌های خاص یا اطلاعات اضافی نیازی به کمکِ Data Interpreter نداشته باشد، این گزینه نمایش داده نمی‌شود.

• تعداد سطرها یا ستون‌ها بسیار زیاد است: در صورتی که داده‌های شما دارای مشخصات زیر باشند، گزینه Data Interpreter در دسترس نخواهد بود:

  • داده‌ها شامل بیش از ۲۰۰۰ ستون باشند.

  • داده‌ها شامل بیش از ۳۰۰۰ سطر و بیش از ۱۵۰ ستون باشند.

• منبع داده پشتیبانی نمی‌شود: ابزار Data Interpreter تنها برای فایل‌های مایکروسافت اکسل، فایل‌های متنی (CSV.)، فایل‌های PDF و گوگل شیت در دسترس است. برای فایل‌های اکسل، داده‌های شما حتماً باید فرمت xls. یا xlsx. داشته باشند.