6.2.1.2.3. خط‌لوله پردازش (Pipeline)
خط‌لوله یا «پایپ‌لاین» (Pipeline) در هنر دیتائیسم، همان کارخانه‌ای است که مواد خام (داده‌های سرد) را به محصول نهایی (اثر هنری) تبدیل می‌کند. این فرآیند شامل چهار مرحله حیاتی است:
6.2.1.2.3.1. مراحل جریان داده
گردآوری (Ingestion): داده‌ها را چگونه استخراج می‌کنید؟ (از طریق APIها، حسگرها، یا خواندن لاگ‌های سیستم).
پاک‌سازی (Cleaning): داده‌های خام معمولاً نویز دارند. در این مرحله، مقادیر اضافی و خطاها را حذف می‌کنیم تا جوهره اصلی داده باقی بماند.
تبدیل (Transformation): این مهم‌ترین بخش هنری است. در اینجا داده‌ها را به مقیاسی تبدیل می‌کنیم که برای نرم‌افزارهای بصری‌ساز قابل‌فهم باشد (مثلاً نگاشت اعداد بزرگ به طیف رنگ‌ها).
نمایش (Rendering): تبدیل نهایی داده‌های پردازش‌شده به تصویر، ویدیو یا ساختارهای سه‌بعدی که مخاطب مشاهده می‌کند.
6.2.1.2.3.2. اهمیت تکرارپذیری
در اکوسیستم دیتائیست، ما معتقدیم که هنر داده باید «تکرارپذیر» باشد. پایپ‌لاین شما باید طوری طراحی شود که با تغییر داده‌های ورودی (مثلاً داده‌های سال جاری به‌جای سال قبل)، اثر هنری بدون نیاز به بازنویسی کامل، بازآفرینی شود.
6.2.1.2.3.3. ابزارهای پایپ‌لاین
در دیتائیست، ما معمولاً از پایتون برای پردازش داده‌ها استفاده می‌کنیم. کتابخانه‌هایی نظیر Pandas برای مدیریت داده‌ها و NumPy برای محاسبات عددی، ستون‌های فقرات این خط‌لوله هستند.
6.2.1.2.3.4. تمرین مرحله سوم
یک اسکریپت ساده بنویسید که یک فایل متنی یا CSV را بخواند، داده‌های آن را نرمال‌سازی کند (یعنی تمام اعداد را بین صفر و یک قرار دهد) و نتیجه را در کنسول چاپ کند. این اولین ضربه قلم‌موی شما در پایپ‌لاین است.
6.2.1.2.3.5. گام بعدی: جعبه ابزار
اکنون که می‌دانید داده‌ها چگونه در لوله‌ها جریان می‌یابند، زمان آن است که ابزارهای تخصصی ما را بشناسید. در بخش جعبه ابزار (Tools) به بررسی نرم‌افزارها و سخت‌افزارهایی می‌پردازیم که این جریان‌ها را به نور و صدا تبدیل می‌کنند.