برچسب مهندسی داده

الستیک سرچ – بخش دوم: انواع کوئری‌های کاربردی

در بخش اول این سری درباره پایه‌های کوئری‌نویسی در Elasticsearch صحبت کردم: مدل ذهنی، چرا mapping بهترین دوست شماست و اینکه چه موقع باید از فیلتر استفاده کرد و چه موقع از match. حالا وقتشه وارد جزئیات بشیم و سراغ…

پردازش دسته‌ای در Apache Airflow – تجربه‌ای در عصر کلان داده

انجام پردازش دسته‌ای در apache airflow

حتما تا حالا اسم پردازش دسته‌ای یا batch processing به گوشتون خورده. تو این پست قرار هست در مورد این موضوع و استفاده از اون در Apache Airflow صحبت کنیم.این روزها با این حجم سرسام‌آور داده که هر لحظه هم بیشتر…

چطور یک Data Warehouse شلوغ و به‌هم‌ریخته را مرتب کنیم؟

انبار داده تمیز شده

یکی از مشکلات رایجی که در بسیاری از سازمان‌ها و تیم‌های داده دیده می‌شود، بهم‌ریختگی و عدم انسجام در Data Warehouse است. این مشکل معمولاً به مرور زمان و بر اثر رشد سریع تیم‌ها، تغییر نیازهای تحلیلی، ورود اعضای جدید…

از بحران تا پایداری: پشتیبان‌گیری و محافظت از داده‌ها در زمان صلح

استراتژی پشتیبان‌گیری برای حفاظت از داده‌ها

چند هفته پیش ، در هیاهوی جنگ و بحران، با شما از اهمیت پشتیبان‌گیری (Backup) گفتم . از pg_dump و mysqldump تا mongoexport و rsync؛ از اینکه چگونه در شرایط بحرانی می‌توان جلوی از دست رفتن اطلاعات رو گرفت حالا…

اصول کلیدی مدل‌سازی داده: نقشه‌ای برای موفقیت در دنیای Big Data

مدل سازی دیتا

داده‌ها شریان حیاتی سازمان‌ها هستند. اما در مسیر شغلیم، بارها با این واقعیت روبرو شدم که داشتن داده به تنهایی کافی نیست. چیزی که اهمیت داره، نحوه‌ی سازماندهی و استفاده‌ی موثر از این داده‌هاست. اینجاست که هنر و علم مدل‌سازی…

چگونه سوالات بهتری در کسب‌وکار بپرسیم؟

کسب و کار مدرن

در دنیای امروز که داده‌ها به قلب تپنده‌ی تصمیم‌گیری‌های هوشمند تبدیل شده‌اند، یک سوال درست می‌تواند مسیر یک سازمان را متحول کند. اگر شما در جایگاه مدیر یا صاحب کسب‌وکار هستید، احتمالاً هر روز با انبوهی از داده‌ها مواجه‌اید. اما…

Apache Airflow: یه ارکستر منظم برای پشت‌صحنه استارتاپ شما!

apache airflow webUI

احتمالا شما هم مثل خیلی از ماها تو این دنیای پر از هیجان استارتاپ، با یه عالمه کار ریز و درشت دست و پنجه نرم می‌کنید. از جمع‌آوری داده‌های مشتری‌ها گرفته تا به‌روزرسانی وب‌سایت و ارسال ایمیل‌های خبرنامه، یه عالمه…