دسته‌ها
مهندسی داده

Apache Airflow: یه ارکستر منظم برای پشت‌صحنه استارتاپ شما!

احتمالا شما هم مثل خیلی از ماها تو این دنیای پر از هیجان استارتاپ، با یه عالمه کار ریز و درشت دست و پنجه نرم می‌کنید. از جمع‌آوری داده‌های مشتری‌ها گرفته تا به‌روزرسانی وب‌سایت و ارسال ایمیل‌های خبرنامه، یه عالمه کار هست که باید سر وقت و درست انجام بشه تا چرخ استارتاپتون خوب بچرخه. […]

دسته‌ها
مدیریت

چیزهایی که کاش قبل از مدیر تیم شدن می‌دونستم

شش ماه پیش، من لید تیم داده‌ی شرکت شدم. قبل از اون، کاملاً فنی کار می‌کردم — ساختن ETL، ابزارهای داخلی، اتوماسیون، هرچیزی که بتونم با کد حلش کنم. واقعاً لذت می‌بردم از تمرکز، از حس خوب حل کردن یه مسئله‌ی پیچیده. فکر می‌کردم رهبری یعنی “همون کار قبلی + چندتا جلسه بیشتر”. اما اشتباه […]

دسته‌ها
مهندسی داده

ساخت دیتا پایپ‌لاین مقیاس‌پذیر

از اسکریپت‌های پایتون و cron job گرفته تا سرویس‌های داکری ETL و Apache Airflow – گزارشی از مسیر من در ساخت دیتا پایپ لاین‌های مقیاس‌پذیر برای پروژه‌های تجاری. مناسب برای استفاده مهندسان داده

دسته‌ها
مسیر شغلی مهندسی داده

مهارت‌هایی که هر مهندس داده باید بلد باشه

چه تازه وارد دنیای مهندسی داده شده باشید چه از افراد با تجربه این حوزه باشید، می‌دانید که قضیه فقط جابه‌جایی داده از نقطه «الف» به «ب» نیست. بلکه طراحی سیستم‌های کارآمد، بهینه‌سازی عملکرد و اطمینان از دسترسی داده‌ها برای کسانی است که به آن‌ها نیاز دارند. با تبدیل شدن داده‌ها به بخش اصلی تصمیم‌گیری […]

دسته‌ها
شخصی

شروع؛ روایت سفر من از Data تا وبلاگ

درود؛ من شایان هستم. یک Data Engineer. اگه با این کلمه خیلی آشنا نیستین، به طور خلاصه می‌تونم بگم که وظیفه آماده سازی دیتا برای Data Analyst ها و Data Scientist ها رو داریم. ما مطمئن میشیم که دیتا توی سازمان‌ها به درستی در گردش هست. هر تیم یا دپارتمان نیازهای به خصوصی از دیتا […]