ساخت دیتا پایپلاین مقیاسپذیر
از اسکریپتهای پایتون و cron job گرفته تا سرویسهای داکری ETL و Apache Airflow – گزارشی از مسیر من در ساخت دیتا پایپ لاینهای مقیاسپذیر برای پروژههای تجاری. مناسب برای استفاده مهندسان داده
مهارتهایی که هر مهندس داده باید بلد باشه
چه تازه وارد دنیای مهندسی داده شده باشید چه از افراد با تجربه این حوزه باشید، میدانید که قضیه فقط جابهجایی داده از نقطه «الف» به «ب» نیست. بلکه طراحی سیستمهای کارآمد، بهینهسازی عملکرد و اطمینان از دسترسی دادهها برای کسانی است که به آنها نیاز دارند. با تبدیل شدن دادهها به بخش اصلی تصمیمگیری…
شروع؛ روایت سفر من از Data تا وبلاگ
درود؛ من شایان هستم. یک Data Engineer. اگه با این کلمه خیلی آشنا نیستین، به طور خلاصه میتونم بگم که وظیفه آماده سازی دیتا برای Data Analyst ها و Data Scientist ها رو داریم. ما مطمئن میشیم که دیتا توی سازمانها به درستی در گردش هست. هر تیم یا دپارتمان نیازهای به خصوصی از دیتا…