انبار داده تمیز شده

چطور یک Data Warehouse شلوغ و به‌هم‌ریخته را مرتب کنیم؟

یکی از مشکلات رایجی که در بسیاری از سازمان‌ها و تیم‌های داده دیده می‌شود، بهم‌ریختگی و عدم انسجام در Data Warehouse است. این مشکل معمولاً به مرور زمان و بر اثر رشد سریع تیم‌ها، تغییر نیازهای تحلیلی، ورود اعضای جدید بدون مستندسازی دقیق، و افزایش پروژه‌های موقتی به‌وجود می‌آید. نتیجه‌اش؟ یک انبار داده با ساختاری…

استراتژی پشتیبان‌گیری برای حفاظت از داده‌ها

از بحران تا پایداری: پشتیبان‌گیری و محافظت از داده‌ها در زمان صلح

چند هفته پیش ، در هیاهوی جنگ و بحران، با شما از اهمیت پشتیبان‌گیری (Backup) گفتم . از pg_dump و mysqldump تا mongoexport و rsync؛ از اینکه چگونه در شرایط بحرانی می‌توان جلوی از دست رفتن اطلاعات رو گرفت حالا که فضا کمی آرام‌تر شده، وقتشه که نگاه دوباره‌ای به این موضوع داشته باشیم ….

مهندسی داده در زمان جنگ

راهنمای پشتیبان‌گیری

واقعیتش این روزها که صدای انفجارهای پی‌در‌پی از گوشه گوشه کشور شنیده می‌شه، حال خوشی ندارم و کمتر از هر زمان دیگه‌ای دست و دلم به نوشتن پست جدید میره. ولی با توجه به شرایط بدی که پیش اومده و لزوم تهییه نسخه‌های پشتیبان از دیتای موجود روی سرورها و حتی نگهداریشون به صورت لوکال…

مدل سازی دیتا

اصول کلیدی مدل‌سازی داده: نقشه‌ای برای موفقیت در دنیای Big Data

داده‌ها شریان حیاتی سازمان‌ها هستند. اما در مسیر شغلیم، بارها با این واقعیت روبرو شدم که داشتن داده به تنهایی کافی نیست. چیزی که اهمیت داره، نحوه‌ی سازماندهی و استفاده‌ی موثر از این داده‌هاست. اینجاست که هنر و علم مدل‌سازی داده وارد میشه. مدل‌سازی داده نه تنها یک فرآیند فنی، بلکه یک تفکر عمیق برای…

در حاشیه‌ی حاشیه نمایشگاه کتاب

در حاشیه‌ی حاشیه نمایشگاه کتاب

چند روز پیش در نمایشگاه بین‌المللی کتاب تهران، اتفاقی افتاد که من رو به فکر فرو برد. قصد نداشتم این افکار نسبتا پریشان رو منتشر کنم ولی انتشار عکسی از من «در حاشیه»، در حالی که اصلا متوجه ثبت این لحظه نبودم خاطره اون روز رو زنده کرد. همین شوق نوشتن و اشتراک گذاری افکارم…

کسب و کار مدرن

چگونه سوالات بهتری در کسب‌وکار بپرسیم؟

در دنیای امروز که داده‌ها به قلب تپنده‌ی تصمیم‌گیری‌های هوشمند تبدیل شده‌اند، یک سوال درست می‌تواند مسیر یک سازمان را متحول کند. اگر شما در جایگاه مدیر یا صاحب کسب‌وکار هستید، احتمالاً هر روز با انبوهی از داده‌ها مواجه‌اید. اما سوال اینجاست: آیا مشکل در کمبود داده‌هاست، یا در پرسیدن سوالات اشتباه؟ تجربه‌ای که داده‌ها…

هدر رفت پول در دفترکار

چطور کسب‌وکارهای کوچک بی‌صدا پول هدر می‌دهند؟

بیایید صادق باشیم. اداره‌ی یک کسب‌وکار کوچک کار ساده‌ای نیست. شما باید فروش را بالا نگه دارید، مشتری‌ها را راضی نگه دارید، تیم را هماهنگ کنید و با هزار تا چالش دیگر همزمان دست‌وپنجه نرم کنید. هر تومان مهم است. و با این حال—خیلی وقت‌ها، پول از دست می‌رود بی‌آنکه حتی متوجه شوید. من از…

apache airflow webUI

Apache Airflow: یه ارکستر منظم برای پشت‌صحنه استارتاپ شما!

احتمالا شما هم مثل خیلی از ماها تو این دنیای پر از هیجان استارتاپ، با یه عالمه کار ریز و درشت دست و پنجه نرم می‌کنید. از جمع‌آوری داده‌های مشتری‌ها گرفته تا به‌روزرسانی وب‌سایت و ارسال ایمیل‌های خبرنامه، یه عالمه کار هست که باید سر وقت و درست انجام بشه تا چرخ استارتاپتون خوب بچرخه….

shayan-geek as data engineer and data team lead

چیزهایی که کاش قبل از مدیر تیم شدن می‌دونستم

شش ماه پیش، من لید تیم داده‌ی شرکت شدم. قبل از اون، کاملاً فنی کار می‌کردم — ساختن ETL، ابزارهای داخلی، اتوماسیون، هرچیزی که بتونم با کد حلش کنم. واقعاً لذت می‌بردم از تمرکز، از حس خوب حل کردن یه مسئله‌ی پیچیده. فکر می‌کردم رهبری یعنی “همون کار قبلی + چندتا جلسه بیشتر”. اما اشتباه…

data pipeline

ساخت دیتا پایپ‌لاین مقیاس‌پذیر

از اسکریپت‌های پایتون و cron job گرفته تا سرویس‌های داکری ETL و Apache Airflow – گزارشی از مسیر من در ساخت دیتا پایپ لاین‌های مقیاس‌پذیر برای پروژه‌های تجاری. مناسب برای استفاده مهندسان داده