وقتی حجم دادههایتان از توان SSIS و SQL Server فراتر میرود

وقتی حجم دادهها از SSIS و SQL Server فراتر میرود، چه زمانی باید لایههای ذخیرهسازی، پردازش و ارکستراسیون را جدا کرد؟ آشنایی با نقش ClickHouse و Airflow در مقیاسپذیری پایپلاینهای داده.

وقتی حجم دادهها از SSIS و SQL Server فراتر میرود، چه زمانی باید لایههای ذخیرهسازی، پردازش و ارکستراسیون را جدا کرد؟ آشنایی با نقش ClickHouse و Airflow در مقیاسپذیری پایپلاینهای داده.

یه جایی تو مسیر هر data engineerی هست که هیجان ساختن pipelineها یهدفعه با یه سؤال سخت و ساکت روبهرو میشه: این باید batch باشه یا real-time؟ ظاهراً سؤال فنیه، ولی در واقع یه سؤال فلسفیه. پشتش یه دغدغهی عمیقتره:داریم…

در بخش اول این سری درباره پایههای کوئرینویسی در Elasticsearch صحبت کردم: مدل ذهنی، چرا mapping بهترین دوست شماست و اینکه چه موقع باید از فیلتر استفاده کرد و چه موقع از match. حالا وقتشه وارد جزئیات بشیم و سراغ…

حتما تا حالا اسم پردازش دستهای یا batch processing به گوشتون خورده. تو این پست قرار هست در مورد این موضوع و استفاده از اون در Apache Airflow صحبت کنیم.این روزها با این حجم سرسامآور داده که هر لحظه هم بیشتر…

یکی از مشکلات رایجی که در بسیاری از سازمانها و تیمهای داده دیده میشود، بهمریختگی و عدم انسجام در Data Warehouse است. این مشکل معمولاً به مرور زمان و بر اثر رشد سریع تیمها، تغییر نیازهای تحلیلی، ورود اعضای جدید…

چند هفته پیش ، در هیاهوی جنگ و بحران، با شما از اهمیت پشتیبانگیری (Backup) گفتم . از pg_dump و mysqldump تا mongoexport و rsync؛ از اینکه چگونه در شرایط بحرانی میتوان جلوی از دست رفتن اطلاعات رو گرفت حالا…

دادهها شریان حیاتی سازمانها هستند. اما در مسیر شغلیم، بارها با این واقعیت روبرو شدم که داشتن داده به تنهایی کافی نیست. چیزی که اهمیت داره، نحوهی سازماندهی و استفادهی موثر از این دادههاست. اینجاست که هنر و علم مدلسازی…

در دنیای امروز که دادهها به قلب تپندهی تصمیمگیریهای هوشمند تبدیل شدهاند، یک سوال درست میتواند مسیر یک سازمان را متحول کند. اگر شما در جایگاه مدیر یا صاحب کسبوکار هستید، احتمالاً هر روز با انبوهی از دادهها مواجهاید. اما…

احتمالا شما هم مثل خیلی از ماها تو این دنیای پر از هیجان استارتاپ، با یه عالمه کار ریز و درشت دست و پنجه نرم میکنید. از جمعآوری دادههای مشتریها گرفته تا بهروزرسانی وبسایت و ارسال ایمیلهای خبرنامه، یه عالمه…

از اسکریپتهای پایتون و cron job گرفته تا سرویسهای داکری ETL و Apache Airflow - گزارشی از مسیر من در ساخت دیتا پایپ لاینهای مقیاسپذیر برای پروژههای تجاری. مناسب برای استفاده مهندسان داده