وقتی حجم دادههایتان از توان SSIS و SQL Server فراتر میرود

وقتی حجم دادهها از SSIS و SQL Server فراتر میرود، چه زمانی باید لایههای ذخیرهسازی، پردازش و ارکستراسیون را جدا کرد؟ آشنایی با نقش ClickHouse و Airflow در مقیاسپذیری پایپلاینهای داده.

وقتی حجم دادهها از SSIS و SQL Server فراتر میرود، چه زمانی باید لایههای ذخیرهسازی، پردازش و ارکستراسیون را جدا کرد؟ آشنایی با نقش ClickHouse و Airflow در مقیاسپذیری پایپلاینهای داده.

حتما تا حالا اسم پردازش دستهای یا batch processing به گوشتون خورده. تو این پست قرار هست در مورد این موضوع و استفاده از اون در Apache Airflow صحبت کنیم.این روزها با این حجم سرسامآور داده که هر لحظه هم بیشتر…

از اسکریپتهای پایتون و cron job گرفته تا سرویسهای داکری ETL و Apache Airflow - گزارشی از مسیر من در ساخت دیتا پایپ لاینهای مقیاسپذیر برای پروژههای تجاری. مناسب برای استفاده مهندسان داده