وقتی حجم دادههایتان از توان SSIS و SQL Server فراتر میرود

وقتی حجم دادهها از SSIS و SQL Server فراتر میرود، چه زمانی باید لایههای ذخیرهسازی، پردازش و ارکستراسیون را جدا کرد؟ آشنایی با نقش ClickHouse و Airflow در مقیاسپذیری پایپلاینهای داده.

وقتی حجم دادهها از SSIS و SQL Server فراتر میرود، چه زمانی باید لایههای ذخیرهسازی، پردازش و ارکستراسیون را جدا کرد؟ آشنایی با نقش ClickHouse و Airflow در مقیاسپذیری پایپلاینهای داده.

یه جایی تو مسیر هر data engineerی هست که هیجان ساختن pipelineها یهدفعه با یه سؤال سخت و ساکت روبهرو میشه: این باید batch باشه یا real-time؟ ظاهراً سؤال فنیه، ولی در واقع یه سؤال فلسفیه. پشتش یه دغدغهی عمیقتره:داریم…