
وقتی حجم دادههایتان از توان SSIS و SQL Server فراتر میرود
وقتی حجم دادهها از SSIS و SQL Server فراتر میرود، چه زمانی باید لایههای ذخیرهسازی، پردازش و ارکستراسیون را جدا کرد؟ آشنایی با نقش ClickHouse و Airflow در مقیاسپذیری پایپلاینهای داده.

وقتی حجم دادهها از SSIS و SQL Server فراتر میرود، چه زمانی باید لایههای ذخیرهسازی، پردازش و ارکستراسیون را جدا کرد؟ آشنایی با نقش ClickHouse و Airflow در مقیاسپذیری پایپلاینهای داده.

حذف دادههای تکراری یا همون Deduplication تا وقتی که پای دادههای واقعی وسط نیومده، خیلی ساده به نظر میرسه. اگه فقط چند هزار تا متن کوتاه داشته باشید، تقریباً هر روشی جواب میده. اما وقتی صحبت از میلیونها سند طولانی،…

سلام به همه! چند هفته پیش دقیقاً همون چالشی که سد راه هر مهندس دادهای میشه، جلوم رو گرفت. پایپلاینی داشتم که باید این کارها رو انجام میداد: حدود ۳۰۰۰ تا کتابخانه داشتم. اگر هر کتابخانه فقط ۱ ثانیه طول…

(هشدار اسپویل: در این مطلب بخشهایی از فیلم Whiplash لو میرود) در مسیر رشد هر آدم بلندپرواز، لحظهای وجود داره که شور و شوق یادگیری، کمکم جای خودش رو به وسواس برای کامل بودن میده. همون لحظهای که “دوست دارم…

یه جایی تو مسیر هر data engineerی هست که هیجان ساختن pipelineها یهدفعه با یه سؤال سخت و ساکت روبهرو میشه: این باید batch باشه یا real-time؟ ظاهراً سؤال فنیه، ولی در واقع یه سؤال فلسفیه. پشتش یه دغدغهی عمیقتره:داریم…

تا اینجا یاد گرفتیم چطور دادههامون رو پیدا کنیم، با کوئریها و فیلترها و مخصوصاً bool query آشنا شدیم.اما بعد از اینکه دادههامون رو پیدا کردیم چی؟ چطور ازشون تحلیل بگیریم و big picture رو ببینیم؟ اینجاست که قدرت واقعی…

اگه این سری مقالهها رو دنبال کرده باشین، تا الان میدونین که: حالا وقتشه بریم سراغ یک بخش مهم و حیاتی: بول کوئری (Bool Query). چرا؟ چون هیچ مشکل جستجوی واقعیای توی دنیای واقعی فقط با یه شرط حل نمیشه.…

در بخش اول این سری درباره پایههای کوئرینویسی در Elasticsearch صحبت کردم: مدل ذهنی، چرا mapping بهترین دوست شماست و اینکه چه موقع باید از فیلتر استفاده کرد و چه موقع از match. حالا وقتشه وارد جزئیات بشیم و سراغ…

وقتی برای اولین بار با الستیکسرچ (Elasticsearch) آشنا شدم، با خودم گفتم: «خب، اینم یه پایگاه دادهی دیگه… درسته؟» اما اشتباه میکردم. الستیکسرچ واقعاً فرق داره. یه جورایی حس ترکیبی از یک موتور جستوجو و یه پایگاه داده رو میده.…

راستشو بخواین، وقتی یه دیتاست تازه میاد جلوی چشمم، دنبال تشریفات و کارای اضافه نیستم. دنبال وضوحم. اون یک ساعت اول، خیلی مهمتر از چیزیه که اکثر آدما فکر میکنن. باید خیلی سریع بفهمم زمین بازی چه شکلیه—کجا کثیف و…