وقتی حجم دادههایتان از توان SSIS و SQL Server فراتر میرود
وقتی حجم دادهها از SSIS و SQL Server فراتر میرود، چه زمانی باید لایههای ذخیرهسازی، پردازش و ارکستراسیون را جدا کرد؟ آشنایی با نقش ClickHouse و Airflow در مقیاسپذیری پایپلاینهای داده.
وقتی حجم دادهها از SSIS و SQL Server فراتر میرود، چه زمانی باید لایههای ذخیرهسازی، پردازش و ارکستراسیون را جدا کرد؟ آشنایی با نقش ClickHouse و Airflow در مقیاسپذیری پایپلاینهای داده.
حذف دادههای تکراری یا همون Deduplication تا وقتی که پای دادههای واقعی وسط نیومده، خیلی ساده به نظر میرسه. اگه فقط چند هزار تا متن کوتاه داشته باشید، تقریباً هر روشی جواب میده. اما وقتی صحبت از میلیونها سند طولانی، زبانهای مختلف، دادههای کثیف و نیاز به پیدا کردن اسنادی میشه که «خیلی شبیه هم…
سلام به همه! چند هفته پیش دقیقاً همون چالشی که سد راه هر مهندس دادهای میشه، جلوم رو گرفت. پایپلاینی داشتم که باید این کارها رو انجام میداد: حدود ۳۰۰۰ تا کتابخانه داشتم. اگر هر کتابخانه فقط ۱ ثانیه طول میکشید، کل فرآیند نزدیک ۲ روز طول میکشید! جالب اینجاست که CPU تقریباً ۹۹٪ وقتش…
(هشدار اسپویل: در این مطلب بخشهایی از فیلم Whiplash لو میرود) در مسیر رشد هر آدم بلندپرواز، لحظهای وجود داره که شور و شوق یادگیری، کمکم جای خودش رو به وسواس برای کامل بودن میده. همون لحظهای که “دوست دارم بهتر بشم” تبدیل میشه به “باید بهترین باشم.” و درست در همین نقطه، خطر شروع…
یه جایی تو مسیر هر data engineerی هست که هیجان ساختن pipelineها یهدفعه با یه سؤال سخت و ساکت روبهرو میشه: این باید batch باشه یا real-time؟ ظاهراً سؤال فنیه، ولی در واقع یه سؤال فلسفیه. پشتش یه دغدغهی عمیقتره:داریم چی رو بهینه میکنیم؟ تازگی، سادگی، یا پایداری؟چون نمیتونی هر سه رو با هم داشته…
تا اینجا یاد گرفتیم چطور دادههامون رو پیدا کنیم، با کوئریها و فیلترها و مخصوصاً bool query آشنا شدیم.اما بعد از اینکه دادههامون رو پیدا کردیم چی؟ چطور ازشون تحلیل بگیریم و big picture رو ببینیم؟ اینجاست که قدرت واقعی Elasticsearch خودش رو نشون میده: Aggregationها. اگه کوئریها جواب این سوال رو میدن که «کدوم…
اگه این سری مقالهها رو دنبال کرده باشین، تا الان میدونین که: حالا وقتشه بریم سراغ یک بخش مهم و حیاتی: بول کوئری (Bool Query). چرا؟ چون هیچ مشکل جستجوی واقعیای توی دنیای واقعی فقط با یه شرط حل نمیشه. کاربرها هم «ربط داشتن» (Relevance) رو میخوان و هم «محدودیت» (Restrictions): بول کوئری همون ابزاریه…
در بخش اول این سری درباره پایههای کوئرینویسی در Elasticsearch صحبت کردم: مدل ذهنی، چرا mapping بهترین دوست شماست و اینکه چه موقع باید از فیلتر استفاده کرد و چه موقع از match. حالا وقتشه وارد جزئیات بشیم و سراغ انواع کوئریهای کاربردی بریم که توی پروژههای واقعی بیشترین استفاده رو دارند. اگر بخش اول…
وقتی برای اولین بار با الستیکسرچ (Elasticsearch) آشنا شدم، با خودم گفتم: «خب، اینم یه پایگاه دادهی دیگه… درسته؟» اما اشتباه میکردم. الستیکسرچ واقعاً فرق داره. یه جورایی حس ترکیبی از یک موتور جستوجو و یه پایگاه داده رو میده. راستش رو بخواین خودمم هنوز خیلی باهاش راحت نیستم 🙂 اما تو این پست که…
راستشو بخواین، وقتی یه دیتاست تازه میاد جلوی چشمم، دنبال تشریفات و کارای اضافه نیستم. دنبال وضوحم. اون یک ساعت اول، خیلی مهمتر از چیزیه که اکثر آدما فکر میکنن. باید خیلی سریع بفهمم زمین بازی چه شکلیه—کجا کثیف و بههمریختهست، کجا چیزای جالب داره، و اصلاً ارزش کندوکاو بیشتر داره یا نه. یه بار…