"השימוש באגמי נתונים (Data lack) ילך ויפחת":
לפני מספר שנים, ארגונים רבים אימצו שימוש באגמי נתונים בשל העובדה שהשימוש בהם היה חסכוני. עד היום, חברות וארגונים עדיין עובדים עם אותם אגמי נתונים שקיבלו בירושה מהתקופה הזו. "הצורך בשימוש באגמי נתונים במערכי הנתונים של חברות ילך ויתכווץ במהלך השנה", אמר ג'ורג' פייזר, מנכ"ל Fivetran, המספקת פתרונות אוטומטיים מנוהלים לאינטגרציית נתונים בענן. לטענתו, לאור צמיחתם של מחסני הנתונים (data warehouses) המאפשרים להפריד בין מחשוב לבין אחסון, כבר לא יהיו סיבות טכניות לעשות שימוש באגמי הנתונים הללו. מחסן נתונים מהסוג החדש מעניק לארגון את כל היתרונות שאגמי נתונים מעניקים לו ואף מעבר. מחסני נתונים הם ידידותיים יותר למשתמש מאשר אגמי נתונים. בעולם של מערך נתונים מודרני (Modern Data Stack – MDS) אגמי נתונים הופכים להיות טכנולוגיה מיושנת". "מעבר לכך" המשיך פייזר, "לארגון שבונה מערכת נתונים חדשה ב-2021, אני ממליץ לבחון מחסני נתונים מבוססי ענן שנותנים מענה אידיאלי לניהול מערך נתונים מודרני".
טכנולוגיית Apache Arrow תהפוך למרכיב חיוני שיסייע למערך הנתונים המודרני להיות יעיל עבור פלטפורמות בינה מלאכותית (AI) ולמידת מכונה (ML):
"Apache Arrow היא טכנולוגיה נוספת שאני נרגש לגביה לקראת 2021 ומעבר לכך", אמר פייזר. "Apache Arrow הוא פורמט סידורי נפוץ המאפשר למערכות שונות להחליף נתונים בקצב גבוה מאוד. זהו פתרון אידיאלי עבור עומסי עבודה של פלטפורמות מדעי נתונים, שאינן SQL, ונמצאות במחסן נתונים. מספר מחסני נתונים החלו בהטמעת הטכנולוגיה עד כה, אבל עדיין יש לאן לשאוף. אני חושב שאנחנו עומדים לראות מערכי נתונים רבים שמאמצים את הטכנולוגיה הזו במהלך השנה הבאה. זהו כלי חיוני והוא מהווה גורם מרכזי בהפיכת מערך הנתונים המודרני לכזה שמתאים לעומסי עבודה של למידת מכונה (ML) ובינה מלאכותית (AI)".
יכולות עיבוד הנתונים ילכו ויתפתחו:
עם הצורך של חברות לאחסן ולעבד כמות נתונים שהולכת וגדלה, כך גם נמשיך להיות עדים לפיתוח פתרונות ולשדרוג הכלים המאפשרים זאת בעולמות עיבוד ואחסון הנתונים. "כעת יותר מתמיד, אינטגרציה אוטומטית של נתונים היא הדרך היחידה לנוע קדימה. אנו רואים זינוק עצום בהיקף הנתונים ובמגוון המשאבים שחברות צריכות לעבד. אנו מודדים כעת דברים בזטה-בייט, שהם כמיליון פטה-בייט, ואין דרך חזרה – הנתונים רק הולכים להתרחב בארגון. הדרך היחידה לטפל בכך היא באמצעות אוטומציה" אמר פריז'ר האריס, סמנכ"ל מוצרים ב-Fivetran.
לפיו, "ב- 2021, נמשיך לראות אימוץ של טכנולוגיות חדשות ואינטגרציה של מוצרים שנועדו לשפר תהליכי עבודה עבור אנליסטים. עם הגידול בהיקפי הנתונים, כך גם גובר הצורך בכלים אשר יכולים לתמוך בתפעול נתונים מתוחכם יותר. דוגמא נהדרת לכך היא dbt, כלי הנדסת האנליטיקה הפופולארי בקוד פתוח. אני חושב שהוא יהווה גורם חשוב במערך הנתונים המודרני ב-2021 ומעבר לה".
אודות פייבטראן
פייבטראן (Fivetran), הינה חברה פרטית מובילה במתן פתרונות אוטומטיים מנוהלים לאינטגרציית ענן המאפשרת לחברות לדייק את העבודה מונחית הנתונים שלהן באמצעות סנכרון רציף של נתונים ממקורות ויישומים שונים, ביצוע טרנספורמציית נתונים פנימית, טיוב נתונים, גיבוי נתונים והפקת דוחות ניתוח. המודל של פייבטראן מאפשר לרכז נתונים ממערכות שונות כמו SAP, אורקל, סיילספורס, נטסוויט, בסיסי נתונים ארגוניים, כלי שיווק ועוד, ולאחד את כל הדאטה על ידי ממשק API במערכת אחת נגישה ונוחה לשימוש. הפתרון של פייבטראן ניתן להתקנה תוך חמש דקות בלבד, לאחריהן הוא מתחיל באופן אוטומטי לבצע את תהליכי ניהול הנתונים.
החברה נוסדה ב-2013 מתוך האקלסטור Y combinator על ידי ג'ורג' פרייזר וטיילור בראון, ושוויה מוערך ב-1.2 מיליון דולר. עד כה, גייסה החברה 163 מיליון דולר בחמישה סבבי גיוס שונים ולאחרונה גם זכתה במעמד הייחודי של חברת "חד קרן" Unicorn)). החברה מעסיקה כיום למעלה מ-450 עובדים ברחבי העולם, כאשר מטה החברה ממוקם באוקלנד, קליפורניה. החברה משרתת למעלה מ-1,600 לקוחות ממגוון מגזרים, כולל: סייסנס, פוראבר 21, סנטריקל, אורבן אאוטפיטרס, Outsystems, Lime ועוד.