מ-Batch  לנתונים בזמן אמת: השינוי שמגיע למגזר הממשלתי

המעבר לענן והתרחבות השימוש בבינה מלאכותית משנים את הדרך שבה ארגונים מנהלים את הנתונים שלהם. כיום כבר לא מספיק לאסוף מידע ולהעביר אותו בין מערכות. ארגונים נדרשים לאחד, לעבד ולהנגיש את הנתונים באופן רציף, במהירות ובהיקפים הולכים וגדלים.

הצורך הזה משמעותי במיוחד בארגונים גדולים ובגופים ממשלתיים, שבהם המידע מפוזר בין מערכות שונות, בסיסי נתונים, סביבות ענן ומערכות ותיקות. כדי לתמוך בתהליכים תפעוליים, בקבלת החלטות וביוזמות AI, הנתונים צריכים להיות אמינים, מסונכרנים ועדכניים ככל האפשר.

אחת הטכנולוגיות המרכזיות שמאפשרות את המעבר הזה היא Change Data Capture, או בקיצור CDC.

בניגוד לתהליכי ETL מסורתיים הפועלים בתצורת Batch, טכנולוגיית CDC מזהה ומעבירה רק את השינויים שבוצעו בבסיס הנתונים, ובהם פעולות Insert, Update ו-Delete. כך היא מאפשרת לשמור על סנכרון רציף בין מערכות, מבלי להעביר מחדש בכל פעם כמויות גדולות של מידע ותוך צמצום העומס על מערכות המקור.

וזאת באמצעות קריאת השינויים מתוך ה Transaction Logs של בסיס הנתונים, כך שניתן לעבור מעבודה עם מידע שמגיע בעיכוב לעבודה עם נתונים עדכניים בזמן אמת.

אינטגרציית נתונים בעידן נימבוס

בישראל, המעבר לאינטגרציית נתונים בזמן אמת מקבל חשיבות נוספת עם המעבר של גופים ציבוריים לסביבות ענן במסגרת פרויקט נימבוס.

המעבר לענן יוצר צורך לחבר בין מערכות ממשלתיות קיימות לבין מחסני נתונים, שירותי ענן, מערכות תפעוליות ופלטפורמות חדשות. במקרים רבים, חלק מהמערכות ממשיכות לפעול בסביבה המקומית, ולכן נדרש פתרון שיודע לסנכרן מידע בין סביבות ענן, מערכות  On-Premise ומערכות Legacy.

ETLWorks היא פלטפורמה מבוססת ענן או On – Prem המאחדת יכולות Data Integration, ניהול ואינטגרציית APIs וCDC בזמן אמת. באמצעות סביבת עבודה אחת ניתן לחבר, לעבד ולסנכרן נתונים בין בסיסי נתונים, מערכות ארגוניות, שירותי ענן וממשקי API.

הפלטפורמה כוללת גם תהליכי ETL ו-ELT וחיבורים למערכות SaaS, מערכות Legacy, סביבות ענן ומערכות מקומיות. שילוב היכולות מאפשר לבנות ולנהל תהליכי דאטה מקצה לקצה בפלטפורמה אחת.

מתמונה ראשונית לזרימת נתונים רציפה

תהליך ה CDC ב ETLWorks מתחיל בטעינה ראשונית של הנתונים, ולאחר השלמתה עובר באופן אוטומטי לזרימה רציפה של השינויים המתרחשים בבסיס הנתונים.

את השינויים ניתן להזרים למספר יעדים במקביל, ובהם מחסני נתונים בענן, בסיסי נתונים, מערכות תפעוליות, תורי הודעות ויעדים נוספים. כך יכולים ארגונים לשמור על עקביות ועל סנכרון בין מערכות רבות, גם בכמויות גדולות של נתונים ובסביבות טכנולוגיות מורכבות.

החיבור בין AI לנתונים בזמן אמת

על גבי תשתית זו נכנסות גם יכולות AI שמעצימות את הערך. בין היתר ניתן לייעל תהליכי אינטגרציה ולהתקדם לעבר עבודה מבוססת שפה טבעית, שבה המשתמש מגדיר את הצורך והמערכת בונה את התהליך.

השילוב בין CDC ל AI יוצר שכבת דאטה חכמה, שמאפשרת להזרים מידע עדכני ולנהל את תהליכי האינטגרציה בצורה יעילה יותר.

טכנולוגיה גלובלית עם התאמה לשוק הישראלי

Aqurate, הנציגה של ETLWorks בישראל, מביאה את יכולות הפלטפורמה לשוק המקומי, תוך התאמה לצרכים של ארגונים בישראל ובפרט לצורכי המגזר הציבורי. הפתרון מאושר במסגרת נימבוס וזמין לרכישה עבור ארגונים ממשלתיים.

השילוב בין טכנולוגיית אינטגרציה גלובלית לבין היכרות מעמיקה עם דרישות רגולציה, אבטחת מידע וסביבות ממשלתיות מאפשר ללוות ארגונים בתכנון ובהטמעה של תהליכי דאטה מורכבים.

המגמה ברורה: עולם האינטגרציה עובר מתהליכים תקופתיים, שמעבירים כמויות גדולות של מידע, למערכות שמסנכרנות ומזרימות את השינויים בזמן אמת. כאשר ענן, AI וCDC- נפגשים, אינטגרציית נתונים הופכת מתשתית טכנולוגית למנוע אסטרטגי שמאפשר לארגונים לפעול מהר יותר, לקבל החלטות על בסיס מידע עדכני ולהפיק ערך רב יותר מהנתונים שלהם.