המסר העיקרי הוא - אף ארגון לא יכול להרשות לעצמו נתונים בלתי מעודכנים, שגויים או בלתי מדוייקים, אך בשטח זה בדיוק המצב בארגונים רבים. למה כל כך הרבה ארגונים נמנעים מלטפל בנושא קריטי כמו הבטחת איכות נתונים? איך ניתן לעשות זאת בקלות? כמה זה עולה ומה עלות ההימנעות מיישום?
אתגר ניהולי
הבטחת איכות ואמינות הנתונים בארגון, היא אתגר אליו חייבים להתייחס כחלק מניהול שיטתי של המידע בארגון (או Data Governance), שהוא בעצמו חלק מניהול שיטתי של המחשוב בכלל (IT Governance). חשוב להבין, שהבטחת איכות הנתונים הוא קודם כל תחום עסקי, ולא רק טכנולוגי. נתונים משובשים, בין אם הם מוצגים להנהלה כמו שהם או מנותחים באמצעות כלי BI, מובילים לקבלת החלטות עסקיות שגויות. הדבר משמעותי במיוחד כיום, כשמתגברת המודעות לכך ש"הכל מדיד" ולחשיבות קבלת ההחלטות, על סמך מדידות. לכן, הובלת הנושא צריכה לבוא מהמנהלים העסקיים או מהמנכ"ל, לצד שיתוף פעולה עם המנמ"ר, האחראי לצד הטכנולוגי. גם ההקשר של הנתונים - היינו, משמעותם וחשיבותם - הוא עניין עסקי מובהק. במקביל, חשוב לטפל בנושא באופן פרואקטיבי, שיטתי ולאורך זמן, מאחר ולנתונים יש נטייה להשתנות ו"לסבול" ממגוון בעיות, כולל כפילויות, הזנות שגויות, התיישנות וגם משיבוש בידי גורמים עויינים, המחפשים לפגוע בארגון או לנצל חלק מהנתונים לטובתם. למרות זאת, לא אחת נופל הנושא בין הכיסאות, מאחר ולא ברור מי אחראי לנושא - המנמ"ר, ההנהלה או המבקר הפנימי?
בעבר, שימשו מחשבי מיינפריים לאחסון נתונים דוגמת שמות וכתובות, כאשר טעויות שונות בהם תוקנו בעזרת חוקים עסקיים. בהמשך, הוצע בארה"ב שרות ממשלתי בשםNational Change of Address Registry, כדרך להצליב מידע ולבדוק שינויים בכתובות, מה שחסך לחברות מיליוני דולרים. למעשה, ניתן לומר שאיכות הנתונים נמכרה בתחילה כשירות, אך בהמשך עבר התחום אל בין חומות הארגון, כששרתים חזקים בעלויות נמוכות הפכו זמינים יותר, והתחום כולו התרחב מעבר לטיפול בשמות וכתובות גם לטיפול במגוון הנתונים, בארגון כולו. תחום זה הופך לחשוב יותר, ככל שהארגון גדול יותר וכל שגדול המרחק בין ייצור הנתונים בשטח לבין ההנהלה, וישנה כמות גדולה של יצרני וצרכני מידע. במקביל, ארגונים רבים עוברים לעבוד לפי תקנות כמו SOX ומערכות בקרה כמו ITIL ו-COBIT, על מנת להבטיח תהליך עבודה נכון.
מגמות משפיעות
מגמות רבות משפיעות על אמינות הנתונים, בעיקר היקפי המידע שרק הולכים וגדלים, כאשר הירידה בעלויות האחסון מעודדת שמירת נתונים במקום מחיקה ושמירת עותקים ישנים ולא עדכניים. מגמה נוספת היא הסתמכות הולכת וגדלה על המחשוב, ככלי עזר עסקי חיוני; הנתונים הופכים לקריטיים במיוחד להצלחת הארגון, אך במקביל ניתן לראות הסתמכות ואף תלות יתר במחשוב. לכן, חשוב לבצע טיוב ובקרת איכות נתונים, בעיקר (אך לא רק) במקרים של הסבות ממערכת אחת לשנייה, במקרים בהם הרגולציה דורשת נתונים מדוייקים, וכמובן כאשר מצטברות כמויות גדולות של מידע.
לפי Gartner, שוק כלי איכות הנתונים צפוי לגדול בשיעור גידול שנתי של 17.6%, ועד 2011 הוא יגלגל 677 מיליון דולר. לפי דו"ח זה, לארגונים בכל התעשיות בעולם, יש מודעות גבוהה לעלויות ולסיכונים, שכרוכים באיכות נתונים נמוכה. להערכת IBM Data Governance Council (קבוצה של 50 לקוחות ושותפים של IBM), בחלק מהמדינות יהפוךData Governance לדרישה רגולטורית.
שאלה של איכות
מה הם בעצם נתונים איכותיים ואמינים?
? נתונים נכונים - נתונים התואמים את הערכים האפשריים לפי ההגדרה במערכת, כולל מה שמוגדר כ-valid, אך גם נתונים נכונים בהתאם לשדה המתאים. למשל, אסור שנתוני מכירות של מחלקה X יופיעו בטעות כנתוני מחלקה Y.
? נתונים מדוייקים - נתונים שאינם עומדים בסתירה לנתונים אחרים או כאלה שאינם חסרים או בלתי עקביים. למשל, דיווח על רווחים חייב להיות מדוייק ולא בערך, ותאריך מוזן חייב להיות נכון ומדוייק.
? נתונים עדכניים - נתונים איכותיים חייבים להיות עדכניים. לדוגמא, תוכניות תמריצים שכבר הסתיימו ואינן רלוונטיות עוד או הטבות ללקוחות, שהיו חלק ממבצע שהתקיים בעבר.
? נתונים שלמים - נתונים איכותיים חייבים לתת תמונה שלמה ומקיפה. למשל, האם יש בידנו מידע על כל העדכונים שנעשו או לא נעשו לתוכנות בארגון או האם יש לנו נתונים לא רק לגבי מכירות, אלא גם לגבי פילוח הלקוחות?
? עקביות וסטנדרטיות - בארגון עם נתונים איכותיים, כל המידע חייב להיות מובנה באותה צורה, על בסיס סטנדרטים שנקבעו ברחבי הארגון כולו. לדוגמא, הזנת נתונים לאתר באותו פונט ובאותו סגנון עיצוב או תיוק ושמירת מסמכים בספרייה שנקבעה לכך, עם שמות לפי סגנון קבוע מראש.
? נתונים נקיים - נתונים איכותיים חייבים להיות נקיים, כאשר הכוונה היא לטיפול ומניעה של כפילויות, שימוש בחוקים עסקיים ובגיבוי והזנת נתונים באופן ברור לכל ואחיד. כאן, למשל, חשוב לבדוק מצבים של שגיאות כתיב, סימנים חסרים או מיותרים, תאריכים וזמנים נכונים והתאמת נתונים לנתונים.
מוצרים שעוזרים
להלן מוצרים, כלים ושירותים להבטחת איכות הנתונים:
? Actiview - מציעים את Active Quality, מערכת בקרה העוקבת אחר שלמות הנתונים ואיכותם.
? Business Objects - מציעים מגוון מוצרים בתחום, ביניהם Data Quality Management לטיפול באיכות נתונים; Data Integrator להבטחת שלמות המידע; פתרונות בשיתוף עם SAP גם בסביבות שאינן SAP לטיפול בנתונים מכל מקום; ו-Data Federator, לטיפול בדרישות המשתנות של ניהול הנתונים.
? DataFlux - חברת בת של SAS, שמציעה פתרונות המאפשרים מעקב, הלימה לתקנות, ניתוח והבטחת איכות נתונים, במקביל ל-ROI מהיר.
? DCL - מציעים שירותי טיוב והעשרת נתונים, איתור נתונים "מלוכלכים", מיותרים או כפולים, גיבוש המלצות לתיקון הנתונים, ויצירת סדרי עבודה שיעזרו לבנות סטנדרט לעבודה עם נתונים.
? Group 1 Software - מציעים את Profiler Plus, לניתוח ומיפוי נתונים. את Customer Data Quality Suite הכוללת את CDQ On-Demand, פתרון איכות נתונים וובי; פתרון CDQ למשתמשי Windows Dynamic CRM, ל-SAP, ל-Siebel או ל-Salesforce.com; ומגוון יישומים stand-alone המתמקדים במניעת כפילויות, אינטגרציה ואיחוד פורמטים.
? IBM - מציעים מגוון מוצרים, כולל InfoSphere MDM לטיפול ברשומות אב; Information Integration לאינטגרציית נתונים וטיפול בהעברתם; InfoSphere Change Data Capture לזיהוי והעברת נתונים בין מאגרי מידע הטרוגניים בזמן אמת; WebSphere Data Event Publisher לטיפול בנתונים ששונו או עודכנו; ופתרונות מותאמים אישית למערכות שונות.
אלה רק חלק מהמוצרים השונים שיכולים לעזור לך בכל הנוגע להבטחת איכות נתונים. מוצרים מועילים נוספים תוכל למצוא בתחקיר המלא.
לסיכום
הנתונים עומדים בלב לבו של הארגון. שמירת איכותם ואמינותם קריטית להצלחה, ולכן מומלץ לבדוק מה מציעים הפתרונות, ולהתחיל ליישמם, מהר ככל האפשר.
אנשים מהתחום, מוזמנים להגיב לתרום ולהוסיף...
הערה חשובה - הסיפור על הבטחת איכות נתונים לקוח מתוך תחקיר pCon והוא רק חלק מהסיפור הענק על השימוש בתמריצים, יתרונותיהם וחסרונותיהם. איך נחשפים לסיפור כולו וגם מרוויחים יותר זמן פנוי?http://www.pcon.co.il/v5/DebriefSignup25.asp
למאמרים מקצועיים ואובייקטיביים נוספים של קובי שפיבק, בתחומי מידע מחשבים ואינטרנט, באתר "מאמרים" ראה - http://www.articles.co.il/author/1944
קובי שפיבק Bsc., MBA הוא העורך הראשי של תחקירי pCon ואתר pCon-line. כמי שעוסק במחשבים, על מכלול היבטיהם משנת 1976 וכן כמי שכתב וערך למעלה משמונה מאות תחקירים על כל היבטי המחשוב העיקריים, הוא נמנה על אותם אנשים בודדים בארץ ובעולם, שבאמת ובתמים, מבינים לאן הולך עולם המחשוב ומהן השלכותיו המידיות והעתידיות, על אנשים וארגונים. הוא גם פרסם מספר רב של מאמרים במרבית העיתונים הגדולים והמקצועיים, והופיע פעמים רבות בערוצי הטלוויזיה והרדיו המרכזיים. נכון להיום הוא מייעץ למרבית מנהלי המחשוב בארגונים המובילים בישראל, והוא נחשב בעיני רבים, לגורו של המחשוב העסקי.
