מה הם בסיסי נתונים גרפיים וכיצד מנהלים אותם

בסיסי נתונים הם מאגרי מידע אשר מנקזים אליהם נתונים ממקורות שונים – אלו יכולים להיות מקורות פנים ארגוניים כמו תיקיות, קובצים, תיבות דואר אלקטרוני ועוד או לחלופין נתונים חוץ ארגוניים פורטלים, מסעות פרסום, רשתות חברתיות, תיבות דואר חיצוניות לארגון, קובצי שמע ווידאו ועוד. בסיסי הנתונים הם החלק "הלא נראה לעין" של מערכת ה-BI ובאמצעותם ניתן להפוך כל דאטה לדו"ח, לעקוב אחרי שינויים בדאטה, לרכז ולנתח מידע ולהבטיח את אמינות הנתונים לאורך זמן. נהוג לחלק את בסיסי הנתונים לסוגים שונים – בסיס נתונים רלציונים ובסיסי נתונים לא רלציונים, בכתבה זו נתמקד בסוג השני.

בסיסי נתונים לא רלציונים וגרפים.

בסיס נתונים לא רלציוני נמצא בבסיס מערכות ה-BI החדשניות ומטרתו לתת מענה למסות של נתונים, אשר מוזרמים אל המערכת בקצב מהיר. מדובר באינספור נתונים המגיעים ממקורות שונים כמו רשתות חברתיות, פורומים, תמונות, קובצים, מידע טכנולוגי מקודד ועוד, שמסוננים, ממיונים, מסווגים לטבלאות על פי ערכי מפתח מוסכמים ("משפחות" או מסמכים) ומאוחסנים על פני מספר שרתים. Graph Store הוא אחד ממסדי הנתונים הגרפיים, אשר בנויים על סכמה תלוית קשרים, ומטרתה להציג נתונים באמצעות גרפים חזותיים. באמצעות מסדי נתונים גרפיים המשתמש יכול להתחקות אחר דפוס מסוים מתוך בליל נתונים אקראיים, שאינם מקושרים ביניהם.

ניהול של בסיסי נתונים שונים

קיימים מספר מנגנוני ניהול לבסיסי הנתונים המותאמים לשימוש שלהם – בין אם מדובר על בסיסי נתונים אנליטיים המרכזים מידע היסטורי באמצעות קטלוג ומשתמרים בתצורה של ארכיב ובין אם מדובר בבסיסי נתונים אופרטיביים, אשר בהם מאוכסנות רשומות שונות שמתעדכנות באופן תדיר כמו פריטי מלאי, היקף מכירות ועוד. הנה מספר כלים שמסייעים לנהל את בסיסי הנתונים השונים:

קטלוג המערכת – הוא כלי המרכז את כלל המידע הנוגע להגדרות המערכת לרבות הגדרות של שדות ושל רשומות, שמות של עצמים במערכת, חלוקה לסוגים, כללי אימות לשדות ועוד, המידע בקטלוג מאוחסן בטבלאות ומשמש גם לביצוע ניתוח נתונים.

מיטוב שאילתות – זהו תהליך סטטיסטי ששייך לתחום "המכונה הלומדת" באמצעות תהליך זה מתבצע איסוף נתונים אודות מאפייני השימוש במערכת, לדוגמה: תדירות השימוש בטבלאות מסוימות, היקפים של טבלאות, קשרים בין טבלאות ועוד, במטרה להציג תוצאות טובות יותר למשתמש לאורך זמן.

מנהל האחסון – מנגנון ש"מנקה" נתונים או קובצים שאין בהם כל צורך באמצעות תהליך מהיר ומובנה שמטרתו לפנות מקום בנפח האחסון. באמצעות מנהל האחסון ניתן להעביר נתונים בין שרתים ובכך לשמור על קצב ביצועים מהיר.

ניהול יומן מסד נתונים – קובץ המרכז את השינויים שנעשו במסד הנתונים בפרט כצורך לטיפול בקריסות או בכשלים בחומרה. (נקרא גם יומן עסקאות, שביל ביקורת או יומן בינארי).

יומן אירועים – זהו רכיב המאפשר לשמור על אמיתות הנתונים בין ריצות המערכת. לדוגמה: להחיל שינויים שבוצעו בעסקאות בעת ריצת המערכת וכן להחיל שינויים בעסקאות שכבר בוצעו אבל השינויים עדיין לא מעודכנים במערכת.

ניהול זיכרון מטמון – ידוע גם כרכיב בשם "קש" (מזומן) אשר אוסף נתונים זמינים ממקורות אחסון חיצוניים, ומאפשר לשלוף מידע במהירות באמצעות "קובץ מטמון" ללא כל צורך להריץ את מאגר הנתונים מחדש. זיכרון מטמון מאפשר לפזר את הנתונים על פני מספר מקורות אחסון ומאפשר אף לחסוך בעלויות האחסון שכן המשאב המארח משלם רק על הגישה לנתונים.

מנגנון השכפול – נועד לקצר תהליכים טכניים על ידי שכפול הגדרות בלחיצת כפתור, בדרך זו ניתן להעתיק בסיסי נתונים זה מזה במהירות, לשמור על אחידות הנתונים ברמת ההגדרות ולקשר ביניהם.

מנגנון בקרת המקביליות – שני מחסנאים ניפקו את אותו הפריט באות הזמן, המוכרן מכר את הפריט האחרון במלאי במקביל למוכרן אחר? ובמילים אחרות בוצעה פעולת כתיבה כפולה לנתון במערכת? מנגנון בקרת המקביליות נועד לפתור בעיות הקשורות להתנגשות בין תנועות. המנגנון מונע את התנגשות התנועות באמצעות הפעלת "מנעול" (lock Based) למניעת "הכתיבה הכפולה", השימוש בו עלול "להקפיא" את המערכת, אך ניתן למנוע את פעולת "הקיפאון" באמצעות הפעלת מנגנון בקרת מקביליות "אופטימי".

'בחדרי' גם ברשתות החברתיות - הצטרפו!