مدیریت اطلاعات هنجاری و مرجع. ببینید "NSI" در سایر فرهنگ لغت مطابق با NSI چیست

صنعت: انرژی و مسکن و خدمات عمومی

از آنجایی که Rosatom بسیاری از شرکت ها و سازمان ها را متحد می کند، ایجاد دایرکتوری های گسترده صنعت شرط لازم برای تمرکز و اطمینان از شفافیت فعالیت های تدارکات و روابط با تامین کنندگان و همچنین برای سازماندهی کار مشترک سیستم های فناوری اطلاعات شرکت های صنعتی است. به همین دلیل است که پروژه ایجاد یک سیستم صنعتی واحد اطلاعات نظارتی و مرجع (URS NSI) در "برنامه تبدیل بلوک مالی و اقتصادی و فناوری اطلاعات" شرکت دولتی گنجانده شد. سیستم EOS NSI سازمان‌هایی را در بخش‌های «مهندسی و ساخت نیروگاه‌های هسته‌ای»، «عملیات نیروگاه‌های هسته‌ای» و «چرخه عمر سوخت هسته‌ای» پوشش خواهد داد. بر اساس نتایج یک مسابقه آزاد، IBS در اجرای پروژه مشارکت داشت و راه حل تخصصی SAP به عنوان بستر انتخاب شد.

تا به امروز، یک پروژه آزمایشی برای ایجاد یک سیستم یکپارچه اطلاعات علمی تکمیل شده است. در چارچوب آن، تعدادی دایرکتوری ایجاد شده است: "طرفداران" (بدهکاران / طلبکاران، اشخاص حقوقی، ساکنان / غیر مقیم)، "منابع مادی و فنی" (MTR)، "عناصر تاسیسات صنعتی"، "نمودار یکپارچه". حساب‌ها، مجموعه‌ای از دایرکتوری‌ها و طبقه‌بندی‌کننده‌های تمام روسی. محبوب ترین کتاب های مرجع عبارتند از "طرفداران" (در حال حاضر شامل حدود 70 هزار ورودی)، "MTR" (حدود 150 هزار ورودی) و "نمودار حساب های یکپارچه". قبلاً در طول پروژه آزمایشی، 215 شرکت با استفاده از فهرست "Counterparties" به EOS NSI و 35 شرکت با استفاده از فهرست "MTR" به EOS NSI متصل شدند. در مجموع بیش از 4 هزار کاربر در سیستم کار می کنند که دسترسی آنها با استفاده از سرویس پورتال فراهم می شود.

در حال حاضر کار برای تکثیر سیستم در حال انجام است. انتظار می رود تا سال 2012 تعداد کل کاربران EOS NSI به حدود 10 هزار نفر برسد. بنابراین، این پروژه در زمینه سازماندهی اطلاعات نظارتی و مرجع بر روی پلت فرم SAP به یکی از بزرگترین در جهان و بزرگترین در اروپا تبدیل خواهد شد. نتایج این پروژه و قابلیت های EOS NSI در تعدادی دیگر از پروژه های فناوری اطلاعات شرکت دولتی Rosatom استفاده خواهد شد. از جمله ایجاد یک سیستم تدارکات صنعتی یکپارچه، یک سیستم صنعتی یکپارچه برای یکپارچه سازی برنامه های کاربردی شرکت، یک سیستم یکپارچه جریان اسناد صنعت، یک سیستم مدیریت دارایی دارایی، معرفی یک سیستم مرکز تسویه یکپارچه و غیره.

« تمرکز فرآیندهای نگهداری اطلاعات نظارتی و مرجع و استفاده از یک سیستم اطلاعاتی مناسب، اولاً باعث افزایش کیفیت و قابلیت اطمینان اطلاعات ارائه شده توسط سیستم های فناوری اطلاعات می شود. ثانیا، هزینه ها و زمان تولید گزارش تلفیقی را کاهش می دهد. ثالثاً، خطرات ناشی از داده های ناقص یا نادرست پرداخت را به حداقل می رساند. این امر همچنین امکان بهینه سازی و اطمینان از شفافیت فرآیندهای تدارکات و کار با تامین کنندگان، کاهش زمان برنامه ریزی برای تهیه و تامین مواد و تجهیزات، بهینه سازی فرآیند نگهداری داده های اصلی را با سازماندهی یک محیط مدیریتی یکپارچه فراهم می کند."، خاطرنشان کرد رئیس برنامه NSI در Greenatom CJSC Kirill Sukovykh.

وقتی صحبت از مقیاس و پیچیدگی سیستم های اطلاعاتی خاص می شود، معمولاً ویژگی هایی مانند تعداد مشاغل و جریان اسناد پردازش شده و حجم کل پایگاه های داده ارائه می شود. با این حال، اخیراً تعداد و اندازه دایرکتوری ها به طور فزاینده ای به عنوان یک ویژگی جدایی ناپذیر ذکر می شود. این برای افراد نادان چندان واضح نیست، اما برای متخصصان چنین اطلاعاتی گویای همه چیز است. از این گذشته، این داده های مرجع (محدوده کالاها و محصولات، جزئیات شرکا، تامین کنندگان و مشتریان، شرح ساختار سازمان و غیره) هستند که اساساً هسته اطلاعاتی سیستم مدیریت شرکت، از جمله وظایف حسابداری، برنامه ریزی منابع، CAD و غیره؛ آنها ثبات و ادغام داده ها را تضمین می کنند، افزونگی اطلاعات را از بین می برند و جستجوی اطلاعات لازم را بهینه می کنند. علاوه بر این، دایرکتوری ها همه اسناد دیگر سیستم - فاکتورها، قراردادها، سفارشات و غیره را در تمام چرخه عمر آن ترکیب می کنند.

در حال حاضر یکی از مهم ترین مشکلات در توسعه فناوری اطلاعات در سطح شرکت ها یکپارچه سازی داده ها است. اغلب، به عنوان توانایی کار با فرمت های داده های مختلف از منابع فیزیکی مختلف (از جمله تبدیل آنها از یک فرمت به فرمت دیگر) درک می شود. اما چنین دیدگاهی حداقل سطحی است. در واقع هماهنگی و درک صحیح اطلاعات بدون درک معنادار آن با استفاده از کتب مرجع رایج غیر ممکن است.

برنج. 1. سازماندهی کار سرویس داده مرجع متمرکز

این مشکل در سراسر جهان مطرح است، اما اهمیت آن به ویژه برای روسیه بسیار زیاد است و در اینجا می توان دو نکته را برجسته کرد:

اتوماسیون شرکت‌های داخلی، به عنوان یک قاعده، از پایین به بالا، از طریق کامپیوتری کردن تدریجی مناطق و بخش‌های جداگانه توسعه یافت. آنها علاوه بر استفاده از پلتفرم‌های نرم‌افزاری و سخت‌افزاری مختلف، از دایرکتوری‌های محلی نیز استفاده کردند که ترکیب آن کار ساده‌ای نیست.

در مرحله کنونی شکل گیری اقتصاد بازار در کشور ما، فرآیندهای فعال ادغام، تملک، تشکیل ساختارهای هلدینگ و غیره وجود دارد که در این حالت، وظایف پیچیده ای از ترکیب منابع اطلاعاتی، اما اغلب در سطح سیستم های مدیریت کامل سازمانی

ما این دو نکته را برجسته کرده ایم تا تفاوت های اساسی در موقعیت های پشت سر آنها را برجسته کنیم. در مورد اول، به طور کلی، ما می توانیم به سادگی در مورد خطاها در هنگام ایجاد سیستم صحبت کنیم - در ابتدا لازم بود که یک سیستم مرجع سازمانی یکپارچه ایجاد شود، با اجرای یک روش طراحی از بالا به پایین. هنگام ادغام شرکت های مختلف، وضعیت بسیار پیچیده تر است، زیرا ما در مورد شرکت های مستقل صحبت می کنیم.

برنج. 2. با استفاده از فناوری Ontologic 5.0، می توانید یک سیستم مدیریت داده اصلی یکپارچه ایجاد کنید

اما چنین مشکلات داخلی سازمان ها فقط نوک کوه یخ است! در عصر جهانی شدن اقتصادی و کسب و کار الکترونیکی، سیستم های اطلاعاتی سازمانی باید با سیستم های اطلاعاتی شرکا، تامین کنندگان و مشتریان ارتباط برقرار کنند. و آنها باید به زبانی صحبت کنند که یکدیگر بفهمند. سپس می توانیم به مسائل مدیریت دولتی برویم ...

برای نشان دادن اهمیت اطلاعات پس زمینه، تنها دو مثال می زنیم.

1. همانطور که می دانید، حدود یک سال پیش، شرکت انگلیسی-روسی TNK-BP ایجاد شد که در نتیجه یک سری ادغام اولیه شرکت های بزرگ صنعتی (ONAKO، SIDANKO، TNK) تشکیل شد. یکی از اولین وظایف تعیین شده توسط مدیریت شرکت جدید، سازماندهی یک فهرست راهنمای شرکتی یکپارچه - طبقه بندی منابع مادی و فنی بود. این باید حتی قبل از شناسایی سایر زمینه ها برای توسعه راه حل های یکپارچه سازی و سیستم های مدیریت انجام می شد. علاوه بر این، این چارچوب نظارتی مشترک بود که قرار بود به شکل‌گیری یک ذهنیت یکپارچه شرکتی انگلیسی-روسی (این شرکت متخصصانی از شرکت‌های TNC روسی و انگلیسی BP را استخدام می‌کند) و درک مشترک از انجام تجارت کمک کند.

2. در پایان جنگ جهانی دوم، رئیس جمهور ایالات متحده، روزولت، وظیفه درک علل مشکلات مربوط به تامین قطعات یدکی در جبهه را تعیین کرد. با انجام تحقیقات لازم، آمریکایی ها به این نتیجه رسیدند که قطعات یدکی چندین برابر بیشتر از نیاز آنها برای نیروها ارسال می شود. در عین حال، به دلیل انباشته شدن محصولات مشابه در انبارها، اما برچسب های متفاوت و با نام های متفاوت، همچنان کمبود قطعات یدکی وجود داشت. در نتیجه، رئیس جمهور دستوری برای ایجاد یک سیستم فدرال یکپارچه برای فهرست بندی منابع برای نیازهای دولت، و در درجه اول برای نیازهای دفاعی و امنیتی صادر کرد. در طول بیست سال گذشته، ایالات متحده سالانه از 2 تا 4 میلیارد دلار تنها در برنامه های استانداردسازی با استفاده از ساختارهای مدولار (آنالوگ های محصول) سرمایه گذاری کرده است تا دامنه تجهیزات وزارت دفاع را تقریباً سه برابر کاهش دهد.

مدیریت اطلاعات هنجاری و مرجع

برای نشان دادن چنین اطلاعات مرجع در سیستم های مدیریت خودکار سازمانی در غرب، از اصطلاح Master Data (داده اصلی، داده اصلی) استفاده می شود و وظایف مدیریت آن را مدیریت داده های اصلی (MDM) می نامند. با این حال، در زبان روسی مفهوم اطلاعات مرجع هنجاری (RNI) در حال حاضر بیشتر مورد استفاده قرار می گیرد، که در رشته های مرتبط با مدیریت اقتصاد ملی حتی در زمان های قبل از رایانه ظاهر می شود. در این مورد، تعریف "هنجاری" نشان دهنده این واقعیت است که مشکل ایجاد دایرکتوری های سطح شرکت بسیار فراتر از مرزهای خود شرکت است و باید با در نظر گرفتن استانداردهای صنعت، ایالت و بین المللی حل شود.

می‌توانیم تعریف زیر را ارائه دهیم: داده‌های اصلی، بر خلاف اطلاعات فعلی که مستقیماً در فرآیند فعالیت‌های سازمان تولید می‌شوند، بخشی دائمی از تمام اطلاعات شرکتی (نهادی) است. داده های اصلی شامل لغت نامه ها، کتاب های مرجع و طبقه بندی کننده ها هستند، داده هایی که از آنها (به عنوان مثال، اصطلاحات، واحدهای اندازه گیری، کدها، نام مواد، پیمانکاران و غیره) در تولید اسناد جاری استفاده می شود. بنابراین، هنگام ایجاد فاکتور در رایانه، نام مواد، واحدهای اندازه گیری، نام شرکت گیرنده (طرف مقابل)، جزئیات آن و تعدادی از فیلدهای دیگر، به عنوان یک قاعده، از دایرکتوری های ساخته شده در سیستم انتخاب می شوند. به جای وارد کردن دستی.

برای ارزیابی مقیاس وظایف MDM می توان داده های زیر را ارائه کرد. برای شرکت های بزرگ در بخش نفت و گاز، اندازه فهرست های مواد از 100 تا 250 هزار مورد و برای طرف مقابل - از 3 تا 12 هزار ورودی متغیر است.

کاملاً بدیهی است که مسائل مربوط به ایجاد و نگهداری داده‌های مرجع به‌عنوان وظایف مستقل در کل سیستم مدیریت شرکت طبقه‌بندی می‌شود.

به گفته کارشناسان، در کشور ما هزینه پردازش یک رکورد داده اصلی 2-5 دلار است (خارج از کشور - 10-20 دلار). بر این اساس، هزینه یک پروژه برای تشکیل داده های اصلی برای یک شرکت بزرگ را می توان 400-1000 هزار دلار (شامل هزینه نرم افزار، مشاوره پیاده سازی و پشتیبانی) تخمین زد.

صنعت نفت و گاز، و همچنین تعدادی از ساختارهای دولتی و منطقه ای، اولین کسانی بودند که نیاز به انجام کار بر روی داده های اصلی را به عنوان بخشی مستقل از ایجاد سیستم مدیریت یک سازمان درک کردند. در حال حاضر، تقریباً 10-15 پروژه بزرگ در این زمینه در روسیه در حال اجرا است، در حالی که تحلیلگران به افزایش سریع علاقه به این کار از سوی بخش های شرکتی و عمومی اشاره می کنند. برای برآوردن نیازهای رو به رشد مشتریان، یک روش اثبات شده برای اجرای چنین پروژه هایی مورد نیاز است.

مشکل ایجاد یک سیستم داده مرجع شرکتی دقیقاً این است که راه حل ساده ای ندارد. به نظر می رسد که معقول ترین راه استفاده از مجموعه ای آماده از دایرکتوری ها (بین المللی، دولتی، صنعتی) است. اما واقعیت این است که استفاده از آنها برای یک شرکت خاص بسیار ناخوشایند خواهد بود (آنها بیش از حد اضافی هستند و ویژگی های سازمان را در نظر نمی گیرند) و علاوه بر این، ایجاد چنین سیستم داده اصلی جهانی به سادگی غیرممکن است. به طور کامل (برای اطلاعات بیشتر در مورد این موضوع، به مقاله دیمیتری گولکو "چگونه از اشتباهات معمولی هنگام ساختن سیستم های سازمانی و صنعتی اطلاعات نظارتی و مرجع جلوگیری کنیم"، PC Week/RE، N 18/2004، ص 35 مراجعه کنید).

حل مشکل تنها در قالب ایجاد یک سیستم تخصصی برای نگهداری داده های اصلی با استفاده از استانداردها، روش ها و نرم افزارهای مناسب امکان پذیر است. در واقع، این کار باید تلاش های سه طرف را با هم ترکیب کند:

سازندگان مقررات و استانداردها (اعم از دولتی و صنعتی)؛

تامین کنندگان نرم افزار پایه؛

یکپارچه سازان و مشاوران سیستم که می توانند همه اینها را با در نظر گرفتن عملکرد صنعت، ویژگی های ملی و غیره پیاده سازی کنند.

در زمان اتحاد جماهیر شوروی، سازمان های دولتی بسیار فعالانه درگیر مسائل نظارتی بودند. با شروع پرسترویکا، این فعالیت با شکست مواجه شد و تنها 5-7 سال پیش، ساختارهای دولتی دوباره این کار را آغاز کردند. قوانین و مقررات متعددی قبلاً در مورد این موضوع تصویب شده است و در حال حاضر چندین سیستم طبقه بندی استاندارد دولتی برای محصولات و فعالیت ها وجود دارد (OKP، OKVED، OKDP، TN VED، ECPS). با این حال، هر یک از آنها هدف تخصصی خود را دارند و برای استفاده به شکل خالص خود در صنعت یا سیستم های شرکتی مناسب نیستند. سیستم های طبقه بندی غربی به دلیل ویژگی های ملی قابل توجه اقتصاد ما نمی توانند در کشور ما اعمال شوند. به طور کلی باید توجه داشت که برای روان سازی وضعیت در زمینه داده های اصلی شرکت ها، مشارکت فعال تر ارگان های دولتی مطلوب است، اما در عین حال از مرز مقررات منطقی عبور نمی کند.

شکل 3. نمودار عملکردی سیستم مدیریت داده اصلی

مسائل مدیریت داده های کارشناسی ارشد نیز در حوزه توجه تامین کنندگان نرم افزار پایه است. در عین حال از جهات مختلف به راه حل خود نزدیک می شوند. اول از همه، به طور طبیعی، این وظایف توسط تولید کنندگان راه حل های ERP انجام می شود و رهبر در اینجا SAP است. مثال دیگر توسعه دهندگان نرم افزار یکپارچه سازی زیرساخت هستند. در اینجا باید به IBM Corporation اشاره کنیم - خرید اخیر نرم افزار Ascential تا حد زیادی با قصد شرکت برای تقویت جهت MDM توضیح داده شده است (به PC Week/RE, N 10/2005, p. 12 مراجعه کنید). در نهایت، چیزی باید در مورد ارائه دهندگان سیستم مدیریت اسناد (مثلا مرغ مگس خوار) گفته شود. حضور آنها در بخش MDM از یک سو با تجربه آنها در حل مشکلات یکپارچه سازی داده ها و از سوی دیگر با نیاز به استفاده از فناوری های هوشمند برای پردازش اطلاعات بدون ساختار برای مدیریت داده های مرجع توضیح داده می شود.

در مورد یکپارچه‌کننده‌های سیستم و شرکت‌های مشاوره، همه شرکت‌هایی که پروژه‌های بزرگی را برای ایجاد سیستم‌های مدیریت سازمانی انجام می‌دهند تا حدی با مسائل MDM سروکار دارند. برخی از آنها (Intertech، LANIT، IBS، Unit Space، Katalit) پیشرفت های تخصصی در این زمینه دارند. در مرحله بعد، به طور خلاصه در مورد پیشنهادهایی برای ساخت سیستم های داده مرجع شرکتی از Intertech صحبت خواهیم کرد، که در سال های اخیر تجربه خوبی در پیاده سازی راه حل های مشابه در شرکت هایی مانند TNK-BP، Tatneft، SIBUR و همچنین در آژانس های مختلف فدرال و دولت به دست آورده است. او اخیراً با شرکت SAP قرارداد همکاری در زمینه MDM منعقد کرده است (نگاه کنید به PC Week/RE, N 13/2005, p. 49).

فناوری ساخت داده های اصلی از شرکت "اینترتک"

روش پیشنهادی اینترتک مستلزم ایجاد یک سیستم یکپارچه برای نگهداری داده های مرجع است که تمام اطلاعات نظارتی و مرجع بخش ها، شرکت های تابعه و شرکای شرکت را به فضای عمومی اطلاعات شرکت مرتبط می کند (شکل 1).

اجرای آن قبل از هر چیز مستلزم توسعه و اتخاذ مجموعه ای از استانداردها و مقررات برای حفظ داده های اصلی یک شرکت است. به عنوان پایه ای فناورانه برای ساخت سیستم های داده مرجع، یک مدل هستی شناختی طبقه بندی و کدگذاری استفاده می شود - یک توصیف رسمی از اشیاء حسابداری، بر اساس شناسایی ویژگی های اساسی آنها (شکل 2). این رویکرد انباشت هر مقدار از اطلاعات ثابت را تضمین می کند و مزایای سیستم های طبقه بندی سلسله مراتبی، جنبه ای، تطبیقی و مرجع را با هم ترکیب می کند. به طور کلی، این تکنیک امکان استانداردسازی اقدامات متخصصان خبره را هنگام انجام عملیات طبقه بندی و رمزگذاری گروه ها (کلاس ها) اشیاء حسابداری، تعیین ویژگی ها (ویژگی های) کلاس ها و مقادیر آنها و ایجاد سلسله مراتب ناوبری را ممکن می سازد. همچنین شامل شرحی از درخواست‌های کاربر معمولی است که بر اساس میزان عدم قطعیت و عدم دقت عبارت‌ها به گروه‌هایی تقسیم می‌شوند و توصیه‌هایی برای متخصصان خدمات پشتیبانی (متخصصان).

برنج. 4. مراحل اصلی کار برای ایجاد یک سیستم یکپارچه برای نگهداری داده های مرجع

سیستم واقعی برای نگهداری داده های مرجع در قالب یک مجموعه نرم افزاری و سخت افزاری پیاده سازی شده است (شکل 3) که شامل ابزارهایی برای نگهداری دایرکتوری ها و طبقه بندی کننده ها، ابزارهایی برای جستجوی اشیاء حسابداری، ماژول هایی برای تبادل اطلاعات بین کارشناسان و کاربران و ... مکانیسم های یکپارچه سازی با برنامه های کاربردی خارجی زیرسیستم‌های اصلی نرم‌افزار کاربردی آن که با یکدیگر ادغام شده‌اند عبارتند از «ایستگاه کاری کاربر»، «ایستگاه کاری متخصص» و «ایستگاه کاری مدیر». این سیستم در پیکربندی استاندارد خود مبتنی بر فناوری‌های مایکروسافت (OS - Windows، وب سرور - IIS، DBMS - SQL Server) است، اما امکان استفاده از سایر پلت‌فرم‌های نرم‌افزاری را نیز فراهم می‌کند.

شرکت Intertech همچنین یک روش گام به گام برای پیاده سازی یک سیستم داده اصلی سازمانی توسعه داده است (شکل 4). رویکرد اساسی مبتنی بر تعدادی اصول اساسی است.

ماهیت تکاملی توسعه سیستم شامل انتقال گام به گام به روش های مدرن نگهداری و نگهداری داده های مرجع شرکت است. طرح کلی این رویکرد به شرح زیر است: قدیمی -> قدیمی + جدید -> جدید; در مراحل میانی، وجود موازی سیستم های قدیمی و جدید مجاز است.

سازگاری سیستم داده اصلی با ویژگی‌ها و چشم‌اندازهای سیستم‌های کاربردی موجود (از جمله سیستم‌های کلاس ERP) و سیستم‌های طبقه‌بندی و کدگذاری مختلف، توانایی آن را برای ادغام با سیستم‌های خارجی پیش‌فرض می‌گیرد.

تداوم به ما این امکان را می دهد که بهترین و ارزشمندترین چیزهایی را که در طول سال ها و دهه ها توسعه یافته اند حفظ کنیم. این مربوط به استفاده از پتانسیل متخصصان داده های مرجع، عملکرد پایدار سیستم های کاربردی موجود، امکان مهاجرت و تبدیل آرایه های اطلاعات انباشته شده است.

استانداردسازی و یکسان سازی مقررات و روش‌های استفاده و نگهداری از داده‌های اصلی شرکت، طبقه‌بندی و سیستم‌های کدگذاری این امکان را فراهم می‌کند که از ارتباط و در دسترس بودن مستمر داده‌های اصلی در سراسر شرکت اطمینان حاصل شود.

در نظر گرفتن عامل انسانی به معنای توانایی کار در سیستم برای دسته های مختلف کاربران، با مهارت ها و درجات مختلف "پیشرفت" در زمینه فناوری اطلاعات، طراحی ارگونومیک و "دوستانه بودن" رابط های سیستم است.

برنج. 5. مدل عملکردی فرآیند استفاده و نگهداری از پایگاه داده مرجع واحد

برای عملکرد مؤثر یک سیستم یکپارچه برای نگهداری داده های اصلی، مجموعه ای از راه حل های سازمانی و مدیریتی باید ایجاد شود که تقسیم روشنی از مسئولیت ها و مسئولیت های عملکردی مطابق با صلاحیت های گروه های پرسنل شرکت را فراهم می کند (شکل 5):

کاربران - کارکنان شرکت که هنگام تولید اسناد کاری از داده های خاصی از پایگاه داده اصلی استفاده می کنند.

کارشناسان - متخصصان گروه داده های مرجع، مسئول تولید و تغییر داده ها در پایگاه داده های مرجع.

متخصصان نمایه ای که در جنبه های خاصی از یک یا دیگری اطلاعات نظارتی و مرجع که در صلاحیت آنها در فعالیت اصلی حرفه ای آنها قرار دارد، به خوبی آشنا هستند. آنها به توصیه یک متخصص متخصص از گروه داده مرجع در روند توافق بر روی داده های اضافه یا تغییر یافته شرکت می کنند.

متخصصان پشتیبانی فنی پرسنل خدمات اتوماسیون و فناوری اطلاعات هستند که تعمیر و نگهداری نرم افزار و سخت افزار سیستم را انجام می دهند.

به طور کلی، اجرای یک سیستم یکپارچه برای حفظ داده های اصلی به مشتری اجازه می دهد تا وظایف اصلی زیر را حل کند که به بهبود کارایی کل شرکت کمک می کند:

یک مخزن اصلی متمرکز داده ایجاد کنید که در فضای اطلاعاتی یکپارچه شرکت عمل می کند و شامل طیف وسیعی از منابع مادی و فنی و سایر اشیاء حسابداری می شود.

متمرکز کردن عملکردهای نگهداری داده های مرجع بر اساس استانداردهای طبقه بندی و کدگذاری سازمانی توسعه یافته.

ایجاد مقررات و محیط فناوری یکپارچه برای دسترسی کاربران به داده های مرجع، نگهداری طبقه بندی کننده ها و کتاب های مرجع توسط کارشناسان و پشتیبانی فنی سیستم توسط مدیران؛

استفاده از نرم افزاری که در سیستم تعبیه شده است که سطح مورد نیاز از امنیت داده ها و به روز رسانی مداوم آن را حفظ می کند، به استثنای ذخیره سازی اطلاعات تکراری، اشتباه یا قدیمی.

پیاده‌سازی طبقه‌بندی‌کننده‌ها و دایرکتوری‌های داده‌های مرجع در مدیریت، حسابداری و سایر سیستم‌های موجود، به منظور ساده‌سازی و کاهش هزینه‌های نگهداری اطلاعات نظارتی و مرجع.

اطلاعات لازم برای اتخاذ تصمیمات موثر را به سرعت در اختیار مدیریت شرکت قرار دهید.

صابر اسدالله اف و الکساندر کارپوف
تاریخ انتشار 1389/11/09

مفاهیم و اصطلاحات اساسی

داده های اصلی (MD) شامل اطلاعاتی در مورد مشتریان، کارکنان، محصولات، کالاها، تامین کنندگان است که به عنوان یک قاعده، ماهیت معاملاتی ندارند.

اطلاعات مرجع تنظیمی (RNI) شامل فرهنگ لغت، کتاب های مرجع، طبقه بندی کننده ها، کدنویس ها، استانداردها و شناسه ها است. این سطح پایه سیستم های تراکنش است که در برخی موارد توسط سازمان های مجاز خارجی نگهداری می شود.

برنج. 1 به شکل ساده شده تفاوت بین داده های اصلی، داده های اصلی و داده های تراکنشی را نشان می دهد. در یک سیستم فروش بلیط هواپیما معمولی، نقش داده های مرجع توسط کدفایر فرودگاه ایفا می شود که توسط توسعه دهندگان سیستم با در نظر گرفتن الزامات خاص خاص ایجاد شده است. اما برای تعامل با سایر سیستم های اطلاعاتی بین المللی، کد فرودگاه باید برای همه قابل درک باشد. کد سه حرفی منحصر به فرد فرودگاهی که توسط انجمن بین المللی حمل و نقل هوایی (IATA) به فرودگاه ها اختصاص داده شده است، این هدف را دنبال می کند.

اطلاعات مسافران به اندازه کدهای فرودگاه پایدار نیست. در عین حال، پس از وارد شدن به سیستم، داده‌های مسافران می‌توانند متعاقباً برای کمپین‌های بازاریابی مختلف استفاده شوند، به عنوان مثال، برای تخفیف پس از رسیدن به کل مسافت پرواز مشخص. چنین اطلاعاتی معمولاً به داده های اصلی اشاره دارد. اینها همچنین شامل داده‌های مربوط به خدمه، ناوگان هواپیمای شرکت، پایانه‌های بار و مسافر و بسیاری دیگر از نهادهای دخیل در فرآیند حمل‌ونقل هوایی است، اما در مثال ساده‌شده ما در نظر گرفته نشده‌اند.

آخرین خط بالایی در شکل. 1 به صورت شماتیک یک تراکنش فرضی مرتبط با فروش بلیط را نشان می دهد. تعداد فرودگاه‌های نسبتاً کمی در دنیا وجود دارد، مشتریان بسیار بیشتری هستند، اما می‌توانند بارها از خدمات این شرکت استفاده کنند و بلیط را نمی‌توان و نباید دوباره استفاده کرد. بنابراین، برای یک شرکت هواپیمایی، داده‌های فروش بلیط بیشترین تغییر داده‌های مبادلاتی است.

به طور خلاصه، می‌توان گفت که داده‌های اصلی سطح پایه سیستم‌های اطلاعات خودکار را تشکیل می‌دهند و داده‌های اصلی اطلاعاتی درباره مشتریان و کارکنان، تامین‌کنندگان محصول، تجهیزات، مواد و سایر نهادهای تجاری ذخیره می‌کنند.

در عین حال، داده های مرجع و MD اشتراکات زیادی دارند، بنابراین، در مواردی که عوامل مورد بررسی هم به داده های مرجع و هم به MD مربوط می شود، به آنها به عنوان "RSI و MD" اشاره خواهیم کرد، به عنوان مثال، "سیستم برای حفظ داده های مرجع و MD».

معایب کلی مدیریت سنتی NSI و MD

رایج ترین و واضح ترین مشکل مدیریت سنتی NSI و MD عدم پشتیبانی از تغییرات موقت است. آدرس، به عنوان یک قاعده، یکی از مهمترین اجزای داده های مرجع و MD است. متاسفانه آدرس ها تغییر می کنند. مشتری می تواند حرکت کند، اما می تواند کل خانه و حتی خیابان را "حرکت" کند. بنابراین، در سال 2009، آدرس برج در مجموعه ساختمان‌های خاکریز از "خاکریز کراسنوپرسننسکایا، ساختمان 18" به "خاکریز پرسننسکایا، ساختمان 10" تغییر کرد. بنابراین، سوال "در سال 2009 چه مقدار مکاتبات به دفتر شرکت اجاره محل در برج خاکریز تحویل داده شد؟" باید سوابق تحویل را با دو آدرس مختلف به درستی مدیریت کند.

با این حال، برای اینکه تغییرات در زندگی در سیستم فناوری اطلاعات منعکس شود، وجود ابزارهای تکنولوژیکی (سخت افزاری و نرم افزاری) برای نگهداری داده های مرجع و MD کافی نیست. برای ردیابی تغییرات به شخص یا چیزی نیاز است. یعنی اقدامات سازمانی مورد نیاز است، به عنوان مثال، کارکنان با مسئولیت های شغلی مطابق با روش پذیرفته شده برای حفظ داده های اصلی.

بنابراین، مدیریت شرکتی داده های مرجع و MD شامل سه دسته فعالیت است:

فعالیت‌های روش‌شناختی که روش‌ها، مقررات، استانداردها، فرآیندها و نقش‌هایی را تعریف می‌کنند که از کل چرخه حیات نگهداری داده‌های اصلی و MD پشتیبانی می‌کنند.
اقدامات سازمانی که مطابق با الزامات روش شناختی، ساختار سازمانی، واحدهای عملکردی و وظایف، نقش ها و مسئولیت های شغلی کارکنان را تعیین می کند.
اقدامات فناورانه ای که در سطح فناوری اطلاعات قرار دارد و اجرای اقدامات سازمانی و روش شناختی را تضمین می کند.

در این مقاله، اول از همه، فعالیت‌های فناوری را در نظر خواهیم گرفت که شامل ایجاد یک داده اصلی و مدل داده‌های MD، نگهداری و بایگانی داده‌های اصلی تاریخی و MD، شناسایی داده‌های اصلی و اشیاء MD، حذف موارد تکراری، شناسایی تضادها، اطمینان از یکپارچگی ارجاعی، چرخه حیات پشتیبانی یک داده مرجع و شی MD، توسعه قوانین پاکسازی، ایجاد سیستمی برای نگهداری داده های مرجع و MD و ادغام آن با سیستم های اطلاعات عملیاتی شرکت. اجازه دهید با جزئیات بیشتری حوزه فناوری ایجاد زیرساخت اصلی داده و MD و معایب مرتبط با داده های اصلی و مدیریت داده ها را در نظر بگیریم.

معایب تکنولوژیکی نگهداری داده های مرجع و MD

هیچ مدل داده واحدی برای داده های اصلی و MD وجود ندارد

هیچ مدل داده یکپارچه ای برای داده های اصلی و MD وجود ندارد، یا رسمی نیست، که اجازه استفاده موثر از داده های اصلی و اشیاء MD را نمی دهد و هرگونه اتوماسیون کار با داده ها را پیچیده می کند.

مدل داده اصلی ترین و مهم ترین بخش نگهداری از داده های اصلی و MD است که به عنوان مثال به سؤالات زیر پاسخ می دهد:

چه چیزی باید در ویژگی های شناسایی داده های مرجع و شی MD گنجانده شود؟
کدام یک از همه ویژگی های داده مرجع و شی MD باید در مدل داده ذخیره شود و به داده مرجع و MD نسبت داده شود و چه چیزی باید به عنوان داده عملیاتی طبقه بندی شود و در سیستم اطلاعات عملیاتی باقی بماند؟
چگونه می توان با استفاده از یک مدل با شناسه ها و طبقه بندی کننده های خارجی (OKPO، OKUD) یکپارچه کرد؟
آیا ترکیب دو ویژگی از سیستم های مختلف فناوری اطلاعات، سومین ویژگی منحصر به فرد و مهم را از دیدگاه تجاری ارائه می دهد؟

هیچ مقررات واحدی برای نگهداری تاریخ و بایگانی وجود ندارد

اطلاعات تاریخی در سیستم‌های فناوری اطلاعات شرکت‌های موجود اغلب طبق مقررات خود نگهداری می‌شوند و چرخه‌های عمر خاص خود را دارند که مسئولیت پردازش، تجمیع و بایگانی داده‌های اصلی و اشیاء MD را بر عهده دارند. حتی اگر یک مدل داده یکپارچه برای داده‌های اصلی و MD وجود داشته باشد، همگام‌سازی داده‌های تاریخی و آرشیوی و آوردن آنها به یک فرم یک کار غیر ضروری است.

نمونه ای از مشکلات ناشی از عدم حفظ اطلاعات هنجاری و مرجع تاریخی در بخش "" آورده شده است

مشکل در شناسایی داده های مرجع و اشیاء MD

در سیستم های IT مختلف، داده های اصلی و اشیاء MD دارای شناسه های خاص خود هستند - مجموعه ای از ویژگی ها. وضعیت زمانی پیچیده می شود که برای اشیاء یکسان در سیستم های مختلف نمی توان یک مجموعه مشترک از ویژگی ها را شناسایی کرد، ترکیبی که منحصر به فرد است و شی را در سیستم اطلاعات شناسایی می کند - آنالوگ یک فیلد کلید ترکیبی در پایگاه های داده. در این حالت، وظیفه شناسایی و مقایسه اشیاء در سیستم های مختلف فناوری اطلاعات از ناحیه قطعی به ناحیه احتمالی منتقل می شود. در این مورد، شناسایی کیفی داده های مرجع و اشیاء MD بدون ابزارهای تخصصی برای تجزیه و تحلیل و پردازش داده ها دشوار است.

وقوع اشیاء تکراری داده های مرجع و MD

پیچیدگی شناسایی شی منجر به وقوع احتمالی تکرار (یا تکرارهای احتمالی) از همان اصلی داده و شی MD در سیستم های مختلف می شود که اصلی ترین و مهم ترین مشکل برای تجارت است. تکرار اطلاعات منجر به تکرار هزینه برای پردازش اشیا، تکرار "نقاط ورودی" و افزایش هزینه برای حفظ چرخه زندگی اشیا می شود. علاوه بر این، باید به هزینه‌های تأیید دستی (تطبیق) نسخه‌های تکراری اشاره کرد که در ابتدا بسیار زیاد است، زیرا اغلب فراتر از قابلیت‌های سیستم‌های فناوری اطلاعات هستند و نیاز به مشارکت اپراتور دارند. لازم به ذکر است که وقوع موارد تکراری یک خطای سیستمی است که در مراحل اولیه فرآیندهای تجاری با استفاده از داده های اصلی و شی MD ظاهر می شود. علاوه بر این، با پیشرفت فرآیند کسب‌وکار، تکراری پیوندها و ترکیب ویژگی‌ها را به دست می‌آورد و وضعیت حتی پیچیده‌تر می‌شود.

ناسازگاری بین داده های اصلی و ابرداده MD

هر سیستم اطلاعاتی که از خط کسب‌وکار یک شرکت پشتیبانی می‌کند و در آن داده‌های اصلی و اشیاء MD خاص این کسب‌وکار تولید می‌شوند، مجموعه‌ای از قوانین و محدودیت‌های تجاری خود را تعریف می‌کند که هم بر ترکیب ویژگی (فراداده) و هم بر ارزش آن اعمال می‌شود. صفات در نتیجه، اغلب زمانی پیش می‌آید که این قوانین و محدودیت‌های مشخص‌شده در سیستم‌های اطلاعاتی مختلف با یکدیگر تضاد داشته باشند، بنابراین حتی تلاش‌های نظری برای آوردن همه اشیاء داده اصلی به یک نوع را باطل می‌کند. وضعیت زمانی تشدید می‌شود که با یک مدل داده‌ای ظاهراً یکسان، داده‌ها معنای معنایی یکسانی داشته باشند، اما از نظر ارائه معنای متفاوتی داشته باشند: املای متفاوت، جایگشت در آدرس‌ها، اختصارات نام کامل، رمزگذاری‌های مختلف، اختصارات.

یکپارچگی مرجع و همگام سازی داده های مرجع و مدل های MD

در زندگی واقعی، تمام داده های مرجع و اشیاء MD واقع در فضای سیستم IT خود نه تنها حاوی مقادیر هستند، بلکه پیوندهایی به دیگر داده های مرجع و MD نیز دارند که می توانند در سیستم های خارجی جداگانه قرار بگیرند (و نگهداری شوند). در اینجا مشکل همگام سازی و حفظ یکپارچگی کل داده های اصلی و مدل MD سازمان به طور کامل مطرح می شود. یکی از روش‌های پذیرفته‌شده برای حل این نوع مشکل، انتقال به استفاده از داده‌های مرجع و MD است که از خارج نگهداری و وارد سازمان می‌شوند (به عنوان مثال، دایرکتوری‌های KLADR، OKVED، TN VED، FSKP و ECPS. ).

عدم تطابق بین چرخه زندگی یک داده مرجع و شی MD

در نتیجه وجود یک داده اصلی و شی MD در سیستم های مختلف شرکتی، ورود و تغییر این شی در این سیستم ها هماهنگ نیست و اغلب در طول زمان گسترش می یابد. موقعیت زمانی ممکن است که یک شی در سیستم‌های مختلف در وضعیت‌های انحصاری متقابل (فعال در یک سیستم، بایگانی در سیستم دیگر، حذف در سیستم سوم) باشد، که حفظ یکپارچگی اشیاء داده اصلی را دشوار می‌کند. استفاده از اشیایی که به هم مرتبط نیستند و در طول زمان پخش می شوند، هم در فرآیندهای معاملاتی و هم در فرآیندهای تحلیلی دشوار است.

تدوین قوانین نظافت

قوانین پاکسازی داده های مرجع و MD اغلب به درستی به جنبه های روش شناختی نسبت داده می شوند. البته متخصصان فناوری اطلاعات باید از کاربران تجاری وظایفی را تعیین کنند، به عنوان مثال در چه مواردی باید کدهای فرودگاه را به روز کرد یا اینکه کدام یک از دو کارت پرداخت دارای رمزگذاری صحیح جزئیات است. اما متخصصان کسب و کار با پیچیدگی های پیاده سازی سیستم های عملیاتی IT آشنا نیستند. علاوه بر این، مستندات مربوط به این سیستم ها یا ناقص است یا از دست رفته است. بنابراین، تجزیه و تحلیل سیستم های اطلاعاتی به منظور شفاف سازی قوانین پاکسازی و شناسایی قوانین جدید ضروری است.

انتخاب نادرست سیستم اصلی برای نگهداری داده های اصلی و MD

اغلب، مهم‌ترین منابع و مصرف‌کنندگان داده‌های اصلی و MD، سیستم‌های اطلاعات شرکت‌های بزرگ قدیمی هستند که هسته اصلی کسب‌وکار شرکت هستند. در زندگی واقعی، چنین سیستمی اغلب به‌عنوان «سیستم اصلی» برای نگهداری داده‌های اصلی و MD به جای ایجاد یک مخزن تخصصی از داده‌های اصلی و MD انتخاب می‌شود. در عین حال، در نظر گرفته نمی شود که چنین عملکردی، به عنوان یک قاعده، برای این سیستم فناوری اطلاعات غیر معمول است. در نتیجه، هرگونه تغییر در چنین سیستم‌هایی مرتبط با داده‌های مرجع و MD منجر به هزینه‌های هنگفت و غیر منطقی می‌شود. وضعیت زمانی بدتر می‌شود که با توسعه زیرسیستم مدیریت داده‌ها و داده‌های اصلی، لازم است عملکرد کیفی جدیدی معرفی شود: پردازش دسته‌ای داده، قالب‌بندی و تمیز کردن، و انتصاب مباشران داده.

عدم آمادگی سیستم های فناوری اطلاعات برای ادغام داده های مرجع و MD

برای پیاده‌سازی کامل مدیریت داده‌های اصلی و MD در سیستم‌های فناوری اطلاعات موجود یک شرکت، لازم است این سیستم‌ها یکپارچه شوند و اغلب این یکپارچه‌سازی نه به‌عنوان یک اقدام یک‌باره و محلی، بلکه به‌عنوان یک اقدام ضروری است. تغییر در فرآیندهای زندگی در سیستم های IT. علاوه بر ادغام برای کار آنلاین، لازم است یکپارچه سازی برای انجام بارگیری داده های دسته ای اولیه (ETL) و همچنین انجام رویه های تطبیق دستی (آشتی) انجام شود.

همه سیستم‌های اطلاعاتی خودکار برای چنین تغییراتی آماده نیستند، همه سیستم‌ها چنین رابط‌هایی را ارائه نمی‌کنند و اغلب، این یک عملکرد کاملاً جدید برای چنین سیستم‌هایی است. هنگام پیاده‌سازی یک سیستم، مسائل معماری مربوط به انتخاب گزینه‌های مختلف برای پیاده‌سازی سیستم داده‌های اصلی و MD و ادغام آن با چشم‌انداز فناوری شرکت ایجاد می‌شود. برای تأیید اهمیت این نکته، یادآور می‌شویم که الگوها و رویکردهای معماری توسعه‌یافته و آزمایش‌شده با هدف استقرار و ادغام صحیح داده‌های اصلی و سیستم MD وجود دارد.

نمونه هایی از مشکلات در مدیریت سنتی داده های تحقیق و MD

بنابراین، مشکلات اصلی مدیریت داده‌های اصلی از تمرکززدایی و تکه تکه شدن داده‌های اصلی در یک سازمان سرچشمه می‌گیرد و در عمل در نمونه‌های خاص خود را نشان می‌دهد.

اطلاعات گذرنامه به عنوان یک شناسه منحصر به فرد

به عنوان مثال، در یک بانک بزرگ، در نتیجه ایجاد یک مدل داده مشتری، تصمیم گرفته شد از داده های گذرنامه به عنوان بخشی از شناسایی ویژگی ها با فرض حداکثر انتخاب استفاده شود. هنگام انجام مراحل ادغام داده های مشتری، مشخص شد که گذرنامه مشتری منحصر به فرد نیست، زیرا به عنوان مثال، مشتریانی که با استفاده از گذرنامه های قدیمی و سپس با استفاده از گذرنامه های جدید با بانک ارتباط داشتند، به عنوان مشتریان مختلف ایجاد شدند. تجزیه و تحلیل سوابق مشتریان مواردی را نشان داد که در آن هزاران مشتری در یک پاسپورت ثبت شده بودند. در پایان، یکی از منابع داده، سیستم اطلاعات بانکی بود که در آن گذرنامه یک الزام اختیاری بود و فیلدهای مربوطه با پر کردن با «آشغال» پر می‌شد.

لازم به ذکر است که مشکلات شناسایی شده در کیفیت داده های مشتری مورد انتظار نبوده و تنها در مرحله پاکسازی داده ها کشف شده اند که برای اصلاح قوانین پاکسازی داده ها و مدل داده های مشتری نیاز به زمان و هزینه بیشتری دارد.

آدرس به عنوان یک شناسه منحصر به فرد

در مورد دیگری، یک شرکت بیمه اطلاعات شخصی مشتریان را ادغام کرد، جایی که، در میان موارد دیگر، از آدرس به عنوان یک ویژگی شناسایی استفاده شد. مشخص شد که اکثر مشتریان در آدرس های "همان"، "در یک مکان" ثبت نام کرده اند. داده‌های با کیفیت پایین از یک سیستم کاربردی که از فعالیت‌های نمایندگان بیمه پشتیبانی می‌کند، به دست آمده است که به نمایندگان اجازه می‌دهد آزادانه مقادیر فیلدها را در پرسشنامه مشتری تفسیر کنند. علاوه بر این، این سیستم فاقد هرگونه فرمت یا بررسی منطقی داده های وارد شده بود.

نیاز به تمدید گسترده قراردادها

در مورد سوم، هنگام اتصال یک سیستم اطلاعات شرکتی موجود که از روابط با مشتریان پشتیبانی می کند به سیستم برای حفظ داده های اصلی و MD، تنها در مرحله آزمایش مشخص شد که سیستم متصل نمی تواند به طور خودکار تغییرات را از سیستم برای حفظ master بپذیرد. داده ها و MD. برای انجام این کار، لازم است برخی اقدامات نظارتی انجام شود، در این مورد، با مشتری تماس گرفته و اسناد قرارداد کاغذی را که اطلاعات مهم مربوط به داده های اصلی و MD ذکر شده است، دوباره صادر کنید. با توجه به حجم زیاد کار، هر دو جنبه فنی و سازمانی کار با داده های مرجع و MD تجدید نظر شد.

اختلاف بین داده های توافق شده

مثال چهارم یک وضعیت معمولی را برای بسیاری از سازمان ها توصیف می کند. به عنوان یک نتیجه از توسعه سریع کسب و کار شرکت، تصمیم گرفته شد جهت جدیدی باز شود که از کار با مشتریان در سبک B2C / B2B از طریق اینترنت پشتیبانی می کند. برای این منظور یک سیستم فناوری اطلاعات جدید برای پشتیبانی از اتوماسیون خط تجاری جدید شرکت خریداری شد. در حین استقرار، لازم بود که با داده های اصلی موجود و داده های اصلی شرکت ادغام شود و آنها را با ویژگی های خاص گسترش دهیم، که معلوم شد این کار چندان آسان نیست، در درجه اول به دلیل عدم وجود یک داده اصلی اختصاصی و سیستم MD. در نتیجه، داده های مرجع یک بار در سیستم جدید بدون هیچ بازخوردی از چشم انداز فناوری اطلاعات موجود شرکت بارگذاری شدند، که پس از مدتی منجر به دو نسخه مستقل از دایرکتوری های مشتری شد. در ابتدا، این مشکل با پردازش دستی داده های مشتری در صفحات گسترده حل شد، اما پس از مدتی تعداد مشتریان به طور قابل توجهی افزایش یافت، دایرکتوری ها فروخته شدند و پردازش دستی ناکارآمد و پرهزینه بود. در نتیجه، این وضعیت منجر به تشدید جدی مشکل در سطح کاربران تجاری شد که تصویر کلی از مشتریان خود برای انجام کمپین های بازاریابی ندارند.

مزایای مدیریت شرکتی داده های مرجع و MD

مدیریت شرکتی داده های اصلی و MD مزایای زیر را ارائه می دهد:

رعایت الزامات قانونی و کاهش خطرات
کاهش هزینه
افزایش انعطاف پذیری برای حمایت از استراتژی های کسب و کار جدید.

خیلی خوب به نظر می رسد که درست باشد، بنابراین اجازه دهید هر یک از مزایای آن را با مثال های عملی بررسی کنیم.

رعایت الزامات قانونی و کاهش خطرات

مقامات تحقیقاتی از این شرکت بزرگ خواستند تا داده های 10 سال گذشته را ارائه دهد. این کار ساده و عملی به نظر می رسید: شرکت مدت ها قبل روش هایی را برای ذخیره سازی بایگانی و پشتیبان گیری منظم از داده ها و برنامه های کاربردی معرفی کرده بود، رسانه های داده در یک اتاق امن ذخیره می شدند و تجهیزات برای خواندن رسانه ها هنوز منسوخ نشده بود. با این حال، پس از بازیابی داده‌های تاریخی از بایگانی، مشخص شد که داده‌ها معنای عملی ندارند - داده‌های اصلی در این مدت چندین بار تغییر کرده بودند و اکنون نمی‌توان مشخص کرد که این یا آن داده به چه چیزی مربوط می‌شود. هیچ کس برای بایگانی داده های اصلی ارائه نکرد - به نظر می رسید که این اطلاعات مقاوم در برابر زمان است. جریمه های سنگینی برای شرکت در نظر گرفته شد و نتیجه گیری های سازمانی جدی علیه مدیران شرکت صورت گرفت. علاوه بر این، یک واحد مسئول حفظ داده های مرجع به منظور جلوگیری از تکرار وضعیت ناخوشایند ایجاد شد.

رشد سود و حفظ مشتری

یک گلفروش بزرگ یکی از اولین کسانی بود که به اثربخشی بازاریابی ایمیلی پی برد. یک وب سایت فروشگاهی ایجاد شد که در آن کمپین های تبلیغاتی انجام شد، که در آن مشتریان می توانستند در خبرنامه های روز ولنتاین، در رابطه با تولد اولین فرزند خود، در روز تولد یک عزیز و غیره مشترک شوند. متعاقباً از مشتریان با پیشنهادهایی برای انتخاب رنگ استقبال شد. با این حال، کمپین های تبلیغاتی با مشارکت توسعه دهندگان مختلف که برنامه های متفاوت و نامرتبط ایجاد کردند، انجام شد. بنابراین، مشتریان می‌توانند تا ده ایمیل در مورد یک موضوع دریافت کنند، که مشتریان را عصبانی کرده و آنها را به هم می‌ریزد. در نتیجه، هر کمپین تبلیغاتی بعدی نه تنها سودآور نبود، بلکه تعداد مشتریان موجود را نیز کاهش داد. فروشگاه گل مجبور شد مبلغ قابل توجهی را صرف طراحی مجدد و یکپارچه سازی برنامه های خود کند. مقدار بالای هزینه ها با ناهمگونی اطلاعات مشتری، آدرس های متعدد و فرمت های تلفن همراه بود که باعث ایجاد مشکلات بزرگی در شناسایی مشتریان برای حذف ورودی های متعدد شد.

کاهش هزینه

یکی از الزامات اصلی محصولات این شرکت، نیاز به پاسخ سریع به تغییرات تقاضا، ارائه محصولات جدید به بازار در مدت زمان کوتاه و برقراری ارتباط با مصرف کنندگان است. می بینیم که رهبران بلامنازع دیروز در حال تبدیل شدن به عقب مانده ها هستند و تازه واردانی که محصول خود را برای اولین بار به بازار آورده اند، سود و سرمایه خود را به شدت افزایش می دهند. در این شرایط، سیستم‌های اطلاعاتی شرکت‌های مختلف که مسئولیت توسعه محصول، عرضه و فروش، خدمات و توسعه آن را بر عهده دارند باید بر اساس یک پایگاه اطلاعاتی واحد که تمامی جنبه‌های فعالیت شرکت را پوشش می‌دهد، باشد. سپس، معرفی یک محصول جدید به بازار به دلیل تعامل یکپارچه سیستم های اطلاعاتی پشتیبان، نیازمند زمان و هزینه های مالی کمتری است.

افزایش انعطاف پذیری برای حمایت از استراتژی های کسب و کار جدید

حذف پراکندگی و عدم تمرکز داده های مرجع و مدیریت MD امکان ارائه اطلاعات را به عنوان یک سرویس فراهم می کند. این بدان معناست که هر سیستم فناوری اطلاعات با رعایت پروتکل های تبادلی و حقوق دسترسی تعیین شده، می تواند به سیستم شرکت برای نگهداری از داده های اصلی و MD دسترسی داشته باشد و داده های لازم را دریافت کند. یک رویکرد سرویس گرا به شما این امکان را می دهد که به طور انعطاف پذیر خدمات اطلاعاتی را مطابق با تغییر فرآیندهای کسب و کار بسازید، بنابراین از پاسخگویی به موقع خدمات و سیستم های فناوری اطلاعات در مواجهه با الزامات در حال تغییر اطمینان حاصل کنید.

اصول معماری سیستم برای نگهداری داده های مرجع و MD

منابع برای دانلود

static.content.url=http://www.site/developerworks/js/artrating/

Zone=مدیریت اطلاعات

شناسه مقاله=577045

ArticleTitle=حفظ داده های مرجع با استفاده از مثال های عملی

در زمینه گذار به اقتصاد دیجیتال، شرکت‌ها در نهایت متقاعد شدند که داده‌ها دارایی‌ای هستند که برای ذخیره، پردازش، تجزیه و تحلیل، استفاده مناسب برای تصمیم‌گیری و پیش‌بینی مهم است. کارایی این فرآیندها توسط یک مخزن واحد که داده های با کیفیت تأیید شده باید در آن بارگذاری شوند تضمین می شود. وظیفه ادغام آنها از منابع مختلف شامل جمع آوری و همگام سازی دایرکتوری ها در سیستم های مختلف فناوری اطلاعات است. دقیقاً به همین دلیل است که مشاغل به سیستم های مدیریت اطلاعات مرجع نظارتی (RNI) نیاز دارند.

به گفته TAdviser، حجم بازار سیستم های مدیریت داده اصلی در پایان سال 2017 حدود 1.5 میلیارد روبل است. تقاضا برای این راه حل ها 20 تا 25 درصد در سال در حال رشد است - به نسبت مستقیم با رشد دیجیتالی شدن کسب و کار. تسریع پویایی با نفوذ فزاینده خدمات ابری در بازار داخلی (حدود 20٪ در سال) و همچنین راه اندازی طرح هایی برای اطلاع رسانی به دولت و جامعه به عنوان بخشی از برنامه تسهیل می شود.

مسیر کلی دیجیتالی شدن نیاز به یک پایگاه دانش واحد در مورد مشتریان، محصولات و غیره را دیکته می کند. برای موفقیت ابتکارات دیجیتال، مدیریت مؤثر داده‌هایی که ابتدا باید گرد هم آیند تا ارائه‌ای قابل اعتماد و صحیح از «نسخه واحد حقیقت» برای همه واحدهای تجاری تشکیل شود، ضروری است. بر این اساس، تقاضای فزاینده ای برای ابزارهای گردآوری و تلفیق داده ها وجود دارد که دسترسی سریع به اطلاعات را بدون توجه به منبع آن، تجزیه و تحلیل الگوها و ناهنجاری ها و توزیع امن داده ها را ممکن می سازد.

در فوکوس

نمایندگان کسب و کار بیشتر و بیشتر خواستار کیفیت داده های مرجع و فرآیندهای مدیریت آن هستند. سوالاتی در مورد کیفیت داده های مرجع نیز به صورت محلی در میان متخصصان مطرح می شود. هر چه حجم داده های انباشته شده توسط سازمان ها به طور چشمگیری افزایش یابد، الزامات برای عملکرد سیستم های اطلاعاتی بالاتر می رود. حجم کتاب های مرجع مدام در حال افزایش است. انتظار می رود راه حل های مدرن در زمینه مدیریت داده های مرجع بتوانند کار با بیش از 1 میلیارد رکورد را پشتیبانی کنند.

اگر 10 سال پیش، در پایان دهه 2000، وظایف داده های مرجع اغلب به عنوان فرآیند مهاجرت دایرکتوری ها به عنوان بخشی از پیاده سازی سیستم های اطلاعات حسابداری درک می شد، سپس در سال 2018، مشاغل به وظایف مدیریت داده های مرجع بیشتر نزدیک می شوند. آگاهانه و ساختاری، با مشارکت بخش های عملکردی که مستقیماً از این اطلاعات در فرآیندهای تجاری استفاده می کنند. وظایف نه تنها به تجهیزات و مواد، بلکه به پیمانکاران و سایر داده های مرجع نیز روشن می شود.

وضعیت فعلی مستلزم سطح بالاتری از اتوماسیون و رسمی‌سازی است: هر چیزی که می‌تواند به یک الگوریتم خودکار شفاف «سیم سخت» تبدیل شود باید رسمی شود، زیرا بدون قوانین سختگیرانه، کار با داده های مرجع به هرج و مرج تبدیل می شود. همچنین مشارکت بخش‌های مختلف تجاری در پروژه‌های NSI باعث افزایش مدت زمان آنها می‌شود. بایر دانیلوف، رئیس بخش داده های مرجع در IBS می گوید: به عنوان راه حل، ابزارهای مدرن خودکارسازی کیفیت داده ها با استفاده از مکانیسم ها مطرح می شوند.

تا سال 2018، بالغ بر 75 درصد از این بازار از طریق مشاوره و حدود 25 درصد توسط مجوزها اشغال شده است. این وضعیت به این دلیل است که علاوه بر ایجاد مستقیم دایرکتوری، شرکت ها به ادغام آن با سایر سیستم های اطلاعاتی و برای دایرکتوری های مشتری - با سیستم های حفاظت از داده های شخصی نیاز دارند.

روندهای جدید

در میان روندهای فناوری جهانی "گرم" که بازار داده های مرجع را تغییر می دهد، کارشناسان IBS به گسترش دامنه مدیریت دایرکتوری اشاره می کنند. مدیریت نه تنها داده های اساسی - پیمانکاران و مواد، بلکه همچنین یک نمودار یکپارچه از حساب ها، دارایی های تولید و سایر کتاب های مرجع ضروری برای فرآیندهای تجاری کلیدی شرکت. همچنین تمرکز بر اتوماسیون فرآیند بررسی داده های مرجع، از جمله استفاده از فناوری های یادگیری ماشینی، توسعه استانداردهای یکسان برای حفظ طرفین و مواد، و همچنین ایجاد اکوسیستم های دیجیتالی است که در آن تولیدکنندگان و خریداران بتوانند آزادانه اطلاعات شفاف درباره آن را مبادله کنند. کالاها و معاملات

بهبود همچنان روند تعیین کننده است. فن‌آوری‌های یادگیری ماشینی امکان حذف تکراری با کیفیت بالاتر را به روشی خودکار فراهم می‌کنند. به طور کلی، توسعه به طور قابل توجهی رویکردهای ایجاد شده قبلی برای کار با داده های مرجع را تغییر می دهد - کارایی تشخیص و تصحیح داده ها افزایش می یابد، توانایی استفاده از اطلاعات چند رسانه ای اضافه می شود، داده ها را بصری تر می کند و غیره.

امروزه نه تنها غول های اقتصادی، بلکه شرکت های متوسط نیز به کیفیت داده های مرجع علاقه نشان می دهند. IBS به افزایش تعداد درخواست ها برای پروژه های تحقیقاتی علمی از داروسازی، صنایع غذایی، مهندسی مکانیک و کشاورزی اشاره می کند. این علاقه همچنین با ابتکارات جایگزینی واردات تحریک می شود - این معرفی NSI است که حل مشکل جایگزینی واردات فازی و منطقی راه حل های خارجی را ممکن می کند.

8 بازیکن برتر در بازار روسیه سیستم های مدیریت داده مرجع

	کروک	سندرم روده تحریک‌پذیر	راه حل SDI	"NCIT "Intertech"	TaskData	لانیت	EAE-مشاوره	Navicon
درآمد حاصل از پروژه های NSI 2016	135 میلیون روبل	99.9 میلیون روبل	63.3 میلیون روبل	51.9 میلیون روبل	44 میلیون روبل	28 میلیون روبل	11.2 میلیون روبل	7.5 میلیون روبل.
پویایی درآمد برای پروژه های NSI 2016/2015	13%	6%	32%	50%	90%	10%	-10%	ارتفاع
تعداد پروژه های NSI 2017		4	7	7	6 تکمیل شد، 2 مورد در حال انجام است	6	5	4
تعداد پروژه های NSI 2016		4 در حال انجام، 1 تکمیل شده است	4	7	4	5	3	4
راه حل ها/پلتفرم های مورد استفاده	Croc NSI Suite، Talend Platform برای MDM، MDM، Informatica MDM، تعدادی از سیستم های Oracle و همچنین پلتفرم داخلی Unidata	SAP، Ataccama، توسعه خود (20٪)، 1C MDM	توسعه اختصاصی Semantic MDM. DBMS Microsoft SQL Server، Oracle، PostgreSQL	* توسعه خود - پلت فرم نرم افزار برای مدیریت سیستم های داده مرجع Ontologic (ثبت شده در ثبت نام نرم افزار روسی شماره 4114 مورخ 11 دسامبر 2017)؛ 2. شرکت معدن و متالورژی - ایجاد سیستم خودکار برای مدیریت اطلاعات نظارتی و مرجع، توسعه طبقه بندی کننده تجهیزات فنی و مواد، عادی سازی فهرست منابع مادی و فنی و فهرست پیمانکاران. بیش از 2000 کاربر. بر اساس SAP MDM، SAP PI، SAP Portal، SAP BPM. 3. مقام اجرایی فدرال - ادغام و پاکسازی اطلاعات دریافتی، ادغام راه حل در IS شرکت. بر اساس Informatica MDM، Informatica Power Center، Informatica Data Quality، Oracle BPM.	1. United Engine Construction Corporation - "ایجاد و اجرای یک سیستم شرکتی برای مدیریت اطلاعات هنجاری و مرجع در پلت فرم سیستم مدیریت اطلاعات مرجع معنایی" 2. توسعه یک سیستم خودکار برای مدیریت اطلاعات نظارتی و مرجع JSC کلاشینکف Concern بر روی پلت فرم سیستم مدیریت داده مرجع Semantic. 3. "توسعه یک سیستم خودکار "مدیریت دایرکتوری های الکترونیکی سازمانی" برای نیازهای PJSC RSC Energia.	1. طراحی، پیاده سازی و راه اندازی سیستم مدیریت شرکتی برای داده های علمی گروه Inter RAO. 2. ایجاد سیستم یکپارچه اطلاعات نظارتی و مرجع شرکت دولتی نفت جمهوری آذربایجان (SOCAR). 3. ایجاد یک سیستم یکپارچه برای مدیریت اطلاعات نظارتی و مرجع در شرکت سهامی عام “ABI Product”; 4. پیاده سازی سیستم مدیریت داده های اصلی (کتاب های مرجع توسعه یافته) PJSC MMC Norilsk Nickel; 5. عادی سازی فهرست یکپارچه مواد و تجهیزات و نقشه برداری در سوابق فهرست نامگذاری یکپارچه به عنوان بخشی از پروژه برای معرفی یک مفهوم واحد برای مدیریت داده های اصلی شرکت PJSC Polyus. 6. ایجاد یک چارچوب روش شناختی و نظارتی برای اطلاعات نظارتی و مرجع در مورد فهرست منابع مادی و فنی و عادی سازی فهرست مواد و تجهیزات شرکت نفت ایرکوتسک LLC. 7. ایجاد سیستم یکپارچه برای مدیریت اطلاعات رگولاتوری و مرجع داده های پایه گروه شرکت های Power Machines.	1. مرکز صنعتی توسعه و پیاده سازی سیستم های اطلاعاتی (OCRS). عملکرد مرحله اول ASOUP-3 که شامل یک مجموعه خودکار برای نگهداری داده های مرجع است، توسعه یافته است. 2. آژانس جنگلداری فدرال (روسلخوز). ایجاد یک زیر سیستم مدیریت اطلاعات نظارتی و مرجع (RNSI). 3. United Instrument-Building Corporation (UPK). پروژه ای برای ساخت مدلی از یک سیستم مدیریت داده مرجع به عنوان بخشی از اجرای پروژه "سیستم مدیریت تسویه حساب و اطلاعات یکپارچه شبکه" (SIRIUS) - یک سیستم مدیریت تدارکات متمرکز برای صنایع دفاعی.	1. توسعه یک سیستم خودکار برای نگهداری داده های مرجع در یکی از بزرگترین بانک های روسیه (در پلت فرم مایکروسافت با استفاده از سیستم مدیریت داده مرجع NORMA، پایگاه داده Oracle). 2. توسعه یک سیستم مدیریت داده اصلی برای Gazprombank (در پلت فرم مایکروسافت با استفاده از سیستم مدیریت داده اصلی NORMA، Microsoft SQL Server DBMS).	KSSS نوبت 8 - ترجمه دایرکتوری ها به پلت فرم IBM MDM، رابط ها به گذرگاه SAP PI، کنترل کیفیت داده های مرجع. ادغام KSSS با 1C DO - ادغام دایرکتوری Counterparties با سیستم های 1C در DO. KSSS-NSI RREM - ترجمه و ایجاد دایرکتوری های RREM بر روی پلت فرم IBM MDM، رابط ها به گذرگاه SAP PI. Oracle DBMS برای لایه ذخیره سازی پایین و برای مارت داده اصلی استفاده می شود.	1. اتحادیه غذا (ادغام گزارش از چندین شعبه و تأسیسات تولید، توانایی تصمیم گیری مدیریتی بر اساس مجموعه ای از داده ها به طور مداوم به روز شده، پیاده سازی در محیط ابری Microsoft Azure). 2. Gazprom Gazenergoset (اتوماسیون بارگیری داده های جمع آوری شده از سیستم های حسابداری شرکت های تابعه و شرکت های وابسته (SDC) به انبار داده های شرکتی (CDW) در دفتر مرکزی). 3. سپرده گذاری تخصصی "سپرده تخصصی Infinitum" (بهینه سازی فرآیندهای تجاری از نظر حفظ اطلاعات نظارتی و مرجع، بهینه سازی معماری با ایجاد یک مخزن اصلی متمرکز داده ها، حذف موارد تکراری و ورود اطلاعات مضاعف)
بزرگترین پروژه ها از نظر تعداد دایرکتوری ها در سال 2015-2017		1. پروژه 1. حجم کتاب های مرجع بیش از 30 می باشد. 2. پروژه 2. حجم کتب مرجع: حدود 20. 3. پروژه 3. حجم کتاب های مرجع بیش از 200.	1. پروژه JSC "UEC". حجم کتاب های مرجع بیش از 20 عدد می باشد. ادغام KSSS با 1C برای SIP - 31 سازمان گروه LUKOIL. KSSS-NSI RREM - PJSC LUKOIL و 4 NGDO	1. سپرده گذاری تخصصی «اینفینیتوم» (حدود 40000).

در حین کار بر روی پروژه‌های اتوماسیون در مقیاس بزرگ و ایجاد سیستم‌های اطلاعاتی جدید، هر بار با نیاز به پیاده‌سازی یک زیرسیستم برای نگهداری دایرکتوری‌ها، طبقه‌بندی‌کننده‌ها، رجیسترها و سایر اشیاء مشابه که اطلاعات مرجع مشتری (RNI) را تشکیل می‌دهند، مواجه بودیم. در طول 15 سال کار در LANIT با سیستم های مدیریت داده، زندگی مشتریانی با طیف گسترده ای از نیازها را در اختیار ما قرار داده است. و البته شرایط متفاوتی در این پروژه ها به وجود آمد. من در مورد چندین داستان آموزنده که برای ما اتفاق افتاده است برای شما تعریف می کنم. در این مقاله نمونه هایی را خواهید یافت که برای بسیاری از کسانی که درگیر توسعه نرم افزار هستند مفید خواهد بود. خوب، برای کسانی که مستقیماً با NSI کار می کنند، جالب تر خواهد بود - پیراهن خودشان به بدن نزدیک تر است.

تشکر ویژه از هنرمند فوق العاده واسیا لوژکین برای تصاویر.

مورد یک. نحوه بارگیری واگن و گاری کوچک

ایجاد سیستم مدیریت پیمانکاری یکپارچه برای یک شرکت بزرگ تولیدی با کارخانه های متعدد در داخل و خارج از کشور.

هدف پروژه- ایجاد یک پایگاه داده یکپارچه از طرف مقابل برای همه بخش ها. مدیریت طرف مقابل بر اساس درخواست‌هایی انجام می‌شود که اولویت‌های آنها از کم به فوری تعیین می‌شود. یک درخواست فوری باید توسط کارشناسان NSI بدون توجه به تفاوت زمانی بین بخش‌ها، ظرف 2 ساعت پردازش شود.

تاریخ زنده
این پروژه با همه طرف های علاقه مند به توافق رسید (مدیریت مشتری ما را متقاعد کرد) و در چارچوب زمانی معین مطابق با الزامات مصوب توسعه یافت.

ارائه سیستم مدیریت پیمانکاری ایجاد شده به آرامی انجام شد تا اینکه یک زن برجسته - رئیس شعبه سیبری - برخاست و بسیار پرانرژی با استفاده از عبارات اصطلاحی روسی توجه جمع کنندگان را جلب کرد که وقتی یک واگن راه آهن برای بارگیری به سمت او آمد. محصولات تمام شده، او 2 ساعت صبر نمی کند تا کسی در مسکو برنامه را برای اضافه کردن یک خریدار بررسی کند.

او قصد ندارد تا زمانی که درخواست تایید می‌شود، هزینه خرابی خودرو را پرداخت کند، اما داده‌های خریدار را همانطور که هست وارد سیستم می‌کند و کالا را ارسال می‌کند و رفقای مسکو می‌توانند به همان اندازه با اطلاعات خریدار برخورد کنند. همانطور که آنها می خواهند

این بیانیه توسط چندین رئیس دیگر شعبه های شرکت پشتیبانی شد که تقریباً به طور کامل متدولوژی متمرکز برای نگهداری یک فهرست واحد از طرف مقابل بر اساس برنامه ها را از بین برد.

در نتیجه پروژه به گونه‌ای اصلاح شد که همه شعب به پایگاه داده طرف مقابل دسترسی داشته باشند و بتوانند مستقیماً در آن تغییرات ایجاد کنند، اما در همان زمان جستجوی خودکار برای سوابق مشابهی که به کارمند شعبه نمایش داده می‌شد، انجام شد. و در مورد نیاز به تنظیم داده ها تصمیم گیری کرد که بعداً توسط یک گروه کارشناسی بررسی شد.

آنچه به یاد می آوریم:به سخنان مدیران و افراد مسئول در سمت مشتری اعتماد نکنید که همه تصمیمات مورد توافق بوده است، همه چیز در موضوع است و هیچ اعتراضی وجود ندارد. همه ذینفعان پروژه را شناسایی کنید و سعی کنید الزامات و محدودیت های سیستم را مستقیماً از آنها بیابید.

مورد دوم همانطور که می خواهیم از آن استفاده می کنیم

ایجاد سیستم مدیریت متمرکز مشتری برای یک شرکت بیمه با تعداد زیادی شعبه و نمایندگی در سراسر کشور.

هدف پروژه- ایجاد یک پایگاه مشتری تلفیقی برای استفاده در برنامه های تحلیلی. پایگاه داده از همه شعب جمع آوری شد، داده ها تأیید، تکمیل و اشیاء تکراری حذف شدند. تعداد مشتریان یک شعبه از هزار تا چند میلیون متغیر است. در عین حال، عملاً هیچ همپوشانی در مشتریان بین شعب وجود ندارد.

تاریخ زنده

هنگامی که یک پایگاه داده مشتری تلفیقی ایجاد شد، باید به صورت دوره‌ای با پایگاه‌های اطلاعاتی شعب مقایسه می‌شد تا تفاوت‌ها شناسایی شود، سپس آنها را پردازش کرده و تغییرات را در پایگاه داده تلفیقی آپلود کرد. رشد مشتری بین مصالحه ها به چندین هزار رکورد رسید.

برای انجام آشتی، یک ماژول ویژه ایجاد شد که معماری آن بر اساس این واقعیت طراحی شده است که باید به سرعت تعداد زیادی رکورد را با هم مقایسه کند و یک فایل XML نسبتا کوچک با تغییرات برای دانلود تولید کند. فرمت XML توسط مشتری انتخاب شده است.

پس از پیاده سازی سیستم، پیامی از مشتری دریافت کردیم که ماژول آشتی بسیار کند کار می کند و یک فایل عظیم برای بارگذاری در پایگاه داده تلفیقی ایجاد می کند که به هیچ وجه نمی توانند آن را باز کنند.

معلوم شد چی شده؟ مشتری بارگیری اولیه داده ها را از شعب در فهرست تلفیقی انجام داد. کارشناسان این کار را خسته کننده و وقت گیر یافتند و به سادگی ماژول تطبیق را گرفتند و با داده های کامل شعبه جدید که هرگز در فهرست تلفیقی بارگذاری نشده بود، تغذیه کردند.

ماژول تطبیق که مطابق با مشخصات فنی قرار بود اطلاعاتی در مورد تفاوت در تعداد چندین هزار رکورد ایجاد کند، دو میلیون رکورد به عنوان ورودی دریافت کرد و همه آنها در فهرست تلفیقی وجود نداشت.

در نتیجه، پس از چندین ساعت تلاش مافوق بشری، ماژول آشتی با این وجود فایلی را برای دانلود ایجاد کرد که شامل تمام داده‌های شاخه بود. و بله، این فایل بزرگ بود.

ماژول آشتی توسط مشتری برای هدف مورد نظر خود استفاده نشد، اما مشتری از این واقعیت خوشش آمد که تطبیق امکان بارگیری اولیه داده ها را فراهم می کند و او قصد داشت به این روش به کار خود ادامه دهد، فقط او خواست تا سرعت کار را به میزان قابل توجهی افزایش دهد. ماژول را انجام دهید و با فایل ایجاد شده کاری انجام دهید تا در یک ویرایشگر متن باز شود.

مشتری در پاسخ به ایرادات ما مبنی بر اینکه ماژول تطبیق برای بارگذاری اولیه اطلاعات در نظر گرفته نشده است، با خوشحالی مشخصات فنی را نشان داد و پرسید اینجا کجا نوشته شده است؟ ما آن را همانطور که می خواهیم استفاده می کنیم!

در نتیجه، ما مجبور شدیم تغییراتی در معماری ماژول آشتی ایجاد کنیم تا بتوانیم حجم زیادی از داده ها را پردازش کنیم و یک فایل خروجی در قالب CSV تولید کنیم، زیرا مشتری مطلقاً نمی خواست چنین ابزار مناسبی را رها کند.

آنچه به یاد می آوریم:همیشه شرح محدودیت ها را در مشخصات قرار دهید - کارهایی که سیستم شما نباید انجام دهد. خوب، یا راه حل هایی ایجاد کنید که همه موارد استفاده ممکن را در نظر بگیرند، که بسیار گران تر است.

مورد سه. بچه فیل نیست، بلکه یک فیل است و آن هم باید پرواز کند

ایجاد یک سیستم متمرکز برای نگهداری داده های اصلی برای یک سازمان مالی.

هدف پروژه- ایجاد یک سیستم متمرکز برای نگهداری دایرکتوری ها و طبقه بندی کننده ها با توزیع تغییرات در سیستم ها و پایگاه های داده علاقه مند. ارائه دسترسی به سیستم های خارجی به دایرکتوری ها از طریق وب سرویس های سیستم ما.

به طور معمول، مشتریان دارای میانگین تعداد ورودی در هر فهرست از چند صد تا چند هزار هستند. رکورددار اخیر ما فهرستی است که 11 میلیون ورودی داشت. اما این مشتری ما را شگفت زده کرد. فهرست او حاوی بیش از 100 میلیون ورودی بود. ما بیش از یک روز آن را دانلود کردیم، زیرا ... در طول بارگذاری اولیه، بررسی های زیادی داده ها انجام شد. این مشکل بزرگی نبود، اما مشتری خواستار دانلود دایرکتوری در چند دقیقه شد.

در نتیجه، ما مجبور شدیم نحوه کار سیستم را با این کتاب مرجع تا حد زیادی تغییر دهیم. در واقع خارج از سیستم نگهداری می شود و ما فقط یک رابط برای استفاده از آن ارائه می دهیم. ما در حال حاضر در حال توسعه راه های جدیدی برای سیستم خود هستیم تا با دایرکتوری های بسیار بزرگ کار کند. امیدواریم مشتری آن را دوست داشته باشد.

آنچه به یاد می آوریم:در دنیای مدرن، داده های بیشتری وجود دارد و نرخ رشد آن به طور مداوم در حال افزایش است. سیستم باید برای بارهای زیاد حتی در جایی که در ابتدا انتظار نمی رفت آماده باشد. ما دائماً در حال توسعه راه حل خود با در نظر گرفتن روندهای فعلی در رشد داده ها و افزایش الزامات برای سرعت پردازش آنها هستیم.

مورد چهار. ترفند سخت با فایل ها

ایجاد یک سیستم متمرکز برای نگهداری داده های اصلی در یک بانک بزرگ.

هدف پروژه- ایجاد یک سیستم متمرکز برای نگهداری دایرکتوری ها و طبقه بندی کننده ها با توزیع تغییرات در سیستم ها و پایگاه های داده علاقه مند. ویژگی خاص پروژه، فرآیندهای بسیار پیچیده انتشار تغییرات است که بر بسیاری از سیستم ها تأثیر می گذارد.

از آنجایی که در آینده باید راه حل خود را برای مدیریت داده های مرجع ذکر کنم، به خودم اجازه می دهم یک انحراف غزلی کوچک را انجام دهم.

درباره سیستم نورما بیشتر بخوانید.

وظایف مشتریان ما تا حد زیادی مشابه است و ما تصمیم گرفتیم با ایجاد پلتفرم جهانی خودمان برای حفظ داده های اصلی و داده های اصلی (مدیریت داده های مرجع و مدیریت داده های اصلی) هزینه های توسعه نرم افزار را کاهش دهیم و زمان پروژه را کاهش دهیم. این سیستم بیش از 10 سال است که وجود داشته است و در تمام این سال ها ما در LANIT به طور فعال در حال توسعه آن بوده ایم.

NORMA از مدیریت داده های مرجع متمرکز و توزیع شده پشتیبانی می کند. تمام داده ها و متا اطلاعات با در نظر گرفتن تاریخچه تغییرات نگهداری می شوند و سیستم به شما امکان می دهد کل آرایه داده های مرجع را برای یک تاریخ دلخواه در گذشته یا آینده مشاهده و تغییر دهید. فرآیندهای تأیید و تأیید تغییرات را می توان برای دایرکتوری ها پیکربندی کرد. این سیستم شامل یک سرور توزیع تغییر اختصاصی است که به شما امکان می دهد از طریق رابط های مختلف با سیستم های خارجی تعامل داشته باشید و فرآیندهای تجاری یکپارچه نسبتاً پیچیده ایجاد کنید (نوعی مینی سرور BizTalk). ما بسته‌های صادرات/واردات داده‌ای داریم که می‌توانند داده‌های دایرکتوری را در پایگاه‌های داده و فایل‌هایی با فرمت‌های مختلف آپلود/دانلود کنند. نگهداری جداول تبدیل برای سیستم های خارجی پشتیبانی می شود.

NORMA شامل یک سازنده پرس و جو گرافیکی و طراح گزارش است. این سیستم علاوه بر کار با دایرکتوری‌های خود، از طریق رابط خود، امکان مشاهده و تغییر دایرکتوری‌هایی را که در پایگاه‌های داده خارج از آن قرار دارند، و همچنین استفاده از این دایرکتوری‌ها در بسته‌های query builder و export/import را می‌دهد.

در پاسخ به وقوع رویدادهای مختلف در سیستم، به عنوان مثال، رویدادهای تغییرات دایرکتوری، می توان اجزای نرم افزاری پلاگین نوشته شده در سی شارپ را راه اندازی کرد که هم می تواند داده ها را بررسی کند و هم با سیستم های خارجی تعامل داشته باشد و در واقع، خود سیستم NORMA. تقریباً تمام عملکردهای سیستم از طریق وب سرویس ها در دسترس هستند.

این سیستم را می توان هم به صورت عمودی با افزایش قدرت سرور برنامه و پایگاه داده و هم به صورت افقی با استفاده از یک سرور کاربردی چند نود که در آن هر گره یا گروهی از گره ها وظیفه انجام یک عملکرد مجزا را بر عهده دارند، مقیاس پذیر است. برای ذخیره داده های مرجع، سیستم می تواند از Microsoft SQL Server، Oracle یا PostgreSQL استفاده کند.

به طور معمول، هنگام ایجاد مراجع و فرآیندهای انتشار تغییر، مشتری با تحلیلگران ما در مورد اینکه کدام ابزار یا مجموعه ابزارهای ارائه شده توسط سیستم برای یک کار خاص استفاده می شود، مشورت می کند. این بار مشتری گفت که به طور مستقل دایرکتوری ها و پردازش ها را ایجاد خواهد کرد.

پس از مدتی، یکی از متخصصان مشتری با شکایت با ما تماس گرفت که داده های او در سیستم بارگذاری نمی شود. به عنوان تأیید، یک بسته واردات داده، یک فایل منبع با سوابق در حال بارگیری و یک پیام خطایی مبنی بر اینکه داده های بارگیری شده از نوع اشتباه است برای ما ارسال شد.

بیایید شروع به کشف آن کنیم. بسته را به این طرف و آن طرف می چرخانیم، گزینه های مختلفی را برای نمایش داده های منبع امتحان می کنیم، اما نمی توانیم اشتباه را تکرار کنیم. ما با مشتری با سؤالات تماس می گیریم: شاید بسته واردات دارای اجزای نرم افزاری باشد، شاید برخی محدودیت های اضافی روی دایرکتوری اعمال شود، شاید داده ها از این فرآیند نباشد؟ ما پاسخ همه چیز را دریافت می کنیم - چیزی شبیه به آن وجود ندارد، همه چیز باید به راحتی بارگیری شود و قبلا کار کرده باشد.

معلوم است که این بسته وارداتی فقط نوک کوه یخ بوده است. به طور خلاصه و بسیار ساده شده، موارد زیر اتفاق افتاد. رویه واردات داده های صحیح را از فایل منبع در دایرکتوری بارگیری کرد. فایل اصلی حذف شد سپس سیستم ما تغییرات را در چندین پایگاه داده منتشر کرد، یکی از آنها داده های خود را با تغییرات ما مقایسه کرد و یک فایل مغایرت ایجاد کرد که برای دانلود به سیستم ما بازگردانده شد. علاوه بر این، برای دانلود این فایل، مشتری از همان روش واردات فایل منبع استفاده کرده است. و این فایل خاص، تولید شده توسط سیستم خارجی، حاوی داده هایی از نوع اشتباه بود. بدیهی است که هنگام تجزیه و تحلیل فایل اصلی، هیچ خطایی پیدا نکردیم و در مورد فایل دوم و روند گسترده توزیع تغییرات چیزی به ما گفته نشد.

آنچه به یاد می آوریم:همیشه اطلاعاتی را که دریافت می‌کنید بررسی کنید، حتی اگر به شما بگویند که ما در اینجا مشکل کوچکی داریم و آن هم در همین مکان است، به مادرم قسم! مشکل را در زمینه تحلیل کنید.

مورد پنجم. دارم به ناهماهنگی ها عادت می کنم

ایجاد یک سیستم مدیریت داده اصلی در یک شرکت تولیدی.

هدف پروژه- ایجاد سیستمی برای نگهداری داده های مرجع در یک شرکت مدیریت با تعداد زیادی شعبه، کارخانه و بخش طراحی.

این بار بیشتر از چند ارائه پیشرفت نکردیم. فناوران واقعاً سیستم NORMA ما را دوست داشتند. او تمام مشکلات موجود آنها را پوشش داد. سپس نوبت به نمایش سیستم به مدیریت رسید و در اینجا بدبختی دهه رخ داد. مدیر عالی رتبه نگاه کرد، گوش داد و گفت: «همه ما اینجا روی محصولات اپل کار می کنیم، آنها سبک خاصی دارند و سیستم شما با این سبک نمی گنجد. ما حتی آن را در نظر نخواهیم گرفت.»

آنچه به یاد می آوریم:مشتریان متفاوت هستند و برای برخی شما به سادگی مناسب نیستید. سبک متفاوت است.

داستان های مشابه در پروژه های مختلف اتفاق می افتد. چه چیزی در زندگی پروژه شما جالب بود؟ چه درس غیرمنتظره ای برای شما بود؟ در نظرات به اشتراک بگذارید.

برچسب ها: اضافه کردن برچسب