Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2 3      [все]
 Опрос МастерДата  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
Расскажите плииз , кто какое решение использует для МастерДаты. Что нравиться в нем , а что нет
13 янв 17, 13:30    [20102550]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
soulsurfer
Member

Откуда:
Сообщений: 317
essbase.ru,

Ху из Мастердата?
Для оракла наклепали формочек на апексе, данные лежат в отдельной схеме.
13 янв 17, 13:50    [20102671]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
bbx1389
Member

Откуда: Русија
Сообщений: 23935
essbase.ru
Расскажите плииз , кто какое решение использует для МастерДаты. Что нравиться в нем , а что нет

если про MDM, то SQL SERVER MDS
нравится надстройка для excel , не нравится , что у 2016 сиквела только в Enterprise
13 янв 17, 14:51    [20103123]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Santa89
Member

Откуда:
Сообщений: 1231
MDS в SQL Server - хорошая штука, минус в том, что приходится например более удобное для работы MDS для Excel устанавливать на машины пользователей.
Гораздо более удобная вещь для ведения Master Data - Visual Studio Lightswitch. У нас например большинство справочников работает на ней.
По сути - это веб-интерфейс управления таблицами SQL Server, а там уже - куда фантазия заведёт. Например один из справочников Master Data на LightSwitch у меня поддерживает функционал - обращения к веб-сервисам, валидацию значений и рассылку почты при появлении новых элементов справочника либо по какому то другому условию.

Вобщем мой ответ - либо MDS либо LightSwitch
13 янв 17, 15:19    [20103306]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31366
Блог
свое веб-приложение
13 янв 17, 16:40    [20103749]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
Работаем с января 2014г в MDS 2012, 130 пользователей.

Миграция на MDS 2016 SP1 пока стоп, т.к. есть баги
13 янв 17, 16:46    [20103779]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
No Pasaran
Member

Откуда:
Сообщений: 179
Посмотрите на Ataccama. Хорошее решение DQ\MDM. Разработано в чехии, поэтому гораздо лучше годится для российских данных, чем американские продукты, заточенные под английский язык
15 янв 17, 15:09    [20107556]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
No Pasaran
Разработано в чехии, поэтому гораздо лучше годится для российских данных, чем американские продукты, заточенные под английский язык

Для российских данных лучше всего подходят решения от HumanFactor Labs.
17 янв 17, 00:22    [20112617]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
Roman Kolchin
No Pasaran
Разработано в чехии, поэтому гораздо лучше годится для российских данных, чем американские продукты, заточенные под английский язык

Для российских данных лучше всего подходят решения от HumanFactor Labs.


давайте без маркетинга, здесь не пресейл; и безапелляционно утверждать, кому что лучше подходит
17 янв 17, 12:42    [20113862]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Alex_496
давайте без маркетинга, здесь не пресейл; и безапелляционно утверждать, кому что лучше подходит

HFLabs боьше десяти лет продают продукты и услуги по очистке клиентских данных для российских компаний. Десятки внедрений.
Какая есть альтернатива?

На всякий случай поясню -- я комментировал утверждение, что чешский продукт "лучше годится для российских данных, чем американские продукты, заточенные под английский язык". На самом деле во всем многообразии продуктов класса Master Data Management и Data Quality языковую и территориальную специфику имеют только инструменты очистки (идентификации, дедупликации, обогащения) клиентских данных. Вот для этих целей ничего лучше HFLabs на территории РФ нет, потому что у них больше всех накоплено опыта.

Если говорить о MDM и DQ в целом, то тут действительно нет ни то что лидера, а даже ни одного инструмента, покрывающего все задачи в этой области. Поэтому обсуждать преимущества того или того продукта этого класса имеет смысл только в контексте конкретной задачи.
18 янв 17, 18:31    [20119803]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
10 лет продают и десятки внедрений - не аргумент, т.к. продать и внедрить - не значит успешно работает. Порой это правильный заход пресейла через нужных людей.
Чистить адреса - не велика хитрость, например, использовать геосервис Яндекса; дедублицировать и унтфицировать клиентов - усердие и труд и скрипт работает

Если речь идет о сборе и формировании базы негатива ( черных списков) из специфических источников, чтобы прикрутить к скоринг воркфлоу - есть и другие решения. Опять же усердие и труд = все перетрут
18 янв 17, 19:24    [20119979]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
No Pasaran
Member

Откуда:
Сообщений: 179
HF, конечно, неплохой продукт. Главный вопрос - это стоимость его долгосрочного владения. Это же черный ящик, который заказчик сам не может никак подкрутить, надо все время листать HF. А DQ\MDM - это как ХД, тут нельзя один раз купить коробку и нажать install.exe, все время нужно что-то подкручивать. Можно на госзакупках легко посмотреть сколько десятков миллионов сбер платить в год за поддержку HF и все станет ясно.

Ну и по адресам, конечно, HF совсем не монополист. Во-первых, явно лучше качество работы с российскими адресами у IQ systems, а Ataccama проигрывает HF всего 1-2% при разборе адресов. Если сравнивать HF с AddressDoctor, то, тут конечно, да разница - небо и земля.
19 янв 17, 15:37    [20123349]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Alex_496
10 лет продают и десятки внедрений - не аргумент, т.к. продать и внедрить - не значит успешно работает. Порой это правильный заход пресейла через нужных людей.

Компании 10+ лет, несколько десятков проектов (где-то в их промо видел цифру 30) => делают хороший продукт, который успешно продается и внедряется. О широко используемых в РФ альтернативах я не слышал. Отсюда делаю вывод -- HF лучшие на рынке в РФ по этой теме.

Вы с этим не согласны? У вас другой опыт? Поделитесь им плиз, лучше даже название конторы напишите, о которой вам точно известно, что она добилась успеха упомянутым вами способом :)
20 янв 17, 13:42    [20126990]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
No Pasaran
IQ systems, а Ataccama проигрывает HF всего 1-2% при разборе адресов. Если сравнивать HF с AddressDoctor, то, тут конечно, да разница - небо и земля.

Спасибо, много интересных имен. IQ Systems пишут про себя, что в деле с 2003 года. Но я ничего о них не слышал, хотя какое-то время интересовался темой.
Про HF знаю с 2005-2006 года. Мы даже с ними конкурировали примерно в то же время -- выбрали нас с заказной разработкой, потому что мы были быстрее -- наверное, потому что у них тогда была Java, а у нас C в кластере на linux :)
HF кстати на тот момент адресами не занимался, на сколько я помню.

Откуда информация про успех Atacama? За счет чего они в адресах проигрывают всего 1-2% IQ Systems?
20 янв 17, 13:51    [20127039]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
No Pasaran
Member

Откуда:
Сообщений: 179
HF специализируется больше на финансовом секторе, IQ на логистике и т.д, но количество клиентов в части очистки адресов у них сопоставимо. У российской Ataccama на данный момент 6 клиентов.

1-2% разницы - цифры из нескольких пилотных проектов, везде примерно одинаковая разница.

Мое видение рынка такое, что если нужна только очистка адресов, то лучше всего брать IQ systems. Если MDM по клиентам - то стоит выбирать между HF и Ataccama (у HF чуть более продвинутые проавила для российских данных, но взамен "черный ящик" и непредсказуемая стоимость владения). Если же нужно комплексное решение DQ\MDM для разных доменов, НСИ, DQ для ХД, DQ для hadoop\spark - то у Ataccama самое мощное решение. Ну и если нужен PIM - то сильнее всего IBM и SAP.
20 янв 17, 14:01    [20127083]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 990
Мастер-данные хранились в единой учетной системе (Dynamics AX). Были регламентированные механизмы заведения новых сущностей (номенклатура, клиент, поставщик и т.д.) чтобы избежать дубликатов. Более сложные сущности - склад, аналитика, план счетов и т.д. заводились отдельной обученной командой. Мастер-справочники реплицировались в другие системы.

С Уважением,
Георгий
20 янв 17, 14:16    [20127157]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
No Pasaran
HF специализируется больше на финансовом секторе, IQ на логистике и т.д, но количество клиентов в части очистки адресов у них сопоставимо. У российской Ataccama на данный момент 6 клиентов.

Точно, на фин секторе же мир DQ клином не сошелся!! :)
Спасибо за разъяснения по рынку в целом.
20 янв 17, 18:49    [20128750]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
Gartner Magic Quadrant for Master Data Management Solutions 2017

К сообщению приложен файл. Размер - 15Kb
23 янв 17, 23:54    [20137822]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Santa89
Member

Откуда:
Сообщений: 1231
Alex_496,
а где же Microsoft с MDS?
24 янв 17, 01:16    [20137912]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17539
Santa89
Alex_496,
а где же Microsoft с MDS?



...похоже что все ангажировано... например и вот этого нет:
http://www.talend.com/products/mdm/
24 янв 17, 02:41    [20137933]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Вот полная ссылка на доклад: Magic Quadrant for Master Data Management Solutions (19 January 2017).

Наконец-то Гартнер объединил все квадраты в один!

И наконец-то в общий квадрат вошла Orchestra Networks!
EBX5 от Orchestrs Networks это лучший по моему мнению пример "аналитического MDM", когда нужно работать с иерархиями в целом, а не с отдельными записями. С записями он должен работать тоже ОК, иначе бы не включили в квадрат. Orchestra Networks EBX5 дает очень гибкие инструменты для моделирования и довольно дружелюбный для конечных пользователей GUI и workflow. В общем, рекомендую! Кроме нее на рынке таким же (даже возможно более полным) функционалом обладает Oracle Data Relationship Mangement, но он похоже окуклился в рамках линейки Oracle EPM и как отдельный продукт развивается и продается слабо.

Кстати, раз в квадрат, да еще в лидеры, вошла Orchestra Networks, то этот обзор совсем не про Data Qulity, а в основном про модели данных, GUI и пользовательские бизнес-процессы вокруг MDM (aka data stewardship and information governance).

Microsoft с MDS не вошла в обзор, потому что MDS это не полноценное приложение, закрывающее собой кучу реальных бизнес-процессов, а скорее фреймворк и конструктор для разработки чего-либо своего на его основе. В докладе даже написано, что большое количество респондентов указывали на то, что попробовали MDS перед тем, как выбрать приложение от другого вендора.

Прочие вендоры исключены из доклада, т.к. они в с точке зрения объединенного квадрата занимают незначительное место на рынке.

См ниже цитату.

Together, we estimate that the top-six vendors by unadjusted revenue (SAP, Oracle, IBM, Informatica, Stibo Systems and TIBCO Software) accounted for over 80% of the MDM solution market in 2015. For more details of Gartner's MDM market share analysis for 2015, see "Market Insight: New Dynamics Drive Strong Growth and New Opportunities for Master Data Management Software Vendors."

Smaller (but rapidly growing) vendors have continued to progress in diverse ways. Orchestra Networks has continued to improve its unique technical capabilities for fulfilling multiple MDM use cases and data domains, and continues to implement a strong roadmap for implementing both data stewardship and information governance capabilities for MDM. Vendors that once focused on managing product data, such as Stibo Systems and Riversand, continued to adopt a more multidomain product and marketing position in 2015. EnterWorks has benefited from its acquisition by Black Dragon Capital, which has provided a solid investment footing and expansion opportunities, including the follow-on acquisition of Digital Foodie and the development of a content life cycle management strategy. Magnitude Software was formed in mid-2014 by the merger of the former Kalido and a non-MDM vendor (Noetix), and continues to market the Kalido MDM solution under that name.

Other vendors, such as Agility Multichannel, Ataccama, Information Builders, inRiver, Profisee, SAS, Sigma Systems, Software AG, Talend, Teradata and VisionWare, remain active in this market, but their presence is not large enough in one or more respects for them to be included in this Magic Quadrant. Additionally, Microsoft has not yet had a major impact on the MDM market with its SQL Server MDS technology, other than in supporting end users' plans to build their own MDM solutions or by being incorporated into third-party channel partners' solutions (for example, those of Profisee). Although Microsoft's MDS toolset provides several capabilities expected of vendors in this Magic Quadrant, it does not provide the degree of out-of-the-box integration between those capabilities that is typical of an MDM software solution. However, the survey conducted for this Magic Quadrant showed that a significant proportion of the reference customers who purchased another vendor's solution considered MDS before doing so. This was especially the case with reference customers of smaller vendors that did not qualify for inclusion in this Magic Quadrant.

Many other vendors, some small, are innovating in and around the fields of multidomain MDM and MDM of customer data. Semarchy is a small but growing vendor focused on helping clients with an "evolutionary" approach to scaling MDM. Reltio is a vendor specializing in nimble cloud-based capabilities to master and integrate data from enterprise applications, third-party data feeds and social media. Pitney Bowes has built an MDM solution based on the graph database paradigm, with an emphasis on modeling, visualizing and exploring highly connected data. Dell Boomi has introduced a solely cloud-based MDM platform. Uniserv continues to grow its MDM of customer data capabilities with Smart Customer MDM, available in both cloud and on-premises versions.

The catalyst for innovation among vendors with a historical or current focus on MDM of product data is the requirement for product information management in support of omnichannel and e-commerce. Agility Multichannel continues to drive the value of MDM into small- and midsize-business markets with a capable, affordable MDM solution that also provides substantive integration capabilities for publication and syndication. Lansa addresses this requirement via a cloud-only offering, in addition to its traditional on-premises solution. inRiver has consistently differentiated itself by focusing on business users who directly address this requirement, such as marketing managers, product marketing managers, brand managers and similar. Viamedici offers a configurable solution that is fully web-based with integrated media asset management capability.
24 янв 17, 11:05    [20138603]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 990
Roman Kolchin
Прочие вендоры исключены из доклада, т.к. они в с точке зрения объединенного квадрата занимают незначительное место на рынке.
Ничего, если так и пойдет, то будет и для них квардрантик

С Уважением,
Георгий
24 янв 17, 15:33    [20140486]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
George Nordic,

Я бы сказал что опрос показал квадрант и жизнь не совместимы ))
24 янв 17, 15:57    [20140648]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
Сначала нужно определиться с критериями качества данных, что есть требуемый уровень качества данных для предприятия, подразделения, как измерять и мониторить.

Затем нужно определиться по какому, по каким критериям лучший продукт из направления MDM.
Например, бюджет MDM (поставка+ коннекторы) стоит 1млн. евро, ухты, круть! Для кого-то важна элитарность из "закрытость" продукта и потому можно торговаться по з.п. или релокации в Лондоны. Для кого-то важна распространенность продукта и цена лицензий =0. Другой будет радоваться функциональности GUI.
А где-то пишут свой MDM полностью с 0.

Когда HF, BG Labs и другие фирмы заходили с пресейлом и презентациями, то красивые истории, кейсы и т.д.
А на деле - проявляется проза жизни и недостатки продуктов и недостаточный уровень компетенции по решению задач, о которых умалчивается на пресейле.
Квадранты, обзоры в глянцевых ИТ-журналах - всего лишь инфо. Дальше каждый - на свой риск, бюджет, сроки, критерии of life cycle.

Список MDM
24 янв 17, 22:12    [20142126]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
essbase.ru
Я бы сказал что опрос показал квадрант и жизнь не совместимы ))

Как показал опроc, под MDM люди подразумевают сильно разное, но в этом не признаются. Понять это можно лишь по тому, как они хвалят или ругают разные системы и подходы.

Хочешь действительно выбрать что-то хорошее, сформулируй критерии выбора. И укажи цену, сколько ты готов за это заплатить -- в деньгах, времени, трудоемкости.
25 янв 17, 16:27    [20145549]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Alex_496
Затем нужно определиться по какому, по каким критериям лучший продукт из направления MDM.
Например, бюджет MDM (поставка+ коннекторы) стоит 1млн. евро, ухты, круть! Для кого-то важна элитарность из "закрытость" продукта и потому можно торговаться по з.п. или релокации в Лондоны. Для кого-то важна распространенность продукта и цена лицензий =0. Другой будет радоваться функциональности GUI.А где-то пишут свой MDM полностью с 0.

Чувство элитарности, большой бюджет и радость от GUI это какие-то неправильные критерии :)

Вот например, когда я выше писал про юзер-френдли GUI в Orchestra Networks EBX5 и Oracle DRM, я имел в виду не просто радость от лицезрения рюшечек и бантиков на экране, а ситуации когда нужен GUI, удобный для моделирования иерархических справочников конечными пользователями.

Оба эти инструмента (я внедрял DRM, а EBX5 видел в презентациях и видео) действительно позволяют по принципу WYSWYG настроить иерархию любой сложности минимальным количеством кликов мышки, сопоставить ее узлы с элементами справочников внешних систем и задать произвольные свойства, включая расчетные на спец. языке. В их GUI есть все для ручной работы -- и версионность иерархий, и транзакционность изменений с откатами произвольной цепочки транзакций и удобный diff между версиям и даже copy-paste в веб-интерфейсе, позволяющий копировать огромные ветки справочников, не прибегая к экспорту в Excel/CSV. В общем, все сделано для удобство человека который будет с этим работать.

Так что если для какого-то сценария работы требуется работа конечных пользователей со справочниками, то DRM/EBX5 отлично подойдут. И я с трудом представляю сколько потребуется усилий (и итераций переделки GUI), если разрабатывать такое с нуля.

Исходный сценарий под который создавался Oracle DRM (Razza Dimension Server в девичестве) -- это управление изменениями справочников и управление мэппингами между справочниками масштабных ERP систем при слиянии компаний.

HF тоже знаменит не красивыми слайдами, а надежным решением задачи дедупликации клиентских данных для фин сектора в России. Если известные вам задачи очистки адресных данных решаются запросами к Яндексу, и так действительно выгодно делать, то вам просто повезло :)
25 янв 17, 16:58    [20145717]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
Рюшечки?
в каком MDM пользователи при вводе данных могут видеть одновременно:
1. системное наименование атрибутов (английское) например, RM
2. бизнес-наименование (желательно локализованное в зависимости от страны если транснац. компания), Менеджер сопровождения
3. бизнес-описание атрибута (тоже локализованное), в котором бы храгилось описание что значит Менеджер привлечения.
Чтобы описания атрибутов хранились централизованно, а не где-то в устаревших BRD файлах Word

Чтобы десятки пользователей однозначно понимали что вводить, а не в другое поле, например, Менеджер


В каком MDM при вводе данных в таблицу пользователи могут видеть доменные атрибуты с расшифровкой из родительских сущностей? например, пользователи бьют в полотно точки продаж и для ИНН (доменный атрибут) в информативных целях должны покаываться наименовпние компании, адрес, торговый сегмент


и чтобы GUI не был пресыщен, перегружен меню и кнопками, чтобы могли сразу работать самые обычные пользователи

p.s. документации и руководства пользователей у нас не любят читать
25 янв 17, 20:27    [20146544]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
Roman Kolchin,

?
кстати, как HF в автомате обработает следующие адреса (пишу схематично)
1). так почтупает адрес обьекта в доме на пересечении улиц
Город, Улица1/Улица2 дом 56/23

2). тут к. 2 - то ли квартира, то ли корпус, последние цифры - почтовый индекс
РБ, г. НазваниеГорода, такой-то обл., д. 167 лит. "а" к. 2 пом. 4, 189456

3) тут значит дома 123, 124, 125, вдоль которых павильон
Город, Мира 123-125, пав. 6

4)
трасса Москва - Тула, 125ый км у магазина Подорожник

5)
Город, пр. Просторный, ТЦ Ашан, 3 эт., оф. 2а

и подобных чудных адресов на выборке 250тыс. записей составляет 7%
25 янв 17, 20:54    [20146662]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Alex_496
Рюшечки?
в каком MDM пользователи при вводе данных могут видеть одновременно:
1. системное наименование атрибутов (английское) например, RM
2. бизнес-наименование (желательно локализованное в зависимости от страны если транснац. компания), Менеджер сопровождения
3. бизнес-описание атрибута (тоже локализованное), в котором бы храгилось описание что значит Менеджер привлечения.
Чтобы описания атрибутов хранились централизованно, а не где-то в устаревших BRD файлах Word

Чтобы десятки пользователей однозначно понимали что вводить, а не в другое поле, например, Менеджер


В каком MDM при вводе данных в таблицу пользователи могут видеть доменные атрибуты с расшифровкой из родительских сущностей? например, пользователи бьют в полотно точки продаж и для ИНН (доменный атрибут) в информативных целях должны покаываться наименовпние компании, адрес, торговый сегмент


и чтобы GUI не был пресыщен, перегружен меню и кнопками, чтобы могли сразу работать самые обычные пользователи

p.s. документации и руководства пользователей у нас не любят читать

Вы обрисовали картину интенсивного ввода данных кучей низкоквалифицированных пользователей.
Это не про MDM. Рисуйте для них спец. интерфейс.

У некоторых узко-заточенных MDM (я знаком с Oracle PIM, который сильно заточен на операционный ритейл) есть интерфейсы и для глупых пользователей, но они специализированные под конкретные бизнес-процессы, которые имел в виду разработчик продукта. Все MDM с универсальным интерфейсом требуют довольно высокий уровень компетенции и мотивации пользователей -- они должны быть в состоянии и иметь желание прочитать инструкцию -- MDM дает им полезные инструменты, избавляет от ручной работы или программирования, но за это его нужно учить.


Alex_496
Roman Kolchin,

?
кстати, как HF в автомате обработает следующие адреса (пишу схематично)
1). так почтупает адрес обьекта в доме на пересечении улиц
Город, Улица1/Улица2 дом 56/23

2). тут к. 2 - то ли квартира, то ли корпус, последние цифры - почтовый индекс
РБ, г. НазваниеГорода, такой-то обл., д. 167 лит. "а" к. 2 пом. 4, 189456

3) тут значит дома 123, 124, 125, вдоль которых павильон
Город, Мира 123-125, пав. 6

4)
трасса Москва - Тула, 125ый км у магазина Подорожник

5)
Город, пр. Просторный, ТЦ Ашан, 3 эт., оф. 2а

и подобных чудных адресов на выборке 250тыс. записей составляет 7%

Я не внедрял и не использовал HF. Я лишь критиковал вашу его оценку -- то что вы его заочно ругали. По моему опыту многолетние продажи и внедрения являются достаточным обоснованием успешности продукта. Скорее всего HF Labs и стригут купоны с рынка и завышают цены, эксплуатируя свой брэнд. Но задачи они должны решать хорошо, иначе бы они столько не просуществовали бы на таком узком рынке -- они же не бодишоп и не интегратор при госах.
27 янв 17, 19:22    [20154950]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
No Pasaran
Member

Откуда:
Сообщений: 179
Новый отчет Gartnera очень странный. Я участвовал в проекте по Orchestra EBX (в Европе, в России вроде внедрений нет), и категорически снова не хочу трогать эту технологию. За симпатичным front-end спрятан убогий back-end, остутствующий DQ, куча ограничений по интеграции и ооогромные проблемы с производительностью и масштабируемостью. Orchestra подходит для PIM и мелких справочников и иерархий, но категорически не подходит для задач CDI (Customer Data Integration) - как такой продукт, игнорирующий CDI, мог стать лидером MDM для меня загадка.

Кстати, гартнер чудит не первый раз. Если посмотреть на квадрант по DQ, то там тоже хорошо - там Ataccama представлена аж 2 раза в 2 квадрантах -в Visionary и Leaders - один раз под своим брендом, а второй раз под брендом Information Builders. Дело в том, что Information Builders продает решение Ataccama под своим брендом по договору OEM (iWay DQS = Ataccama DQC), как один и тот же продукт мог оказаться в разных квадрантах для всех загадка :).
29 янв 17, 16:01    [20158657]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
No Pasaran
Новый отчет Gartnera очень странный. Я участвовал в проекте по Orchestra EBX (в Европе, в России вроде внедрений нет), и категорически снова не хочу трогать эту технологию. За симпатичным front-end спрятан убогий back-end, остутствующий DQ, куча ограничений по интеграции и ооогромные проблемы с производительностью и масштабируемостью. Orchestra подходит для PIM и мелких справочников и иерархий, но категорически не подходит для задач CDI (Customer Data Integration) - как такой продукт, игнорирующий CDI, мог стать лидером MDM для меня загадка.

Спасибо, очень интересно! Вы EBX внедряли для какой задачи?

Мне кажется, что и CDI и управление справочниками и иерархиями важны независимо. Ну как ERP и CRM -- и то и другое части единой инфраструктуры компании, но сравнивать их не корректно.



No Pasaran
Кстати, гартнер чудит не первый раз. Если посмотреть на квадрант по DQ, то там тоже хорошо - там Ataccama представлена аж 2 раза в 2 квадрантах -в Visionary и Leaders - один раз под своим брендом, а второй раз под брендом Information Builders. Дело в том, что Information Builders продает решение Ataccama под своим брендом по договору OEM (iWay DQS = Ataccama DQC), как один и тот же продукт мог оказаться в разных квадрантах для всех загадка :).

Гартнер, похоже, сам софт не ставит, а пользуется презентациями. И больше упирает на отзыва клиентов. Наверное, отзывы клиентов Information Builders были более хорошими. Хотя конечно это залет :)
30 янв 17, 22:56    [20163964]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 990
No Pasaran
Новый отчет Gartnera очень странный... Ataccama представлена аж 2 раза в 2 квадрантах -в Visionary и Leaders - один раз под своим брендом, а второй раз под брендом Information Builders... как один и тот же продукт мог оказаться в разных квадрантах для всех загадка :).
Отнюдь нет - сравнивают не только продукты, но и компании.
Roman Kolchin
Хотя конечно это залет :)
Никак нет, Ром. Abiliti to execute - это же не к продукту относится. К сожалению, мало иметь хороший продукт - надо уметь его распространять, внедрять, поддерживать... И при этом показывать финансовые результаты. Да еще и чтобы клиенты были довольны. Там в отчете же есть все критерии оценки.

С Уважением,
Георгий
31 янв 17, 10:03    [20164725]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
No Pasaran
Member

Откуда:
Сообщений: 179
автор
Спасибо, очень интересно! Вы EBX внедряли для какой задачи?


Централизованное ведение контрагентов. Сам не видел, но коллеги рассказывали и про другое внедрение - для PIM, там была опять же беда с производительностью.
31 янв 17, 12:42    [20165641]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
No Pasaran
Member

Откуда:
Сообщений: 179
автор
Отнюдь нет - сравнивают не только продукты, но и компании.


Верно, ни для кого не секрет, что Gartner собирает деньги с вендоров (ты должен покупать подписки на их ресурсы, участвовать в конференциях и т.д), поэтому, действительно, для Gartner есть большая разница между 2 вендорами, даже если они показывают одинаковые продукты :)
31 янв 17, 12:44    [20165645]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
George Nordic
Roman Kolchin
Хотя конечно это залет :)
Никак нет, Ром. Abiliti to execute - это же не к продукту относится. К сожалению, мало иметь хороший продукт - надо уметь его распространять, внедрять, поддерживать... И при этом показывать финансовые результаты. Да еще и чтобы клиенты были довольны. Там в отчете же есть все критерии оценки.

Хм, логика в таком подходе действительно есть. А еще знаешь похожие примеры?
31 янв 17, 22:01    [20167861]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
упрощу топик.

Давайте различать
1) мастер дату (справочники измерений)
2) нормативную информацию - описание объектов .

Т.е. первое это перечень. второе свойства.

Задам вопрос еще раз
как вы управляете справочниками измерений. (1)
2 фев 17, 08:26    [20171869]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
essbase.ru
Давайте различать
1) мастер дату (справочники измерений)
2) нормативную информацию - описание объектов .

Т.е. первое это перечень. второе свойства.

Давай не придумывать новые термины :)

essbase.ru
Задам вопрос еще раз
как вы управляете справочниками измерений. (1)

Мне тоже очень интересно, кто и как с измерениями управляется?

Загружаете as is из источников первичных данных?
Вставляете вручную в таблицы хранилища?
А если справочники нужно часто менять по требованиям бизнес-пользователей?
4 фев 17, 18:48    [20180782]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17539
Roman Kolchin
essbase.ru
Давайте различать
1) мастер дату (справочники измерений)
2) нормативную информацию - описание объектов .

Т.е. первое это перечень. второе свойства.

Давай не придумывать новые термины :)

essbase.ru
Задам вопрос еще раз
как вы управляете справочниками измерений. (1)

Мне тоже очень интересно, кто и как с измерениями управляется?

Загружаете as is из источников первичных данных?
Вставляете вручную в таблицы хранилища?
А если справочники нужно часто менять по требованиям бизнес-пользователей?



...я делаю или MDS или набор Екселовских файлов. Если MDS то пользователи
(business owners, data stewards) сами заносят через MDS портал, или через
Шарепоинт-МДС портал или через MDS-Ексел плагин.
Дальше вполне стандартно > SSIS > DWH dimensions > cubes

Иногда MDS не охота разворачивать, тогда просто я создаю набор
Мастер-Листов -- множество Ексел (или Ексел 2003 или CSV) файлов.
Файлы хранятся на Шарепоинте и в другом обшедоступном месте.
Бизнесс пользователи вносят изменения сами.
По уведомлению я копирую новый Мастер Лист в специальную папку
откуда SSIS ежедневно читает фаил в стейж и дальше как и в случае с MDS.

Самое трудное -- убедить бизнес оунеров взять на себя ответсвтвеность
за данные и организовать процесс обновления, согласования и уведомления.
А как информация зайдет в DWH -- дело техники -- обычно проблем нет...

Казалось бы что MDS более солидный способ, но по факту набор файлов
оказался удобнее как процесс. Кроме того в Екселе также можно
поддерживать метаданные, источники, референсы, историю, отвественых, итд.
5 фев 17, 01:59    [20181216]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
hollister
Member

Откуда:
Сообщений: 118
Коллеги, подскажите пожалуйста.
Можно ли в MS SQL server MDS настроить бизнес-процесс согласований?
Грубо говоря, один юзер добавляет строчку, другой юзер согласовывает.

Заранее благодарен.
13 фев 17, 15:18    [20207959]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
T87
Member

Откуда:
Сообщений: 67
hollister
Коллеги, подскажите пожалуйста.
Можно ли в MS SQL server MDS настроить бизнес-процесс согласований?
Грубо говоря, один юзер добавляет строчку, другой юзер согласовывает.

Заранее благодарен.

Неа
13 фев 17, 16:50    [20208463]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17539
hollister
Коллеги, подскажите пожалуйста.
Можно ли в MS SQL server MDS настроить бизнес-процесс согласований?
Грубо говоря, один юзер добавляет строчку, другой юзер согласовывает.

Заранее благодарен.



>>>Можно ли?
да,

говорят в 2016 это уже встроеная фича:
https://www.mssqltips.com/sqlservertip/4289/approval-workflow-in-sql-server-master-data-services-2016-using-change-sets--part-1/

в 2012 делается так:

* Добавляется поле ApprovalFlag (1/0)
* Дефолт при создании записи ApprovalFlag=0
* Добавляется бизнес рул что запись инвалид если ApprovalFlaг=0
* обычный юзер (который вводит новую запись) не имеет прав на ApprovalFlag
* таким образом любая новая запись обычного юзера создается невалидной
* создается другой юзер "дата администратор" которому дается права на ApprovalFlag
* "дата администратор" после проверки может выставить ApprovalFlaг=1
и пропустить запись на процессинг дальше....
13 фев 17, 16:58    [20208493]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
bbx1389
Member

Откуда: Русија
Сообщений: 23935
hollister
Коллеги, подскажите пожалуйста.
Можно ли в MS SQL server MDS настроить бизнес-процесс согласований?
Грубо говоря, один юзер добавляет строчку, другой юзер согласовывает.

Заранее благодарен.

если SP есть, то можно рабочий процесс запустить
13 фев 17, 17:19    [20208586]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
bbx1389
Member

Откуда: Русија
Сообщений: 23935
essbase.ru
упрощу топик.

Давайте различать
1) мастер дату (справочники измерений)
2) нормативную информацию - описание объектов .

Т.е. первое это перечень. второе свойства.

Задам вопрос еще раз
как вы управляете справочниками измерений. (1)


если шире смотреть, то лучший результат на проектах с запуском централизованного управления НСИ. Т.е. создается специальная служба , ей вменяется в обязанности отвечать за качество\полноту и т.п. данных . Все изменения через заявки в эту службу.
13 фев 17, 17:23    [20208598]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
bbx1389
essbase.ru
упрощу топик.

Давайте различать
1) мастер дату (справочники измерений)
2) нормативную информацию - описание объектов .

Т.е. первое это перечень. второе свойства.

Задам вопрос еще раз
как вы управляете справочниками измерений. (1)


если шире смотреть, то лучший результат на проектах с запуском централизованного управления НСИ. Т.е. создается специальная служба , ей вменяется в обязанности отвечать за качество\полноту и т.п. данных . Все изменения через заявки в эту службу.


1. могут создать и два подразделения НСИ :)
2. еще могут споры что есть централизованная система :)
3. централизованную службу создадут, но прав и рычагов воздействия не додадут, и будет та служба до тех пор, пока, мол, вы мешаете бизнесу продавать. риск-менеджмент тоже за качество процессов, но и его прокатывают
4. наконец, некоторые дальновидные ТОП-манагеры смекнут, что системность, прозрачность им не руку

все эти пункты проходили :)
13 фев 17, 19:24    [20208908]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
javajdbc
...я делаю или MDS или набор Екселовских файлов. Если MDS то пользователи
(business owners, data stewards) сами заносят через MDS портал, или через
Шарепоинт-МДС портал или через MDS-Ексел плагин.
Дальше вполне стандартно > SSIS > DWH dimensions > cubes

Иногда MDS не охота разворачивать, тогда просто я создаю набор
Мастер-Листов -- множество Ексел (или Ексел 2003 или CSV) файлов.
Файлы хранятся на Шарепоинте и в другом обшедоступном месте.
Бизнесс пользователи вносят изменения сами.
По уведомлению я копирую новый Мастер Лист в специальную папку
откуда SSIS ежедневно читает фаил в стейж и дальше как и в случае с MDS.

Самое трудное -- убедить бизнес оунеров взять на себя ответсвтвеность
за данные и организовать процесс обновления, согласования и уведомления.
А как информация зайдет в DWH -- дело техники -- обычно проблем нет...

Казалось бы что MDS более солидный способ, но по факту набор файлов
оказался удобнее как процесс. Кроме того в Екселе также можно
поддерживать метаданные, источники, референсы, историю, отвественых, итд.

Спасибо!

Мне самому больше нравится Excel. Но часто он становится перегружен формулами (отображение "бизнес" атрибутов на "технические" атрибуты) и его сложнее валидировать онлайн -- приходится писать VBA код и поддерживать его в актуальном состоянии у всех пользователей-редакторов.

Вы как с такими сложностями справляетесь?
14 фев 17, 18:29    [20211624]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
bbx1389
если шире смотреть, то лучший результат на проектах с запуском централизованного управления НСИ. Т.е. создается специальная служба , ей вменяется в обязанности отвечать за качество\полноту и т.п. данных . Все изменения через заявки в эту службу.

Поясните в чем преимущество такого подхода? Он же ни чем не отличается от классики (не MDM) -- "все клиенты у нас в CRM" или "номенклатура продуктов ведется только в ERP". То есть какой-то домен мастер-данных (набор справочников) ведется в одной системе. Классика даже более качественные данные дает -- в CRM клиентами занимаются специалисты, которые разбираются в отношениях с клиентами, а продукты в ERP ведут люди, разбирающиеся в производственном учете, а универсальные "специалисты НСИ" не пытаются объять все.
14 фев 17, 18:40    [20211646]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
у вас 4 CRM, 2 back/ биллинга и еще N наколенных систем и в каждой своя кодировка продуктов, разное качество, ответственность за ввод данных клиентов. в одной CRM клиенты чаще актуализируются, в другой редко. Связать все со всеми системами между собой - ценник адский и годы согласований и работ, ищщо ж разные подрядчики...
ой, аццкий угар
14 фев 17, 18:58    [20211691]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Alex_496
у вас 4 CRM, 2 back/ биллинга и еще N наколенных систем и в каждой своя кодировка продуктов, разное качество, ответственность за ввод данных клиентов. в одной CRM клиенты чаще актуализируются, в другой редко. Связать все со всеми системами между собой - ценник адский и годы согласований и работ, ищщо ж разные подрядчики...
ой, аццкий угар
Я не про архитектуру интеграции систем спрашивал. А про подход с выделенным "управлением НСИ". В чем его преимущество?

Так то очевидно, что если нескольким (больше 3) систем нужен один и тот же справочник, да еще с различающимся атрибутным составом, то дешевле вести его в отдельном инструменте, чем перегружать атрибутами какую-нибудь из систем и тем более интегрировать всех со всеми.
14 фев 17, 19:09    [20211712]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
Roman Kolchin
Alex_496
у вас 4 CRM, 2 back/ биллинга и еще N наколенных систем и в каждой своя кодировка продуктов, разное качество, ответственность за ввод данных клиентов. в одной CRM клиенты чаще актуализируются, в другой редко. Связать все со всеми системами между собой - ценник адский и годы согласований и работ, ищщо ж разные подрядчики...
ой, аццкий угар
Я не про архитектуру интеграции систем спрашивал. А про подход с выделенным "управлением НСИ". В чем его преимущество?

Так то очевидно, что если нескольким (больше 3) систем нужен один и тот же справочник, да еще с различающимся атрибутным составом, то дешевле вести его в отдельном инструменте, чем перегружать атрибутами какую-нибудь из систем и тем более интегрировать всех со всеми.


Система MDM как и DWH равноудалена от каких-либо других систем. CRM могут решить заменить на другую, в которой не факт, что данные сложатся также. И на время перехода и миграции другие системы будет штормить.

Положим, решили справочники вести в ERP/ АБС. Ну и с каким приоритетом, пиететом будет отношение, скажем, к таким характеристикам как:
геокординаты местонахождения отделений компании
наличие зон комфорта, игровых комнат, типы парковок в отделениях
наличие та в отделениях Банка

Разным подписчикам нужны разные протоколы / режимы доступа к данным

Нагрузка от доп. кол-ва пользователей, значительно более детальная грануляция матрицы доступа

workflow согласования, уведомления/ личные подписки заинтересованным лицам

разной сложности бизнес-правила проверки данных, в том числе кросс-табличные и среди разных записей

и т.д.

Вам, как владельцу ERP / АБС / CRM - нужны все эти доп. напруги помимо своего функционала?


Очень удобны подход, когда Excel - является клиентом для MDM-сервера. Можно забирать у Бизнес-пользователей учет их локальных Excel- справочников и взамен предлагать работать централизованно, публикуя данные на сервер MDM, но в привычной среде.

Кто знает, у какого MDM-продукта (помимо MDS) есть плагин к Excel ???
14 фев 17, 20:57    [20211896]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17539
Roman Kolchin
javajdbc
...я делаю или MDS или набор Екселовских файлов. Если MDS то пользователи
(business owners, data stewards) сами заносят через MDS портал, или через
Шарепоинт-МДС портал или через MDS-Ексел плагин.
Дальше вполне стандартно > SSIS > DWH dimensions > cubes

Иногда MDS не охота разворачивать, тогда просто я создаю набор
Мастер-Листов -- множество Ексел (или Ексел 2003 или CSV) файлов.
Файлы хранятся на Шарепоинте и в другом обшедоступном месте.
Бизнесс пользователи вносят изменения сами.
По уведомлению я копирую новый Мастер Лист в специальную папку
откуда SSIS ежедневно читает фаил в стейж и дальше как и в случае с MDS.

Самое трудное -- убедить бизнес оунеров взять на себя ответсвтвеность
за данные и организовать процесс обновления, согласования и уведомления.
А как информация зайдет в DWH -- дело техники -- обычно проблем нет...

Казалось бы что MDS более солидный способ, но по факту набор файлов
оказался удобнее как процесс. Кроме того в Екселе также можно
поддерживать метаданные, источники, референсы, историю, отвественых, итд.

Спасибо!

Мне самому больше нравится Excel. Но часто он становится перегружен формулами (отображение "бизнес" атрибутов на "технические" атрибуты) и его сложнее валидировать онлайн -- приходится писать VBA код и поддерживать его в актуальном состоянии у всех пользователей-редакторов.

Вы как с такими сложностями справляетесь?


...у меня попроще системы...никаких реал-тайм проверок Екселей нет.
Никаких конкурируюших апдейтов...
Никаких переводов бизнес атрибутов на технические атрибуты тоже нет.
Как договорились по формату, удобного для бизнеса,
так и грузим в stage. А потом уже и
валидируем в ETL-е и переводим в технические атрибуты...

Т.е. у меня в основном MDS как контроль над справочниками и
интеграционными линками для нужд DWH.

У вас MDS -- насколько я понял -- почти трансакционная фронт-енд аппликация,
с реал-тайм конкурентными апдейтами...

...достаточно разные задачи...
14 фев 17, 21:45    [20211970]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Alex_496
Вам, как владельцу ERP / АБС / CRM - нужны все эти доп. напруги помимо своего функционала?

Ну я же не про технику писал!! Все ваши аргументы про равноудаленность MDM от прочих систем я понимаю я поддерживаю.

Я задавал вопрос про организацию выделенного управления НСИ, которая будет принимать заявки и своими руками что-то в системе управления НСИ/MDM править.

Зачем это подразделение?

В чем красота получившегося бизнес-процесса: инициатор изменения -> заявка (ручная по почте? в 3-й системе?) -> супермены из управление НСИ -> система MDM?

Разве не лучше: инициатор изменения -> заявка на изменение внутри MDM (по сути драфт новой записи или иерархии) -> автоматические проверки в MDM -> владелец справочника (из соответствующего бизнеса, или аналитик из основной системы-потребителя типа ERP/CRM). Меньше участников, участники лучше понимают задачи учета, в которых используются справочники.

Я на самом деле видел службы НСИ в различных конторах и именно поэтому не считаю их единственно правильным способом организации во всех ситуациях. Там где я видел они по сути были отдельной группой аналитиков в рамках поддержки какой-то основной системы типа SAP, Oracle EBS или Siebel. Под громким названием "централизованное НСИ" подразумевалась всего лишь поддержка модуля большой системы, в целях функционирования этой системы с минимальным учетом интересов остальных потребителей.
16 фев 17, 22:26    [20219598]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3492
Roman Kolchin,

ааа......понял, о чем вопрос.

я за вариант 2, точнее даже так:
инициатор изменения = он же владелец экспертизы --> вносит изменения в справочник MDS (в системе комплекс бизнес проверок)--> [если есть другие владельцы экспертизы уведомляются по email -- > вносят изменения в этот же справочник MDS данные по другим полям] -- > остальные отв. лица уведомляются по email

но по некоторым справочникам не удается привлечь/ заставить своевременно вносить данные, т.к. текучка / ленивые пользователи

вопрос переходит в качество менеджмента, поощрения

еще на фазе MDS --> DWH контрольные проверки
автоматические рассылки custom-сообщений (настраиваемые, thnx to Voyager_lan) заинтересованным лицам, в т.ч. и руководству ...и подобное воздействие, "мягкая сила" через email имеет положительный результат
16 фев 17, 23:39    [20219707]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
javajdbc
...у меня попроще системы...никаких реал-тайм проверок Екселей нет.
Никаких конкурируюших апдейтов...
Никаких переводов бизнес атрибутов на технические атрибуты тоже нет.
Как договорились по формату, удобного для бизнеса,
так и грузим в stage. А потом уже и
валидируем в ETL-е и переводим в технические атрибуты...

Т.е. у меня в основном MDS как контроль над справочниками и
интеграционными линками для нужд DWH.

У вас MDS -- насколько я понял -- почти трансакционная фронт-енд аппликация,
с реал-тайм конкурентными апдейтами...

...достаточно разные задачи...

Интересно было бы сравнить сценарии использования.

Опишу мой кейс. Моя основная сфера деятельности -- аналитические приложения типа бюджетного планирования и консолидации на продуктах Oracle Hyperion. Архитектура приложений -- кубы. Измерения кубов часто берутся "из головы" и не содержатся ни в одной другой системе-источнике. Кубов с течением времени становится много.

Отсюда возникают задачи по управлению измерениями кубов:
- редактирование и публикация общих измерений большого количества кубов;
- параметризация расчетов в кубах, путем использования пользовательских атрибутов измерений;
- поддержка в актуальном состоянии зависимых от времени правил сопоставления аналитик данных, импортируемых из информационных систем, с придуманными "из головы" измерениями кубов.

Частота, важность и критичность этих бизнес-процессиков:
- измерения частые, не реже одного раза в месяц;
- изменения нужно выполнять очень быстро, т.к. они приходит в головы пользователям в последний момент под влиянием указаний топ-менеджмента, которые те выдают в последний момент;
- влияние изменений на результат чрезвычайно велико -- корректность мэппингов и иерархий влияет на итоговые значения (т.к. пользователи -- топы, и они смотрят на финансовый результат в отчетности сверху вниз), а некорректно внесенные изменения в атрибуты, параметризующие расчеты, могут привести к чрезвычайно непредсказуемому результату.

Не смотря на важность и срочность решения задач, эти системы не принято поддерживать большим количеством специалистов -- ключевых пользователей обычно мало и не комильфо держать команду поддержки сопоставимого масштаба :)

Поэтому для выполнения перечисленных задач с ожидаемым уровнем качества всегда очень не хватает удобного инструмента, в который можно было бы пустить ключевых пользователей, помогая им автоматическими проверками и зависимыми атрибутами.

Вендор не предоставляет в составе данных продуктов действительного удобного инструмента для управления всеми этими вещами в масштабах нескольких кубов. Остается только Excel. Или за хорошие деньги Oracle Data Relationship Management.

Какой кейс у вас? На сколько стабильны и неизменны процедуры ETL, которые импортируют справочники в хранилище или аналитические приложения?
17 фев 17, 00:39    [20219771]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Криво сформулировал:
Roman Kolchin
- измерения частые, не реже одного раза в месяц;

В том то и дело, что изменения НЕ частые, но периодические и с очень жесткими требованиями по срокам.

Кто-нибудь решает подобные задачи?

Пока самое лучшее, что я использовал для этих целей -- Oracle Data Relationship Management.
Основной конкурент, не привяазанный к тому же ни к какому вендору аналитических и ERP-шных приложений -- это Orchestra Networks.

Есть еще удобные инструменты и красивые подходы к решению этих задач?
17 фев 17, 00:49    [20219780]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17539
Roman Kolchin,

как уже говорил, мои кейсы поплоще...ну раз в год меняется
(пополняется) GL, добавляют новые Functional Areas, но это все не критично...
большинство сорсев до ммилиона записей -- когда проходит новый
GL, то просто перегружаю сорсе чтобы зацепить новые Аккаунты и КостЦентры...
есть пара источников трансакций на 30М и 110М записей, но новые ГЛ Аккаунты актуальны
только для ттрансакций последнего года, так что решается частичный апдейтом
(вариант late arrival).

И вообше GL Account мастер лист приходит из SAP отдела,
т.е. даже и проверять неособо надо...

Вообще, DWH предпологает некую стабильность.
Если надо что-то постоянно подкручивать клиентам -- это скорее
"клиентская аппликация" для которой нужно "програмировать"
специализированый интерфейс.
У нас есть такая апликация (не для DWH) -- частично на ИнфоПас-ШереПоинт, частично
на C#, можно было MDS присобачить, но мне было лень
это советовать...
18 фев 17, 05:09    [20223638]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
javajdbc
Если надо что-то постоянно подкручивать клиентам -- это скорее
"клиентская аппликация" для которой нужно "програмировать"
специализированый интерфейс.

Вот-вот, мне и нужна такая аппликация :)
MDS, похоже, для этого не подходят, даже с учетом их бесплатности в составе базы.
18 фев 17, 13:09    [20223961]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17539
Roman Kolchin
javajdbc
Если надо что-то постоянно подкручивать клиентам -- это скорее
"клиентская аппликация" для которой нужно "програмировать"
специализированый интерфейс.

Вот-вот, мне и нужна такая аппликация :)
MDS, похоже, для этого не подходят, даже с учетом их бесплатности в составе базы.


....ну, я бы как раз сказал что MDS подходит...
особено в 2016 они добавили воркфлоу для
вторичной авторизации (юзеры вводят запись, админ их проверяет и апрувит.)

Мне просто лень было раскручивать на текущем месте а так вообщето подходит.

Вот еще есть:

www.talend.com/products/mdm/
(free, Apache license)
youtube: S2QJv48tkiQ
19 фев 17, 23:44    [20227052]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Юрий Кудрявцев
Member

Откуда: Сидней, Австралия
Сообщений: 755
С большим интересом читаю этот топик, у меня очень схожие задачи с вами, Роман, только на месте Hyperion Planning -- IBM TM1 :)

Мы в проектах где есть ETL часть используем что-то web и простое для управления меппингами (типа Apparo FastEdit для Cognos), но с иерархиями там плохо.

Сейчас начинаем сравнивать Orchestra DMX и MDS для одного заказчика, интересно будет посмотреть, насколько плоха Orchestra внутри и насколько хорош стал MDS.
20 фев 17, 06:47    [20227188]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Юрий Кудрявцев
Сейчас начинаем сравнивать Orchestra DMX и MDS для одного заказчика, интересно будет посмотреть, насколько плоха Orchestra внутри и насколько хорош стал MDS.

В правильном MDM для аналитики должна быть возможность моделировать все что угодно без использования Excel.

Что было полезно, когда я внедрял Oracle Data Relationship Management:
- быстрое добавление новых атрибутов без необходимости блокировки справочников;
- контекстно-зависимый состав атрибутов элементов справочников -- возможность варьировать состав и значения атрибутов в зависимости от принадлежности элемента к определенной иерархии (при этом элемент может входить в любое кол-во иерархий), от типа хранения в иерархии (лист/узел верхнего уровня);
- динамические значения атрибутов с возможностью получения различных значений в зависимости от контекста, от взаимного расположения элементов, от переменных среды;
- разграничения доступа на просмотр и редактирование для иерархий, ветвей иерархий, отдельных атрибутов и групп атрибутов;
- транзакционность любых изменений с возможности получения состояния иерархии на любой момент времени и сохранения исторического значения в виде новой иерархии;
- diff, copy-paste, merge межу различными иерархиями и различными версиями одной и той же иерархии;
- экспорт/импорт справочников в виде лога транзакций -- то есть возможность импорта элементов справочников в виде последовательности команд типа "добавить узел", "задать значение свойства X";
- ну и конечно полный Drag-n-Drop и WSWYG с адекватной производительностью для сотен тысяч узлов :)

На момент когда я плотно работал с Oracle DRM этого еще не было, но сейчас есть и имхо это полезный функционал -- процесс внесения изменений внутри mdm-инструмента с возможностью формировать заявки на изменение в виде новых версий иерархий и утверждения изменений с использованием diff/copy-paste/merge. У Oracle'а сейчас для этого используется отдельный модуль -- Oracle Data Relationship Governance.

Еще я не касался вопросов интеграции, поэтому авторитетно сказать, что должно уметь API не скажу. Но Oracle дорабатывает API в _КАЖДОМ_ новом патче. Так что там, очевидно, есть чего развивать.

В материалах с конференций встречал такой кейс использования Oracle DRM:
- бизнес-юезр заходит в DRM, создает "контейнер" — новую мега-иерархию, в котрую закидывает куски существующих иерархий в виде веток от корня;
- после этого пользователь жамкает на кастомную кнопку;
- для пользователя создается куб... да-дам! COGNOS (на тот момент еще не TM1, вроде) и в него загружаются данные в соответствии с выбранными иерархиями.

В общем, в правильном бизнес-юзер-френдли MDM должна быть возможность замоделировать любые иерархические справочники с любыми извращениями в связях между элементами и атрибутах. При этом целей для которых это может быть удобно и эффективно бесконечное множество.

Кстати, про OrchestraNetworks я узнал из внутренних Oracle'вых презентация по DRM -- в них OrchestraNetworks EBX5 была названа основным конкурентом. Это было года четыре назад и тогда ни DRM ни EBX5 не были в Гартнере и их сложно был реально сравнивать.
21 фев 17, 14:22    [20233180]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
No Pasaran
Member

Откуда:
Сообщений: 179
автор
Есть еще удобные инструменты и красивые подходы к решению этих задач?


Посмотрите Ataccama RDM.
17 мар 17, 17:19    [20306945]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
No Pasaran
Посмотрите Ataccama RDM.

Спасибо.
Мб есть презентации или видео с демонстрацией его возможностей? В идеале, чтобы демонстрировали описанный мной функционала.
17 мар 17, 21:32    [20307776]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
У Andrew White, аналитика Gartner'а по теме MDM, вышла статья, описывающая различия в сценариях использования ПО для управления мастер-данными -- Master Data Management (MDM) vs Application Data Management (ADM).

Как оказалось, потребности и задачи, которые я описывал выше в этой теме, да и с которыми я чаще всего сталкивался в различных компаниях, наблюдая их со стороны, относится к области названной Application Data Management (ADM). Это задачи и инструменты, связанные с управлением данными какого-то одного приложения или пакета приложения одной платформы типа ERP или DWH.

Конечно, с чисто технической точки зрения MDM и ADM это игра слов. Но при решении организационных вопросов о запуске проекта, обосновании цены и выборе конкретного программного решения удобно пользователями компактными емкими терминами.

По мнению автора статьи фундаментальное различие между MDM и ADM -- это то, сколько процессов и сколько различных систем завязано на *DM систему. Если много систем и много процессов -- то это MDM, а если одна (или полторы, например одна мега-ERP и пара ее сателлитов) -- это ADM. Отсюда следуют все остальные различия.

В частности, из этого фундаментального различия возникают различные ожидания по поводу функционала.

Функционал MDM в принципе может быть не очень юзер-френдли при условии, что система обеспечивает нужную связанность данных для кучи бизнес-процессов и систем. То есть с убогостью интерфейса можно мириться, если ценность в другом. Тут я вспоминаю MDM HUB'ы от Oracle'а с очень глубокой ритейловой, промышленной и еще рядом узких специализаций, но c совершенно отвратным UX.

С другой стороны система класса ADM обычно выбирается для затыкания "дыр" в функционале какой-то основной системы, типа SAP, Oracle E-Business Suite или платформы аналитических приложений типа Oracle Hyperion или IBM Cognos. В этом случае ценность ADM системы заключается в том, на сколько эффективно затыкаются эти "дыры", поэтому важность хорошего интерфейса пользователя возрастает стократ. Но при этом, тк речь идет об автоматизации всего лишь одной системы или одного бизнес-процесса, то и цена вопроса ожидается существенно ниже, чем у полноценной MDM системы. Собственно, в своей практике я ровно с этим и сталкиваюсь.

Продолжая тему,
уважаемые ALL, вы в своей практике больше сталкивались с системами, или по крайней мере видели потребности в необходимости каких систем, класса *DM: ADM vs MDM.
20 мар 17, 13:04    [20313589]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
Roman Kolchin,

Еще не раскрыта тема работы с натуралкой ) - площадь офиса , расстояние до , и т.д. и т.п.
20 мар 17, 16:04    [20314493]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
essbase.ru
Roman Kolchin,

Еще не раскрыта тема работы с натуралкой ) - площадь офиса , расстояние до , и т.д. и т.п.

Ищи приложения (не MDM) по работе с соответствующими объектами.
20 мар 17, 16:32    [20314712]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
essbase.ru
Roman Kolchin,

Еще не раскрыта тема работы с натуралкой ) - площадь офиса , расстояние до , и т.д. и т.п.

ORACLE SITE HUB
20 мар 17, 17:03    [20314871]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
No Pasaran
Member

Откуда:
Сообщений: 179
автор
Мб есть презентации или видео с демонстрацией его возможностей? В идеале, чтобы демонстрировали описанный мной функционала.


Нашел вот такое видео. [url=][/url]
А вообще если интересно, то могу показать вживую.
23 мар 17, 09:26    [20324032]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
No Pasaran
Нашел вот такое видео.
А вообще если интересно, то могу показать вживую.

Спасибо. Не очень похоже на Hyperion DRM, но вроде почти все что нужно есть.

А какой ценник именно на модуль RDM? Как он лицензируется?

PS. Вживую показывать пока не надо -- прямо сейчас нет задачи под этот инструмент, поэтому не надо тратить время. Но если задача возникнет, то обязательно воспользуюсь предложением :)
26 мар 17, 12:03    [20333564]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
No Pasaran
Member

Откуда:
Сообщений: 179
Лицензируется по числу пользователей. Точные цифры назвать не могу, если будет актуальный интерес, то свяжитесь по контактам на ataccama.ru
27 мар 17, 12:08    [20336390]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
bbx1389
Member

Откуда: Русија
Сообщений: 23935
Roman Kolchin
bbx1389
если шире смотреть, то лучший результат на проектах с запуском централизованного управления НСИ. Т.е. создается специальная служба , ей вменяется в обязанности отвечать за качество\полноту и т.п. данных . Все изменения через заявки в эту службу.

Поясните в чем преимущество такого подхода? Он же ни чем не отличается от классики (не MDM) -- "все клиенты у нас в CRM" или "номенклатура продуктов ведется только в ERP". То есть какой-то домен мастер-данных (набор справочников) ведется в одной системе. Классика даже более качественные данные дает -- в CRM клиентами занимаются специалисты, которые разбираются в отношениях с клиентами, а продукты в ERP ведут люди, разбирающиеся в производственном учете, а универсальные "специалисты НСИ" не пытаются объять все.

Подходы можно совмещать, безусловно. Строить не жестко централизованную , а гармоничную систему.
Преимущества
централизация ответственности
снижение операционных издержек на ведение информации
снижение рисков несанкционированного изменения информации
простые и понятные формы заполнения данных. Не нужно сложное обучение.
меньше разработки , проще администрирование
Простота , дешевизна и прозрачность.
Повторюсь, что я не утверждаю , что это универсальное суперэффективное решение.

"номенклатура продуктов ведется только в ERP"
хорошо если у вас одна ERP, а не n с неполностью пересекающимся ассортиментом, например по разным странам. Хорошо когда продуктовых менеджеров не пару десятков, а хотя бы 10, и меняются они не каждый квартал. Атрибутов продукта может быть под сотню. Хорошо, если правила проверки простые и их можно реализовать в программе. Хорошо если бизнес-процессы связанные с отдельными атрибутами , хотя бы можно диаграммой на 1 листе описать. Ну и т.д.

"продукты в ERP ведут люди, разбирающиеся в производственном учете" -это кто?
3 апр 17, 12:20    [20360384]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
bbx1389
Преимущества
централизация ответственности
снижение операционных издержек на ведение информации
снижение рисков несанкционированного изменения информации
простые и понятные формы заполнения данных. Не нужно сложное обучение.
меньше разработки , проще администрирование
Простота , дешевизна и прозрачность.
Повторюсь, что я не утверждаю , что это универсальное суперэффективное решение.

Вы как раз утверждаете, что это лучший подход :) Вы же перечислили просто сказочные преимущества. Если все так как вы утверждаете, то я даже не представляю какой еще подход сможет дать аналогичный результат :)
Вопрос в том "за счет чего"? За счет чего все получается дешево и очень эффективно с использованием выделенной группы НСИ? Вы это не пояснили.

Людей в эту группу нужно нанять. Их нужно научить бизнес-процессам компании. Для этого требуется время или перевод в группу НСИ сотрудников из других подразделений, которые уже в теме. Нужно внедрить новый бизнес процесс с заявками на изменение мастер-данных с участием этих людей. Нужно поддерживать постоянный уровень компетенции этих людей в бизнес-процессах компании, проходящих в различных системах, чтобы они могли оперативно отрабатывать заявки.

Где здесь дешевизна и эффективность?

bbx1389
"номенклатура продуктов ведется только в ERP"
хорошо если у вас одна ERP, а не n с неполностью пересекающимся ассортиментом, например по разным странам. Хорошо когда продуктовых менеджеров не пару десятков, а хотя бы 10, и меняются они не каждый квартал. Атрибутов продукта может быть под сотню. Хорошо, если правила проверки простые и их можно реализовать в программе. Хорошо если бизнес-процессы связанные с отдельными атрибутами , хотя бы можно диаграммой на 1 листе описать. Ну и т.д.

"продукты в ERP ведут люди, разбирающиеся в производственном учете" -это кто?

"продукты в ERP ведут люди, разбирающиеся в производственном учете" -- это люди, которые разбираются в соответствующих бизнес-процессах и их данных в ERP. Если имеем дело с одной ERP, то это люди связанные с этой ERP, если ERP несколько -- то люди из разных ERP.

Смысл моего комментария в том, что управлением различными данными должны заниматься люди, компетентные в этих данных. Не единая группа аналитиков НСИ, а разные люди, компетентные в разных данных. Не нужно их загонять в одну группу НСИ, пусть остаются на своих местах. Вместо этого им нужно дать удобный инструмент (из класса MDM), в котором они смогут управлять данными, согласовывая свои действия, но находясь в разных местах компании.

Собственно, весь западный рынок MDM построен на идее дать разным людям общий инструмент управления разделяемыми данными.
3 апр 17, 13:19    [20360601]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Kuel
Member

Откуда:
Сообщений: 2
No Pasaran
HF, конечно, неплохой продукт. Главный вопрос - это стоимость его долгосрочного владения. Это же черный ящик, который заказчик сам не может никак подкрутить, надо все время листать HF. А DQ\MDM - это как ХД, тут нельзя один раз купить коробку и нажать install.exe, все время нужно что-то подкручивать. Можно на госзакупках легко посмотреть сколько десятков миллионов сбер платить в год за поддержку HF и все станет ясно.

Ну и по адресам, конечно, HF совсем не монополист. Во-первых, явно лучше качество работы с российскими адресами у IQ systems, а Ataccama проигрывает HF всего 1-2% при разборе адресов. Если сравнивать HF с AddressDoctor, то, тут конечно, да разница - небо и земля.

Всем здравствуйте!
Хотелось бы узнать мнение об эффективности использования AddressDoctor для проверки российских адресов.
Мы планируем купить этот продукт с целью проверки вводимых адресов клиентов на нашем сайт.

Если честно не понял в сообщении No Pasaran, что лучше HF или AddressDoctor.
20 окт 17, 11:43    [20885237]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
No Pasaran
Member

Откуда:
Сообщений: 179
Adressdoctor -для россии полный аццтой. Hf по сравнению с ним на порядок сильнее. Еще есть iq systems, результат дает даже лучше hf по нашим тестам.
21 окт 17, 22:30    [20889122]     Ответить | Цитировать Сообщить модератору
 Re: Опрос МастерДата  [new]
Kuel
Member

Откуда:
Сообщений: 2
No Pasaran,
Спасибо , к сожалению в моей компании выбрали AddressDoctor для всех стран и не мне решать в пользу других программ.
24 окт 17, 15:49    [20895968]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2 3      [все]
Все форумы / OLAP и DWH Ответить