Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 448
Katy
Не холивара для, а лишь с желанием разобраться.

...
Есть ли кто то, кто "умеет готовить" и SAP BW и другие системы для DWH (например какие то mpp базы).
Поделитесь опытом: какие +/- sap bw?

Мое ХО - оно интегрировано с SAP ERP и прочими. Основные плюсы - наличие коннекторов выгрузки данных в SAP BW (если оно без HANA). Коннекторы - это функции по выгрузке данных, bulk или delta. Плюс есть объектная модель в самом BW - инфообъекты (некий аналог измерений OLAP) и сами кубы.
Можно допиливать, расширяя наборы данных.
Если все пилить с нуля - смысла не имеет.
Инсталляция без SAP BO - "мыши плакали, кололись...", оно неудобно.

Katy
Ну и вдогонку - чем забирают данные из SAP ERP/SAP BW?
В SAP XI трафик платный, напрямую в базу лезть запрещено. Какие коннекторы для вытаскивания больших объемов, например в MSSQL, имеет смысл посмотреть?

А SAP XI/PI тут как-бы и не нужен. Есть Microsoft Connector for SAP BW для SSIS, но поженить его с SAP BW - тот еще кусок работы.
1 июн 18, 15:37    [21461731]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 448
Katy,

И еще вдогонку - для SSIS SAP BW Connector на стороне SAP BW должен быть поднят SAP BW Open HUB, который требует своей лицензии. Обычно Open Hub не покупают.
1 июн 18, 15:49    [21461792]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Katy
Member

Откуда: Екатеринбург-Москва
Сообщений: 841
Полковник.
Katy,

Так кто кого съел в результате объединения? Если вас, то готовьтесь мигрировать на sap bw? Если вы, пусть готовятся другие.


Пока не понятно, президент компании из Евросети, но почти все топы Связного.

Политика в данном случае не сильно интересна.
Технологически интересны +/- и именно хранилища, а не интерфейсов для построения отчётности
1 июн 18, 16:16    [21461936]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 691
Katy
Полковник.
Katy,

Так кто кого съел в результате объединения? Если вас, то готовьтесь мигрировать на sap bw? Если вы, пусть готовятся другие.


Пока не понятно, президент компании из Евросети, но почти все топы Связного.

Политика в данном случае не сильно интересна.
Технологически интересны +/- и именно хранилища, а не интерфейсов для построения отчётности


Если не обращать внимание на отдельные удачные идеи, то нет там толком хранилища. Также таблички в БД хранятся, как у всех. Без архитектора все равно будет помойка. Только чтобы это все заработало, нужно очень хорошо знать инструменты, которые жутко монструозные и унылые. Плюс к этому всю линейку мало кто знает, каждый сапёр со с сертификатом на конкретный болт и гайку.
1 июн 18, 17:52    [21462206]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
soulsurfer
Member

Откуда:
Сообщений: 324
Привет. Попробую рассказать свое мнение.
Katy
Не холивара для, а лишь с желанием разобраться.
SAP BW позиционируется как система для построения корпоративных хранилищ над SAP.
Но из того что я сейчас вижу, концептуально она больше похожа на qlikView (разве что с менее удобным интерфейсом для построения отчетов). В том числе и потому, что dwh должен не только консолидировать/чистить данные/хранить большие объемы, но и уметь их отдавать простым способом разным потребителям.

Небольшой экскурс в историю: SAP BW исторически появился и развивался не как отдельная система DWH, а модуль SAP ERP. Точнее, он вырос из модуля CO-PA (Controlling - Profitability Analysis). Поэтому у него была куча родовых болячек, обусловленных тесной связью с ABAP-экосистемой. Да, для кастомизации SAP BW надо знать ABAP.
Нет, на кликвью он не похож от слова "совсем", но это тема целой отдельной статьи. Вкратце: она очень правильно сделана с точки зрения теории DWH (недаром в создании SAP BW поучаствовал Билл Инмон), но до перехода на SAP HANA с производительностью и, так скажем, ability to execute было не очень волшебно.
Основным объектом в SAP BW сейчас является DSO (Data Store Object): семантически единый объект с ключом, физически обычно 3 таблицы "new data queue", "active data" и "change log", консистентность которых обеспечивается самой SAP BW. Но число таблиц может быть и 5, например, если будут полу-аддитивные меры в структуре DSO.
Katy
Есть ли кто то, кто "умеет готовить" и SAP BW и другие системы для DWH (например какие то mpp базы).
Поделитесь опытом: какие +/- sap bw?

Сейчас, в принципе, фичи SAP BW уходят в состав SAP HANA (интегрируются, так же впрочем как SAP Data Services мутируют в SAP HANA Smart Data Integration). Т.е. SAP BW становится версией SAP HANA для DWH, но куда вывернет кривая дорожка саповских маркетологов - предсказать сложно. Поэтому в каком-то смысле можно сказать, что SAP BW становится MPP системой из-за ханы.
Katy
Есть ли примеры компаний, в которых учетная система в SAP, но при этом DWH на другой платформе?

Конечно, есть. Участвовал в нескольких проектах, где учетная система SAP ERP, а ХД, например, на Oracle Exadata или MS SQL.
Можно быть и такой сценарий: из SAP ERP данные грузят в SAP BW, а оттуда в общее ХД на Oracle Exadata. Опять же архитектурно наворотить можно что угодно :)
Katy
Ну и вдогонку - чем забирают данные из SAP ERP/SAP BW?
В SAP XI трафик платный, напрямую в базу лезть запрещено. Какие коннекторы для вытаскивания больших объемов, например в MSSQL, имеет смысл посмотреть?

Официальный путь: SAP Java Connector ( sapjco.jar ). Через него коннектятся многие ETL тулы, например Oracle Data Integrator. Это если про обычную SAP BW. Если же у нас HANA, то объекты BW транслируются в SAP HANA Calculation View, и их можно (как впрочем и физические таблицы) можно вытащить через JDBC.
1 июн 18, 17:59    [21462216]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Katy
Member

Откуда: Екатеринбург-Москва
Сообщений: 841
soulsurfer
Katy
Есть ли примеры компаний, в которых учетная система в SAP, но при этом DWH на другой платформе?

Конечно, есть. Участвовал в нескольких проектах, где учетная система SAP ERP, а ХД, например, на Oracle Exadata или MS SQL.
Можно быть и такой сценарий: из SAP ERP данные грузят в SAP BW, а оттуда в общее ХД на Oracle Exadata. Опять же архитектурно наворотить можно что угодно :)


soulsurfer, спасибо за подробный ответ.
Какие были основные причины выбора такой архитектуры?
Кроме очевидной: купить hana и перевести bw на неё при относительно больших объемах вероятно было дороже, чем построить dwh на другой mpp.
2 июн 18, 14:55    [21463108]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3442
Katy
soulsurfer
пропущено...

Конечно, есть. Участвовал в нескольких проектах, где учетная система SAP ERP, а ХД, например, на Oracle Exadata или MS SQL.
Можно быть и такой сценарий: из SAP ERP данные грузят в SAP BW, а оттуда в общее ХД на Oracle Exadata. Опять же архитектурно наворотить можно что угодно :)


soulsurfer, спасибо за подробный ответ.
Какие были основные причины выбора такой архитектуры?
Кроме очевидной: купить hana и перевести bw на неё при относительно больших объемах вероятно было дороже, чем построить dwh на другой mpp.

hana - худшая mpp субд про которые я слышал отзывы.
4 июн 18, 09:05    [21465237]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 691
Ferdipux
Katy,

И еще вдогонку - для SSIS SAP BW Connector на стороне SAP BW должен быть поднят SAP BW Open HUB, который требует своей лицензии. Обычно Open Hub не покупают.


Точно. Open HUB нужен.
4 июн 18, 09:11    [21465256]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
soulsurfer
Member

Откуда:
Сообщений: 324
Katy
Какие были основные причины выбора такой архитектуры?
Кроме очевидной: купить hana и перевести bw на неё при относительно больших объемах вероятно было дороже, чем построить dwh на другой mpp.

Очевидной тут является другая причина: так исторически получилось :)
В одном случае, SAP ERP была далеко не единственной исходной системой, из которой надо было забирать данные - их там было больше 10. И в DWH она интегрировалась далеко не первой по очереди, поэтому там уже было ХД на оракле. Но так сложилось, что напрямую из ERP в оракл было слегка геморойно, ну и в результате междепартаментного противостояния (базис ERP насмерть стоял против лазания напрямую в продакшн базы всяких там ораклистов) компромиссным решением стала SAP BW, как промежуточная прослойка. Ну и часть бизнес-логики предрасчитывалась при загрузке в SAP BW, а загрузка в Oracle стала простой загрузкой дельты 1:1.

В другом случае: обычная ситуация больших корпораций, когда каждый департамент пилит свое DWH, и у одних была SAP BW, а у других было DB2. Топ-менеджмент волевым решением объявил о создании нового главного DWH на Оракле. Ну в общем вы поняли :)

Ivan Durak
hana - худшая mpp субд про которые я слышал отзывы.

Она не худшая - она перерекламированная. Саповские маркетологи едят свой хлеб конечно не зря, но они слишком уж бегут впереди паровоза. Если бы, например, Вертику так агресивно пиарили и позиционировали как решение огромного списка задач, то худшей была бы она. Хана не плохая и не хорошая - она инструмент, который продается и используется слишком часто непрофессионально или неуместно.
4 июн 18, 11:56    [21465922]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3442
https://habr.com/company/tinkoff/blog/310620/

вот например единственное прличное сравнение ханы с другими mpp для целей DWH.
4 июн 18, 15:35    [21467022]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 30388
Блог
что вертика, что хана - по ним почти нет вакансий, это вполне показывает их популярность
mpp или big data реально нужны всего лишь десятку компаний в РФ
4 июн 18, 16:54    [21467344]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
soulsurfer
Member

Откуда:
Сообщений: 324
Критик,
а я и не в РФ живу. В Германии, например, проектов по Хане хватает.
4 июн 18, 17:09    [21467406]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 1991
Реально нужны десятку, а используют их больше пятидесяти, это точно.

Vertica неплохая бд, но как-то умерила свою маркетинговую активность. Сначала, когда зашла в РФ, очень активно работала, и окучила с десяток клиентов. А потом приуныла. Видимо, это связано с тем, что её купила какая-то трэш контора, которая занимается поддержкой каких-то легаси продуктов, типа борланда. Я так и думал, что так будет.

У SAPa все его поделки УГ(Hana, BW и иже с ними). Есть нормальная БД, купленная - Sybase IQ. Но SAP не ведет его продвижение, сконцентровав силы на своих унылых поделках. Обычная история, когда мейджор покупает нормальный продукт и окукливает его.
4 июн 18, 17:28    [21467488]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Katy
Member

Откуда: Екатеринбург-Москва
Сообщений: 841
Ivan Durak
https://habr.com/company/tinkoff/blog/310620/
вот например единственное прличное сравнение ханы с другими mpp для целей DWH.

Тут сравнивается hana c mpp.
Разные mpp мы так же тестировали, когда выбирали vertica в 2014 году.
Кому интересно, могу прислать табличку сравнения.
Hana не рассматривали из-за цены на объем 10Тб.

Сейчас задача странная, сравнить sap bw над oracle и dwh на vertica :)
4 июн 18, 17:36    [21467518]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 691
Katy
Ivan Durak
https://habr.com/company/tinkoff/blog/310620/
вот например единственное прличное сравнение ханы с другими mpp для целей DWH.

Тут сравнивается hana c mpp.
Разные mpp мы так же тестировали, когда выбирали vertica в 2014 году.
Кому интересно, могу прислать табличку сравнения.
Hana не рассматривали из-за цены на объем 10Тб.

Сейчас задача странная, сравнить sap bw над oracle и dwh на vertica :)


А зачем BW, если остальная инфраструктура не будет на SAP. SAP очень громоздкий, только на поддержку уйдет куча человеко-часов. Тем более поверх оракла, который тоже потребует внимания. Если бы была HANA, то можно было бы посравнивать, но Оракл, карл.

Не хотите посравнивать не фичи продуктов, а то как ваш процесс разработки и изменений ляжет на SAP BW. Там могут вылезти неприятные сюрпризы.
4 июн 18, 18:17    [21467620]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 30388
Блог
Katy
Сейчас задача странная, сравнить sap bw над oracle и dwh на vertica :)


Если это нужно для менеджмента, которому не интересны технологические подробности, то достаточно сравнить
- цену годовой поддержки от вендора;
- цену железа (наступит end-of-life железа - нужно закупать новое, сколько это будет стоить?);
- доступность специалистов, как по количеству, так и по цене (через эйчар-департамент простым мониторингом hh.ru);

Первые два пункта очень индивидуальны (возможны скидки до 70% в зависимости от объема закупки), поэтому их никто не подскажет.

ps я бы и вертику убил )
достаточно иметь расчетный сервер (без пользователей) + сервер витрин на MS SQL + холодный резерв + СХД на пару сотен дисков с 24 часовой поддержкой. Узкое место как правило - СХД, что решается кэшированием внутри него на SSD, отдельной карточкой в качеству расширителя буферного пула сиквела или просто закупкой ОЗУ.
4 июн 18, 18:56    [21467677]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Katy
Member

Откуда: Екатеринбург-Москва
Сообщений: 841
Критик, это интересно для топ менеджеров, которых интересуют технологические подробности.

tarrus, остальная инфраструктура будет на sap. Не вся конечно.
4 июн 18, 21:31    [21467894]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Katy
Member

Откуда: Екатеринбург-Москва
Сообщений: 841
tarrus
Не хотите посравнивать не фичи продуктов, а то как ваш процесс разработки и изменений ляжет на SAP BW. Там могут вылезти неприятные сюрпризы.

Да, это тоже рассматриваю как один из аргументов.
4 июн 18, 21:32    [21467896]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 691
Katy
Критик, это интересно для топ менеджеров, которых интересуют технологические подробности.

tarrus, остальная инфраструктура будет на sap. Не вся конечно.


Тогда ответ вы знаете :)
5 июн 18, 10:11    [21468798]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3442
Katy
Ivan Durak
https://habr.com/company/tinkoff/blog/310620/
вот например единственное прличное сравнение ханы с другими mpp для целей DWH.

Тут сравнивается hana c mpp.
Разные mpp мы так же тестировали, когда выбирали vertica в 2014 году.
Кому интересно, могу прислать табличку сравнения.
Hana не рассматривали из-за цены на объем 10Тб.

Сейчас задача странная, сравнить sap bw над oracle и dwh на vertica :)

давай таблицу сравнения - всем интересно
5 июн 18, 10:29    [21468871]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3442
Katy
Hana не рассматривали из-за цены на объем 10Тб.

а меньше размер смысла не имеет на MPP ставить.
В итоге хана подтверждает реноме худшего mpp решения.
5 июн 18, 10:30    [21468875]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3442
Критик
ps я бы и вертику убил )
достаточно иметь расчетный сервер (без пользователей) + сервер витрин на MS SQL + холодный резерв + СХД на пару сотен дисков с 24 часовой поддержкой. Узкое место как правило - СХД, что решается кэшированием внутри него на SSD, отдельной карточкой в качеству расширителя буферного пула сиквела или просто закупкой ОЗУ.

ну не надо насиловать бедный мс.
На мое имхо - идеален сейчас гринплам - OPEN SOURCE mpp уже вполне приличного качества.
на 10-20 тб будет просто идеален. Дешевле вертики и сравнимо по перформансу.
5 июн 18, 10:32    [21468882]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
iShvedsky
Member

Откуда:
Сообщений: 21
Есть Microsoft Connector for SAP BW для SSIS, но поженить его с SAP BW - тот еще кусок работы.


Если забирать инфу из кубов (DSO) без иерархии, то можно попробовать SAP BW OLE DB Provider. Вот, например, структура BW через этот OLE DB Provider в Экселе.

К сообщению приложен файл. Размер - 60Kb
5 июн 18, 14:06    [21469674]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Katy
Member

Откуда: Екатеринбург-Москва
Сообщений: 841
Ivan Durak
Критик
ps я бы и вертику убил )
достаточно иметь расчетный сервер (без пользователей) + сервер витрин на MS SQL + холодный резерв + СХД на пару сотен дисков с 24 часовой поддержкой. Узкое место как правило - СХД, что решается кэшированием внутри него на SSD, отдельной карточкой в качеству расширителя буферного пула сиквела или просто закупкой ОЗУ.

ну не надо насиловать бедный мс.
На мое имхо - идеален сейчас гринплам - OPEN SOURCE mpp уже вполне приличного качества.
на 10-20 тб будет просто идеален. Дешевле вертики и сравнимо по перформансу.

С гринплам у нас смешно получилось. Те кто нам его "продавал", за две недели не смогли инсталировать его на наши сервера. В итоге он вышел из списка систем тестирования.
5 июн 18, 15:21    [21470001]     Ответить | Цитировать Сообщить модератору
 Re: sap bw это отчетная система или полноценное хранилище? Примеры компаний с SAP + dwh на mpp  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2218
Katy
Ivan Durak
пропущено...

ну не надо насиловать бедный мс.
На мое имхо - идеален сейчас гринплам - OPEN SOURCE mpp уже вполне приличного качества.
на 10-20 тб будет просто идеален. Дешевле вертики и сравнимо по перформансу.

С гринплам у нас смешно получилось. Те кто нам его "продавал", за две недели не смогли инсталировать его на наши сервера. В итоге он вышел из списка систем тестирования.

GlowByte не смог настроить, из Москвы увезли в Минск всех знающих Greenplum людей?
6 июн 18, 00:32    [21471407]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить