Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4]      все
 Re: Qlik продался Thoma Bravo  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 217
Кэптен
Тот же ETL от Qlik - тема отдельной дискуссии

Ага :) НО! Свою задачу он решает отлично. Под конкретный дашборд с его помощью можно подготовить любые данные. Как только масштаб источников данных и дашбордов-потребителей начнет расти, нужно сказать "стоп" и перенести эту логику на уровень хранилища в полноценную среду ETL. "Перенести" -- это не обязательно переделать; если расчетные данные из скрипта Клика всех устраивают, то можно тупо встроить их вызов в общий ETL по типу внешней программы. Но до такого масштаба еще нужно компании дорасти, Клик должен завоевать умы и сердца в куче подразделений :)

На семинаре по Клику Георгий и его коллега рассказывали, что вендор предлагает отдельный инструмент для визуализации потоков преобразования данных. Но он почему-то совсем не пользуется спросом, ни у нас, ни на западе. Клиентов, получается, устраивает существующий "скриптовый ETL".

Георгий, можешь прокомментировать, как реальные клиенты справляются с накопленным багажом? Есть успешный опыт рефакторинга скриптов и отчетов Клика после N лет эксплуатации?
21 июн 16, 21:47    [19320726]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1896
Кэптен
Интересно сравнить что за база такая у QlikView (файлики qvd - например отсутствие безопасности) с той же MS или Oracle (что также бесплатно входит в поставку Oracle BI SEO).

Какая такая безопастность.
Всех пытаются в облако переселить, а Вы безопастность.
Все данные у пользователях в плоских выгрузках в Excel, уверен если пороетесь и у себя найдете.
Ну а если по существу, файлики при нормальной архитектуре лежат на сервере, где собирается модель, пользователи туда на файловом уровне доступа не имеют. Разве у Oracle и MS не так, все умеют на Oracle при наличии прав админских прав на ОС сервера восстанавливать пароль Oracle.
Вы сначала лишите пользователей Excel выгрузок, потом обсудим безопастность.
22 июн 16, 09:24    [19321557]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5019
SpellBuilder
Вы сначала лишите пользователей Excel выгрузок, потом обсудим безопастность.
к революции призываете? вас же "тётки из бухгалтерии" порвут как тузик грелку... :)
22 июн 16, 10:50    [19321840]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Кэптен
Member

Откуда: Kiev
Сообщений: 211
SpellBuilder
Кэптен
Интересно сравнить что за база такая у QlikView (файлики qvd - например отсутствие безопасности) с той же MS или Oracle (что также бесплатно входит в поставку Oracle BI SEO).

Какая такая безопастность.
Всех пытаются в облако переселить, а Вы безопастность.
Все данные у пользователях в плоских выгрузках в Excel, уверен если пороетесь и у себя найдете.
Ну а если по существу, файлики при нормальной архитектуре лежат на сервере, где собирается модель, пользователи туда на файловом уровне доступа не имеют. Разве у Oracle и MS не так, все умеют на Oracle при наличии прав админских прав на ОС сервера восстанавливать пароль Oracle.
Вы сначала лишите пользователей Excel выгрузок, потом обсудим безопастность.

Мы обсуждаем как должно быть и как есть в продуктах, в частности у Клика, а вы оперируете терминами "сам дурак", т.е. перехода на личности/частности :)
У правильных компаний в основных системах запрет на массовый экспорт в Эксел, данные можно выгружать по одиночным сущностям, а не весь поток.
Плюс контроль доступа к базам данных.
У Клика же кто к серверу добрался, тот все файлики и скачал.

И про облака - там вопрос безопасности такой же, плюс еще есть ньюансы ;) Т.е. побольше вопросик.
22 июн 16, 10:59    [19321880]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
slovnet
Member

Откуда:
Сообщений: 133
Кэптен,

1. В любой базе данных - кто внутрь попал - всю базу скачал.
2. В Клике можно запретить/ограничить выгрузку в эксель хоть по сущностям, хоть по полям, хоть по юзерам и т.д.
3. С одной стороны сравниваете Клик с продуктами БД/ХД, а с другой сравниваете цены Клика ц ценами на визуализаторы от этих вендоров. И всё это в дискурсе одного сравнения. Некорректно.
22 июн 16, 11:19    [19321978]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Кэптен
Member

Откуда: Kiev
Сообщений: 211
slovnet
Кэптен,

1. В любой базе данных - кто внутрь попал - всю базу скачал.

Учим матчасть, например, что такое защита от привилегий со стороны DBA.
В качестве источника куда копать, у Oracle это Data Vault. ;)
22 июн 16, 11:26    [19322016]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
slovnet
Member

Откуда:
Сообщений: 133
С удовольствием подучу матчасть (Я не DBA, мне не стыдно этого не знать:). Не очень понял, как можно самому себе дать привилегии которых у тебя нет. А если находишься уже внутри как админ - что мешает просто всё выкачать? И чем отличается от зайти как админ на сервер QV и скачать файлики? Ну и понятно что скачивание файликов тоже можно легко засечь инструментарием сисадмина.

И ещё - у Вас есть статистика - скольким процентам организаций реально нужен (и экономически оправдан) такой уровень защиты? А сколько используют этот самый Data Vault в том же Оракле?

А как ответите на эти вопросы - смотрите в пункты 2-3 моего предыдущего коммента. Клик занимает свою нишу и берёт за это приемлемую цену.

Видел его успешное применение на:
1. небольший предприятиях по 20-30 BI-юзеров где он да, заменяет и ETL и ХД за гораздо меньшие деньги и при этом для этих организаций достаточен.
2. большом финансовом холдинге, а также компании телевизионной трансляции и т.п. - там он над ХД и работают на нём сотни и тысячи юзеров.
22 июн 16, 12:16    [19322362]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5019
Дж. Свифт. Путешествия Гулливера
Всеми разделяется убеждение, что варёные яйца при употреблении их в пищу испокон веков разбивались с тупого конца; но дед нынешнего императора, будучи ребёнком, порезал себе палец за завтраком, разбивая яйцо означенным древним способом. Тогда император, отец ребёнка, обнародовал указ, предписывающий всем его подданным под страхом строгого наказания разбивать яйца с острого конца.
22 июн 16, 13:31    [19322745]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Владимир Штепа
Member

Откуда: Hannover
Сообщений: 6003
George Nordic
которая по выбору фильтров не просто динамически пересчитывать показатели, а еще и подкрашивает не попавшие в выборку данные.


Этого сейчас только нет у ленивого.

George Nordic
Не просто набрасывая отчеты поверх подготовленной ит-специалистами модели данных, но позволяя ему самостоятельно подгружать данные и строить отчеты.


Если данные хостятся на сервере клика, то юзер туда ничего не подмешает, даже с изоляцией только для себя.
Хотите смешивать банные с разных источников, берите свой боченок.
То что движек клика очень хорош, это безспорно. Но по итуитивности построения разных визуализаций его уже многие обскакали.
Интерфейс виндового клиента клика уже подзамшел, а это значит, что не до него, хотя в руках аналитика это первый инструмен.
Сенс еще не дозрел и для серьезных моделей взрослеть должна.

George Nordic
По функциональности, согласно BARC, мы оставляем позади множество прочих систем, включая и Вашу любимую ;)))


Американские проститутка Gartner уже не котируется и на цену выходит "das ist fantastisch" из Вюрцбурга? Вау!
Пацаны неплохо делают агалитические обзоры, но праставленые оценки это на вкус каждого.
22 июн 16, 13:39    [19322790]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Iron Lung
Guest
Jurii,

"В Анаплане пугает то, что он похож на Клик ;) Много красивых маркетинговых слов по поводу HyperBlock, а реально это обычная реляционная СУБД ;)"

Во-первых, СУБД у Anaplan не реляционная, а многомерная. Во-вторых, Anaplan так же отличается от Qlik, как кофеварка от чашки - в кофеварке варят кофе, а из чашки его пьют. С помощью Qlik люди визуализируют данные, а в Anaplan планируют и моделируют бизнес-процессы. В третьих, судить о подобных продуктах преимущественно по их СУБД было еще более-менее адекватно году в 2005-м, а сейчас это, прошу прощения, уже маргинальное шизо.
17 авг 16, 19:41    [19554154]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
2 Iron Lung:

"В Анаплане пугает то, что он похож на Клик ;) Много красивых маркетинговых слов по поводу HyperBlock, а реально это обычная реляционная СУБД ;)"
Во-первых, СУБД у Anaplan не реляционная, а многомерная.


Откуда у Вас такая информация? Есть ли у Вас опыт работы с Anaplan? И можете ли Вы вести дискуссию не под анонимным ником?
было бы хорошо услышать мнение разработчиков Anaplan. Но пока они его не озвучили, то я по ряду признаков делаю однозначный вывод о реляционности (то есть простоте и низкой производительности) СУБД.

Во-вторых, Anaplan так же отличается от Qlik, как кофеварка от чашки - в кофеварке варят кофе, а из чашки его пьют. С помощью Qlik люди визуализируют данные, а в Anaplan планируют и моделируют бизнес-процессы.

Anaplan похож на Qlik красивыми маркетинговыми словами, и умалчиванием о катастрофических ограничениях и проблемах.

В третьих, судить о подобных продуктах преимущественно по их СУБД было еще более-менее адекватно году в 2005-м, а сейчас это, прошу прощения, уже маргинальное шизо.

Смотрите трезво на этот вопрос. Не думайте, что все облачные решения по определению работают с высокой производительностью. Модели среднего и большого размера в Anaplan тормозят, из-за простой реляционной архитектуры. Выход из этого - делать только простые модели. Многомерная архитектура (например, Hyperion Planning) работает получше. Но нормальная производительность достижима только при архитектуре, когда расчеты ведутся в оперативной памяти, например, как в ТМ1.
У Anaplan не было ресурсов для разработки серьезного по архитектуре решения.
18 авг 16, 02:35    [19555321]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
товарищъ
Member

Откуда: Минск
Сообщений: 630
Jurii, anaplan всегда заявляли, что у них in-memory и некая технология "HyperBlock"
на сколько она хороша другой вопрос, но сравнения есть (правда от вендера:)
вот vs Cognos TM1 и vs SAP BPC и вот статья про особенности подхода HyperBlock vs Cube
18 авг 16, 11:30    [19556381]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
2 товарищъ:

Jurii, anaplan всегда заявляли, что у них in-memory и некая технология "HyperBlock"
на сколько она хороша другой вопрос, но сравнения есть (правда от вендера:)
вот vs Cognos TM1 и vs SAP BPC и вот статья про особенности подхода HyperBlock vs Cube


Сравнение идет с 9 версией TM1, а версия 10, с визуальными средствами Performance Modeler, вышла более 4 лет назад.
На 1-2 миллиардах ячеек в кубе (бюджете) Anaplan начинает тормозить. А кубы бывают и по 10 миллиардов ячеек, если в них детальные аналитики, распределения на другие аналитики. Каждая пустая (!) ячейка в Anaplan занимает место (отсюда вывод, что под каждую ячейку генерится запись в реляционной таблице), а каждый гигабайт в облаке стоит очень дорого, по моим оценкам - в 1000 раз дороже, чем жесткий диск на обычном сервере в обычном облаке. Об этом Anaplan молчит.
В серьезных решениях пустые ячейки место не занимают.
18 авг 16, 13:04    [19557028]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1023
Jurii
каждый гигабайт в облаке стоит очень дорого, по моим оценкам - в 1000 раз дороже, чем жесткий диск на обычном сервере в обычном облаке.

Jurii
В серьезных решениях пустые ячейки место не занимают.
Вот тут соглашусь :DDD

С Уважением,
Георгий
18 авг 16, 13:13    [19557125]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
2 George Nordic:

каждый гигабайт в облаке стоит очень дорого, по моим оценкам - в 1000 раз дороже, чем жесткий диск на обычном сервере в обычном облаке.

Что Вы в этом нашли смешного? Вы видели расценки на аренду жесткого диска в облаке Anaplan? Думаю это сделано специально, чтобы у заказчиков не хватало денег на модель с 10 миллиардами ячеек.
18 авг 16, 13:25    [19557229]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 217
Jurii
Сравнение идет с 9 версией TM1, а версия 10, с визуальными средствами Performance Modeler, вышла более 4 лет назад

Сравнение Anaplan с TM1 опубликовано в январе 2013 года, соответственно материалы для сравнения подбиралсь еще в 2012 году.
В 2012 году основной стабильной версией была 9-я -- сужу по датам выхода релизов в материалах от IBM: http://www-01.ibm.com/software/support/lifecycleapp/PLCDetail.wss?synkey=W204762F30868K79&from=spf

Хватит рассказывать сказки про уникальные инструменты Default BI, подразумевая что только IBM развивает свои продукты все эти годы, а остальные ничего не делают, а только публикуют устаревшие сравнения.

Jurii
Модели среднего и большого размера в Anaplan тормозят, из-за простой реляционной архитектуры.
<...>
Каждая пустая (!) ячейка в Anaplan занимает место (отсюда вывод, что под каждую ячейку генерится запись в реляционной таблице)

Источник про "простую реляционную архитектуру" предъявите, пожалуйста.
В каком месте архитектуры Anaplan пустая ячейка занимает место -- на диске? в памяти? в какой области памяти с точки зрения движка расчетов?
Между утверждением "пустая ячейка в Anaplan занимает место" и "под каждую ячейку генерится запись в реляционной таблице" вообще нет связи.

Jurii
Многомерная архитектура (например, Hyperion Planning) работает получше. Но нормальная производительность достижима только при архитектуре, когда расчеты ведутся в оперативной памяти, например, как в ТМ1.

Исходные данные всех систем изначально лежат на диске, а расчеты всегда выполняются в памяти. Различия могут быть только в том, что движок делает с расчитанными данными:
1) сбрасывает после просмотра их пользователем сразу,
2) сохраняет на какое-то время в памяти или
3) сохраняет на диск чтобы в будущем их прочитать без повторного расчета.

TM1 работает по 1-му или 2-му сценарию, как я понимаю. Поправьте меня если я не прав.
Hyperion Planning/Essbase - по 3-му. При этом все данные кэшируются в памяти при ее наличии.

Кто лучше? В разных ситуация по-разному. И сильно зависит от кривизны рук внедренцев.

На правах адепта Oracle потролю TM1 -- мне рассказывали о приложениях TM1, запуск которых занимает 4-8 часов -- все это время движок выполняет расчеты на исходных данных, сохраняя результаты в памяти преждем чем дать доступ конечным пользователям.

Jurii
У Anaplan не было ресурсов для разработки серьезного по архитектуре решения.

Пожалуйста, хватит гнать пургу. Судя по рассуждениям, вы недостаточно понимаете преимущества облачной архитектуры для разработчика.

Анаплан - облако, то есть единая конфигурация железа и системные администраторы отлично знающие свою систему. Разрабатывать и развивать продукт в таких услових гораздо проще, чем делать тиражируемый софт под кучу платформ, разные системные окружения сурового ынтерпрайза, и под разной степени кривизы руки системных администраторов.

Чтобы сделать быстрый масштабируемый движок для жестко фиксированного системного окружения достаточно иметь несколько разработчиков с высоким интеллектом и хорошее понимание рынка у маркетологов и продат манагеров. Зацените пример -- Yandex ClickHouse (http://clickhouse.yandex) -- это не облако, но пример качественной внутренней разработки в аналогичных условиях -- за несколько лет, начиная с 2010-2012 (2012-й начало пром эксплуатации в самом Yandex'е) года очень небольшой командой, за зарплату, был сделан движок который рвет по производительности большинство существующих много лет коммерческих тиражных решений.
20 авг 16, 11:40    [19566895]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 217
Jurii
Не думайте, что все облачные решения по определению работают с высокой производительностью. Модели среднего и большого размера в Anaplan тормозят, из-за простой реляционной архитектуры. Выход из этого - делать только простые модели.

Не проблема сделать быстрый многомерный калькулятор. Посмотри как работают продукты на рынке, вкури математику и повтори с небольшими вариациями чтобы обойти патент. Основатель и технический архитектор Anaplan, Michael Gould https://www.linkedin.com/in/migould был до этого 9 лет разработчиком Adaytum/Cognos Planning и он хорошо должен был изучить, как делать и как не делать аналитические приложения.

Проблема, как сделать быстрый калькулятор сразу для всех пользователей -- сотен, тысяч, десятков тысяч. На рынке нет такого опыта, по крайней мере в доступном виде. Для Oracle Essbase я слышал об инсталляциях в 10К пользователей, но это что-то "за гранью". Обычно требуется очень много железа, куча всяких ухищрений для балансировки и распараллеливания и борьбы с утечками памяти.

Поэтому сложность моделей данных и ограничивают в облаках -- простую математику и маленькую детализацию данных проще параллелить. Еще вариант -- разносить модели по отдельным машинам (физическим или виртуальным), разгаричивая их на низком уровне. Но такой подход, очевидно дороже, так как ресурсы разграничиваются не гибко, не освобождаются (для моделей других клиентов) при простое, приходится перезакладываться для соблюдения SLA при пиковых нагрузках. Поэтому растет и ценник на облако при увеличении масштаба, потому что в цену заложена не только цена дискового хранения, но и процессоров и памяти, все это с запасом.

Облака пока не совершенны. Но у Anaplan'а есть растущая база пользователей, на которой можно обкатывать новые идеи по оптимизации. Так что производительность будет еще расти, а цена -- падать.
20 авг 16, 12:33    [19567008]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: Qlik продался Thoma Bravo  [new]
Майкл Гулд
Guest
Jurii, ты му**к
28 дек 17, 23:09    [21071195]     Ответить | Цитировать Сообщить модератору
 Re: Qlik продался Thoma Bravo  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
2 Майкл Гулд:

Я с Вашего позволения скормил Ваш профиль ИсИну, и похоже Ваше имя - Евгений ;) Рекламировать экспертов здесь не принято, пишите по теме OLAP и DWH.
Но если ИсИн не прав, и это Ваше фото - https://www.anaplan.com/people/michael-gould - то я готов Вам помочь с решением проблем в архитектуре Anaplan
29 дек 17, 10:45    [21071948]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4]      все
Все форумы / OLAP и DWH Ответить