Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
just_vladimir
Member

Откуда:
Сообщений: 847
Вроде в этом разделе есть большие гуру Qlik'а, подскажите, пожалуйста по такому вопросу, есть ли ограничения на количество ОЗУ в in-memory хранилище Qlik'а. Для примера накидаю варианты, которые я допускаю:
1. Да, размер ограничен максимальным размером ОЗУ сервера, на котором развернут Qlik
2. Да, есть ограничения со стороны ПО, максимум ХХХ ГБ
3. Нет, никаких ограничений нет, в случае необходимости можно собрать горизонтально масштабируемый кластер и данные будут неким образом расшардированы по разным нодам.
4. Ни один из вышеперечисленных :-)
20 мар 18, 11:21    [21270685]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5014
1. да (с учётом потребностей OS)
2. в конфиге можно настроить min\max
3. вычислительного кластера нет (при развёртывании в облаке вы ограничены ресурсами инстанса)
20 мар 18, 20:29    [21272710]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
just_vladimir
Member

Откуда:
Сообщений: 847
Дедушка,
большое спасибо!
21 мар 18, 07:41    [21273128]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
LSV
Member [заблокирован]

Откуда: Киев
Сообщений: 30818
Не помню, если ли ограничения 2Гб у 32-разрядного Клика.
Для х64 пункт 1.
21 мар 18, 15:58    [21274996]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
BI_Start
Member

Откуда:
Сообщений: 14
just_vladimir,

А это не то что Вы ищете?

https://help.qlik.com/en-US/qlikview/November2017/Subsystems/Server/Content/QlikView-Server/QVSRM_Clustering_Servers.htm

https://help.qlik.com/en-US/sense/3.1/Subsystems/PlanningQlikSenseDeployments/Content/Server/Server-Deployment-Scenarios-Multi-Node-Site.htm

https://community.qlik.com/servlet/JiveServlet/download/438140-84519/QlikView Server Reference Manual.pdf
21 мар 18, 17:28    [21275299]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1023
just_vladimir,
Вычислительный кластер есть. В России есть примеры от 2 до 16 серверов в кластере.
При этом учтите, что Qlik хорошо сжимает данные. Но надо проверять.
И есть возможность прямого обращения к данным или генерации приложений, которые "смотрят" на данные - грузят их с учетом установленных фильтров.

С Уважением,
Георгий
22 мар 18, 14:45    [21277673]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Mizantrop
Member

Откуда:
Сообщений: 46
George Nordic
При этом учтите, что Qlik хорошо сжимает данные

Я заметил эффект от сжатия только в том случае, когда исходные данные представляют собой плоскую денормализованную выборку.
Если же читать данные из нормализованной звезды в РСУБД, никакого сжатия относительно объема исходных данных не заметно...
22 мар 18, 15:14    [21277882]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5014
George Nordic
Вычислительный кластер есть.
Георгий, можно ссылку на доку?
Всё, что я видел это балансировка нагрузки и отказоустойчивость.
Ни то, ни другое не даёт вычислительный кластер, имхо.
22 мар 18, 16:13    [21278181]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
LSV
Member [заблокирован]

Откуда: Киев
Сообщений: 30818
Дедушка
Ни то, ни другое не даёт вычислительный кластер, имхо.
+1.
У КликТех свое маркетинговое понимание кластера. :)
AccessPoint просто перенаправляет на определенный клик-сервер, где поднят нужный проект.
Даже балансировки нагрузки нет, ИМХО, т.к. если всем юзерам понадобятся проекты на одном клик-сервере, то толкаться они будут на том самом одном клик-сервере, а остальные сервера будут тупо простаивать.
23 мар 18, 10:05    [21279681]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 32458
Блог
при нужде можно ведь использовать железный балансировщик
23 мар 18, 10:48    [21279866]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5014
LSV
AccessPoint просто перенаправляет на определенный клик-сервер, где поднят нужный проект.
ну, правды ради...
это один из возможных вариантов балансировки.
ещё есть рандом и по нагрузке на ноде
23 мар 18, 12:41    [21280367]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
vikkiv
Member

Откуда: London
Сообщений: 1351
Вся эта балансировка нагрузки сети или CPU если всё занято не решает главного вопроса кластера - паралелизации разбивки CPU нагрузки расчётов между множеством серверов

балансировщик сети просто перекинет на другой более широкий/свободный канал к другому серверу чисто ради лучшего трафика,

балансировщик CPU перекинет на другой сервер при 4-x CPU с нагрузки в 95% на сервер с нагрузкой в 20% но при этом всё равно будут использоваться максимум только 4 CPU

нормальный кластер со 100 серверами расчётов по 4 CPU - разобьёт это между до 400 CPU (в зависимости от алгоритмов).

с БД наверное это как минимум обработка разных партиций таблиц на каждый сервер

так что согласен, продаваны часто (яко-бы случайно, но при ближайшем рассмотрении смещение таких ошибок очевидно в одну сторону) подменяют понятия обманывая клиентов, и как следствие из-за ассоциации с продуктом - создают ему только негативный имидж.
23 мар 18, 13:24    [21280588]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Sergey Polekhin
Member

Откуда:
Сообщений: 1
Здесь много писали и на разные темы, но правда в том, что необходимо корректно использовать терминологию. Чтобы не получилось, что сравниваем, например, "машины", а при этом каждый из участников понимает под термином "машина" различные по сути вещи. Кто-то - автомобиль, кто-то стиральную машину, а кто-то - сильного боксёра-победителя всех чемпионатов.
При этом каждая из машин имеет свой смысл и пользу. Одна не хуже другой и каждая предназначена для решения конкретных задач.

Исходя из вышесказанного по пунктам:
1. Движок Qlik способен эффективно использовать весь объем RAM, предоставляемый ему операционной системой (ОС). Предоставляет ли ОС всю память или ее часть - это вопрос к операционной системе. На данный момент требуемая ОС - Wiindows Server x64. В бета-версии - Linux. Клиент - любой современный HTML5-веб-браузер, в котором выполняются все задачи: создание аналитических приложений, работа с ними и администрирование всех настроек сервера.
2. Ограничений со стороны движка Qlik Sense на объем RAM - нет
3. Кластер собрать, безусловно, можно. Но нужно понимать, что именно вы ждете от кластера в контексте задач, для которых создан Qlik:
3.1. Кластер "из коробки" - это кластер предназначенный для балансировки нагрузки и повышения доступности.
3.2. Кластеризация "из коробки" поддерживается на любом из трех уровней и настраивается в любых комбинациях: кластеризация на уровне загрузки данных, кластеризация на уровне обслуживания пользователей (с автоматической балансировкой нагрузки путем перенаправления пользователей на наименее загруженные узлы), кластеризация на уровне Proxy (протоколы доступа, аутентификация, авторизация). Если требуется, то сверху можно еще поставить и балансировщик сетевых пакетов (Network Load Balancing)
3.3. Благодаря наличию богатейшего API (JavaScript API), возможно использование движков Qlik для создания действительно распределённых вычислений, при котором на каждый из узлов отправляется свое расчетное задание, а затем результаты собираются вместе. Но нужно понимать, что этот сценарий несмотря на гипотетический интерес имеет очень слабое отношение к задачам управленческой аналитики, для которых и создается Qlik как инструмент.
3.3.1. Для тех, кому действительно требуются массовые расчеты, например, в сценариях действительно сложной мат. статистики, следует использовать для этого целевые инструменты типа R, Matlab и т.п.
Движок Qlik к ним можно подключить с использованием соответствующих коннекторов, разработанных на упомянутом выше API.

Итог: возможно многое, если с умом подходить как к задаче, так и к выбору инструмента для ее решения. Поиск универсального инструмента для решения всех возможных классов задач - разговор "ни о чём", ибо попахивает отсутствием профессионализма.
11 апр 18, 18:23    [21330832]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5014
Sergey Polekhin
ибо попахивает отсутствием профессионализма.

стоило ради этого регистрироваться?
11 апр 18, 18:33    [21330864]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
Поиск универсального инструмента для решения всех возможных классов задач - разговор "ни о чём", ибо попахивает отсутствием профессионализма.

На мой взгляд, непрофессионально выбирать решение под первую попавшуюся узкую задачу, поскольку для другой задачи потребуется другое решение, и получится зоопарк. Профессиональный подход - спрогнозировать задачи на годы вперед, и выбрать решение, которое максимально их позволит решить. Если учесть, что всем нужны дашборды, отчеты, гибкость в анализе данных, моделирование, бюджетирование, прогнозирование и оптимизация, то вроде как кроме платформы IBM других вариантов еще не придумали ;)
12 апр 18, 06:34    [21331707]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 217
Jurii
кроме платформы IBM других вариантов еще не придумали ;)

Скажите, а как так сложилось, что ни кто не смог повторить успех subj? Cognos/IBM всех патентами зажали, что ли?
12 апр 18, 14:05    [21333337]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
кроме платформы IBM других вариантов еще не придумали ;)
Скажите, а как так сложилось, что ни кто не смог повторить успех subj? Cognos/IBM всех патентами зажали, что ли?

В 90-е годы в среднем тратилось много времени на разработку информационных систем, в том числе решений BI/бюджетирования/прогнозирования/оптимизации. Было мало стартапов, которые по-быстрому запилили какой-то красивый но ограниченный функционал. Не все вендоры были успешными. Но у компании Cognos получился BI с прекрасной гибкостью, у компании Applix получилась прекрасная многомерная база данных. Удачными решениями оказались SPSS и iLog. Каждое из этих решений было лидером в своем классе. А когда в итоге IBM купила эти решения - то получился недосягаемый Dream Team. Есть компании, которые тратят годы, стараются создать что-то подобное TM1 (например, Anaplan) или что-то подобное Cognos BI/Analytics (таких компаний очень много), но у них не хватает ресурсов для создания сложной навороченной функциональности. Так что у IBM в свое время не было нормального софта, но покупки активов вывели их в лидеры.
12 апр 18, 17:43    [21334421]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5014
Jurii,

что... картинки 21223428 врут? :)
12 апр 18, 21:17    [21334948]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли ограничения на объем ОЗУ в Qlik'е  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
2 Дедушка:

что... картинки врут? :)

Это только BI, причем не совсем полноценный (с тех пор как Gartner кардинально изменил свои критерии оценки). Свободно перетаскивать нужную информацию (мемберы, сеты, тьюплы, их пересечения, и т.п.) на экран пользователь Клика, Табло и МС не может без помощи ИТ специалистов. Я уж не говорю про моделирование, прогнозирование и оптимизацию. Возможно Gartner защищает интересы тех серьезных компаний, у которых уже есть IBM, чтобы менее серьезные компании не могли у себя построить аналитику и повысить свою эффективность, стать конкурентоспособными. Да и в целом пользователями Клика, Табло и МС легче управлять, это важно для политиков ;)
13 апр 18, 01:39    [21335297]     Ответить | Цитировать Сообщить модератору
Все форумы / OLAP и DWH Ответить