Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
GVF112GVF
Guest
FYI ..

IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next generation of database deployments -
http://www-01.ibm.com/common/ssi/cgi-bin/ssialias?subtype=ca&infotype=an&appname=iSource&supplier=877&letternum=ENUSZP16-0191

Kind regards,
Vadim.
12 апр 16, 15:10    [19047749]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
mitek
Member

Откуда:
Сообщений: 605
BLU MPP .... наконец-то :)
Это что-то новое или DPF на колоночных таблицах ?
В WSE в добавок к range partitioning теперь еще intra_parallel и MDC :) Но BLU-опция для неё похоже "всё" :(
12 апр 16, 16:02    [19048111]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
GVF112GVF
Guest
mitek,

Это DPF with BLU. На каждой ноде BLU но в DPF кластере ... ;-)

С уважением,
Вадим.
12 апр 16, 21:33    [19049519]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
On Wed, 20 Apr 2016 22:39:44 -0700, Jeremy Rickard wrote:

> FYI, see http://www.dbisoftware.com/blog/db2nightshow.php?id=680
>
> WMV replay at:
> http://www.dbisoftware.com/db2nightshow/20160415DB2Night177.wmv
23 апр 16, 18:19    [19097840]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
http://www.dbisoftware.com/db2nightshow/20160415DB2Night177.wmv
смотреть с 17:00

отмечу
* написание собственных агрегатных функций
create or replace function HLL(varchar(10)) returns integer
specific HLL
aggregate with(REGISTERS varchar(16) for bit data)
using 
  initialize procedure HLL_INITIALIZE
  accumulate procedure HLL_ACCUMULATE
  merge procedure HLL_MERGE
  finalize function HLL_FINALIZE

* (?) типы BINARY и VARBINARY (синонимы for bit data?)
* netezza (SET SQL_COMPAT='NPS', это session variable!!! т.е. не нужно задавать при создании базы и разные юзера могут иметь разные настройки)
(group by номерколонки, NZPLSQL, JOIN USING, NULL ORDERING...)
* 66 новых функций, в том числе regex
23 апр 16, 19:17    [19097958]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
* dsmtop вместо db2top
(remote databases, MON_GET_*, Windows)
* не рассказали про Postgres-SQL-совместимость и дополнения в Oracle-совместимости
23 апр 16, 19:24    [19097972]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Да, около 0:30:
improved performance for highly concurrent workloads
V11 revamps DB2 internal bufferpool latching protocol
significantly reduces contention
benefits most pronounced on high concurrency transaction workloads
24 апр 16, 12:10    [19098912]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Я смотрю, про Express-C теперь пишут "download trial", а Data Studio теперь так просто не найдёшь (я пока не нашёл).

http://www-01.ibm.com/support/docview.wss?uid=swg24037681

Installation Instructions

Use the following information to download IBM Data Studio Version 4.1.x and then perform a typical installation.

You download IBM Data Studio Version 4.1.x from the web. IBM Passport Advantage customers who have a DB2 license can also download IBM Data Studio Version 4.1.x from IBM Passport Advantage.

Идите на веб.
2 май 16, 15:49    [19128543]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Упс. http://www.ibm.com/developerworks/downloads/im/data/
2 май 16, 15:53    [19128556]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
http://www.dbisoftware.com/blog/db2nightshow.php?id=682 - следущее шоу, почти всё про BLU.


Встроенные хинты около 01:13:58
Пример:
SELECT S/S_NAME
FROM TPCD.SUPPLIER S
WHERE S.NAME='XYZ.CORP'
/* <OPTGUIDELINES><IXSCAN TABLE='S' INDEX='S_IX1'/></OPTGUIDELINES> */
2 май 16, 22:33    [19129391]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1016
Victor Metelitsa
http://www.dbisoftware.com/blog/db2nightshow.php?id=682 - следущее шоу, почти всё про BLU.

Встроенные хинты около 01:13:58

"Пропал дом..."
3 май 16, 11:56    [19130237]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Пока искал про DB2 LEO, наткнулся на http://wp.sigmod.org/?p=1075 (Is Query Optimization a “Solved” Problem?) - впрочем, ничего нового для меня. IBM-еры когда-то подняли тему "самообучаемости", но я не нахожу в DB2 следов её реализации (нельзя же принимать за неё reopt=always или real time statistics). Надо ещё как-нибудь совершить подвиг и попытаться понять, что там в "генетической оптимизации" в Postgres, но я уже заранее в неё не верю. Таким образом, появление наконец встроенных хинтов - признание реальности и плюс. Конечно, на самом деле они как бы давно уже, но с кучей мороки. Теперь можно удобнее проводить исследования "что если".
3 май 16, 13:31    [19130438]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Ещё любопытно: SYSCAT.COLGROUPDIST - будет ли она заполняться в 11-й версии или вообще когда-нибудь? Насколько я понимаю, это всё ещё не работает, хотя введено давно.
3 май 16, 13:49    [19130483]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Это, чтобы оптимизер предполагал, что
(select count(*) from cars where maker='Honda' and model = 'Civic')
равен
(select count(*) from cars where model = 'Civic')
а величина
(select count(*) from cars where maker='Honda' and model = 'Focus')
весьма мала (на самом деле ноль, конечно, но ноль не попадёт в частотную диаграмму)
3 май 16, 13:56    [19130507]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1016
Victor Metelitsa
...
Таким образом, появление наконец встроенных хинтов - признание реальности и плюс. Конечно, на самом деле они как бы давно уже, но с кучей мороки.

IMHO это громадный минус. Хинты вообще - не очень идеологически верная штука. Костыль, закрывающий ошибки оптимизатора.
Если запрос сформулирован верно, база знает о всех "умолчаниях", которые известны про данные программисту, оптимизатор должен найти наиболее выгодный план.
Само наличие хинтов - возможность лишний раз не задуматься о правильности запроса/дизайна базы.

Положим, ладно, оптимизатор неидеален.
Но дать возможность оторвать план от базы и впихнуть в приложение вместе с текстом запроса... Конечно так разработчику проще, коммуникаций меньше. Это значит, что теперь разработчики _никогда_ не будут пользоваться хинтами, сохраняемыми в самой базе.

Привет всем, кто будет поддерживать легаси приложения лет через 10-15.
3 май 16, 16:49    [19130871]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
CawaSPb
Victor Metelitsa
...
Таким образом, появление наконец встроенных хинтов - признание реальности и плюс. Конечно, на самом деле они как бы давно уже, но с кучей мороки.

IMHO это громадный минус. Хинты вообще - не очень идеологически верная штука. Костыль, закрывающий ошибки оптимизатора.
Если запрос сформулирован верно, база знает о всех "умолчаниях", которые известны про данные программисту, оптимизатор должен найти наиболее выгодный план.


Должен, но не может. В принципе не может. Даже на простейшем select * from одна_таблица from произвольный_предикат огромные проблемы.

Само наличие хинтов - возможность лишний раз не задуматься о правильности запроса/дизайна базы.

Наоборот. Пока хинтов не было, я планами запросов вообще не интересовался, потому что смысла не было - index adviser обычно делал свою работу, а когда это не помогало, в чудовищной информации db2expfmt было страшно разбираться, а если бы разобрался - мало что можно было предпринять. Жизнь заставила изучить Oracle, а gardenman ( https://www.sql.ru/forum/173314/explain-tablicy ) показал, как и у DB2 посмотреть план запроса в более-менее читаемом виде (я расширил и переписал тот запрос).

Я советую прочитать книжку Jonathan Lewis. Cost-based Oracle fundamentals. Хинты очень помогают разбираться в том, "что, если".

Положим, ладно, оптимизатор неидеален.
Но дать возможность оторвать план от базы и впихнуть в приложение вместе с текстом запроса... Конечно так разработчику проще, коммуникаций меньше. Это значит, что теперь разработчики _никогда_ не будут пользоваться хинтами, сохраняемыми в самой базе.


Я администрировал тройку ораклячьих систем. Разработчикам приходится писать много запросов, и нередко запросы довольно сложные. Никакого времени не напасёшся каждый оптимизировать. Если выполняется за приемлемое время - на этом всё. Таким образом, подавляющее количество запросов никаких хинтов не имеет.

Когда же в запросе хинты встроены, в Oracle есть два механизма заместить их своими (outlines, baselines), один механизм добавления своих поправок (profiles), это не считая SQL Patch. (Кажется, в 12-шке ещё что-то прибавилось). И вполне возможно и скорее всего, в новой DB2 хранимые гайдлайны будут перекрывать встроенные.
3 май 16, 21:12    [19131398]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Кстати, если разработчик будет придерживаться принципа "встроенные для тестов, отдельные в production", замещать встроенные хинты на внешние в DB2 будет много проще, чем в случае Oracle.

Ораклячьи outlines и baselines всё-таки не то, напрямую набором хинтов разработчик не управляет.

Ораклчьи outlines в некотором смысле очень похожи на хранимые планы DB2-шных статических запросов. Outline некоего запроса - де-факто набор хинтов, который теоретически должен полностью определять план (хотя Antognini показывает, что на практике не всегда). Можно скопировать этот набор хинтов outline одного запроса другому запросу - фактически тому же самому, но с другим набором встроенных хинтов, и встроенные хинты этого другого запроса будут проигнорированы в пользу хинтов outlines. А ораклячьи profiles в основном подсказывают selectivity (оптимизатор насчитал одно, тестовые запуски показали другое, и tuner в хинты профайла записывает поправку), при компиляции они прибавляются к имеющемуся набору хинтов. Baselines - расширенные outlines, возможно иметь много хранимых планов на один и тот же запрос, одни одобренные, другие нет.
4 май 16, 06:55    [19131920]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4881
CawaSPb
Victor Metelitsa
http://www.dbisoftware.com/blog/db2nightshow.php?id=682 - следущее шоу, почти всё про BLU.

Встроенные хинты около 01:13:58

"Пропал дом..."
Ещё в 8.2 пропал :)
Теперь решили рассказать, как это делать без NDA.
4 май 16, 12:45    [19133027]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Mark Barinstein
CawaSPb
пропущено...

"Пропал дом..."
Ещё в 8.2 пропал :)
Теперь решили рассказать, как это делать без NDA.

Не-е-е, описание в открытом доступе тоже давно, теперь же упростили использование, не нужно проделывать кучу манипуляций, можно прямо в запрос вставлять (с другой стороны, я согласен, в готовом приложении желательно разделять).
4 май 16, 15:12    [19133926]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Victor Metelitsa
Mark Barinstein
пропущено...
Ещё в 8.2 пропал :)
Теперь решили рассказать, как это делать без NDA.

Не-е-е, описание в открытом доступе тоже давно, теперь же упростили использование, не нужно проделывать кучу манипуляций, можно прямо в запрос вставлять (с другой стороны, я согласен, в готовом приложении желательно разделять).

Или в 10.5 и ранешних уже можно было встраивать? Занятно.
4 май 16, 15:28    [19134026]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Victor Metelitsa
Или в 10.5 и ранешних уже можно было встраивать? Занятно.

Первая попытка не удалась. Но, быть может, дело в местоположении, не показанном спецсимволе, или где-то надо выключателем щёлкнуть (db2set).
4 май 16, 23:39    [19136082]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
http://www.dbisoftware.com/blog/db2nightshow.php?id=688

несколько моментов:

BACKUP WITH NO TABLESPACES 31:45
db2relocatedb -g 32:15
ещё раз dsmtop вместо db2top 1:02:30
ещё раз improved performance for highly concurrent workloads (reduced contention) 1:05:40
по-прежнему непонятно, чем "новые" /var/binary отличаются от "старых" /var/char for bit data. Возможно, это просто одно и то же.

!!! 1:11:17:35 - Information Center http://www.ibm.biz/db2v11docs
20 май 16, 16:00    [19199229]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Впрочем, при попытке идти на http://www.ibm.biz/db2v11docs получаю - Firefox can't find the server at db2id.canlab.ibm.com.
20 май 16, 16:02    [19199246]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1016
Victor Metelitsa
Впрочем, при попытке идти на http://www.ibm.biz/db2v11docs получаю - Firefox can't find the server at db2id.canlab.ibm.com.

Из внутренней сетки работает. Сапасибо :)
20 май 16, 16:27    [19199490]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4881
IBM DB2 11.1 for Linux, Unix and Windows documentation
15 июн 16, 15:36    [19296049]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
И Express-C уже доступен.
15 июн 16, 21:24    [19297529]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4881
Регулярная версия тоже доступна.
http://www-01.ibm.com/support/docview.wss?uid=swg27007053
15 июн 16, 22:16    [19297802]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
mitek
Member

Откуда:
Сообщений: 605
Mark Barinstein
Регулярная версия тоже доступна.
http://www-01.ibm.com/support/docview.wss?uid=swg27007053

под солярку и чпукс ... "всё" ?
это теперь Oracle и HP c IBM судиться будут ? ;-))
16 июн 16, 09:46    [19298767]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Насколько я помню, раньше Express-C шёл с большой задержкой. А Express без "-C', как я понимаю, накрылся. И непонятны пока limitations у "-C'.
16 июн 16, 21:24    [19302331]     Ответить | Цитировать Сообщить модератору
 Re: IBM DB2 11.1 with BLU Acceleration, the multi-workload database software for the next gene  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4881
Victor Metelitsa
Насколько я помню, раньше Express-C шёл с большой задержкой. А Express без "-C', как я понимаю, накрылся. И непонятны пока limitations у "-C'.

Все те же.
http://www-03.ibm.com/software/sla/sladb.nsf/lilookup/631ECDFE7065EB0185257FD2004FE3A3?OpenDocument
16 июн 16, 21:49    [19302453]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2      [все]
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Ответить