Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Informix Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: "RAW device" vs "BLOCK device"  [new]
onstat-
Member

Откуда:
Сообщений: 6941
Журавлев Денис
onstat-
Когда производится индексный поиск, база с помощью упреждающего чтения
читает индексное дерево в буфера.
нонсенс.
Мы читаем одну страницу (корневую), далее смотрим что у нее внутри решаем пойти налево, читаем страницу вообще из другого гигабайта, тут не может быть упреждающего чтения, оно только мешает.


То что для индексов используется упреждающее чтение написано в доке,
я когдато уже цитировал .

Хотя могут быть случаи когда оно и не используется.
15 апр 08, 11:29    [5546756]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
svat2
Member

Откуда: Украина, Кременчуг
Сообщений: 263
Журавлев Денис

buffers=1000000
2G - получается буфер информикса в тестах с рау, и ~8G при блочных.


Журавлев Денис
svat2

В системе - 8G RAM. "Простаивают" из них ~5. Я лично для себя по результатам тестов делаю вывод, что их лучше ИСПОЛЬЗОВАТЬ.
Так отдайте их информиксу, увеличте буферс.


vasilis

А что мешает использовать всю доступную память под буферный пул Информикса ?
У вас же 64-разрядная версия.


Та я только за! :)
Вот, отдал почти всю память под Информикс и выполнил тест на RAW-devices:

$ onstat -c | grep BUFFERPOOL
BUFFERPOOL size=2K,buffers=3000000,lrus=128,lru_min_dirty=94.500000,lru_max_dirty=95.000000

$ onstat -
IBM Informix Dynamic Server Version 11.10.FC2TL -- On-Line -- Up 00:04:53 -- 7737844 Kbytes

результаты:

К сообщению приложен файл. Размер - 0Kb
15 апр 08, 11:46    [5546930]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
onstat-
Member

Откуда:
Сообщений: 6941
svat2



Та я только за! :)
Вот, отдал почти всю память под Информикс и выполнил тест на RAW-devices:

$ onstat -c | grep BUFFERPOOL
BUFFERPOOL size=2K,buffers=3000000,lrus=128,lru_min_dirty=94.500000,lru_max_dirty=95.000000

$ onstat -
IBM Informix Dynamic Server Version 11.10.FC2TL -- On-Line -- Up 00:04:53 -- 7737844 Kbytes

результаты:


Крутите упреждающее чтение в Informix и скорость посторйки индексов на raw сильно увеличится,
Также будут использоваться ресурсы процессора для сортировки, которые раньше уходили
на переброску данных между кешами в случае с блочными девайсами .

Еще хорошо бы sar -ud увидеть для всех вариантов особенно на постройке индексов.
15 апр 08, 11:57    [5547046]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
> onstat -c |grep -i direct_io
DIRECT_IO 0 # Use direct I/O for chunks (Yes = 1, No = 0)
informix@nag:~> onstat -g glo

Individual virtual processors:
vp pid class usercpu syscpu total
1 2444 cpu 2.52 0.39 2.91
2 2445 adm 0.00 0.00 0.00
3 2446 lio 0.00 0.00 0.00
4 2447 pio 0.00 0.00 0.00
5 2448 aio 0.00 0.00 0.00
6 2449 msc 0.00 0.00 0.00
7 2450 aio 0.00 0.00 0.00
8 2451 aio 0.00 0.00 0.00
9 2452 aio 0.00 0.00 0.00
10 2453 aio 0.00 0.00 0.00
11 2454 aio 0.00 0.00 0.00
tot 2.52 0.39 2.91

# strace -p 2444 -p 2448 -p 2450 -p 2451 -p 2452 -p 2453 -p 2454 -f 2>&1|grep io_
мощно инстертим и в конце onmode -c
стрейс выдает пустоту

# strace -p 2444 -p 2448 -p 2450 -p 2451 -p 2452 -p 2453 -p 2454 -f 2>&1|grep write
мощно инстертим и в конце onmode -c
[pid 2448] pwrite64(256, "\202\231\0\0\1\0i\375\360\0\1\10\330\3d\0\0\0\0\0\0\0\0"..., 2048, 80482304) = 2048
[pid 2448] pwrite64(256, "\203\231\0\0\1\0K\374\272\0\1\10\0\3\24\2\0\0\0\0\0\0\0"..., 2048, 80484352 <unfinished ...>
[pid 2451] pwrite64(256, "I\231\0\0\1\0J\374\0\0\4\10\30\0\344\7\0\0\0\0\0\0\0\0"..., 2048, 80365568 <unfinished ...>
[pid 2450] pwrite64(256, "\202\231\0\0\1\0\204\374\374\0\1\10\10\4\4\0\0\0\0\0\0"..., 2048, 80482304 <unfinished ...>
[pid 2451] <... pwrite64 resumed> ) = 2048
[pid 2448] <... pwrite64 resumed> ) = 2048
[pid 2450] <... pwrite64 resumed> ) = 2048


> onstat -c |grep -i direct_io
DIRECT_IO 1 # Use direct I/O for chunks (Yes = 1, No = 0)
> onstat -g glo
vp pid class usercpu syscpu total
1 2559 cpu 2.45 0.43 2.88
2 2560 adm 0.00 0.00 0.00
3 2561 lio 0.00 0.00 0.00
4 2562 pio 0.00 0.00 0.00
5 2563 aio 0.00 0.00 0.00
6 2564 msc 0.00 0.00 0.00
7 2565 aio 0.00 0.00 0.00
8 2566 aio 0.00 0.00 0.00
9 2567 aio 0.00 0.00 0.00
10 2568 aio 0.00 0.00 0.00
11 2569 aio 0.00 0.00 0.00


# strace -p 2559 -p 2563 -p 2565 -p 2566 -p 2567 -p 2568 -p 2569 -f 2>&1|grep write
мощно инстертим и в конце onmode -c
показывает запись в онлайнлог
[pid 2559] write(6, "12:10:36 ", 10) = 10
[pid 2559] write(6, "Booting Language <spl> from modu"..., 37) = 37

# strace -p 2559 -p 2563 -p 2565 -p 2566 -p 2567 -p 2568 -p 2569 -f 2>&1|grep io_
мощно инстертим и в конце onmode -c
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {}{0, 1000000}) = 0
[pid 2559] io_getevents(1077178368, 1, 100, {}{0, 1000000}) = 0
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {}{0, 1000000}) = 0
[pid 2559] io_getevents(1077178368, 1, 100, {}{0, 1000000}) = 0
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1

Причем работает уже cpu а не aio как в первом случае.
-----------------------------------------------------------------------------------------------------------------------------------------
А вазелин еще надо заслужить.
15 апр 08, 12:18    [5547255]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
svat2
Member

Откуда: Украина, Кременчуг
Сообщений: 263
onstat-

В предыдущем тесте попробуйте поиграться с параметрами упреждающего чтения Informix при использовании RAW , думаю разница очень сильно сократится, може быть даже вы получите
выигрыш на RAW если на предыдущих тестах процессор был достаточно сильно нагружен( больше70-80 %).


Вот данные загрузки системы/процессора/РЕЙДов по последнему тесту:

К сообщению приложен файл. Размер - 0Kb
15 апр 08, 12:18    [5547259]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
vasilis
Member

Откуда: Украина, Киев
Сообщений: 2205
Журавлев Денис
вы настроили размер логического и физического лога как советует информикс, для максимальной эффективности при новых чекпоинтах?

А как советует информикс ?
15 апр 08, 12:20    [5547280]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
vasilis
Журавлев Денис
вы настроили размер логического и физического лога как советует информикс, для максимальной эффективности при новых чекпоинтах?

А как советует информикс ?


Я криво выразился видимо.

online.log

15:34:54 Performance Advisory: Based on the current workload, the logical log space might be too small to
accommodate the time it takes to flush the buffer pool.
15:34:54 Results: The server might block transactions during checkpoints.
15:34:54 Action: If transactions are blocked during the checkpoint, increase the size of the
logical log space to at least 46200 KB.
15 апр 08, 12:29    [5547381]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
svat2


Покажите-ка
# rpm -qa libaio
libaio-0.3.104-3
15 апр 08, 12:33    [5547424]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
onstat-
Member

Откуда:
Сообщений: 6941
svat2
onstat-

В предыдущем тесте попробуйте поиграться с параметрами упреждающего чтения Informix при использовании RAW , думаю разница очень сильно сократится, може быть даже вы получите
выигрыш на RAW если на предыдущих тестах процессор был достаточно сильно нагружен( больше70-80 %).


Вот данные загрузки системы/процессора/РЕЙДов по последнему тесту:


На посторойке индексов слишком низкая нагрузка на CPU, думаю общее время постройки
можно сократить в десятки раз если таблицы фрагментированы.
Если не фрагментированы прирост раза в 1,5 -2 получить тоже можно.

Сколько процов?
Фрагментированы ли таблицы?
Настраивался ли PDQ?
15 апр 08, 12:34    [5547425]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
vasilis
Member

Откуда: Украина, Киев
Сообщений: 2205
onstat-
Журавлев Денис
onstat-
Когда производится индексный поиск, база с помощью упреждающего чтения читает индексное дерево в буфера.
нонсенс.
Мы читаем одну страницу (корневую), далее смотрим что у нее внутри решаем пойти налево, читаем страницу вообще из другого гигабайта, тут не может быть упреждающего чтения, оно только мешает.

То что для индексов используется упреждающее чтение написано в доке,
я когдато уже цитировал .
Хотя могут быть случаи когда оно и не используется.

Господа, вы оба правы :)
RA используется при чтении группы листьевых страниц индекса, когда нужно прочитать ключ "от и до".
15 апр 08, 12:39    [5547497]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
vasilis
Господа, вы оба правы :)
RA используется при чтении группы листьевых страниц индекса, когда нужно прочитать ключ "от и до".
ключ? индекс ты хотел сказать.

В терминах офтопа index_range_scan VS index_fast_full_scan

Таким образом прав я в случае oltp должны быть index_range_scan и никакого ra не будет

Сообщение было отредактировано: 15 апр 08, 12:43
15 апр 08, 12:42    [5547539]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
vasilis
Member

Откуда: Украина, Киев
Сообщений: 2205
Журавлев Денис
onstat -c |grep -i direct_io
DIRECT_IO 0 # Use direct I/O for chunks (Yes = 1, No = 0)
informix@nag:~> onstat -g glo
...
# strace -p 2444 -p 2448 -p 2450 -p 2451 -p 2452 -p 2453 -p 2454 -f 2>&1|grep io_
мощно инстертим и в конце onmode -c
стрейс выдает пустоту
# strace -p 2444 -p 2448 -p 2450 -p 2451 -p 2452 -p 2453 -p 2454 -f 2>&1|grep write
мощно инстертим и в конце onmode -c
[pid 2448] pwrite64(256, "\202\231\0\0\1\0i\375\360\0\1\10\330\3d\0\0\0\0\0\0\0\0"..., 2048, 80482304) = 2048
...
> onstat -c |grep -i direct_io
DIRECT_IO 1 # Use direct I/O for chunks (Yes = 1, No = 0)
...
# strace -p 2559 -p 2563 -p 2565 -p 2566 -p 2567 -p 2568 -p 2569 -f 2>&1|grep write
мощно инстертим и в конце onmode -c
показывает запись в онлайнлог
[pid 2559] write(6, "12:10:36 ", 10) = 10
[pid 2559] write(6, "Booting Language <spl> from modu"..., 37) = 37

# strace -p 2559 -p 2563 -p 2565 -p 2566 -p 2567 -p 2568 -p 2569 -f 2>&1|grep io_
мощно инстертим и в конце onmode -c
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {}{0, 1000000}) = 0
...

Денис, если не трудно, теперь своими словами сформулируй - что ты хотел показать (доказать) этими данными ? Или кому что доказывал ?
15 апр 08, 12:43    [5547556]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
svat2
Member

Откуда: Украина, Кременчуг
Сообщений: 263
Журавлев Денис

Покажите online.log


Вложил.
Добавлю к этому:

$ onstat -l | head -20
IBM Informix Dynamic Server Version 11.10.FC2TL -- On-Line -- Up 14:01:32 -- 7737844 Kbytes

Physical Logging
Buffer bufused bufsize numpages numwrits pages/io
P-2 0 128 3931584 32507 120.95
phybegin physize phypos phyused %used
2:53 3145500 638203 0 0.00

Logical Logging
Buffer bufused bufsize numrecs numpages numwrits recs/pages pages/io
L-1 0 128 1989109 168977 4374 11.8 38.6
Subsystem numrecs Log Space used
OLDRSAM 1988196 336565196
HA 913 32868

address number flags uniqid begin size used %used
1edb8ae50 4 U-B---- 4 3:53 50000 50000 100.00
1edb8aeb8 5 U-B---- 5 3:50053 50000 50000 100.00
1edb8af20 6 U-B---- 6 3:100053 50000 50000 100.00
1edb8af88 7 U-B---- 7 3:150053 50000 50000 100.00
1edb73c50 8 U-B---- 8 3:200053 50000 50000 100.00
1edb73cb8 9 U-B---- 9 3:250053 50000 50000 100.00
1edb73d20 10 U-B---- 10 3:300053 50000 50000 100.00
1edb73d88 11 U-B---- 11 3:350053 50000 50000 100.00
1edb73df0 12 U-B---- 12 3:400053 50000 50000 100.00
1edb73e58 13 U-B---- 13 3:450053 50000 50000 100.00
1edb73ec0 14 U-B---- 14 3:500053 50000 50000 100.00
1edb73f28 15 U-B---- 15 3:550053 50000 50000 100.00
1edb73f90 16 U-B---- 16 3:600053 50000 50000 100.00

1ed149278 17 U---C-L 17 3:650053 50000 37703 75.41
1ed1492e0 18 A------ 0 3:700053 50000 0 0.00
1ed149348 19 A------ 0 3:750053 50000 0 0.00


$ cat /var/log/informix/online.log | grep "Complete," | tail -4

21:33:40 Logical Log 13 Complete, timestamp: 0x43a8647e.
07:36:34 Logical Log 14 Complete, timestamp: 0xaf6fb201.
07:36:50 Logical Log 15 Complete, timestamp: 0xaf7bb462.
08:01:49 Logical Log 16 Complete, timestamp: 0xaf87c129.

Журавлев Денис
вы настроили размер логического и физического лога как советует информикс, для максимальной эффективности при новых чекпоинтах?


Можно цитату/ссылку/страницу мануала, где можно ознакомиться с теми советами, которые имеются ввиду?
Я учитывал на всякий случай только рекомендацию делать размер физ.лога как минимут 110% от общего объема BUFFERS. Размер же лога транзакций брался с потолка.

К сообщению приложен файл (online.log.zip - 25Kb) cкачать
15 апр 08, 12:47    [5547609]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
vasilis
Денис, если не трудно, теперь своими словами сформулируй - что ты хотел показать (доказать) этими данными ? Или кому что доказывал ?

Я слабо разбираюсь в программировании таких вещей.
И я считал что в случае (DIRECT_IO 1) я увижу pwrite64 с флагом O_DIRECT. Но оказалось что там совсем другой системный вызов (io_submit). Я искренне удивлен, и буду разбираться что происходит, сюда я это написал как информация к размышлению ну например для onstat-.

Сообщение было отредактировано: 15 апр 08, 12:50
15 апр 08, 12:48    [5547625]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
vasilis
Member

Откуда: Украина, Киев
Сообщений: 2205
Журавлев Денис
vasilis
Господа, вы оба правы :)
RA используется при чтении группы листьевых страниц индекса, когда нужно прочитать ключ "от и до".
ключ? индекс ты хотел сказать.
В терминах офтопа index_range_scan VS index_fast_full_scan
Таким образом прав я в случае oltp должны быть index_range_scan и никакого ra не будет

А почему при index_range_scan не может быть RA ? В чем принципиальная разница ?
15 апр 08, 12:49    [5547635]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
vasilis
А почему при index_range_scan не может быть RA ? В чем принципиальная разница ?
может, только зачем? читаются рандомные страницы, RA будет безполезен.
15 апр 08, 12:52    [5547671]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
vasilis
Member

Откуда: Украина, Киев
Сообщений: 2205
Журавлев Денис
vasilis
Денис, если не трудно, теперь своими словами сформулируй - что ты хотел показать (доказать) этими данными ? Или кому что доказывал ?

Я слабо разбираюсь в программировании таких вещей.
И я считал что в случае (DIRECT_IO 1) я увижу pwrite64 с флагом O_DIRECT. Но оказалось что там совсем другой системный вызов (io_submit). Я искренне удивлен, и буду разбираться что происходит, сюда я это написал как информация к размышлению ну например для onstat-.

Спасибо. Теперь я перестал чувствовать себя... идиотом :))
15 апр 08, 12:55    [5547707]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
svat2

Можно цитату/ссылку/страницу мануала, где можно ознакомиться с теми советами, которые имеются ввиду?
Я учитывал на всякий случай только рекомендацию делать размер физ.лога как минимут 110% от общего объема BUFFERS. Размер же лога транзакций брался с потолка.

Читаете online.log при старте IBM Informix Dynamic Server Started.
В аттаче старта нет.
15 апр 08, 12:57    [5547732]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
vasilis
Member

Откуда: Украина, Киев
Сообщений: 2205
Журавлев Денис
vasilis
А почему при index_range_scan не может быть RA ? В чем принципиальная разница ?
может, только зачем? читаются рандомные страницы, RA будет безполезен.

Как это рандомные ?
index_range_scan - это чтение группы подряд лежащих индексных страниц с ключами (чтение диапазона значений ключа, тот же битвин). И для этого (чтения диапазона) даже не нужно подниматься на верхний уровень после каждой листьевой страницы - у них есть ссылки на следующую страницу своего уровня.
Другое дело, что диапазоны могут быть разными, в том числе и маленькими, и вполне помещаться на одну или две страницы и для этого RA не понадобится. Но для большого диапазона (или индексов с большими ключами, а значит большим количеством страниц) это будет очень даже полезно. Вот тут и должен помочь прогноз оптимизатора по количеству возвращаемых строк.
15 апр 08, 13:04    [5547791]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
svat2
Member

Откуда: Украина, Кременчуг
Сообщений: 263
Журавлев Денис

Покажите-ка
# rpm -qa libaio
libaio-0.3.104-3


# dpkg -l | grep libaio
ii libaio1 0.3.106-3 linux kernel aio access library - shared lib
15 апр 08, 13:05    [5547797]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
onstat-
Member

Откуда:
Сообщений: 6941
Журавлев Денис
vasilis
Денис, если не трудно, теперь своими словами сформулируй - что ты хотел показать (доказать) этими данными ? Или кому что доказывал ?

Я слабо разбираюсь в программировании таких вещей.
И я считал что в случае (DIRECT_IO 1) я увижу pwrite64 с флагом O_DIRECT. Но оказалось что там совсем другой системный вызов (io_submit). Я искренне удивлен, и буду разбираться что происходит, сюда я это написал как информация к размышлению ну например для onstat-.



Спасибо, это действительно полезная информация.
Мне тоже в этом нужно еще разбираться.
15 апр 08, 13:06    [5547819]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
vasilis
Member

Откуда: Украина, Киев
Сообщений: 2205
onstat-

В предыдущем тесте попробуйте поиграться с параметрами упреждающего чтения Informix при использовании RAW , думаю разница очень сильно сократится, може быть даже вы получите
выигрыш на RAW если на предыдущих тестах процессор был достаточно сильно нагружен( больше70-80 %).

Я НЕ "думаю разница очень сильно сократится" в данном тесте при использовании каких бы то ни было параметров RA (хотя всегда стараюсь его использовать по максимуму :)

onstat-
На посторойке индексов слишком низкая нагрузка на CPU, думаю общее время постройки можно сократить в десятки раз если таблицы фрагментированы.
Если не фрагментированы прирост раза в 1,5 -2 получить тоже можно.

Думаю, что на постройке индексов можно сильно сократить время, если использовать FAQ
https://www.sql.ru/faq/faq_topic.aspx?fid=858
В данном случае нужно распараллелить сортировки, а для этого добавить несколько tempdbs (еще 3), увеличить SHMVIRTSIZE (а для 11-й версии есть даже спецпараметр для сортировок), установить PDQPRIORITY и PSORT_NPROCS=4. Кстати, еще сделать CPUVP=4 (по кол-ву ядер)
onstat-
Сколько процов?

Один, но 4-х ядерный, если я правильно помню
onstat-
Фрагментированы ли таблицы?

вроде нет, но для блочных устройств было то же самое - не забывайте, тест проводился именно для сравнения ("RAW device" vs "BLOCK device"), а не для поиска оптимального времени загрузки.
Я правильно говорю, svat2 ? :)
onstat-
Настраивался ли PDQ?

Только для US.
15 апр 08, 13:25    [5547990]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
onstat-
Member

Откуда:
Сообщений: 6941
vasilis

onstat-
Фрагментированы ли таблицы?

вроде нет, но для блочных устройств было то же самое - не забывайте, тест проводился именно для сравнения ("RAW device" vs "BLOCK device"), а не для поиска оптимального времени загрузки.
Я правильно говорю, svat2 ? :)


Правильно то оно правильно, вот только нет никакого толку от эксперемента,
когда значения погрешности превосходит значения измеряемой величины.

Прежде чем сравнивать производительность BLOCK vs RAW нужно оценить
уровень погрешностей.

Абсолютная величина и причины недозагрузки процессора(на постройке индекса)
вносит гораздо большее влияние на производительность(погрешность) чем разница в производительности BLOCK vs RAW.

В иделале постройку индекса нужно сравнивать при нагрузке процессоров ~100%.
Тогда разница во времени будет показательна.

По этой причине и возник вопрос.
15 апр 08, 13:48    [5548184]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
svat2
Member

Откуда: Украина, Кременчуг
Сообщений: 263
onstat-

Сколько процов?
Фрагментированы ли таблицы?
Настраивался ли PDQ?


1) Проц 1, 4х-ядерный (я указывал выше)
2) дайте запрос, данные которого Вас интересуют по этому поводу
3) кроме нижеуказанного, ничего не делалось
$ onstat -c | grep -i pdq
MAX_PDQPRIORITY 90 # Maximum allowed pdqpriority
DS_NONPDQ_QUERY_MEM 128 # Non PDQ query memory (Kbytes)
15 апр 08, 14:27    [5548569]     Ответить | Цитировать Сообщить модератору
 Re: "RAW device" vs "BLOCK device"  [new]
svat2
Member

Откуда: Украина, Кременчуг
Сообщений: 263
Журавлев Денис

Читаете online.log при старте IBM Informix Dynamic Server Started.
В аттаче старта нет.


последний старт был с такими "ругательствами":

Mon Apr 14 21:34:41 2008

21:34:41 Event alarms enabled. ALARMPROG = '/usr/local/informix/etc/alarmprogram.sh'
21:34:41 Booting Language <c> from module <>
21:34:41 Loading Module <CNULL>
21:34:41 Booting Language <builtin> from module <>
21:34:41 Loading Module <BUILTINNULL>
21:34:45 DR: DRAUTO is 0 (Off)
21:34:45 DR: ENCRYPT_HDR is 0 (HDR encryption Disabled)
21:34:45 Event notification facility epoll enabled.
21:34:45 IBM Informix Dynamic Server Version 11.10.FC2TL Software Serial Number AAA#B000000
21:34:46 IBM Informix Dynamic Server Initialized -- Shared Memory Initialized.
21:34:46 Started 1 btree scanners.
21:34:46 Btree scanner threshold set at 50000.
21:34:46 Btree scanner range scan size set to 10000.
21:34:46 Btree scanner ALICE mode set to 0.
21:34:46 Physical Recovery Started at Page (2:2965167).
21:34:47 Physical Recovery Complete: 0 Pages Examined, 0 Pages Restored.
21:34:47 Logical Recovery Started.
21:34:47 10 recovery worker threads will be started.
21:34:50 Logical Recovery has reached the transaction cleanup phase.
21:34:50 Logical Recovery Complete.
0 Committed, 0 Rolled Back, 0 Open, 0 Bad Locks

21:34:52 Onconfig parameter BUFFERPOOL modified from
size=2K,buffers=3500000,lrus=128,lru_min_dirty=94.500000,lru_max_dirty=95.000000 to
size=2K,buffers=3000000,lrus=128,lru_min_dirty=94.500000,lru_max_dirty=95.000000.
21:34:52 Dataskip is now OFF for all dbspaces
21:34:52 On-Line Mode
21:34:54 SCHAPI: Started dbScheduler thread.
21:34:54 SCHAPI: Started 2 dbWorker threads.
21:35:05 Booting Language <spl> from module <>
21:35:05 Loading Module <SPLNULL>
21:35:52 Checkpoint Completed: duration was 0 seconds.
21:35:52 Mon Apr 14 - loguniq 14, logpos 0x4929018, timestamp: 0x43afecc1 Interval: 3639
15 апр 08, 14:34    [5548631]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / Informix Ответить