Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Кто-нибудь пробовал Alenca GPU based DB ?  [new]
skorost
Member

Откуда:
Сообщений: 10
https://github.com/antonmks/Alenka

Архивация/разархивация происходит в видеокарте, пишут что скорость чтения и других функций из-за этого возрастает в 40 раз.

Правда ли это ? Кто ставил, пробовал ? Я что-то так и не понял, как создать в ней базу...
22 июл 13, 23:46    [14601629]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
skorost
Member

Откуда:
Сообщений: 10
Никто не пробовал эту супербыструю базу ?
23 июл 13, 08:01    [14602006]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
tanglir
Member

Откуда:
Сообщений: 28966
skorost, никто и не попробует, пока вы не прекратите попытки накручивать счётчики и грузить форумчан маркетинговой лапшой.
Лучше бы подробнее описали здесь, что это такое.
23 июл 13, 10:30    [14602562]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30257
skorost
Архивация/разархивация происходит в видеокарте, пишут что скорость чтения и других функций из-за этого возрастает в 40 раз.

похоже на бред
- зачем базе архивация/разархивация, или что имеется в виду?
- каким образом скорость других функций связана с архивацией-разархивацией?
23 июл 13, 11:20    [14602880]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1207
kdv
skorost
Архивация/разархивация происходит в видеокарте, пишут что скорость чтения и других функций из-за этого возрастает в 40 раз.

похоже на бред
- зачем базе архивация/разархивация, или что имеется в виду?
- каким образом скорость других функций связана с архивацией-разархивацией?


Ну, положим, архивация/разархивация - дело полезное. Компрессированные данные на диске меньше места занимают => быстрее читаются, в памяти меньше занимают => больше в "кэш" влезает.
Но...

Придумать такие специальные данные, которые будут жаться в 40 раз безусловно можно, но на практике что-то совсем жаться не будет, что-то в лучшем случае раза в два.
23 июл 13, 14:26    [14604370]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
servit
Member

Откуда: г. Кишинёв, Республика Молдова
Сообщений: 3148
Блог
CawaSPb
Придумать такие специальные данные, которые будут жаться в 40 раз безусловно можно
Вы ничего не путаете?
skorost
пишут что скорость чтения и других функций из-за этого возрастает в 40 раз
23 июл 13, 14:32    [14604427]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
CawaSPb
Ну, положим, архивация/разархивация - дело полезное. Компрессированные данные на диске меньше места занимают => быстрее читаются, в памяти меньше занимают => больше в "кэш" влезает.


Я понимаю компрессия\декомпрессия при записи\чтения с диска, которое может повлиять на производительность при проблемах с IO, но что в кэше хранить сжатые данные... 8)
23 июл 13, 16:16    [14605237]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
qwwq
Member

Откуда:
Сообщений: 2894
pkarklin
CawaSPb
Ну, положим, архивация/разархивация - дело полезное. Компрессированные данные на диске меньше места занимают => быстрее читаются, в памяти меньше занимают => больше в "кэш" влезает.


Я понимаю компрессия\декомпрессия при записи\чтения с диска, которое может повлиять на производительность при проблемах с IO, но что в кэше хранить сжатые данные... 8)
а почему нет ?


если доступ к жатому данному "бесплатен" -- что якобы обеспечено пушечным сжатием/декомпрессией видюхой - то мы фактически смотрим на него как на "виртуальный" несжатый кеш много большего размера
23 июл 13, 16:56    [14605504]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1207
servit
Вы ничего не путаете?
skorost
пишут что скорость чтения и других функций из-за этого возрастает в 40 раз


Ну а чего тут путать? То, что бывают хорошо жмущиеся данные? Почему нет.
Скорость чтения, соответствующим образом увеличится. Про "другие функции" - лажа, конечно.


pkarklin
Я понимаю компрессия\декомпрессия при записи\чтения с диска, которое может повлиять на производительность при проблемах с IO, но что в кэше хранить сжатые данные... 8)


DB2 (for LUW), к примеру, страницы таблиц, для которых включено сжатие, держит в буффер-пулах сжатыми же до момента фактического обращения непосредственно к данным (использование в предикатах (отличных от '=' и '<>')/ отдать приложению).
Т.е. в буффер-пулах они всегда остаются сжатыми - идентичными тому, что хранится на дисках, что логично.

Реальное сжатие на хорошо жмущихся таблицах - процентов 40. Есть и такие, что в 10 раз жмутся. Есть, что не жмутся вообще.

Словари создаются при reorg'ах/bulk load'ах, соответственно, компрессия/декомпрессия - операции весьма дешёвые.

PS Не рекламы ради, а информации для.
В свежей DB2 (с месяц назад вышедшей) представлены "row-based" таблицы - в страницах не строки хранятся, а содержимое одной колонки - там своё сжатие и теоретическая возможность обработки этой радости на векторных процах (или GPU). Ну т.е. об использовании векторных вычислений (реализованных в железе) для таких страниц и сжатия в них IBM пишет, но скорее всего это касается только современных Power'ов.
Что из обещаемого там маркетинговая чепуха, а сколько реально полезного - пока неясно.
23 июл 13, 18:13    [14606059]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
skorost
Member

Откуда:
Сообщений: 10
kdv,

Архивация имеется ввиду, что сжатых данных с диска читается в единицу времени больше чем не сжатых, сотни ядер видеокарты сожмут и разожмут очень быстро (процессор видеокарты мощнее обычного процессора минимум в 20 раз) и передадут разархивированные данные в необходимый софт.
23 июл 13, 18:38    [14606183]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
skorost
Member

Откуда:
Сообщений: 10
tanglir
skorost, никто и не попробует, пока вы не прекратите попытки накручивать счётчики и грузить форумчан маркетинговой лапшой.
Лучше бы подробнее описали здесь, что это такое.


Я заинтересован в быстрой базе, а не в накручивании счетчиков.

Странно что на этом форуме никто не слышал о различных плагинах которые переносят некоторые функции с обычного процессора на GPU, например, к кой-же MySQL.
23 июл 13, 18:42    [14606204]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 11472
skorost
видеокарты сожмут и разожмут очень быстро (процессор видеокарты мощнее обычного процессора минимум в 20 раз) и передадут разархивированные данные в необходимый софт.
... который уронит производительность ниже плинтуса.
На самом деле, конечно, не уронит, т.к. данные, которые жмутся в двадцать раз бывают только в рекламной мишуре.
23 июл 13, 18:43    [14606212]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
skorost
Member

Откуда:
Сообщений: 10
Basil A. Sidorov,

Мои данные нормально жмутся в 5-7 раз.

Немного обзорной информации http://dlyfar.crystalnix.com/blog/2010/10/обработка-данных-gpu/

http://it.nsu.ru/node/122

http://gpgpu.org/index.php?s=database&searchbutton=Search
23 июл 13, 18:54    [14606276]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 11472
skorost
Мои данные нормально жмутся в 5-7 раз
С двадцати перепрыгнули на пять. Уже хорошо.
Если я скажу, что "мои данные" сжимаются ещё хуже - это вас расстроит или вы продолжите вбрасывать навоз?
23 июл 13, 19:00    [14606313]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
skorost
Member

Откуда:
Сообщений: 10
Basil A. Sidorov,

иди сам вбрасывай навоз со своими навозоданными которые плохо жмутся.

пишу тем у кого все ок с головой и данными...
23 июл 13, 19:04    [14606326]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
skorost
Member

Откуда:
Сообщений: 10
skorost,

Вопрос в том что я не знаю как они там хорошо или плохо жмутся, но по тестинга типа в 30 раз нормально обходит CPU. Я не вижу в этом ничего удивительного т.к. скорость PCI-E и кол-во процессоров на видеокарте, в умелых руках и не больной головой, делают интересные штуки.
23 июл 13, 19:06    [14606335]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54799

skorost
пишу тем у кого все ок с головой и данными...

Те, у кого всё ок с головой, понимают, что серебряной пули нет. И что декомпрессия данных
- не самая затратная операция в СУБД.

Posted via ActualForum NNTP Server 1.5

23 июл 13, 19:20    [14606392]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30257
skorost
Архивация имеется ввиду, что сжатых данных с диска читается в единицу времени больше чем не сжатых

это все лабуда. Нынешние СУБД и так умеют сжимать и разжимать данные на страницах БД, но это делается не для всех типов страниц, и эта операция микроскопична по сравнению с остальными. Поэтому никакого ускорения тут быть не может.
Если база сильно больше доступной памяти, то от дискового ввода-вывода вы не избавитесь.
Если же доступно много RAM, то там хранятся уже распакованные данные, и все это "сжатие-разжатие" ни к чему.

Если же паковать базу чем-то типа RAR, то я напомню, что БД - это файл произвольного доступа, и надо иметь быстрый доступ к любой странице. При сжатии всей БД это невозможно.

p.s. я в курсе, что GPU вычисляет быстрее процессора. Но вычисления - не основная операция в СУБД.
23 июл 13, 19:27    [14606411]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30257
skorost,

цитата из вашей обзорной информации
"Практически в основе любой базы данных в качестве структуры данных для хранения лежит B-дерево."
дальше можно не читать. Хотя есть масса перлов

"степеть ветвления B-дерева может быть очень большой (хотя она обычно определяется характеристиками используемых дисков"
что-что???
"Множество обрабатываемых данных было ограничено столбцами с типами целое(int) и число одинарной точности с плавающей точкой(float)."
кому нынче нужен этот убогий float, способный хранить только 7-8 цифр?

и т.д.
23 июл 13, 19:34    [14606437]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30257
skorost,

и еще. вы проводите тест на SQLite. Но он однопользовательский. А следовательно, на нем не обрабатывают такие объемы данных, для которых потребовалось бы ускорение в 2 или даже в 5 раз. То есть, конечно, например Firefox мог бы работать с кэшем и побыстрее, только мне от этого ни холодно, ни жарко.
Парадокс в том, что хорошие видеокарты (т.е. с хорошим GPU) ставят или специально для GPU-вычислений, или для игр, или для 3d-моделирования, и т.п., но при этом ставят также и достаточно мощный процессор, потому что иначе остальные задачи будут жутко тормозить.

То есть, какие-то перспективы в вычислениях на GPU для СУБД есть. Но они или достаточно мутные, или имеют крайне узкий круг потребления.
23 июл 13, 19:43    [14606464]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
skorost
скорость PCI-E и кол-во процессоров на видеокарте, в умелых руках и не больной головой, делают интересные штуки.


Вы в курсе, что в северном оборудовании видеокарта - рудиментарный компонент и там нет большого кол-ва процессоров?
23 июл 13, 20:00    [14606506]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
skorost
Member

Откуда:
Сообщений: 10
pkarklin, это вы - рудиментный компонент этой ветки форума, а не GPU мощностью 8 террафлоп.
23 июл 13, 23:10    [14607235]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
skorost
Member

Откуда:
Сообщений: 10
kdv,

автор
То есть, какие-то перспективы в вычислениях на GPU для СУБД есть. Но они или достаточно мутные, или имеют крайне узкий круг потребления.


Речь о том и идет, использует ли кто-то из присутствующих эти новинки ? У RADEON 7990 мощность 8 Террафлоп, кто из присутствующих здесь сможет себе купить подобную мощность собранную из CPU (и про сравнение энергопотребления пропустим разговор), т.е. из 800 CPU ???

Перспективы зависят от программистов-энтузиастов которые не являются пользователями БД (как большинство 15-ти летних критиков в этой ветке) а их программируют и следят за современными технологиями.
23 июл 13, 23:18    [14607283]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54799

skorost
мощность 8 Террафлоп

Какая досада, что в СУБД не используются флопы...

Posted via ActualForum NNTP Server 1.5

23 июл 13, 23:34    [14607362]     Ответить | Цитировать Сообщить модератору
 Re: Кто-нибудь пробовал Alenca GPU based DB ?  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
skorost
pkarklin, это вы - рудиментный компонент этой ветки форума, а не GPU мощностью 8 террафлоп.


Гы... Вечер перестает быть томным... ((с) х\ф Москва слезам не верит.)

Мы м.б., наконец, увидим суппер-пуппер рекорды сабжевой СУБД, внедренной хучь в каком-нибудь бизнесе, скажем с оборотом лярдов в 10ть в год. Или, это очередная наколенная поделка, которой доступ в корпоративный сектор закрыт априори?
23 июл 13, 23:55    [14607460]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить