Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 KDB+  [new]
aaa+
Member

Откуда:
Сообщений: 8
Кто-нить работал на KDB (www.kx.com) ?

Она действительно настолько хороша, что ее юзают такие монстры как Landesbank, Baden-Württemberg, Fidelity Investments, RBC Capital Markets, Cantor Fitzgerald JPMorgan Reuters , CIBC World Markets Lehman Brothers ,Thomas Weisel Partners , Deutsche Bank, Merrill Lynch, US Army , Dresdner Kleinwort Wasserstein, George Weiss & Associates, Zurich Financial Group .
8 май 06, 15:36    [2643035]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
Iura
Member

Откуда:
Сообщений: 138
aaa+
Кто-нить работал на KDB (www.kx.com) ?

Она действительно настолько хороша, что ее юзают такие монстры как Landesbank, Baden-Württemberg, Fidelity Investments, RBC Capital Markets, Cantor Fitzgerald JPMorgan Reuters , CIBC World Markets Lehman Brothers ,Thomas Weisel Partners , Deutsche Bank, Merrill Lynch, US Army , Dresdner Kleinwort Wasserstein, George Weiss & Associates, Zurich Financial Group .


Если кто-то что-то юзает, это не всегда значит, что это хорошое!
Зачастую юзают то, за что дадут больше откат, а программеров мало спрашивают на чем им писать!
9 май 06, 08:14    [2643976]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
mv
Member

Откуда:
Сообщений: 8876

aaa

Кто-нить работал на KDB (www.kx.com) ?

На первой же странице:

Why is kdb+ the performance leader?



Posted via ActualForum NNTP Server 1.3

9 май 06, 08:57    [2643989]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
Cat2
Member

Откуда: Petroskoi, Karjala
Сообщений: 145754
aaa+
Кто-нить работал на KDB (www.kx.com) ?

Она действительно настолько хороша, что ее юзают такие монстры как ... US Army ...


Что-то мне припомнилась дискуссия о крутизне интербейза, где популярно объяснялось, что US Army работает исключительно на нем. Танки "Абрамы", в частности.
9 май 06, 13:31    [2644237]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
aaa+
Member

Откуда:
Сообщений: 8
автор
US Army работает исключительно на нем


Армия - это все ерунда, по сравнению с RBC Capital Markets,JPMorgan, Reuters, CIBC World Markets ,Merrill Lynch. У них очень высокие требования по скорости, думаю многие знают что за продукты предоставляют перечисленные компании.

Поэтому и возник интерес - поинтересоватся, а знаком ли кто-нить с сабжем ?.
9 май 06, 17:26    [2644495]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
Cat2
Member

Откуда: Petroskoi, Karjala
Сообщений: 145754
aaa+
Было бы интересно узнать, а откуда весь список?
Я подозреваю, что ни один из перечисленых там пользователей и не слышал о KDB

kx
What is kdb+?
Kdb+, introduced in 2003, is the new generation of the kdb database. Like kdb, kdb+ is designed to capture, analyze, compare, and store data -- all at high speeds and on high volumes of data. But more than that, kdb+ was architected specifically to meet the emerging needs of leading-edge, real-time business.


Вряд ли база, появившияся в 2003 году могжет пока претендовать на что-то.

Я особо не стал влезать в нее, но SQL там вроде не поддерживает.
Однако поживем - увидим
9 май 06, 21:53    [2644946]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
mv
Member

Откуда:
Сообщений: 8876

Cat2

Было бы интересно узнать, а откуда весь список?


А что "список"? Я сам могу абсолютно правдивый список составить. Например,
что ФоксПро активно используется в Российских госструктурах: Армия,
Налоговая Инспекция, Пенсионный фонд, Счетная Палата...

Posted via ActualForum NNTP Server 1.3

9 май 06, 22:23    [2644990]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
iscrafm
Member [заблокирован]

Откуда:
Сообщений: 35345
в 2003 году появился kdb+, 64-битный наследник KDB. А сама KDB достаточно уже в возрасте... Множество фин. организаций в списке пользователей не случайно (рейтерс в том числе), kdb ориентирована на временные ряды и в этом она действительно хороша. Еще одна особенность, это БД в памяти. Загрузка-Обработка-Дамп на диск. Откуда скорость обработки транзакций понятно. Если с ObjectStore PSE приходилось работать, то где-то так же. Так что если хотите выстраивать систему биржевых торгов, то успехов.
9 май 06, 23:52    [2645254]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
mir
Member

Откуда: Томск
Сообщений: 1027
iscrafm
Еще одна особенность, это БД в памяти. Загрузка-Обработка-Дамп на диск. Откуда скорость обработки транзакций понятно.
А ежли БД не влезает в память? Неужто данная СУБД только для мелких игрушечных баз? А коли нет, то БД обрабатывается по частям, а это деляют все СУБД без исключание, тогда тут никакой особенности нет.
10 май 06, 07:58    [2645760]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
iscrafm
Member [заблокирован]

Откуда:
Сообщений: 35345
mir
Неужто данная СУБД только для мелких игрушечных баз?


Ну если миллионы транзакций считать игрушками, то конечно.

mir
А коли нет, то БД обрабатывается по частям, а это деляют все СУБД без исключание, тогда тут никакой особенности нет.


А Вы попробуйте, что бестолку выводы делать.
10 май 06, 11:34    [2646537]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
iscrafm
Еще одна особенность, это БД в памяти. Загрузка-Обработка-Дамп на диск. Откуда скорость обработки транзакций понятно.
А как может быть транзакция в памяти, без записи на диск?
10 май 06, 14:01    [2647614]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
mir
Member

Откуда: Томск
Сообщений: 1027
iscrafm
mir
Неужто данная СУБД только для мелких игрушечных баз?


Ну если миллионы транзакций считать игрушками, то конечно.

mir
А коли нет, то БД обрабатывается по частям, а это деляют все СУБД без исключание, тогда тут никакой особенности нет.


А Вы попробуйте, что бестолку выводы делать.
Да мне просто интересно, ничего против не имею. Но и пробовать просто из любопытства времени нет. Вот вы вроде пробовали, вот и растолкуйте всем, что имеется в виду. Я все перечитал про in-memory в FAQ по KDB+, но там на рекламном уровне, нет технической специфики. В частности, неясно, как обеспечивается долговременность транзакций, если они запоминаются в памяти. Грубо говоря, сбой питания, и привет всем in-memory-данным, в т.ч. закоммиченным транзакциям.
10 май 06, 14:33    [2647836]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
iscrafm
Member [заблокирован]

Откуда:
Сообщений: 35345
SergSuper
iscrafm
Еще одна особенность, это БД в памяти. Загрузка-Обработка-Дамп на диск. Откуда скорость обработки транзакций понятно.
А как может быть транзакция в памяти, без записи на диск?

Чтобы не размазывать эту тему, несколько ссылок, которые у меня есть. В них все расписано:
Статья про принципы работы IN-MEMORY DB из Linux Jornal
Руководство по ObjectStore PSE Pro, с ней приходилось в свое время работать. В руководстве есть примеры.
Ну и Oracle туда же...
Нужно только всегда помнить, что выбор СУБД делается для конкретного типа приложений, имхо
10 май 06, 21:00    [2649844]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
ЛП
Guest
2 mir
В частности, неясно, как обеспечивается долговременность транзакций, если они запоминаются в памяти.

В частности, неясно, как обеспечивается долговременность транзакции, если они запоминаются на жестком диске.

автор
Грубо говоря, сбой питания, и привет всем in-memory-данным, в т.ч. закоммиченным транзакциям.

Грубо говоря, взрыв гранаты внутри системного блока, и привет всем на-харде-данным, в т.ч. закоммиченным транзакциям.

В каждой шутке есть доля шутки, а остальное правда.
10 май 06, 21:21    [2649877]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
Lepsik
Member

Откуда: glubinka
Сообщений: 4257
aaa+
RBC Capital Markets,JPMorgan, Reuters, CIBC World Markets ,Merrill Lynch. У них очень высокие требования по скорости, думаю многие знают что за продукты предоставляют перечисленные компании.




основная база в CIBC и RBC это Sybase. Ежели с какoго бока и пользуются чем-то иным - или прикупили левую контору или мелкая программка для межбанковских операций
10 май 06, 22:26    [2649975]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
iscrafm
Member [заблокирован]

Откуда:
Сообщений: 35345
Lepsik
основная база в CIBC и RBC это Sybase. Ежели с какoго бока и пользуются чем-то иным - или прикупили левую контору или мелкая программка для межбанковских операций

Не смешно. В таких компанииях используется куча БД для решения разных задач. С менталитетом "всех на Oracle" (Sybase, DB2) такие вопросы лучше не обсуждать.
10 май 06, 22:34    [2649990]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
iscrafm
Member [заблокирован]

Откуда:
Сообщений: 35345
По kdb, кому интересно,
Real-Time данные в интерфейсе Excel, именно в этом назначение подобных субд. sybasе...? 200 милисекунд для обработки транзакций и доставки данных на reuters-терминал. ну-ну...
10 май 06, 23:22    [2650096]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
iscrafm
Member [заблокирован]

Откуда:
Сообщений: 35345
Lepsik
Ежели с какoго бока и пользуются чем-то иным - или прикупили левую контору или мелкая программка для межбанковских операций

все таки интересно. Как у "нас" любят натянуть то, что знаешь на все что под руку попадется. Будут на склад с несчастным миллионом транзакций оракл нашлепывать, и на данные реального времени. Видимо это неисправимо
10 май 06, 23:33    [2650120]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
aaa+
Member

Откуда:
Сообщений: 8
iscrafm
в 2003 году появился kdb+, 64-битный наследник KDB. А сама KDB достаточно уже в возрасте... Множество фин. организаций в списке пользователей не случайно (рейтерс в том числе), kdb ориентирована на временные ряды и в этом она действительно хороша. Еще одна особенность, это БД в памяти. Загрузка-Обработка-Дамп на диск. Откуда скорость обработки транзакций понятно. Если с ObjectStore PSE приходилось работать, то где-то так же. Так что если хотите выстраивать систему биржевых торгов, то успехов.


Iscrafm !

Не могли бы вы посоветовать БД в которой наиболее правильно с вашей точки зрения хранить, обновлять времянные ряды ?

У меня задача:

1. Закачать текстовики из инета.
2. Заимпортить их в базу.
3. По запросу выгрузить все данные в теже текстовики но в виде одной общей таблицы и как можно быстрее.

Проблеммы возникают в связи с тем, что рядов с данными Очень много - 5000 рядов это только котировки с наждака а там еще экономика по всем странам и... . 5000 рядов это 12 мио записей в базе.

И когда нужна выгрузка по поиску, - все летит нафик, время обработки запроса на поиск с тремя условиями - это несколько часов времени.

Вот и встала проблемма выбора БД которая бы подошла под это дело и которую можно скачать в нете, желательно for free.

P.S. Извиняюсь за дилетанские формулировки, я сам не программист, программирует мне мой знакомый но он не настолько опытен что-бы посоветовать что-то подходящее. В данный момент буду пробовать использовать DB2 от IBM, но Ваши комментарии, так-же как и всех тех кто в теме могут очень мне помочь.

Спасибо Всем !
10 май 06, 23:58    [2650204]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
iscrafm
Member [заблокирован]

Откуда:
Сообщений: 35345
2 aaa+
наждак - это NASDAQ? сорри в сленге не все знаю..
А что-то типа готового метастока для задачи не подходит?
если это "посмертные" данные, то покопайте в сторону кубов (olap) с нормальной поддержкой временных рядов
11 май 06, 00:26    [2650263]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
mir
Member

Откуда: Томск
Сообщений: 1027
ЛП
2 mir
В частности, неясно, как обеспечивается долговременность транзакций, если они запоминаются в памяти.

В частности, неясно, как обеспечивается долговременность транзакции, если они запоминаются на жестком диске.

автор
Грубо говоря, сбой питания, и привет всем in-memory-данным, в т.ч. закоммиченным транзакциям.

Грубо говоря, взрыв гранаты внутри системного блока, и привет всем на-харде-данным, в т.ч. закоммиченным транзакциям.

В каждой шутке есть доля шутки, а остальное правда.
Напомню, что согласно свойству Durability, если прошел commit транзакции, то изменения, сделанные транзакцией, обязаны остаться в базе. А значит, они должны быть записаны на диск. Вы не знаете, как это делается в СУБД? Н-да...
11 май 06, 07:23    [2650448]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
Пьяный Лох
Member

Откуда:
Сообщений: 3652
2 mir
Напомню, что согласно свойству Durability, если прошел commit транзакции, то изменения, сделанные транзакцией, обязаны остаться в базе.

И они остались в базе.
База в памяти - данные остались в памяти. База на харде - данные остались на харде. База на магнитной ленте - данные остались на магнитной ленте. База на воздушных шариках - данные остались на воздушных шариках. База на флеш-картах - данные остались на флеш-картах.

Для in-memory БД. Вдруг исчезла память (в результате сбоя оборудования, повлекшего за собой отключение питания) - нет базы, нет данных, нет закоммиченных транзакций, здравствуй бекап.
Или так, для "on-hdd" БД. Вдруг исчез жесткий диск (в результате сбоя оборудования, повлекшего за собой выход винчестера из строя), и опять нет базы, нет данных, нет закоммиченных транзакций, опять здравстсвуй бекап.
Принципиальная разница есть?
Мысль ясна, или еще подробнее разжевывать надо?

Что-то более надежно, что-то менее надежно. И то еще бабка надвое сказала, что надежнее. У знакомого полтора года аптайма сервака, т.е. не было того самого "отключения питания", которым взрослые дяди любят пугать маленьких детей. И за эти полтора года в этом же серваке успело накрыться и замениться два харда. Со всеми закомиченными транзакциями :)

А значит, они должны быть записаны на диск.

Это вы сами выдумали, товарисч mir?
Возьмите более-менее строгое определение транзакций, прочитайте его пять раз (из них три раза вслух), и найдите там слово "диск" (хард, hdd, etc)

Н-да...

Вот и я про то же. Вроде взрослые люди, а понимание на уровне детского сада, уж простите. Пора бы уже различать понятия durability и reliability.
11 май 06, 13:34    [2652220]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
mir
Member

Откуда: Томск
Сообщений: 1027
2 Пьяный Лох
Я готов согласиться с сутью аргументов. Хотя я не сказал фактически ничего такого уж неверного, просто привык иметь дело с традиционными системами БД. Если ОЗУ рассматривать как равноправнй носитель, формально вы правы.Неясно одно, зачем вам потребовалось высказывать их столь хамским тоном. Вам доставляет это удовольствие?
11 май 06, 16:01    [2653274]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
ЛП
Guest
2 mir
Неясно одно, зачем вам потребовалось высказывать их столь хамским тоном

И какая именно часть высказывания была воспринята как "высказанная хамским тоном"?
ИХМО, единственное, что может быть так истолковано (хоть и не является таковым) - это совет пять раз прочитать определение. Я предполагаю, что хоть один раз Вы это определение читали, но кажись этого оказалось мало. Стало быть надо читать еще и еще, до тех пор, пока не перестанете общепринятые термины истолковывать по-своему, к тому же неправильно :).

Уж извините, но если берете на себя смелость оперировать всякими разными умными терминами типа ACID, дюрабилити, делать вид, что "знаете как это делается в СУБД" - то уж не сочтите за труд, ознакомьтесь с основными определениями.

Этот форум, знаете ли, и дети читают, а Вы их плохому научите - исходя из своего собственного "я привык", и совершенно игнорируя тот факт, что разговор идет не о "традиционных системах БД".
11 май 06, 16:19    [2653398]     Ответить | Цитировать Сообщить модератору
 Re: KDB+  [new]
mir
Member

Откуда: Томск
Сообщений: 1027
Поскольку есть ощущение, что ЛП и Пьяный Лох один и тот же человек, отвечу сразу.
Не вижу возможности объяснить, что хамского я увидел в сообщении. Нравиться общаться на таком уровне -- не могу препятствовать. По сути же я уже высказался, что могу с аргументами согласиться, хотя я не сказал ничего неверного.
Тут были выкрики про чтение определений, вот пожалуйста из энциклопедии:
http://ru.wikipedia.org/wiki/ACID
Durability (долговечность): независимо от проблем на нижних уровнях (к примеру, обесточивание системы или сбои в оборудовании) изменения, сделанные успешно завершённой транзакцией, останутся сохранёнными после возращения системы в работу.
Обращаю внимание на слова "обесточивание системы". Я именно про сбой питания, помнится, и говорил. Таким образом, вы хотели ссылок -- их есть у меня. Кто хочет, может перечитать хоть 3 раза, хоть 33.

Хотя ОЗУ как носитель и можно в чем-то приравнять к другим носителям (диск, лента и т.д.), но одно сильное отличие есть: ОЗУ энергозависимо, а другие носители (диск, лента) энергонезависимы. Если кто помнит историю появления баз данных вообще, то таковые в принципе появились только вместе с энергонезависимыми носителями приемлемого объема. И именно с ними понятие data persistence и ассоциируется. Поэтому хотя явного упоминания про файлы и диски в определениях баз данных и нет, но это просто традиционно подразумевалось. Хотя с ростом объема ОЗУ и возможностями подключений ИБП и т.д. пора это пересмотреть, я согласен.
11 май 06, 18:09    [2654205]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить