Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5 6 7 8 9 10 .. 25   вперед  Ctrl
 Re: Конец SQL?  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

On 26.08.2011 22:36, S.G. wrote:
> объемом данных, что должна быть способна сохранять, агрегировать и распределять
> каждый день 5 млрд записей.
>
> Я в шоке. Что же это за данные, которые простой ветряк выдает - *500 записей в
> секунду*? Там есть лопасти (которые делают эдак оборот в полминуты), инвертор,

Да при любой СУБД такие объёмы данных сохранять без предобработки -- это ошибка
проектирования системы (грубая). Надо сразу просчитывать интересующие параметры
и сохранять уже их. Сами по себе эти логи датчиков никому на фиг не нужны.

Каши любят строить свою рекламу на дистанцировании себя от реляционных СУБД
(хотя тут же говорят, что поддерживают все их возможности) и приведении
примеров задач, которые они решают на Каше, и которые нельзя якобы решить на
обычных СУБД. Но на самом деле это не так, все их примеры в общем-то в любой
СУБД можно делать. Но это во многом и хлеб продавцов-внедренцев -- решить
конечную задачу и под это дело сбагрить клиенту продукт.

Кстати, noSQL в виде индексно-последовательного доступа доступен для
использования не только в одном Cache, многие встраиваемые СУБД это позволяют
делать в виде API курсоров.

Posted via ActualForum NNTP Server 1.4

31 авг 11, 13:09    [11205538]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
Нано-электрик
Guest
S.G.
Я в шоке. Что же это за данные, которые простой ветряк выдает - 500 записей в секунду? Там есть лопасти (которые делают эдак оборот в полминуты), инвертор, выдающий 50 Hz .. и это почти все. Что там можно измерять 500 раз в секунду, да еще собирать в базу данных???
Если кто- нибудь знает, поделитесь, плиз :)

Наверно оцифрованная синусоида выходного напряжения. Во всей красе. А процент гармоник они считают на стороне сервера и оттудова корректируют разворот лопастей. Вот такая вот забавная система
31 авг 11, 21:52    [11209186]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 53013
Нано-электрик
S.G.
Я в шоке. Что же это за данные, которые простой ветряк выдает - 500 записей в секунду? Там есть лопасти (которые делают эдак оборот в полминуты), инвертор, выдающий 50 Hz .. и это почти все. Что там можно измерять 500 раз в секунду, да еще собирать в базу данных???
Если кто- нибудь знает, поделитесь, плиз :)

Наверно оцифрованная синусоида выходного напряжения. Во всей красе. А процент гармоник они считают на стороне сервера и оттудова корректируют разворот лопастей. Вот такая вот забавная система

Я как инженер не понимаю что там за 500 записей? У нас
с ADSL модемов снимают не чаще чем 1 раз в час
показатели, хотя ADSL модем может выдать гораздо
более интересный вектор информации.
1 сен 11, 16:34    [11213994]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
Cane Cat Fisher
Member

Откуда:
Сообщений: 1809
mayton
Я как инженер не понимаю что там за 500 записей? У нас
с ADSL модемов снимают не чаще чем 1 раз в час
показатели, хотя ADSL модем может выдать гораздо
более интересный вектор информации.


Это такой сверхсекретный способ связи: в Гамбурге стоит мощный передающий ветряк, а по побережью - приемные. Принимают широтно-импульсную модуляцию атмосферы, и пишут в БД...
1 сен 11, 17:52    [11214673]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
SERG1257
Member

Откуда:
Сообщений: 2933
автор
Наверно оцифрованная синусоида выходного напряжения. Во всей красе. А процент гармоник они считают на стороне сервера и оттудова корректируют разворот лопастей. Вот такая вот забавная система
В любом случае нахрена ее сразу пихать в БД. Это такая важная инфа которую ну никак нельзя потерять? Пусть сервер просчитает, откорректирует и не спеша, в свободное время запишет в БД.
Вообще слушая аргументы о конце SQL, я вспоминаю старый армянский мультик Масленница
— Пока твой конь четырьмя ногами: раз, два, три, четыре, мальчишка на двух ногах: раз-два, раз-два… Давай коня постерегу, а ты бегом: раз-два, раз-два, раз-два
1 сен 11, 19:19    [11215085]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
S.G.
Member

Откуда: cartoon network
Сообщений: 30611
MasterZiv
On 26.08.2011 22:36, S.G. wrote:
> объемом данных, что должна быть способна сохранять, агрегировать и распределять
> каждый день 5 млрд записей.
>
> Я в шоке. Что же это за данные, которые простой ветряк выдает - *500 записей в
> секунду*? Там есть лопасти (которые делают эдак оборот в полминуты), инвертор,

Да при любой СУБД такие объёмы данных сохранять без предобработки -- это ошибка
проектирования системы (грубая). Надо сразу просчитывать интересующие параметры
и сохранять уже их. Сами по себе эти логи датчиков никому на фиг не нужны.

Как мне кажется, это такая болезнь- записать в БД все. Нарастающие объемы носителей создают желание записать туда соответствующее количество данных, независимо от необходимости- это ведь легко.
И не на последнем месте, может быть... "в Вашей БД будут миллиарды записей... соответственно, разработка будет стОить миллионы" (а не десятки тысяч в лучшем случае)
1 сен 11, 19:49    [11215165]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

On 01.09.2011 20:49, S.G. wrote:

> Как мне кажется, это такая болезнь- записать в БД *все*. Нарастающие объемы

Ага, я даже знаю, как она называется.

Posted via ActualForum NNTP Server 1.4

2 сен 11, 10:00    [11216348]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
U-gene
Member

Откуда: Москва. Россия
Сообщений: 1576
http://www.osp.ru/news/articles/2011/37/13010171/

вроде вменяемо.
8 сен 11, 12:48    [11246721]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 53013
U-gene
http://www.osp.ru/news/articles/2011/37/13010171/

вроде вменяемо.


Легенда мира СУБД Майкл Стоунбрейкер
Медлительность баз данных можно отнести
на счет нескольких факторов, отметил он. Реляционные системы обслуживают буферный
пул, ведут журналы операций для нужд восстановления, а также управляют блокировками
полей данных, предотвращающими их перезапись конкурирующими операциями. Согласно
результатам испытаний, проведенных в VoltDB, все эти задачи отнимают до 96% системных
ресурсов.

Не согласен с маэстро. Думаю что цифра будет (немного :)) меньше.
8 сен 11, 13:02    [11246815]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 53013
Легенда мира СУБД Майкл Стоунбрейкер
Табличный формат накладывает слишком много ограничений.


Ха-ха-ха... я даже боюсь представить себе формат, который НЕ НАКЛАДЫВАЕТ ограничений.
Гиперкуб? Блинн титаны реляционной алгебры переворачиваются в гробах.
8 сен 11, 13:05    [11246834]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
U-gene
http://www.osp.ru/news/articles/2011/37/13010171/

вроде вменяемо.


Не уловил чем предлагаемый подход (кроме масштабов и маркетинга) отличается от Стебелька
8 сен 11, 13:07    [11246851]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 53013
Легенда мира СУБД Майкл Стоунбрейкер
В NewSQL не используется ресурсоемкий буферный пул, поскольку база данных целиком находится в основной памяти.

Без комментариев. Всегда приятно стрелять по воробышкам из артиллерийского орудия. Дай бог...
8 сен 11, 13:08    [11246857]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
Gluk (Kazan)
U-gene
http://www.osp.ru/news/articles/2011/37/13010171/

вроде вменяемо.


Не уловил чем предлагаемый подход (кроме масштабов и маркетинга) отличается от Стебелька


аааа все понятно:

автор
По утверждению Стоунбрейкера, система VoltDB, основанная на методах NewSQL, может выполнять транзакции в 45 раз быстрее, чем типичная реляционная СУБД


они не обеспечиваю фффтристараз
8 сен 11, 13:08    [11246860]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 53013
Gluk (Kazan)
автор
По утверждению Стоунбрейкера, система VoltDB, основанная на методах NewSQL, может выполнять транзакции в 45 раз быстрее, чем типичная реляционная СУБД


они не обеспечиваю фффтристараз

Вздрогнул. Цифра 45 каг-бе говорит нам...
8 сен 11, 13:47    [11247238]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

On 08.09.2011 14:02, mayton wrote:

> Не согласен с маэстро. Думаю что цифра будет (немного :)) меньше.

ПОчему же ? Мэтр перечислил почти все задачи, решаемые в СУБД.
Ну, и получилось почти 100 % .

А сам потом запихал всю БД в память, и радуется... ну-ну...

Posted via ActualForum NNTP Server 1.4

8 сен 11, 14:14    [11247510]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
igorekk
Member

Откуда: Москва
Сообщений: 316
Да нужны NoSQL-решения, нужны. Но нет смысла пихать их во все дырки просто из-за модного тренда.
8 сен 11, 15:01    [11248031]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
igorekk
Да нужны NoSQL-решения, нужны. Но нет смысла пихать их во все дырки просто из-за модного тренда.


А кто-то говорил про это???
8 сен 11, 15:03    [11248065]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
londinium
Member

Откуда: Киев
Сообщений: 1202
автор
Ага, я даже знаю, как она называется

А как?
8 сен 11, 22:26    [11250885]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
рыдалъ
автор
Для многих программистов весьма трудны в освоении хранимые процедуры на SQL, считает Мерримэн.

не в состоянии освоить сиквел? Иди мести дворы, или коровам хвосты крутить.
9 сен 11, 00:57    [11251194]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 53013
IMHO SQL - это не совсем ЯП. Это некий "диалог" или протокол
взаимодействия ИС и бизнес-пользователя. Тоесть предполагается
что если вы владеете английским то в состоянии написать
нечто вроде ВЫБРАТЬ * ИЗ ТОВАРЫ ГДЕ ... и т.д. Туда-же
хранимки - как более расширенная надстройка над этим
бизнес-языком. С элементом statefull, и Pascal-е подобными
конструкциями if-then, циклами for, while e.t.c.

Сегодня сама идея переделки SQL во что-то другое
вызывает удивление? Зачем? Какие цели будут достигнуты?
Что-бы просто "отличаться"? Или просто создать очердной
"птичий язык", понятный только нескольким гуру?
9 сен 11, 01:17    [11251208]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
масштабируемость
Guest
U-gene
http://www.osp.ru/news/articles/2011/37/13010171/

вроде вменяемо.



автор
Новый метод также устраняет потребность в краткосрочных блокировках данных, поскольку система исполняется на сервере строго в виде одиночного потока (хотя иные типы блокировки все же будут создавать определенную нагрузку).

Недостаток отсутствия intra-query parallelism, выставили как достоинство.
С учетом того что количество ядер будет заметно расти, полная жопа.
И где тут масштабируемость?

автор
«Я бы предпочел пользоваться чем-то близким к языку, на котором написаны мои собственные приложения баз данных». Для многих программистов весьма трудны в освоении хранимые процедуры на SQL, считает Мерримэн.

Это следует понимать как SQL прост, но есть что-то проще. Проще - т.е. быстрее осваивается для написания той же функциональности.
По аналогии как C# создавали для перехода с C++.
10 сен 11, 09:42    [11257919]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3430
disappointed,

Спасибо за четкий ответ. Для своих нужд начал разбираться с этим "чудом" и пришел к тем же выводам. Дополнительно, то что Вы назвали "байт-кодом" - это старый добрый mumps, который, практически без изменений, работает с 1979года и находится в основе Каше, похоже также "без изменений".

Поступил проще. Выкачал у автора mumps исходники на C и пробую воткнуть их как библиотеку к С++ для целевой разработки. Интерпретатор этого байт-кода, между прочим, достаточно неплохо отделяется от системы хранения и доступа...

А вот сама система хранения практически полностью напоминает системы хранения индексов в SQL движках... ну о-очень шустро... фактически скорость выборки мало зависит от размера данных (глобаля) ваще.

Кстати, разработчиков на mumps нифига не мало. Они просто находятся в другом применении - это в основном государевы и секретные люди, причем во многих странах... это не публичное использование. Вот недавно нашел того, кто может что-то внятно рассказать и так сказать "рядом", оказалось программист-полковник на пенсии... ;)
10 сен 11, 11:07    [11257979]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 53013
Я даже доволен что существуют (пока) технологические ограничения
по производительности Мегафлопов на kernel. Слишком долго
мы жили в сладкой неге от того что Закон Мура выполнялся
и наш говно-код в продуктиве хоть как-то работал. Хуле...
Перенесли задачку с P2 на Xeon - заработало быстрее
и без оптимизаций бл?*:!.. И ты сцуко доволен. Не надо
переписывать проблемные калькуляции. И сейчас мы стоим
на распутье. И спрашиваем - шо делаеца? Работу минять
на торгового агента штоле? Вот в смежной ветке один чел взял узкий
участок технологического процесса (ну типа там поиск
по хеш-таблице) и считает что это готовая БД даже с
поисками. И тюнит отклики. И невдомёк ему что
при такой постановке нельзя даже классифицировать
систему как in mem-db. Хотя я-бы посмотрел глобально
на саму задачу. Один умный сказал что любую проблему
можно решить на ином уровне косвенного подхода.
Я-бы взял цепочку утверждений и просто убедил
бы заказчика что нет такой постановки. Типа
мгновенный поиск. Ну нет и всё хоть ты тресни.
В человеческой природе просто нет.

В ветке Ораклов еще глыбше. Графики
рисуют. Как отклики себя видут на мультиядерной системе
в зависимости от нагрузки. (Ну в случае если мы берём 2x
ядер при 1x частоте и наоборот) Оказывается х..во, ребятки.
Чем больше ядер тем хуёвее. Хотя порог "запирания" у
мультиядерного находится чуть дальше. Это немного радует.
10 сен 11, 11:11    [11257990]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
мультиядерного
Guest
mayton
В ветке Ораклов еще глыбше. Графики
рисуют. Как отклики себя видут на мультиядерной системе
в зависимости от нагрузки. (Ну в случае если мы берём 2x
ядер при 1x частоте и наоборот) Оказывается х..во, ребятки.
Чем больше ядер тем хуёвее. Хотя порог "запирания" у
мультиядерного находится чуть дальше. Это немного радует.

В смысле, чего именно там у них х..во?
И "порог "запирания" у мультиядерного находится чуть дальше" чем что?
10 сен 11, 11:17    [11257997]     Ответить | Цитировать Сообщить модератору
 Re: Конец SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 53013
Тут вроде было 11231845
10 сен 11, 11:24    [11258002]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5 6 7 8 9 10 .. 25   вперед  Ctrl
Все форумы / Сравнение СУБД Ответить