Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4] 5 6 7 8 9 10 .. 13   вперед  Ctrl
 Re: Причины ненависти к языку SQL?  [new]
booby
Member

Откуда:
Сообщений: 2669
Eugene New
Микропример не подойдет, нужна именно обработка больших массивов данных.


Не нужно никаких мега-примеров.
Достаточно просто иметь представление о том, что такое иерархия памяти,
чтобы понять простейшую штуку.

Оптимизированная под OLTP "стандартная" СУБД заведомо не годится для работы с "большими данными",
независимо от тех или иных моделей их представления, доступа, характера навигации и
степени теоретической обоснованности.

Когда ты ограничен максимальным размером чтения с диска в один мегабайт,
это, на текущий момент, как минимум на полтора-два порядка нерелевантно самым
элементарным представлениям с физической стороны о том, как надо работать с "большими
данными", независимо от натравливаемых на "большие данные" алгоритмов.

Да, "большие данные" бессмысленны, если нет алгоритмов, способных их обрабатывать за приемлемое время.

Но если такие алгоритмы есть и готовы работать - бессмысленно чтение с диска, ограниченное мегабайтом.

Это сначала закрывает вопрос об использовании "стандартных" субд,
а затем те соображают, как и чем на это отвечать, включая специализированные реализации
на специально под "большие данные" спроектированном железе.

PS
Ох уж эти "молоточки"...
2 окт 18, 00:49    [21692025]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 52996
BerkeleyDb был всегда бесплатен. А на нем кажется весь DNS стоял.
2 окт 18, 00:56    [21692032]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 52996
booby
Да, "большие данные" бессмысленны, если нет алгоритмов, способных их обрабатывать за приемлемое время.

Я bigdata считаю изначально безсмысленным по своей сути. Это технологическая "отрыжка" нашего времени.
Появились дешевые хосты и хранилища - и сама предметная область обозначилась.

Ее нельзя было создать рисуя палочкой на песке или складывая камешки как делал Архимед.
Современное It - это на 99% просто приспосабливание имеющегося железа и сетей и CPU-можностей
под задачи. А когда задач нет - но есть железо - задачи придумываются.

Зачем скажите хранить данные internet of things? Построил по ним OLAP-кубы и грохнул исходные файлы.
Зачем хранить логи log4j вашего драгоценного приложения за 25 лет? Соберите статистические цифры.
Нарисуте графики. Грепните критические ерроры и все. И снова не нужна никакая биг-дата.
2 окт 18, 01:04    [21692037]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
Когда ты ограничен максимальным размером чтения с диска в один мегабайт,


Что то я не пойму, кто и где ограничен одним мегабайтом.
Вообще то большие данные нужно хранить на диске, т. к. они в памяти не помещаются, потому что большие. Но о мегабайте ведь давно речи не идет.

Ок, давайте я сменю условия с больших (которое стали воспринимать как очень большие), на какие то конкретные числа. Ну скажем небольшой такой объем в 1 Гб. Да хоть пару сотен мегабайт. Короче, хоть какой-нибудь реальный пример, который работает не с десятком или сотней записей :)
2 окт 18, 01:12    [21692044]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
booby
Member

Откуда:
Сообщений: 2669
mayton
...
Ее нельзя было создать рисуя палочкой на песке или складывая камешки как делал Архимед.
...

Имхо, это вообще почти единственный способ, что-то создать.
"бигдата" в этом смысле не создает, а использует - алгоритмы и инфраструктуру.
Как римляне 1000 лет использовали нарисованные на песке и сложенные из камешком математические результаты инженера Архимеда, не создавая новых.
2 окт 18, 01:14    [21692045]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
booby
Member

Откуда:
Сообщений: 2669
Eugene New
...

Что то я не пойму, кто и где ограничен одним мегабайтом.
...

Вы, при случае, когда наскучит воевать с "темными людьми",
все-таки почитайте концепты хоть какой-нибудь "стандартной субд".
Что там у них про блоки и физическое чтение расписано.
Я видел, вам давали ссылочки.
2 окт 18, 01:18    [21692049]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
mayton
Построил по ним OLAP-кубы и грохнул исходные файлы.

А потом появляется новый источник и новое, достаточно простое измерение, которое можно "прикрутить" и к старым данным. И начинается геморой на ровном месте - достать место под старые данные, выгруженные из куба, затем вогнать в куб обратно вместе с новыми данными. И обычно запрос под место - это процедура, а куб нужен таки прямо сейчас. В том-то и весь цимес!

А про квалификацию тех, кто делает OLAP кубы - вот начали Вы данные всерьез смотреть, понравилось, грохнули исходные файлы, затем постоянный пользователь куба Вам говорит, что сделано неправильно, куб нужно переделать здесь, здесь и вот здесь - а исходных файлов уже нет.

Проще хранить, чем удалить и потом в бэкапах искать. Собственно, сами bigdata - это и данные, и в каком-то смысле бэкап, и расположение информации на N серверах в M копиях (отказоустойчиво) - и все в одной упаковке.
2 окт 18, 01:18    [21692050]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 52996
Andy_OLAP
Проще хранить, чем удалить и потом в бэкапах искать. Собственно, сами bigdata - это и данные, и в каком-то смысле бэкап, и расположение информации на N серверах в M копиях (отказоустойчиво) - и все в одной упаковке.

У меня есть своя теория. О том что количество информации нужной человеку - величина постоянная.
А современные инфо-технологии - это просто некий белый шум. Они не сделали человека умнее.
Информированнее - да. Но что толку с этого. Он разучился сам делать свои выводы. Мозг разжижается.

Вобщем где-то у Савельева было на эту тему. И про строительство ИИ тоже.
2 окт 18, 01:35    [21692064]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
Отсюда вывод - эти данные не для человека.

Мне все таки хотелось бы какой-нибудь примерчик увидеть, когда выкачивание всего на app-server и его там обработка выгоднее чем sql-запрос с последующей обработкой. Ну или о чем там мне говорят, т. к. я их до конца не понял, потому и прошу примерчик.
2 окт 18, 01:45    [21692069]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 52996
Eugene New
Отсюда вывод - эти данные не для человека.

Мне все таки хотелось бы какой-нибудь примерчик увидеть, когда выкачивание всего на app-server и его там обработка выгоднее чем sql-запрос с последующей обработкой. Ну или о чем там мне говорят, т. к. я их до конца не понял, потому и прошу примерчик.


Я сходу сделаю сразу замечание. Ты нарисовал неправильный юзкейс. С бигдатой так не работают.
Ее (бигдату) собсно нельзя вообще сравнивать с DBMS. Как я уже где-то писал - это системы разного
класса по CAP.

Как грузовик с лимузином.
2 окт 18, 01:50    [21692071]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
mayton,
так я вообще не про бигдату. Слово большие было употреблено не в этом смысле.
Хотелось бы увидеть как работать без sql с теми объемами, с которыми прекрасно справляется sql, причем существенно быстрее.
2 окт 18, 02:02    [21692075]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
Eugene New,
поправляю - объем данных, с которым справляется реляционная субд и sql.
2 окт 18, 02:03    [21692076]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
booby
Member

Откуда:
Сообщений: 2669
Eugene New
...
Хотелось бы увидеть как работать без sql с теми объемами, с которыми прекрасно ...


Там где "про sql", существо дела вообще не в объемах.

Ни с начала, ни с конца, ни с какого боку.
То что "sql" справляется с какими-то объемами - это почти целиком вторичный момент,
с которым "уж как-нибудь, да обойдемся",
по отношению к тому, ради чего RDBMS вообще задумывались.

Вопрос - буду ли я использовать SQLite, MySQL или Oracle Database - может предопределяться
рассуждениями об объемах.
Но вопрос - буду ли я вообще закладываться на "sql" или нет, почти всегда отношения к объемам не имеет.
Кроме специальных случаев, сорта "бигдаты", где ответ на этот вопрос вчера может отличаться от ответа на него сегодня, а завтра его нужно будет обсуждать снова и отдельно.
2 окт 18, 02:51    [21692087]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
booby,
давайте уже что то конкретное, пожалуйста..
2 окт 18, 03:09    [21692090]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
azsx
Member

Откуда:
Сообщений: 737
автор
Вобщем где-то у Савельева было на эту тему. И про строительство ИИ тоже.

Скажите, пожалуйста, о чём это? Есть какая-то книга или конкретная статья?
2 окт 18, 05:50    [21692105]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 11092
mayton
Симонов Денис
Eugene New,

ты не сечёшь фишку. SQL хорош для извлечения данных по некоторым критериям, но не для их аналитической обработки. Подумай что у нас есть в SQL для аналитики. Агрегатные и оконные функции, GROUP BY WITH ROLLUP, ну может быть CUBE. И всё собственно. Ну в Оракуле своя фича MODEL. Аналитика может предполагать гораздо более сложные алгоритмы, которые на SQL реализовать мягко говоря затруднительно.

Друзья. В топике идет какая-то подмена понятий и переворачивание причин и следствий.

Я предлагаю следующие тезисы.

1) SQL - это декларативный язык который позволяет описать нам то ЧТО мы хотим получить из БД.
2) SQL никак не описывает КАК мы хотим получить данные. Тоесть алгорим выборки. Грубо
говоря он 100% оставляет этот вопрос на откуп RDBMS.
3) SQL не запрещает в качестве storage-layer использовать хранилища NoSQL (NotOnlySQL).
Пример технологий: ApacheDrill, CriteriAPI, Hive e.t.c. Ну реально! Нет нигде на это запрета!
Можно даже DBF и CSV файлы брать в качестве источника данных.

Стартанём с этой позиции.


В данном случае никакой подмены нет. Мой ответ был сделан на конкретный пост, который удалён. Причём там важен был и предыдущий ответ. А сам по себе да он оторван от контекста беседы.

Хорошо напомню о чём было в двух словах.

H5N1
гораздо разумней тащить данные из sql наружу и там нормальным апп сервером молотить, оставляя sql роль тупого сториджа. со всеми вытекающими к перфоменсу.


на что был дан ответ вроде такого: вы просто не можете мыслить в реляционной логике, и что в SQL данные обработать и анализировать быстрее.
2 окт 18, 07:08    [21692118]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 604
booby
Не нужно никаких мега-примеров.
Достаточно просто иметь представление о том, что такое иерархия памяти,
чтобы понять простейшую штуку.

Оптимизированная под OLTP "стандартная" СУБД заведомо не годится для работы с "большими данными",
независимо от тех или иных моделей их представления, доступа, характера навигации и
степени теоретической обоснованности.

+1 в оракле многое сделали на эту тему - и колончатый формат с упаковкой и экзадатовские хитрые чтения, но все это убивается ценой.

mayton
Я bigdata считаю изначально безсмысленным по своей сути. Это технологическая "отрыжка" нашего времени.
Появились дешевые хосты и хранилища - и сама предметная область обозначилась.

Ее нельзя было создать рисуя палочкой на песке или складывая камешки как делал Архимед.

вообще-то бигдате старт дал гугл, нарисовавший той самой палочкой алгоритм. этот алгоритм с песка и реализовали в хадупе.
суть бигдаты не размере данных, оракловая экзадата зачастую не меньший объем жует. суть в алгоритмах

mayton
Я сходу сделаю сразу замечание. Ты нарисовал неправильный юзкейс. С бигдатой так не работают.
Ее (бигдату) собсно нельзя вообще сравнивать с DBMS. Как я уже где-то писал - это системы разного
класса по CAP.

Как грузовик с лимузином.


можно и нужно. хадупы с их даталейками занимают не свободную нишу, а массово замещают конкретные рсубд, перетягивая задачи обработки информации на себя. замещая рсубд со всеми их тру транзакциями, консистенси и acid

mayton
1) SQL - это декларативный язык который позволяет описать нам то ЧТО мы хотим получить из БД.

в реальной жизни обработкой данных занимается спайка декларативного SQL и итеративного языка. нет никакого смысла искусственно их разделять
2 окт 18, 08:46    [21692168]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 52996
azsx
автор
Вобщем где-то у Савельева было на эту тему. И про строительство ИИ тоже.

Скажите, пожалуйста, о чём это? Есть какая-то книга или конкретная статья?

Савельев - это не из It. Это бологии и института морфологии человека.

Насчет книг не скажу. Я в основном подписан на его видео-блоги в youtube.
2 окт 18, 09:11    [21692196]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 52996
Eugene New
mayton,
так я вообще не про бигдату. Слово большие было употреблено не в этом смысле.
Хотелось бы увидеть как работать без sql с теми объемами, с которыми прекрасно справляется sql, причем существенно быстрее.

Ну ... бери библиотечку наподобие Berkeley. Выбирай архитектуру хранения.
Загружай туда из CSV или из другого формата. Добавляй индексы.
И работай на сях. Дергай методы.

Вот как-то так.

Ну или вместо Berkeley можешь взять гугловый LevelDb или фейсбучный RocksDb.
2 окт 18, 09:23    [21692208]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
mayton
Member

Откуда: loopback
Сообщений: 52996
Andy_OLAP
mayton
Построил по ним OLAP-кубы и грохнул исходные файлы.

А потом появляется новый источник и новое, достаточно простое измерение, которое можно "прикрутить" и к старым данным. И начинается геморой на ровном месте - достать место под старые данные, выгруженные из куба, затем вогнать в куб обратно вместе с новыми данными. И обычно запрос под место - это процедура, а куб нужен таки прямо сейчас. В том-то и весь цимес!

А про квалификацию тех, кто делает OLAP кубы - вот начали Вы данные всерьез смотреть, понравилось, грохнули исходные файлы, затем постоянный пользователь куба Вам говорит, что сделано неправильно, куб нужно переделать здесь, здесь и вот здесь - а исходных файлов уже нет.

Проще хранить, чем удалить и потом в бэкапах искать. Собственно, сами bigdata - это и данные, и в каком-то смысле бэкап, и расположение информации на N серверах в M копиях (отказоустойчиво) - и все в одной упаковке.

Замечание справедливое.

Но давайте предположим что owner информации - это вы. И никто вас не будет упрекать в том что вы грохнули свою
информацию. Если она не ваша - то грохать ничего не надо. А надо действовать согласно стратегии бэкапов
которая прината у вас в конторе. Старше оперативного срока - в архивный tablespace.
Старше - трех лет в external tables. Старше 10 лет - на стриммер. Разумеется это я все
придумал в качестве примера.

И еще в теме не хватает деталей о природе самой информации. Если это какая-то юридическая
и финансовая активность то наверное ничего удалять не надо.

Если это данные научных измерений (погода) то здесь я-бы предложил просто какую-то сжатую
схему хранения при которой у нас не будет избыточности и любой запрос может быть удовлетворен
с нужной точностью.
2 окт 18, 09:32    [21692217]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
гугл, нарисовавший той самой палочкой алгоритм

Гугл никогда ничего сам не придумывает, только берет чужое и выдает за свое.

Ну ... бери библиотечку наподобие Berkeley. Выбирай архитектуру хранения.

Оставлю это развлечение оппонентам, который утверждают, что это более эффективно.

можно и нужно. хадупы с их даталейками занимают не свободную нишу, а массово замещают конкретные рсубд, перетягивая задачи обработки информации на себя. замещая рсубд со всеми их тру транзакциями, консистенси и acid


в реальной жизни обработкой данных


Так давайте конкретный примерчик, хоть один.
Пока что у вас одни безапелляционные общие утверждения.

Это не в сбербанке заместили транзакции на халупу так, что там теперь с людей массово требуют деньги за обслуживание давно закрытых карт?

H5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным.
2 окт 18, 11:14    [21692336]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 11092
Eugene New
H5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным.


не всё, но в некоторых случаях без этого не обойтись. Попробуйте например обучить нейросеть в рамках СУБД, не вытаскивая полностью обучающую выборку.
2 окт 18, 11:27    [21692363]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
Симонов Денис,
так H5N1 утверждает, что даже задачи, которые МОЖНО решить с помощью sql и рсубд он решает быстрее описанным способом.
2 окт 18, 11:29    [21692364]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 11092
Eugene New,

он нигде такого не утверждал. Каждой технологии свой место. Да и по поводу вытеснения SQL я с ним не согласен. Оно вытесняется ровно там где это плохо работает, где работает хорошо там сидит прочно.
2 окт 18, 11:33    [21692371]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 604
Eugene New
H5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным.


любая задача с ML аналитикой. от скоринга, кластеризации, до какой товар заинтересует пользователя. все это делается с помощью каких-то ML фреймворков. все ынтерпрайз решения тащат данные из субд, потому что в субд ничего натренировать не выйдет. алгоритмы эти плодяться так быстро и так быстро там все меняется, что нет никакого смысла портировать с какого-нибудь тензорфлоу алгоритмы в оракл. все проще взять либу и доставить к ней данные. пусть и терабайт.
2 окт 18, 12:02    [21692416]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4] 5 6 7 8 9 10 .. 13   вперед  Ctrl
Все форумы / Сравнение СУБД Ответить