Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 25 26 27 28 29 [30] 31 32 33 34 .. 99   вперед  Ctrl
 Re: Разработал драйвер баз данных, что дальше???  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
JErik
президент корпорации FVMas - супер драйвера, который является эталоном безопасности и производительности во всём мире.

Ну вот. В "Просто треп" не перешли, а и прямо здесь начали рисовать Большие Васюки. Сюда еще моно привисовать Зигзаг, Селебрум, объектный навигатор и самое ОМД версии ЧАЛа. Ниче не забыл? Они все тоже типа драйверы в широком смысле (т.е. поделки плохо поддающиеся классификации) будущего, эталоны чего-либо.
23 ноя 09, 10:23    [7962603]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
billing_test
Guest
автор
Вы не указали каков - размера базы данных, с тем объёмом данных который вы указали - это намеренная попытка скрыть слабости фашего формата данных и поытка показать мощь сервера так как в данном случае это идеальные условия обработки запроса для клиент-серверной СУБД...

За 3 года - объем данных 25,5 Гб. Средняя длина записи на диске 39 байт.
Если выгрузить в формате csv то средняя длина записи - 30 байт.

автор
Объём данных за 3 года: 49628054 записей (1.04Гб в TJ7)

Сколько времени потребовалось чтобы это подсчитать?

автор
Хочу заметить что если у вас 10-ть клиентов одновременно попытаются запросить данные о номерах то вашь поиск будет идти 370 сек... у меня-же время практически не изменится...

Во первых: 0.37*10 = 3.7 сек.
Во вторых: Если запрос по одному и тому же номеру то результат кешируется в памяти сервера. При повторном запросе результат 0.03 сек.
В третьих: Результат получен на рабочем сервере под нагрузкой. Так что примерно 0.37 и будет при 10 клиентах.
Если Вы думаете, что сервер при запросах читал с диска данные по всем звонкам - это не так.

автор
в случае с TJ7 - один и тот-же запрос будет выполняться одинаковое количество времени что при хранении информации за 3-ри года что при хранении данных за 100 лет...

Это фантастика :)

автор

Я запросто смогу на колиенте вывести на экран одновременно все записи хоть за 3 хоть за 10 лет - ваши же решения ограничены - и действуют лишь отговорки типа: НАМ ЭТО НЕНАДО... ну и т.д...

Тест предложен для реальной задачи - выдача абоненту распечатки звонков с его телефона за период времени.
Не могу придумать ни одной задачи при которой все данные мне потребовались бы на клиенте...
Вообще если Вам все данные нужны на клиенте, то причем здесь базы данных :)
23 ноя 09, 10:42    [7962765]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
gR4mm
JErik
Вы не указали каков - размера базы данных, с тем объёмом данных который вы указали - это намеренная попытка скрыть слабости фашего формата данных и поытка показать мощь сервера так как в данном случае это идеальные условия обработки запроса для клиент-серверной СУБД...

Ну ну, кто бы говорил.

JErik
Моя тестоывая система: Intel Pentium 4 3000MHz, 1024Mb - Vista (то есть программе доступно не так много памяти)...Сеть: 100Мбит.
Объём данных за 3 года: 49628054 записей (1.04Гб в TJ7)
1) Выборка всех записей по номеру телефона за 3-ри года, без индексации: 3207 записей, 425 сек.
2) Выборка всех записей по номеру телефона за 3-ри года, с индексацией: 3207 записей, 0.65 сек.

Фул скан это конечно мега рульно.

JErik
Хочу заметить что если у вас 10-ть клиентов одновременно попытаются запросить данные о номерах то вашь поиск будет идти 370 сек... у меня-же время практически не изменится... То есть у вас 3 показателя хуже:
1) Размер БД - который вы красиво скрыли.
2) Значительное увеличение времени выполнения запроса (в разы) - при одновременных запросах...

"Озорно, но обоснуй..." (с) не мое

JErik
3) Увеличение времени выполнения запроса - с увеличением количества времени - за которое сохранены данные, в случае с TJ7 - один и тот-же запрос будет выполняться одинаковое количество времени что при хранении информации за 3-ри года что при хранении данных за 100 лет...

Т.е. не важно, что будет выбираться 1 гиг, что 300 гигов, время будет одно и тоже? Хе хе, а как же сеть?

JErik
А попробуйте сделать Запрос "Select * From Phone;" - и загнётся твой и сервер и клиент и сеть встанет отперегрузки,

А поробуй сделать так

;with cte (ID, Name, Level) as
(
   select ID,
            ParentID,
            Name,
            Level = 1
   from Tree
   where ParentID is null
  
   union

   select ID,
            ParentID,
            Name,
            Level = T.Level +1
   from Tree T
       join CTE c on C.ID = T.ParentID
)

JErik

у меня же на экране будут отображаться все записи динамически подгружаясь из файлов по одному (своеобразный буфер чтения) с минимумом использования ОЗУ и минимальным сетевым трафиком... Я запросто смогу на колиенте вывести на экран одновременно все записи хоть за 3 хоть за 10 лет - ваши же решения ограничены - и действуют лишь отговорки типа: НАМ ЭТО НЕНАДО... ну и т.д...

То что ты наызваешь "своеобразный буфер чтения", называется асинхронный запрос. При грамотном проектировании оно нафик не надо. Да да, можешь считать это отговоркой. Но ответь на вопрос, зачем мне асинхронное выплнение, если я те же данные получу менее чем за 1 сек? И на кой пользователю видеть данные сразу за 10 лет?
По поводу ограниченных решение, вопрос повторю: "Ты видел хотя бы одно решение/программу созданную участниками данного топика?"

Фул-скан - это супер-мего рульно... Что касается разницы в выборке между 1Гб и 300Гб - то в случае с TJ7 - каждый набор данных хранится в отдельном файле и вы потгружаете только те наборы данных за тот период которые вам сейчас действительно нужны... Поэтому если вы выбираете данные за 3-ри года вам пофигу 1Гб или 300Гб за 100 лет у вас лежит на сервере - вы получите только то что вам нужно...
Я не видел программа форумчан - скорее всего потому что ониих просто не пишут - это конечно догадки - но я много программ выложил здесь...
23 ноя 09, 10:52    [7962820]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
zloy den
Member

Откуда:
Сообщений: 2579
Эх, из него ведь мог выйти хороший программист, а получился фрик и отважный приверженец "единственно верной веры"
Добрый совет JEric'у - попробуйте не упираться рогом защищая свое творение, а послушать критику и попытаться вычленить из нее что-то конструктивное. Я например рассказывал (и не только я), что поиск может занимать куда меньше времени чем O(n). Почитайте еще что-нибудь из алгоритмики, может наступит озарение.
23 ноя 09, 10:57    [7962856]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
billing_test
автор
Вы не указали каков - размера базы данных, с тем объёмом данных который вы указали - это намеренная попытка скрыть слабости фашего формата данных и поытка показать мощь сервера так как в данном случае это идеальные условия обработки запроса для клиент-серверной СУБД...

За 3 года - объем данных 25,5 Гб. Средняя длина записи на диске 39 байт.
Если выгрузить в формате csv то средняя длина записи - 30 байт.

автор
Объём данных за 3 года: 49628054 записей (1.04Гб в TJ7)

Сколько времени потребовалось чтобы это подсчитать?

автор
Хочу заметить что если у вас 10-ть клиентов одновременно попытаются запросить данные о номерах то вашь поиск будет идти 370 сек... у меня-же время практически не изменится...

Во первых: 0.37*10 = 3.7 сек.
Во вторых: Если запрос по одному и тому же номеру то результат кешируется в памяти сервера. При повторном запросе результат 0.03 сек.
В третьих: Результат получен на рабочем сервере под нагрузкой. Так что примерно 0.37 и будет при 10 клиентах.
Если Вы думаете, что сервер при запросах читал с диска данные по всем звонкам - это не так.

автор
в случае с TJ7 - один и тот-же запрос будет выполняться одинаковое количество времени что при хранении информации за 3-ри года что при хранении данных за 100 лет...

Это фантастика :)

автор

Я запросто смогу на колиенте вывести на экран одновременно все записи хоть за 3 хоть за 10 лет - ваши же решения ограничены - и действуют лишь отговорки типа: НАМ ЭТО НЕНАДО... ну и т.д...

Тест предложен для реальной задачи - выдача абоненту распечатки звонков с его телефона за период времени.
Не могу придумать ни одной задачи при которой все данные мне потребовались бы на клиенте...
Вообще если Вам все данные нужны на клиенте, то причем здесь базы данных :)
Если данные подлежат выборке - и все ненужны - то какая разница кто их будет обрабатывать сервер от 100 клиентов или 100 клиентов каждый свой кусечек??? во втором случае вам не потребуется сверх-мощного сервера, а чтобы минимизировать сетевой трафик TJ7 - использует сжатие... кром того поднять производительность и поставить Гигабитку на сервер или две сетевые карты - проще и дешевле чем модернезировать сервер...
23 ноя 09, 10:58    [7962869]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
JErik
Что касается разницы в выборке между 1Гб и 300Гб - то в случае с TJ7 - каждый набор данных хранится в отдельном файле и вы потгружаете только те наборы данных за тот период которые вам сейчас действительно нужны... Поэтому если вы выбираете данные за 3-ри года вам пофигу 1Гб или 300Гб за 100 лет у вас лежит на сервере - вы получите только то что вам нужно...
Я не видел программа форумчан - скорее всего потому что ониих просто не пишут - это конечно догадки - но я много программ выложил здесь...


Это называется партиционирование, Сээээр
23 ноя 09, 10:59    [7962882]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
JErik
Что касается разницы в выборке между 1Гб и 300Гб - то в случае с TJ7 - каждый набор данных хранится в отдельном файле и вы потгружаете только те наборы данных за тот период которые вам сейчас действительно нужны... Поэтому если вы выбираете данные за 3-ри года вам пофигу 1Гб или 300Гб за 100 лет у вас лежит на сервере - вы получите только то что вам нужно...

По кругу пошли? В случае СУБД есть средства для секционирования таблиц, она пропускает лишнее. Причем на логику не влияет. Причем кроме фрагменированияч по периоду, есть хеширование и по списку фрагментирование. Забыли что-ли? Ну так моно перетерать и больше чем на 30 страниц. У нас так было с ОМД. Там одно и тоже по сто раз автор приводил, просто тупо игнорируя ответы. Расчет на то, что надоест одно и тоже отвечать и последнее останется без ответа, но потому шо "ответить типа нечего".
23 ноя 09, 11:02    [7962911]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
Gluk (Kazan),
всё гениальное просто - у меня есть тест скорости процессора - возьмите и сравните производительность своих программ с ним.... данные для теста в формате TJ7, код доступа: sort
Для экспорта можно использовать утилиту TJ7Reader
23 ноя 09, 11:03    [7962920]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
vadiminfo,
Дак вы как-будто забываете мои ответы и каждый раз спрашиветете тоже самое...
23 ноя 09, 11:05    [7962940]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
Кто реально пробовал использовать TJ7? Не так как загонять туда 10000000 записей, а если записей много - то сегментировать их по табличкам и т.д..???
23 ноя 09, 11:21    [7963053]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
JErik
vadiminfo,
Дак вы как-будто забываете мои ответы и каждый раз спрашиветете тоже самое...

Ну, Вы хитрите? Раз секционирование есть с СУБД, то ничего Ваши файлы не дают нового. Об этом говорили, а Вы по новой выдаете это за какое-то якобы достижение, до которого якобы никто ранее не додумывался. Если у Вас есть шо-то до чего никто не додумывался, то беспечно было бы об этом вещать на форуме.
Ить у Вас файловая система? т.е. без СУБД. Это далекое прошлое. Даже если Вы шо-то там придумаете, то то оно не вытянет такие системы из прошлого. В лучшем случае это включат как фичу в СУБД.
23 ноя 09, 11:23    [7963070]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
JErik
Кто реально пробовал использовать TJ7? Не так как загонять туда 10000000 записей, а если записей много - то сегментировать их по табличкам и т.д..???


Чтобы определить, что мясо тухлое, не обязательно его есть (c)
23 ноя 09, 11:25    [7963077]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
JErik
Gluk (Kazan),
всё гениальное просто - у меня есть тест скорости процессора - возьмите и сравните производительность своих программ с ним.... данные для теста в формате TJ7, код доступа: sort
Для экспорта можно использовать утилиту TJ7Reader


Но не все простое гениально
На этот вопрос соблаговолите ответить :)
23 ноя 09, 11:27    [7963098]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
gR4mm
Member

Откуда: Москва
Сообщений: 1412
JErik,
1. а теперь скажи, что такое фул скан, дабы показать, что ты понимаешь о чем мы тут говорим?
2. Так что там с СТЕ? И мега рульным внутренним языком запросов?
3. Обоснования для
автор
2) Значительное увеличение времени выполнения запроса (в разы) - при одновременных запросах...

я так и не увидел.

4.
автор
Я не видел программа форумчан - скорее всего потому что ониих просто не пишут - это конечно догадки - но я много программ выложил здесь...

Хватит говнокода!

зы. Извините, не сдержался.
23 ноя 09, 11:30    [7963109]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
billing_test
Guest
автор
Если данные подлежат выборке - и все ненужны - то какая разница кто их будет обрабатывать сервер от 100 клиентов или 100 клиентов каждый свой кусечек??? во втором случае вам не потребуется сверх-мощного сервера, а чтобы минимизировать сетевой трафик TJ7 - использует сжатие... кром того поднять производительность и поставить Гигабитку на сервер или две сетевые карты - проще и дешевле чем модернезировать сервер...

Еще раз, я не читал ВСЕ данные, а только те которые нужны. Даже в случае подсчета количества звонков, сервер не читал 683628198 строк...

Вы не ответили на вопрос. Сколько времени у Вас ушло на подсчет количества звонков за 3 года.
23 ноя 09, 11:36    [7963155]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
gR4mm
Member

Откуда: Москва
Сообщений: 1412
JErik
Глас свыше
Здравстуй ГрегориДжерик!
Твоя приблуда сдохла при 10 миллионов душзаписей.
Предложил дъяволузнакомому - он тоже отказался от твоей поделки.
У него то душзаписей поболее будет.

Кстате, индусский/китайский код, по сравнению с твоим, просто верх совершенства.

Идика ты лучше в манагеры, риэлторы, макдональдс...
Грандиозный успех тебе будет обеспечен.
Жаль, но FVMas - это драйвер будущего... И то что вы не смогли на нём программировать, печально... а за 5-ть минут конечно этому не научиться, он как и любой хороший инструмент требует соотвествующего времени - на его познание...

Какое-то хреновое будущее.
23 ноя 09, 11:42    [7963203]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
billing_test
автор
Если данные подлежат выборке - и все ненужны - то какая разница кто их будет обрабатывать сервер от 100 клиентов или 100 клиентов каждый свой кусечек??? во втором случае вам не потребуется сверх-мощного сервера, а чтобы минимизировать сетевой трафик TJ7 - использует сжатие... кром того поднять производительность и поставить Гигабитку на сервер или две сетевые карты - проще и дешевле чем модернезировать сервер...

Еще раз, я не читал ВСЕ данные, а только те которые нужны. Даже в случае подсчета количества звонков, сервер не читал 683628198 строк...

Вы не ответили на вопрос. Сколько времени у Вас ушло на подсчет количества звонков за 3 года.
Нисколько времени у меня не ушло - чтобы подсчитать общее количество звонков - достаточно декодировать первые 300 символов заголовка каждого файла и просуммировать результат... А я сделал проще - я посчитал в потоке оброботки без индексирования - дабы не писать отдельного запроса....
23 ноя 09, 11:47    [7963243]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
ОКТОГЕН
Member

Откуда:
Сообщений: 2498
gR4mm

Какое-то хреновое будущее.

Это супер. Чувак знает расписание будущего.
Когда наступит ближайший песец, всех РСУБД-шников повыпиливает.
И вот тут появляется TJ7... и добивает всех остальных.
23 ноя 09, 11:58    [7963327]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
billing_test
Guest
автор
Нисколько времени у меня не ушло - чтобы подсчитать общее количество звонков - достаточно декодировать первые 300 символов заголовка каждого файла и просуммировать результат... А я сделал проще - я посчитал в потоке оброботки без индексирования - дабы не писать отдельного запроса....

То есть закачку данных на клиента Вы в это время не включаете?
23 ноя 09, 11:59    [7963333]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
mayton
Member

Откуда: loopback
Сообщений: 53041
JErik
Кто реально пробовал использовать TJ7? Не так как загонять туда 10000000 записей, а если записей много - то сегментировать их по табличкам и т.д..???

Господи, да чего-то пристал? Понимаешь, для того чтобы понять что разработка НЕ СОДЕРЖИТ элемента НОУ-ХАУ, не нужно её запускать и тестить. Достаточно посмотреть на обзор технологий которые ты использовал. Если-бы ты написал - "Йоу чуваки. Я создал распределённую СУБД-grid, которая балансирует запрос по нескольким ПК, и динамически корректирует план в зависимости от данных." - я-бы очень сильно заинтересовался. Я коллекционирую подобные идеи. Я-бы заинтересовался, если-бы ты создал distibuted FS собственного изготовления с невысокими требованиями по кворуму с синхронизацией по хешу.

А так... мы имеем довольно скучную кустарную систему, типа Cronos-а, которая никому не впилась по своей функциональности. И тестить мне её скучно и неинтересно.

Потому-что нет НОУ-ХАУ.

Оревуар, короче. Я уходу из топика.

P.S. Но если у тебя есть жуткий зуд посравнивать свою систему с промышленными - установи Oracle TimesTen, создай одинаковые условия и приведи парочку тестов, где твоя система окажется быстрее. Я думаю это будет интересно форуму, а в особенности Ораклоидам.
23 ноя 09, 12:18    [7963462]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
kuka_8
Guest
mayton
JErik
Кто реально пробовал использовать TJ7? Не так как загонять туда 10000000 записей, а если записей много - то сегментировать их по табличкам и т.д..???

Господи, да чего-то пристал? Понимаешь, для того чтобы понять что разработка НЕ СОДЕРЖИТ элемента НОУ-ХАУ, не нужно её запускать и тестить. Достаточно посмотреть на обзор технологий которые ты использовал. Если-бы ты написал - "Йоу чуваки. Я создал распределённую СУБД-grid, которая балансирует запрос по нескольким ПК, и динамически корректирует план в зависимости от данных." - я-бы очень сильно заинтересовался. Я коллекционирую подобные идеи. Я-бы заинтересовался, если-бы ты создал distibuted FS собственного изготовления с невысокими требованиями по кворуму с синхронизацией по хешу.

А так... мы имеем довольно скучную кустарную систему, типа Cronos-а, которая никому не впилась по своей функциональности. И тестить мне её скучно и неинтересно.

Потому-что нет НОУ-ХАУ.

Оревуар, короче. Я уходу из топика.

P.S. Но если у тебя есть жуткий зуд посравнивать свою систему с промышленными - установи Oracle TimesTen, создай одинаковые условия и приведи парочку тестов, где твоя система окажется быстрее. Я думаю это будет интересно форуму, а в особенности Ораклоидам.


Вот это зря - если у него интербаза 6 часов 10000 записей обрабатывала - не трудно догадаться что будет с ораклом
23 ноя 09, 12:21    [7963475]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
Плох тот продукт - который не имеет поддержки TJ7
23 ноя 09, 12:23    [7963493]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Граур Станислав
Member

Откуда:
Сообщений: 877
JErik
Плох тот продукт - который не имеет поддержки TJ7


Ты уже выпилил у себя windows и ms-office ?
Млин, линукс то ведь тоже хорошим продуктом назвать нельзя :-(
23 ноя 09, 12:39    [7963592]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
gR4mm
Member

Откуда: Москва
Сообщений: 1412
JErik
Плох тот продукт - который не имеет поддержки TJ7
А тот, что имеет, сложно назвать продуктом.
Сдается мне, у автора мания величия.
23 ноя 09, 12:43    [7963627]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
JErik
Плох тот продукт - который не имеет поддержки TJ7

Это хорошее название топика для раздела "Просто треп". Однако, в общем случае это все еще слишком сильное предположение.
23 ноя 09, 13:03    [7963795]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 25 26 27 28 29 [30] 31 32 33 34 .. 99   вперед  Ctrl
Все форумы / Сравнение СУБД Ответить