Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 [5] 6 7 8 9 10 .. 99   вперед  Ctrl
 Re: Разработал драйвер баз данных, что дальше???  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54791

JErik

файл пишется целиком только при созднии - а при изменении данные
отправляются опредулёнными порциями...

Но при этом
JErik

если размер БД не оптимален и она содержит слишком много не сжатых
записей, процедура может автоматически вызывать процедуру "Создания",
для оптимизации - тогда происходит единовременная перезапись БД.

Опаньки?

Posted via ActualForum NNTP Server 1.4

2 ноя 09, 17:40    [7872933]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
Dimitry Sibiryakov

JErik

файл пишется целиком только при созднии - а при изменении данные
отправляются опредулёнными порциями...

Но при этом
JErik

если размер БД не оптимален и она содержит слишком много не сжатых
записей, процедура может автоматически вызывать процедуру "Создания",
для оптимизации - тогда происходит единовременная перезапись БД.

Опаньки?
Да - это предусмотренная функция - и у клиентов её можно отключить чтобы такими процедурами занималось только серверное ПО!!!
2 ноя 09, 17:42    [7872962]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
ADx
Guest
iscrafm,

автор
Потому что на данных момент пихают все в ин-мем, и периодически сбрасывают в хранилище. А Вы что предлагаете?


Это и предлагаю в данных случаях.
2 ноя 09, 17:46    [7872989]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
ADx
Guest
JErik,

автор
Разжатие идёт на лету - методы сжатия подобраны так чтобы сильно не нагруть ЦП

За сколько времени, не нагружая ЦП, Ваш драйвер разожмёт 300Мб данных?
2 ноя 09, 17:48    [7873010]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54791

JErik

Да - это предусмотренная функция - и у клиентов её можно отключить чтобы
такими процедурами занималось только серверное ПО!!!

Т.е. в обычном режиме работы Ваш драйвер не гарантирует сохранности
данных при сбоях оборудования. ЧиТД.

Posted via ActualForum NNTP Server 1.4

2 ноя 09, 17:52    [7873045]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
ADx
JErik,

автор
Разжатие идёт на лету - методы сжатия подобраны так чтобы сильно не нагруть ЦП

За сколько времени, не нагружая ЦП, Ваш драйвер разожмёт 300Мб данных?
~20 сек!!!
2 ноя 09, 17:54    [7873057]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
Dimitry Sibiryakov

JErik

Да - это предусмотренная функция - и у клиентов её можно отключить чтобы
такими процедурами занималось только серверное ПО!!!

Т.е. в обычном режиме работы Ваш драйвер не гарантирует сохранности
данных при сбоях оборудования. ЧиТД.
Всё будет работать так - как заложет программист :), система очень гибкая и практически все параметры настраиваемые или отключаемые...
2 ноя 09, 17:55    [7873065]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
ADx
Guest
JErik,

Т.е. чтоб прочитать 5 записей, ждать 20 секунд???
2 ноя 09, 17:57    [7873080]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
Dimitry Sibiryakov

JErik

Да - это предусмотренная функция - и у клиентов её можно отключить чтобы
такими процедурами занималось только серверное ПО!!!

Т.е. в обычном режиме работы Ваш драйвер не гарантирует сохранности
данных при сбоях оборудования. ЧиТД.
В обычных режимах он обеспечивает хорошую скорость работы - при этом сервер - гарантирует целостность даных и восстановление БД на лету в случае если маловероятный сбой всё-же случится...
2 ноя 09, 17:57    [7873083]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
ADx
JErik,

Т.е. чтоб прочитать 5 записей, ждать 20 секунд???
Нет - это чтение ВСЕЙ БД!!! Вы полностью дкодируете базу за 20 сек...
2 ноя 09, 17:58    [7873091]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
ADx
Guest
JErik,

Но мне не нужна сейчас вся база! Мне нужно сейчас 5 записей!
Потом еще 5 (база возможно уже изменилась при этом) ...
2 ноя 09, 18:02    [7873127]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
ADx
JErik,

Но мне не нужна сейчас вся база! Мне нужно сейчас 5 записей!
Потом еще 5 (база возможно уже изменилась при этом) ...
Изменённую БД можно незаметно для пользователя подгружать вторым потоком - не отвлекая его от работы, а когда она уже загружены - мнгновенно обновить данные :). ПО работающее с пользователями у меня именно так и делает...
2 ноя 09, 18:04    [7873139]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
AndriyKo
Member

Откуда: Харьков
Сообщений: 4963
JErik
Изменённую БД можно незаметно для пользователя подгружать вторым потоком - не отвлекая его от работы, а когда она уже загружены - мнгновенно обновить данные :). ПО работающее с пользователями у меня именно так и делает...

Ага, незаметно в течение 20сек. Я понял наконец то, это просто стёб.
2 ноя 09, 18:06    [7873152]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54791

JErik

Изменённую БД можно незаметно для пользователя подгружать вторым потоком
- не отвлекая его от работы, а когда она уже загружены - мнгновенно
обновить данные :). ПО работающее с пользователями у меня именно так и
делает...

Т.е. между нажатием кнопки "Сохранить", когда ваша программа начинает
перечитывать изменённую другим пользователем таблицу до реальной записи
изменённых данных на диск может пройти несколько минут? 20 секунд
прочитать, расшифровать и разжать, потом ещё 20 секунд сжать,
зашифровать и записать.

Posted via ActualForum NNTP Server 1.4

2 ноя 09, 18:07    [7873165]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
Dimitry Sibiryakov

JErik

Изменённую БД можно незаметно для пользователя подгружать вторым потоком
- не отвлекая его от работы, а когда она уже загружены - мнгновенно
обновить данные :). ПО работающее с пользователями у меня именно так и
делает...

Т.е. между нажатием кнопки "Сохранить", когда ваша программа начинает
перечитывать изменённую другим пользователем таблицу до реальной записи
изменённых данных на диск может пройти несколько минут? 20 секунд
прочитать, расшифровать и разжать, потом ещё 20 секунд сжать,
зашифровать и записать.
Нет з задержка идёт только на чтение БД, при этом если объём не столь большой то она неощутима, а изменение проходит очень быстро - кроме того учитывая что пользовотельское ПО - поддерживает в памяти последнюю БД - то для записи часто не треуется даже перечитывать данные - и изменения проходят практически мнгновенно... Это лишь частный случай когда данные необходимо подгружать повторно...
2 ноя 09, 18:12    [7873203]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
Если рассматривать худшие варианты работы клиент-серверных СУБД - по сравнению с TJ7 - то клиент-серверные тоже значительно проигрывают... Например при полном отображении данных - а ведь во многих задачах именно так и нужно...
2 ноя 09, 18:15    [7873224]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54791

JErik

Это лишь частный случай когда данные необходимо подгружать повторно...

Т.е. для Вашего драйвера паралельные изменения данных в таблице -
частный случай, в котором он показывает падение производительности. Как
я и говорил - однопользовательская БД.

Posted via ActualForum NNTP Server 1.4

2 ноя 09, 18:22    [7873262]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
cryptoman
Guest
JErik ,

Не совсем понятно ,
кто все таки владеет ключами для извлечения записей,
как быть если записал один пользователь, а считать нужно другому?

Можете перечислить алгоритмы которыми производится криптование ?
И длины поддерживаемых ключей.

И еще в догонку вопрос , что происходит если вся база не влазит в память на клиенте ?
2 ноя 09, 18:25    [7873285]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
Dimitry Sibiryakov

JErik

Это лишь частный случай когда данные необходимо подгружать повторно...

Т.е. для Вашего драйвера паралельные изменения данных в таблице -
частный случай, в котором он показывает падение производительности. Как
я и говорил - однопользовательская БД.
Поработаю ещё в этом направлении - архитектура хранения данных, очень универсальна и позволяет не перечитывать данные при каждом изменении, а лишь обмениваться изменениями...
2 ноя 09, 18:27    [7873294]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
cryptoman
JErik ,

Не совсем понятно ,
кто все таки владеет ключами для извлечения записей,
как быть если записал один пользователь, а считать нужно другому?

Можете перечислить алгоритмы которыми производится криптование ?
И длины поддерживаемых ключей.

И еще в догонку вопрос , что происходит если вся база не влазит в память на клиенте ?

Если у клиента нехватило памяти по каким-либо причинам, возвращается ошибка чтения с кодом №1 - непредвиденная ошибка, драйвер автоматическы выполняет обнуление участков рабочей памяти и указателей дабы избежать обращение в незарезервированную область памяти.
Что касается шифрования, то БД просто зашифрована с определённым паролем, всем клиентам выдаётся своё имя пользователя и пароль - по имени пользователя они находят аутентификационный блок - он позволяет им преобразовать клиентский пароль в пароль для декодирования БД. Сама БД может динамически перешифровываться сновыми паролями - с автоматическим выписыванием клиентам новых аутентификационных блоков - чтобы их имя и пароль подходили для доступа - такая структура позволяет легко блокировать доступ клиентов к БД. Алгоритмы аутентификации - сверх-надёжны - так как выгледят в виде чёрного ящика преобразования входа в выход - и не имеют никаких средств проверки пароля. Если на входе пароль пользователя то на выходе пароль к БД - если на входе не пароль пользователя то на выходе то что получилось после преобразования: непредсказуемый наборданных - но всегда стабильный для одного и того же блока с одним и тем-же входом...
Первым блоком БД является блок проверки пароля - это вероятностный блок проверки пароля, и определяет правильность с определённой долей вероятности - если он пропускает неправильный пароль - то расшифровать даные всё равно не удастся... для шифрования БД генерится свой внутренний код случайной длтнны из случайных символов, длина котороно более 60 символов, НО этот код нигде не используется явно, каждая ячейка базы данных зашифрована своим паролем - которй генерится из внутреннего кода. Выполнить обратное преобразование - восстановить код по зашифрованной ячейке: невозможно. Теоретически такая вероятность есть только в случае если алгоритм криптографии окажется очень слабым (чего не может быть) и самая первая ячейка БД будет угадана при том что её длина превычит длину ключа, тоесть будет более 60-ти символов. во всех остальных случаях нет даже призрачной теоретической возможности взлома. Внутренний формат хранения данных предусматривает запись данных по строчно, однако кодирование/декодирование идёт по столбцам - дабы добиться максимального эффекта сжатия, в результате даже вторая записанная ячейка будет сжата методами предварительно обучившиися на десятках тысяч записей и уже не то что взломать - сложно даже предугодать что именно будет в неё записано...
2 ноя 09, 18:41    [7873356]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Cat2
Member

Откуда: Petroskoi, Karjala
Сообщений: 145754
JErik
Если рассматривать худшие варианты работы клиент-серверных СУБД - по сравнению с TJ7 - то клиент-серверные тоже значительно проигрывают... Например при полном отображении данных - а ведь во многих задачах именно так и нужно...

Вы ошибаетесь. Так как раз ненужно и этого надо всячески избегать
2 ноя 09, 18:56    [7873394]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Зайцев Фёдор
Member

Откуда: Лужки
Сообщений: 5308
не понимаю, как можно обсуждать этот бред. проще зайти на сайт автора значительно веселее, но времени займёт меньше
2 ноя 09, 19:00    [7873408]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54791

JErik

имени пользователя они находят аутентификационный блок - он позволяет им
преобразовать клиентский пароль в пароль для декодирования БД.

А где хранятся эти "аутенификационные блоки"?

Posted via ActualForum NNTP Server 1.4

2 ноя 09, 19:05    [7873415]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
mayton
Member

Откуда: loopback
Сообщений: 52996
Dimitry Sibiryakov
JErik
имени пользователя они находят аутентификационный блок - он позволяет им преобразовать клиентский пароль в пароль для декодирования БД.

А где хранятся эти "аутенификационные блоки"?

Да забей. Не надо его троллировать! Парень и так в двузвенках парится, а ты ещё его хочешь сразить тяжёлой артиллерией. Лично мне интересно, как он выкручивается из каскадных блокировок и обеспечивает восстановление БД после сбоя. А безопасность это еще та тёмная лошадка. Надо ВЕСЬ стек изучать. Начиная от того, где юзер сохраняет пароль, и заканчивая анализом кода на утечки и прочие слабые места.
2 ноя 09, 19:59    [7873531]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54791

mayton

Лично мне интересно, как он выкручивается из каскадных блокировок и
обеспечивает восстановление БД после сбоя.

Да это-то как раз просто: у него атомарность операции с точностью до
таблицы, причём таблица блокируется целиком (привет ISAM). Дальше
каскадироваться уже вроде как некуда. Ну а про восстановление после
сбоев он уже написал выше - никак оно не восстанавливается. Таблица сбой
либо переживает, либо нет.

Posted via ActualForum NNTP Server 1.4

2 ноя 09, 20:24    [7873598]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 [5] 6 7 8 9 10 .. 99   вперед  Ctrl
Все форумы / Сравнение СУБД Ответить