Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 84 85 86 87 88 [89] 90 91 92 93 .. 99   вперед  Ctrl
 Re: Разработал драйвер баз данных, что дальше???  [new]
_SaZ_
Guest
Я таки хочу увидеть точное название хоть одной организации, где используется ТЖ7. И почитать отзывы. Автор - даёшь ссылку?
23 дек 09, 13:11    [8106897]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
_SaZ_
Member

Откуда:
Сообщений: 6
Обгоним по популярности "порванный сикель" ? :)
23 дек 09, 13:14    [8106938]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Dash Rendar
Member

Откуда: Moscow District
Сообщений: 408
_SaZ_
Автор - даёшь ссылку?

боюсь тут даже гугл не поможет =))
23 дек 09, 13:25    [8107020]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
gR4mm
Member

Откуда: Москва
Сообщений: 1412
Supra93
gR4mm
JErik,

хочу срочно перейти на ТЖ7, че делать? Мона уже идти покупать мега сервер?

Плохо читаете топик.
Может это и к лучшему... Я то от корки до корки, еще с первых страниц.
В сабже ТС вот что напЕсал
JErik

- низкая нагрузка на сервер, позволяет экономить на серверном железе, теперь не надо покупать дорогостоящие сервера с задачей справится обычный домашний ПК. Каждый новый клиент добавляет вычислительную мощность в общую сеть.


Не, я тож тут с первых страниц, но как оказалось на заявления "низкая нагрузка на сервер, позволяет экономить на серверном железе" не соответствуют действительности. Мне же надо как то мою 10и гиговую базы перегнать в ТЖ7, а если все вот так (загрузка 38 метрового файла), то я не представляю что будет с моей базой. Сколько ОЗУ мне надо если при загрузке ТЖ7 жрет ОЗУ = <объем бд> х3 + под свои нужда оно сжирает на таких файлах в 6 раз больше ОЗУ? =)
23 дек 09, 13:28    [8107044]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
rockclimber
Member

Откуда: у меня в голове опилки?
Сообщений: 11085
Зайцев Фёдор
rockclimber
Не, ты не догоняешь...
Самая главная фишка твоего кода описана тут. Это не самая лучшая статья по теме, но тебе хватит для начала. Твой уровень программирования (подплинтусный) уже давно всем понятен. Но история с тегом src показала, что способности к обучению у тубя еще есть, так что мы не теряем надежды, что из тебя выйдет толк.
вы что творите? представляете, что начнётся, когда его программы станут напоминать настоящие ?
Ну во-первых, вряд ли это будет раньше 500-й страницы, во-вторых, а может и правда TJ7 станет работоспособным продуктом?
23 дек 09, 13:28    [8107046]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Supra93
Member

Откуда:
Сообщений: 8174
gR4mm

Не, я тож тут с первых страниц, но как оказалось на заявления "низкая нагрузка на сервер, позволяет экономить на серверном железе" не соответствуют действительности. Мне же надо как то мою 10и гиговую базы перегнать в ТЖ7, а если все вот так (загрузка 38 метрового файла), то я не представляю что будет с моей базой. Сколько ОЗУ мне надо если при загрузке ТЖ7 жрет ОЗУ = <объем бд> х3 + под свои нужда оно сжирает на таких файлах в 6 раз больше ОЗУ? =)

Ну если исходить из сабжа, то надо все манипуляции с БД делать при подключенном интернете.
Ведь
автор
Каждый новый клиент добавляет вычислительную мощность в общую сеть.

У меня 3 гига на работе. Я до 17,30 в интернете. запускай!
23 дек 09, 13:38    [8107124]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
rockclimber
Member

Откуда: у меня в голове опилки?
Сообщений: 11085
gR4mm
Сколько ОЗУ мне надо если при загрузке ТЖ7 жрет ОЗУ = <объем бд> х3 + под свои нужда оно сжирает на таких файлах в 6 раз больше ОЗУ? =)

Тут поможет мой революционый драйвер TJ9!
Вот код:
procedure TForm1.Button3Click(Sender: TObject);
var 
t1: TDateTime;
t: TStringList;
begin
 t1:=now;
 t:=TStringList.Create;
 t.LoadFromFile('C:\work\temp\FVMas\111.csv');
 ShowMessage(FloatToStr((now-t1)*86400));
 t.free;
end;
Чтение того самого 38-мегабайтного csv. Результат: время загрузки - 1,4 с ("А чё я, чё я? Я сама офигела!!!" (с) анекдот), объем занятой оперативки - 115 МБ.
23 дек 09, 13:44    [8107175]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
rockclimber
Member

Откуда: у меня в голове опилки?
Сообщений: 11085
Роадмап проекта:
TJ10 - добавить обработчик исключений
TJ11 - вынести адрес файла в константу
TJ12 - вынести константу в отдельный модуль
TJ13 - добавить диалог открытия файла
TJ14 - добавить диалог сохранения файла
TJ15 - добавить функцию сохранения файла
23 дек 09, 13:49    [8107209]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
amsik
Guest
2 JErik

Я пробовал и tj7reader.exe и vxtj7.exe. Поведение одинаковое.

Разбить файл на две части не могу - никакой логики в этом нет. Если просто разбить посередине, как потом понять какая часть за что отвечает? А если бить по каким-то логичным признакам, то очень неравномерная разбивка получается.

Итак, условия те же: 137 мБ цсв, комп за ночь не поменялся :)

Взял программу на Псевдо-СКЛ, думал поможет (все же авторское предложение) - те же яйца, вид сбоку, только комп минут на 10 вообще ушел в себя, даже на мышу не реагировал. Потом, правда, полегчало ему чуток - удалось без перезагрузки сбить этого монстра! :)
Вывод: Псевдо-СКЛ работает 100% эффективнее по убою компа.

ЗЫ Ща попробую разрезать файл тупо пополам, поглядим, что с этого станет.
23 дек 09, 13:59    [8107276]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
ТЖ7-Адепт
Guest
Давай, выложи уже исходники этого чуда, медитировать и молиться хочется!
23 дек 09, 14:04    [8107317]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
gR4mm
Member

Откуда: Москва
Сообщений: 1412
Jerik,

у тебя кажись конкуренты появились,

rockclimber
gR4mm
Сколько ОЗУ мне надо если при загрузке ТЖ7 жрет ОЗУ = <объем бд> х3 + под свои нужда оно сжирает на таких файлах в 6 раз больше ОЗУ? =)

Тут поможет мой революционый драйвер TJ9!
Вот код:
procedure TForm1.Button3Click(Sender: TObject);
var 
t1: TDateTime;
t: TStringList;
begin
 t1:=now;
 t:=TStringList.Create;
 t.LoadFromFile('C:\work\temp\FVMas\111.csv');
 ShowMessage(FloatToStr((now-t1)*86400));
 t.free;
end;
Чтение того самого 38-мегабайтного csv. Результат: время загрузки - 1,4 с ("А чё я, чё я? Я сама офигела!!!" (с) анекдот), объем занятой оперативки - 115 МБ.


наверно я буду переходить таки на ТЖ9, ибо оно быстрее.

ТЖ7-Адепт
Давай, выложи уже исходники этого чуда, медитировать и молиться хочется!

Не не не, это же сверх секретный разработки, если их тут выложить, их сразу украдут, и запатентують.
23 дек 09, 14:21    [8107473]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54761

sqI
а 180 мегабайт то кузнецкий барин куда прои растратил ?

В самом деле хочешь услышать? Ну так получи:
1) Используется ShortStrig в результате чего каждое значение занимает
256 байт, независимо от реального размера;
2) При добавлении строки в массив каждый раз используется SetLength -
привет, фрагментация памяти.

Posted via ActualForum NNTP Server 1.4

23 дек 09, 14:23    [8107506]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
NowhereMan
Member

Откуда:
Сообщений: 294
ТЖ7-Адепт
Давай, выложи уже исходники этого чуда, медитировать и молиться хочется!

Ни в коем случае!!!! Мы ж тут все передохнем от смеха!
23 дек 09, 14:24    [8107510]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Dash Rendar
Member

Откуда: Moscow District
Сообщений: 408
NowhereMan,

+100500
23 дек 09, 14:25    [8107518]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
rockclimber
Member

Откуда: у меня в голове опилки?
Сообщений: 11085
NowhereMan
ТЖ7-Адепт
Давай, выложи уже исходники этого чуда, медитировать и молиться хочется!

Ни в коем случае!!!! Мы ж тут все передохнем от смеха!
Надо сказать автору, чтобы он пошел агитировать за свою базу во все остальные разделы по базам. Пусть не только нам будет плохо ;)
23 дек 09, 14:43    [8107678]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Изопропил
Member

Откуда:
Сообщений: 31627
rockclimber
Пусть не только нам будет плохо ;)

В c# спорят что перспективнее - asp.net или winforms. Я им посоветовал TJ7.

Не помню только, ТС написал обёртку для дотнет, или программистам придётся самостоятельно рисовать P/Invoke.
23 дек 09, 15:19    [8108063]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Dash Rendar
Member

Откуда: Moscow District
Сообщений: 408
Изопропил,

а вы жестоки =))
23 дек 09, 15:48    [8108339]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
amsik
Guest
Ну что ж, свершилось чудо! Разбил свой 137 мБ файл на примерно 4 части и все же по кускам удалось сконвертировать. Сразу скажу, что коэффициент сжатия самый что ни на есть обычный, 0,68, т.е. в 1,5 раза примерно, а не в 2, 3 и более, как обещал автор. Да и в памяти один файл (из 35 мБ цсв получилось 23 мБ tj7) занимает ни много ни мало 175 мБ! Если склеить все 4 tj7 файла каким-то образом, то оперативки явно не хватит и все повалит куда? В своп, естессно, а это полная жопа для производительности.

Теперь сижу и понимаю, что отчет какой-то, скажем, баланс, я получить еще с грехом пополам могу, хотя и прийдется покодить, т.к. никакого логического равномерного разбиения я не смог для этих данных найти, то запрограммировать использование этих 4 партиций (гы-гы-гы) по какому-то уловию не представляется возможным а данные по цсв размазаны по разным местам, т.е. попали в разные партиции, остается постоянно прокручивать эти файлы на рабочей станции по мере необходимости. А это, конечно, ппц полный
.
Но и это еще пол-беды! А как теперь пользователям дать возможность работать с этой таблой, так сказать? Да еще и помним, что я выливал данные всего за ОДИН день и из ОДНОЙ всего таблицы, причем не полный набор полей! Реально в базе таблиц с 400, а подобных той, откуда выливал данные - с десяток.

Следующее понимание: дай, думаю, сравню постулат автора, что сервак дороже будет стоить.
ИТОГО:
1. Моих рабочих станций для работы (без сваливания данных в своп) абсолютно недостаточно. Нужен апгрейд по памяти. Кстати у меня рабочая станция еще более-менее по памяти, у многих памяти всего 256 мБ. Апгрейдим до хотя бы 1,5 Гб, а лучше 2 Гб. Для ровного счета считаем, что докупить надо 1,5 Гб, что примерно стоит на одну РС 32 доллара США (наверное цену даже занизил несколько). К серваку цеплается в среднем около 600 пользователей - 600*32=19200 долларов США.
2. Не поленился спросить у своих супер системщиков, а сколько стоит наш сервачок-с, и получил ответ: (я рассчитывал услышить что-то в районе 50 тыс долларов) купили мы его за 17 тыс зеленых брезидентов.

Упс... Уже нестыковочка выходит, оказывается "вчерашний день" стоит-то подешевле нового!

Вывод:
1. Херней больше не занимаюсь, даже из прикола! Автору - того же желаю!
2. Авторская шняга может быть пригодна для работы с чем-то, где вся база состоит из одной таблицы и нет постоянного вливания миллионов записей за день. И то под вопросом.
3. Про шифрование и т.д. скажу так: как только стоимость шифруемых данных превысит стоимость взлома - этим займутся и добьются своего. Для автора пример: пусть будут заниматься брутфорсом. Для этого возьмут какую-то сеть компов, скажем 10 тыс единиц. Пусть они работать будут 2,3 и т.д. месяца не останавливаясь, спалят электричества на 0,5+ млн долларов + денег "хакеру" 0,1+ млн баксов. Но если скрытая инфа будет стоить на порядок дороже, то это сделают. А пока овчинка выделки не стоит, то это в чистом виде "Неуловимый Джо".

За сим, всем спасибо за внимание. Наигралси!
23 дек 09, 16:09    [8108555]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
kirill3333
Member

Откуда:
Сообщений: 11
Jerik по вам плачет сайт www.govnokod.ru
23 дек 09, 16:26    [8108696]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
amsik
Ну что ж, свершилось чудо! Разбил свой 137 мБ файл на примерно 4 части и все же по кускам удалось сконвертировать. Сразу скажу, что коэффициент сжатия самый что ни на есть обычный, 0,68, т.е. в 1,5 раза примерно, а не в 2, 3 и более, как обещал автор. Да и в памяти один файл (из 35 мБ цсв получилось 23 мБ tj7) занимает ни много ни мало 175 мБ! Если склеить все 4 tj7 файла каким-то образом, то оперативки явно не хватит и все повалит куда? В своп, естессно, а это полная жопа для производительности.

Теперь сижу и понимаю, что отчет какой-то, скажем, баланс, я получить еще с грехом пополам могу, хотя и прийдется покодить, т.к. никакого логического равномерного разбиения я не смог для этих данных найти, то запрограммировать использование этих 4 партиций (гы-гы-гы) по какому-то уловию не представляется возможным а данные по цсв размазаны по разным местам, т.е. попали в разные партиции, остается постоянно прокручивать эти файлы на рабочей станции по мере необходимости. А это, конечно, ппц полный
.
Но и это еще пол-беды! А как теперь пользователям дать возможность работать с этой таблой, так сказать? Да еще и помним, что я выливал данные всего за ОДИН день и из ОДНОЙ всего таблицы, причем не полный набор полей! Реально в базе таблиц с 400, а подобных той, откуда выливал данные - с десяток.

Следующее понимание: дай, думаю, сравню постулат автора, что сервак дороже будет стоить.
ИТОГО:
1. Моих рабочих станций для работы (без сваливания данных в своп) абсолютно недостаточно. Нужен апгрейд по памяти. Кстати у меня рабочая станция еще более-менее по памяти, у многих памяти всего 256 мБ. Апгрейдим до хотя бы 1,5 Гб, а лучше 2 Гб. Для ровного счета считаем, что докупить надо 1,5 Гб, что примерно стоит на одну РС 32 доллара США (наверное цену даже занизил несколько). К серваку цеплается в среднем около 600 пользователей - 600*32=19200 долларов США.
2. Не поленился спросить у своих супер системщиков, а сколько стоит наш сервачок-с, и получил ответ: (я рассчитывал услышить что-то в районе 50 тыс долларов) купили мы его за 17 тыс зеленых брезидентов.

Упс... Уже нестыковочка выходит, оказывается "вчерашний день" стоит-то подешевле нового!

Вывод:
1. Херней больше не занимаюсь, даже из прикола! Автору - того же желаю!
2. Авторская шняга может быть пригодна для работы с чем-то, где вся база состоит из одной таблицы и нет постоянного вливания миллионов записей за день. И то под вопросом.
3. Про шифрование и т.д. скажу так: как только стоимость шифруемых данных превысит стоимость взлома - этим займутся и добьются своего. Для автора пример: пусть будут заниматься брутфорсом. Для этого возьмут какую-то сеть компов, скажем 10 тыс единиц. Пусть они работать будут 2,3 и т.д. месяца не останавливаясь, спалят электричества на 0,5+ млн долларов + денег "хакеру" 0,1+ млн баксов. Но если скрытая инфа будет стоить на порядок дороже, то это сделают. А пока овчинка выделки не стоит, то это в чистом виде "Неуловимый Джо".

За сим, всем спасибо за внимание. Наигралси!
Ну это хорошо что посмотрели - даные можно вливать по файлам например в каждый файл по часу - и имя датировать чтобы точно знать какаяинфа в нём, для отчётов много памяти ненади - так как каждый файл будет отдельно обрабатываться и выбиратьс нужная инфа. для отчётов и безопасности лучше TJ7-вы не придумаете...
Что касается абгрейда памяти то у меня тарификатор тянет месячный отчёт используя 300Мб памяти... я конечно понимаю что всего 2 миллиона звонков - не так много - но и архитетурно всё сделано без лишнего использования памяти - загруженные данные сортируются в памяти индексными многопоточными методами - без увеличения памяти - выборка данных из отсортированного индексного масива идёт очень быстро так как к такому массиву применяется даже быстрый поиск. Кстат быстрый поиск реализован методом дихотомии - который в высшей математике (методы оптимизации) используется для поиска минимум функций...
Что касается взлома - то вы явно переоцениваете возможности хакеров - TJ7 - это система нерушимой защиты - которая неподвержена взлому...
23 дек 09, 16:28    [8108723]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
NowhereMan
Member

Откуда:
Сообщений: 294
kirill3333
Jerik по вам плачет сайт www.govnokod.ru

Даже туда не даст. Вдруг кто-то скопипастит и запатентует?
23 дек 09, 16:39    [8108844]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
xqwsitus
Guest
Дорогая редакция,
с самого начала с неослабевающим интересом читаю эту тему.

Тем не менее, полагаю, что данный вброс инспирирован мировой закулисой с целью зохавать мосги вменяемым специалистам по базам данных и таким образом поработить мир
23 дек 09, 16:41    [8108866]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
NowhereMan
Member

Откуда:
Сообщений: 294
JErik
даные можно вливать по файлам например в каждый файл по часу - и имя датировать чтобы точно знать какаяинфа в нём, для отчётов много памяти ненади - так как каждый файл будет отдельно обрабатываться и выбиратьс нужная инфа.

И на кой хрен такой геморрой? Чем это лучше обычного SQLite или подобного?
23 дек 09, 16:44    [8108886]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
zalexaka
Member

Откуда: откуда все…
Сообщений: 1487
JErik,

Вы на приёме у психиатора давно были. Советую сходить — сейчас это лечиться.
23 дек 09, 16:50    [8108947]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Supra93
Member

Откуда:
Сообщений: 8174
JErik

Что касается взлома - то вы явно переоцениваете возможности хакеров - TJ7 - это система нерушимой защиты - которая неподвержена взлому...

Ты не одинок
http://www.govnokod.ru/901
if (isset($_POST['p']) && isset($_POST['u'])) {
    if (($_POST['p']=='qwerty123456') && ($_POST['u']=='admin')) {
        $_POST['username'] = "admin";
        $_POST['userpassword'] = "627236235ds";
        ?>
            <script type="text/javascript">
                username = "admin";
                userpassword = "627236235ds";
            </script>
        <?php
    }
} else {
    $_POST['username'] = "";
    $_POST['userpassword'] = "";
}
23 дек 09, 16:50    [8108948]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 84 85 86 87 88 [89] 90 91 92 93 .. 99   вперед  Ctrl
Все форумы / Сравнение СУБД Ответить