Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 82 83 84 85 86 [87] 88 89 90 91 .. 99   вперед  Ctrl
 Re: Разработал драйвер баз данных, что дальше???  [new]
ЛП
Guest
JErik
так как у вас 32-х битная система - то более 2Гб она адресовать неможет - поэтому вам совсем чуть-чуть нехватает чтобы создать БД

Вдогонку.
Если не хватает адресного пространства, то не надо писать "у вас явно не хватает памяти"
Из Ваших объяснений следует, что даже будь у amsik не 512 оперативки, а 2ГБ оперативки, то всё равно он бы не сумел выполнить преобразование из csv в расчудесный формат TJ7.
23 дек 09, 09:25    [8105166]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
tAZAR
Member

Откуда: Москва
Сообщений: 2051
JErik

нет памяти больше не станет - зато загрузить данне в память сможете прямо из TJ7 - это как минимум круто на конец-то 2009-го года... Смысл в следующем вы конвертите с помощью: TJ7Reader2 - он загружает в память ваши 137Мб и в памяти они начинают занимать больше - ведь библиотеке ещё и на собственне нужды надо, ну допустим 700Мб занимают - потом для отображения данных - ридер делает копию в памяти - это уже х2 - то есть 1400Мб - а процедура записи использует удвоенный объём памяти - это х3 - то есть 2100Мб - так как у вас 32-х битная система - то более 2Гб она адресовать неможет - поэтому вам совсем чуть-чуть нехватает чтобы создать БД - однако если бы вы создали БД - вы бы без проблем смогли с ней работать - а создать её можно через ридер - только не открывая данные а в пустом ридере написав 2-ве псевдоСКЮЭЛЬ команды:
Read filename.csv,; From 2 Type txt;
Create base.tj7,1111 From 2 Type tj7;
Всем нравятся, все хвалят - говорят - вот все-бы писали на этом драйвере цены бы программистам небыло...


Я что-то не понял. Учитывая свойство БД неизбежно расти в объеме - ее что, каждую неделю (при сравнительно большом объеме вводимых данных - от 10000 до 30000 записей в день) вот так вот резать? Это будет делать тетя-оператор, или специально нанятый и обученый человек?

Насчет "всем нравится, все хвалят" - кто и где? Голословность не интересна.
23 дек 09, 09:27    [8105173]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
ЛП
JErik
так как у вас 32-х битная система - то более 2Гб она адресовать неможет - поэтому вам совсем чуть-чуть нехватает чтобы создать БД

Вдогонку.
Если не хватает адресного пространства, то не надо писать "у вас явно не хватает памяти"
Из Ваших объяснений следует, что даже будь у amsik не 512 оперативки, а 2ГБ оперативки, то всё равно он бы не сумел выполнить преобразование из csv в расчудесный формат TJ7.
Я описал как выполнить преобразование... Объём ОЗУ в данном случае влияет лишь на скорость а не на результат... В любом случае ПсевдоСКЮЭЛЬ запросами можно сконвертить до 150Мб, а TJ7Reader2 - конвертит лишь до 100Мб данных!!!
23 дек 09, 09:28    [8105176]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
tAZAR
Member

Откуда: Москва
Сообщений: 2051
JErik
В любом случае ПсевдоСКЮЭЛЬ запросами можно сконвертить до 150Мб, а TJ7Reader2 - конвертит лишь до 100Мб данных!!!

Как же все радужно в вашем мире, с "базами данных" по 100 мегабайт....
23 дек 09, 09:34    [8105198]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
ЛП
Guest
JErik
Объём ОЗУ в данном случае влияет лишь на скорость а не на результат...

Автор (amsik) написал, что не смог добиться результата вообще.
Ни быстро, ни медленно.
Вы ответили, что не хватает оперативки.
Чего Вы сейчас пытаетесь на какую-то скорость съехать, если, как выяснилось, с помощью Вашего поделия задача по конвертации 137-мегабайтного csv не решается в принципе? Ни быстро, ни медленно, независимо от объема ОЗУ?

В любом случае ПсевдоСКЮЭЛЬ запросами можно сконвертить до 150Мб, а TJ7Reader2 - конвертит лишь до 100Мб данных!!!

Ну что можно на это сказать?
Разве что еще раз согласиться с прозвучавшим ранее:
это как минимум круто на конец-то 2009-го года...
23 дек 09, 09:35    [8105204]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
JErik
Всем нравятся, все хвалят - говорят - вот все-бы писали на этом драйвере цены бы программистам небыло...

Интересно шо же за населенный пункт (село, поселок городского типа) где так могут в таких тЭрминах хвалить. Раз они думают шо на драйверах пишут, то скорей всего находятся под сильным воздействием от навязчивости с егойным драйвером Джерика.
23 дек 09, 09:35    [8105205]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
vadiminfo
JErik
Всем нравятся, все хвалят - говорят - вот все-бы писали на этом драйвере цены бы программистам небыло...

Интересно шо же за населенный пункт (село, поселок городского типа) где так могут в таких тЭрминах хвалить. Раз они думают шо на драйверах пишут, то скорей всего находятся под сильным воздействием от навязчивости с егойным драйвером Джерика.
Это крупный город - Гигант!!! Куда неглянь - тут завод, там завод - в общем чем-то напоминает то как раньше в фильмах комунисты представляли какой будет одесса: там завод, тут хим фабрика и т.д....
23 дек 09, 09:38    [8105216]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
JErik
он загружает в память ваши 137Мб и в памяти они начинают занимать больше - ведь библиотеке ещё и на собственне нужды надо, ну допустим 700Мб занимают - потом для отображения данных - ридер делает копию в памяти - это уже х2 - то есть 1400Мб - а процедура записи использует удвоенный объём памяти - это х3 - то есть 2100Мб - так как у вас 32-х битная система - то более 2Гб она адресовать неможет - поэтому вам совсем чуть-чуть нехватает чтобы создать БД - однако если бы вы создали БД - вы бы без проблем смогли с ней работать - а создать её можно через ридер - только не открывая данные а в пустом ридере написав 2-ве псевдоСКЮЭЛЬ команды:


рыдалъ
а по десять раз в памяти не копировать одно и тоже религия не позволила ???

JErik

Всем нравятся, все хвалят - говорят - вот все-бы писали на этом драйвере цены бы программистам небыло...


Точно, цены таким программистам нет, кто с этим говном согласится работать
наверное они и воду в вино смогут превращать и мертвых воскрешать по weekend-ам
23 дек 09, 09:45    [8105247]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
BpeguH
Member [заблокирован]

Откуда:
Сообщений: 242
JErik
vadiminfo
JErik
Всем нравятся, все хвалят - говорят - вот все-бы писали на этом драйвере цены бы программистам небыло...

Интересно шо же за населенный пункт (село, поселок городского типа) где так могут в таких тЭрминах хвалить. Раз они думают шо на драйверах пишут, то скорей всего находятся под сильным воздействием от навязчивости с егойным драйвером Джерика.
Это крупный город - Гигант!!! Куда неглянь - тут завод, там завод - в общем чем-то напоминает то как раньше в фильмах комунисты представляли какой будет одесса: там завод, тут хим фабрика и т.д....


...кругом счастье и цветущий коммунизм...
23 дек 09, 09:46    [8105255]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
dima_ryzhov
Member

Откуда: -
Сообщений: 376
JErik
vadiminfo
JErik
Всем нравятся, все хвалят - говорят - вот все-бы писали на этом драйвере цены бы программистам небыло...

Интересно шо же за населенный пункт (село, поселок городского типа) где так могут в таких тЭрминах хвалить. Раз они думают шо на драйверах пишут, то скорей всего находятся под сильным воздействием от навязчивости с егойным драйвером Джерика.
Это крупный город - Гигант!!! Куда неглянь - тут завод, там завод - в общем чем-то напоминает то как раньше в фильмах комунисты представляли какой будет одесса: там завод, тут хим фабрика и т.д....

Челябинск? О_о
23 дек 09, 09:48    [8105261]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
JErik
vadiminfo
JErik
Всем нравятся, все хвалят - говорят - вот все-бы писали на этом драйвере цены бы программистам небыло...

Интересно шо же за населенный пункт (село, поселок городского типа) где так могут в таких тЭрминах хвалить. Раз они думают шо на драйверах пишут, то скорей всего находятся под сильным воздействием от навязчивости с егойным драйвером Джерика.
Это крупный город - Гигант!!! Куда неглянь - тут завод, там завод - в общем чем-то напоминает то как раньше в фильмах комунисты представляли какой будет одесса: там завод, тут хим фабрика и т.д....


жуть (c)
23 дек 09, 09:49    [8105266]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
Gluk (Kazan)
JErik
он загружает в память ваши 137Мб и в памяти они начинают занимать больше - ведь библиотеке ещё и на собственне нужды надо, ну допустим 700Мб занимают - потом для отображения данных - ридер делает копию в памяти - это уже х2 - то есть 1400Мб - а процедура записи использует удвоенный объём памяти - это х3 - то есть 2100Мб - так как у вас 32-х битная система - то более 2Гб она адресовать неможет - поэтому вам совсем чуть-чуть нехватает чтобы создать БД - однако если бы вы создали БД - вы бы без проблем смогли с ней работать - а создать её можно через ридер - только не открывая данные а в пустом ридере написав 2-ве псевдоСКЮЭЛЬ команды:


рыдалъ
а по десять раз в памяти не копировать одно и тоже религия не позволила ???


придется тебе x64 осваивать ...
ах да, я ж забыыыыл Delphi
23 дек 09, 09:54    [8105290]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
Мишган-кабанчик
Member

Откуда:
Сообщений: 35
JErik он же Dedal, в миру Кольчурин Юрий Сергеевич.
ВУЗ: ТУСУР
Специальность: 230105 - "Программное обеспечение вычислительной техники и автоматизированных систем"
Форма обучения: Заочная
Дата окончания: 2007
Таки вы из Новокузнецка ;-)

Дедал, как нам поясняет педивикия, это персонаж древнегреческой мифологии, гениальный художник и инженер, считавшийся изобретателем разных инструментов, а также построивший лабиринт на острове Крит.

А таки свой лабиринт строит. :)
23 дек 09, 09:55    [8105296]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
gR4mm
Member

Откуда: Москва
Сообщений: 1412
JErik

нет памяти больше не станет - зато загрузить данне в память сможете прямо из TJ7 - это как минимум круто на конец-то 2009-го года... Смысл в следующем вы конвертите с помощью: TJ7Reader2 - он загружает в память ваши 137Мб и в памяти они начинают занимать больше - ведь библиотеке ещё и на собственне нужды надо, ну допустим 700Мб занимают - потом для отображения данных - ридер делает копию в памяти - это уже х2 - то есть 1400Мб - а процедура записи использует удвоенный объём памяти - это х3 - то есть 2100Мб - так как у вас 32-х битная система - то более 2Гб она адресовать неможет - поэтому вам совсем чуть-чуть нехватает чтобы создать БД - однако если бы вы создали БД - вы бы без проблем смогли с ней работать - а создать её можно через ридер - только не открывая данные а в пустом ридере написав 2-ве псевдоСКЮЭЛЬ команды:
Read filename.csv,; From 2 Type txt;
Create base.tj7,1111 From 2 Type tj7;

Это сколько же мне памяти надо будет для перегонки 10и гиговой базы? Таки нужно мега мощный сервер с терабайтом ОЗУ?
23 дек 09, 10:05    [8105347]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
igorekk
Member

Откуда: Москва
Сообщений: 316
gR4mm
Это сколько же мне памяти надо будет для перегонки 10и гиговой базы? Таки нужно мега мощный сервер с терабайтом ОЗУ?

Таких баз не бывает в природе, судя по всему :)
23 дек 09, 10:06    [8105355]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
tAZAR
Member

Откуда: Москва
Сообщений: 2051
igorekk

Таких баз не бывает в природе, судя по всему :)

Естественно. В мире автора все базы от 1.5 до 150 МБ.
23 дек 09, 10:11    [8105384]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
stil
Member

Откуда: Кемерово
Сообщений: 1332
JErik
бысрее и функциональнее уже некуда :).

Минус метода:
1) Удвоенное потребление памяти. поэтому для мольщих массивов использовались либо медленные прямые методы сортировки - либо индексные методы сортировки.

Новые переработанные методы сортировки более не используют удвоенный объём памяти - они научились быстро собирать данные в памяти в одном массиве по их индексам - с помощью специального алгоритма, теперь функционал быстрой сортировки - показывает низкое потребление памяти и высокую производительность и по праву может заменить функционал прямой сортировки во всех операциях!!! Хотя я думаю о том чтобы функционал быстрой сорировки оставить как есть - а новым функционалом заменить медленные функции прямой сортировки - ведь по производительности они выше а по требованиям практически одинаковые... Это позволит сзачительно увеличить производительность во всех операциях - какой-бы функционал не использовали программы...[/quot]

Чета я никак в толк не могу взять: то быстрее некуда, то медленные функции надо заменить Как же так?
23 дек 09, 10:18    [8105416]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
rockclimber
Member

Откуда: у меня в голове опилки?
Сообщений: 11085
JErik
нет памяти больше не станет - зато загрузить данне в память сможете прямо из TJ7 - это как минимум круто на конец-то 2009-го года... Смысл в следующем вы конвертите с помощью: TJ7Reader2 - он загружает в память ваши 137Мб и в памяти они начинают занимать больше - ведь библиотеке ещё и на собственне нужды надо, ну допустим 700Мб занимают - потом для отображения данных - ридер делает копию в памяти - это уже х2 - то есть 1400Мб - а процедура записи использует удвоенный объём памяти - это х3 - то есть 2100Мб - так как у вас 32-х битная система - то более 2Гб она адресовать неможет
Автор, ты забыл, что данные ты выводишь в StringGrid, поэтому туда тоже дублируются данные, итого 2,8 ГБ получается.
Кстати, вопрос на засыпку: слабо написать код для вывода данных в DrawGrid? 700 МБ сэкономишь...
23 дек 09, 10:40    [8105560]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
rockclimber
JErik
нет памяти больше не станет - зато загрузить данне в память сможете прямо из TJ7 - это как минимум круто на конец-то 2009-го года... Смысл в следующем вы конвертите с помощью: TJ7Reader2 - он загружает в память ваши 137Мб и в памяти они начинают занимать больше - ведь библиотеке ещё и на собственне нужды надо, ну допустим 700Мб занимают - потом для отображения данных - ридер делает копию в памяти - это уже х2 - то есть 1400Мб - а процедура записи использует удвоенный объём памяти - это х3 - то есть 2100Мб - так как у вас 32-х битная система - то более 2Гб она адресовать неможет
Автор, ты забыл, что данные ты выводишь в StringGrid, поэтому туда тоже дублируются данные, итого 2,8 ГБ получается.
Кстати, вопрос на засыпку: слабо написать код для вывода данных в DrawGrid? 700 МБ сэкономишь...
Нет нет у меня в TJ7Reader2 - даные выводятся в ListView - и более того они не дублируются источником данных является сам массив в FVMas!!!
23 дек 09, 10:55    [8105662]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
stil
JErik
бысрее и функциональнее уже некуда :).

Минус метода:
1) Удвоенное потребление памяти. поэтому для мольщих массивов использовались либо медленные прямые методы сортировки - либо индексные методы сортировки.

Новые переработанные методы сортировки более не используют удвоенный объём памяти - они научились быстро собирать данные в памяти в одном массиве по их индексам - с помощью специального алгоритма, теперь функционал быстрой сортировки - показывает низкое потребление памяти и высокую производительность и по праву может заменить функционал прямой сортировки во всех операциях!!! Хотя я думаю о том чтобы функционал быстрой сорировки оставить как есть - а новым функционалом заменить медленные функции прямой сортировки - ведь по производительности они выше а по требованиям практически одинаковые... Это позволит сзачительно увеличить производительность во всех операциях - какой-бы функционал не использовали программы...


Чета я никак в толк не могу взять: то быстрее некуда, то медленные функции надо заменить Как же так?[/quot]В FVMas есть 4 уровня сортировок:
- прямая сортировка...
- скоростная сортировка.
- индексная сортировка.
- индексная многопоточная сортироска.
все с разной производительностью...
23 дек 09, 11:03    [8105724]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
Gluk (Kazan)
Gluk (Kazan)
JErik
он загружает в память ваши 137Мб и в памяти они начинают занимать больше - ведь библиотеке ещё и на собственне нужды надо, ну допустим 700Мб занимают - потом для отображения данных - ридер делает копию в памяти - это уже х2 - то есть 1400Мб - а процедура записи использует удвоенный объём памяти - это х3 - то есть 2100Мб - так как у вас 32-х битная система - то более 2Гб она адресовать неможет - поэтому вам совсем чуть-чуть нехватает чтобы создать БД - однако если бы вы создали БД - вы бы без проблем смогли с ней работать - а создать её можно через ридер - только не открывая данные а в пустом ридере написав 2-ве псевдоСКЮЭЛЬ команды:


рыдалъ
а по десять раз в памяти не копировать одно и тоже религия не позволила ???


придется тебе x64 осваивать ...
ах да, я ж забыыыыл Delphi
Конечно из новокузнецка - это во всех моих программах на сайте написано... нууу или почти во всех...
23 дек 09, 11:12    [8105806]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
stil
Member

Откуда: Кемерово
Сообщений: 1332
JErik
все с разной производительностью...

Ужель кто-то при трезвом уме сознательно будет использовать медленные сортировки? Зачем нужно иметь поддержку вороха разных сортировок, если заведомо известно, что некоторые из них медленные?
23 дек 09, 11:16    [8105844]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
JErik
Member [заблокирован]

Откуда:
Сообщений: 468
stil
JErik
все с разной производительностью...

Ужель кто-то при трезвом уме сознательно будет использовать медленные сортировки? Зачем нужно иметь поддержку вороха разных сортировок, если заведомо известно, что некоторые из них медленные?
Это принципы сортировки - 4-ре принципа, прямой - скоростной и т .д... НО каждый из этих принципов поддерживает несколько методов, метод шелла, метод бинарных деревьев......
В общем я конечно понимаю что кажется запутано - но только на первый взгляд - более того есть кроме всего этого - и сортировки следующих уровней, подуровней....
библиотека просто комплектуется всем функционалом который может потребоваться - редко но может... чтобы программисту практически никогда ненужно было использовать много циклов и писать своё!!!
23 дек 09, 11:19    [8105872]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
ОКТОГЕН
Member

Откуда:
Сообщений: 2498
JErik, а почему не сделать 1 метод сортировки, наиболее оптимальный по
скорости и ресурсам? Один, но тщательно?
23 дек 09, 11:22    [8105900]     Ответить | Цитировать Сообщить модератору
 Re: Разработал драйвер баз данных, что дальше???  [new]
tAZAR
Member

Откуда: Москва
Сообщений: 2051
JErik
чтобы программисту практически никогда ненужно было использовать много циклов и писать своё!!!

Это гуманно, так как у программиста и так достаточно геморроя с вложенными циклами при работе с данными в TJ7.
23 дек 09, 11:24    [8105915]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 82 83 84 85 86 [87] 88 89 90 91 .. 99   вперед  Ctrl
Все форумы / Сравнение СУБД Ответить