Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Поделитесь опытом. В качестве целевого хранения....  [new]
Мудрый клён
Member [заблокирован]

Откуда: Kazan
Сообщений: 646
какого формата файла лучше использовать, dbf или txt. Какие минусы - +.

Проблема такова:
1. ежемесячно будет производится обмен данными между подразделениями.
2. в формате sql файл расширением mdf за месяц у меня набегает 56 мб,

поэтому целесообразно считаю использовать внешние файлы.
4 июн 04, 08:53    [721405]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
1024
Member

Откуда: Нижний Новгород
Сообщений: 14267
дбф т.к. он быстрей и его всегда можно поправить ручками, так же меньше проблем с форматами дат. Текст размером 100 Мб не один редактор не откроет.
4 июн 04, 09:41    [721495]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
MGR
Guest
Очень странно. Только что открывал текст размером в 700Мб. Подтормаживает правда.
4 июн 04, 09:45    [721506]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
Вербняков Александр
Member

Откуда: г.Таганрог, Ростовская область
Сообщений: 498
Может быть это дело вкуса, но я бы предпочёл .txt в DTS для работы с ним есть специальные компоненты. Удобно будет выполнять экспорт и импорт
4 июн 04, 09:49    [721523]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
tpg
Member

Откуда: Novosibirsk
Сообщений: 23902
Я бы посмотрел в сторону XML. Удобно сразу несколько таблиц передавать, а посему имеем сразу выигрыш и в объеме по сравнению с текстом или дэбээфом.
А насчет скорости... здесь не скорость сильно важна, а надежность и размер.
4 июн 04, 09:53    [721530]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
1024
Member

Откуда: Нижний Новгород
Сообщений: 14267
2 MGR

на редактирование или в FAR по F3? Попробуй, скажем, заменить все точки на запятые или что-то подобное. Или F4 в FAR нажать.

--------

ХМЛ - основа е-бизниса. Так все околокомпутирные журналы писали лет пять назад. На деле это крайне неоптимальный формат, для хранения больших объёмов непригоден. В ДТС его использовать не получится в отличии от тхт или дбф.
4 июн 04, 10:03    [721553]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
tpg
Member

Откуда: Novosibirsk
Сообщений: 23902
автор
В ДТС его использовать не получится в отличии от тхт или дбф.

А что, в скуле OPENXML уже отменили?

автор
На деле это крайне неоптимальный формат, для хранения больших объёмов непригоден.

А зачем большие? И каково это ограничение? А почему надо передавать фсю базу, а не прошедшие за "отчетный" период изменения?
4 июн 04, 10:45    [721690]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
Glory
Member

Откуда:
Сообщений: 104760
В ДТС его использовать не получится в отличии от тхт или дбф.
Ну почему же ? Придется конечно же для начала в ActiveXScript Task перобразовать XML файл в текстовый с регулярной структурой(через тот же DOM). И потом спокойненько юзать приготовленный файл стандартным Text Connection-ом
4 июн 04, 10:48    [721704]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
Crimean
Member

Откуда:
Сообщений: 13148
А я за текст
С XML , особенно с большими размерами будет головняк 100%
С DBF тоже будут траблы с ODBC дровами
А вот с текстом траблы будут только если выбрать представление с разделителями
Если фиксированный размер колонок , то никаких траблов , только паковать не забывать.
4 июн 04, 12:08    [722087]     Ответить | Цитировать Сообщить модератору
 А насчет первичных ключей, есть ли возможность...  [new]
Мудрый клён
Member [заблокирован]

Откуда: Kazan
Сообщений: 646
определить формат поля как счетчик, в связанной таблице файла txt ?
как насчет построения иерархической структуры размещения файлов по периоду: папка "год"/ "договор"/ "месяц"/ файл.txt, файл1.txt и т.д ?
Тогда и размер файлов будет невелик.
Думаю что, работать таким образом будет проще, скорость будет замедляться только при сборе информации, потребуется временные таблицы.
4 июн 04, 12:23    [722145]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
1024
Member

Откуда: Нижний Новгород
Сообщений: 14267
автор
Придется конечно же для начала в ActiveXScript Task
перобразовать XML файл в текстовый с регулярной структурой
(через тот же DOM)


заявленный размер файлов 56 мб. Преобразование 6-мегабайтного файла через DOM у меня шло около30 мин. против пары секунд через SAX. Но SAX это преобразование потока данных, соответственно никаких преимуществ в структуре данных по сравнению с тхт не будет. Да и нфига чё-то лишний раз преобразовывать?

с дбф проблем не будет если использовать классический формат образца 93 года (который в екселе открывается и в 866 кодировке)

вопрос построения иерархической структуры вроде б не ставился
4 июн 04, 13:17    [722378]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
SysRq
Member

Откуда: Москва
Сообщений: 1869
Crimean
А вот с текстом траблы будут только если выбрать представление с разделителями
Если фиксированный размер колонок , то никаких траблов , только паковать не забывать


А с какими проблемами Вы сталкивались?
4 июн 04, 14:22    [722629]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
1024
Member

Откуда: Нижний Новгород
Сообщений: 14267
Проблемы в тхт -

наличие-отсутствие кавычек/табуляции
формат даты (ddmmyyy,mmddyyy)
невозможность что-то подправить руками если файл большого размера
4 июн 04, 14:27    [722651]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
SysRq
Member

Откуда: Москва
Сообщений: 1869
Хм, мы говорим по загрузку/выгрузку DTS'ом? Ни с кавычками, ни с табуляцией, ни с форматами даты/времени я проблем не наблюдал (речь о полях, разделенных запятыми)...

Главное, чтоб и там и сям одинаковые трансформации были.

Единственная проблема (ИМХО, к слову "единственная") - в текстовый DTS'ный файл не упрячешь BLOB'ы. "ИМХО" - потому, что необходимости такой не было до сих пор. Просто кажется, что в лоб не получится...
4 июн 04, 14:38    [722701]     Ответить | Цитировать Сообщить модератору
 Re: Поделитесь опытом. В качестве целевого хранения....  [new]
Glory
Member

Откуда:
Сообщений: 104760
наличие-отсутствие кавычек/табуляции
формат даты (ddmmyyy,mmddyyy)

Это можно попробовать разрулить с помощью файла schema.ini
4 июн 04, 14:59    [722777]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить