Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Очень медленно выполняется package по вливанию из текстового файла!!!  [new]
AlexeyKiev
Member

Откуда:
Сообщений: 5
Народ!!!
Помогите разобраться!
Есть package который вливает из текстового файла в таблицу SQL, потом из этой таблицы во вторую. Действие - просто копирование строк.
Выполняется крайне долго.
Объемы таблиц - первой около 10 миллионов записей, во второй - около 100 миллионов записей.
Оперативную память жрет всю, 2 процессора грузит на 50 процентов.
Как ускорить???
4 сен 03, 16:30    [326707]     Ответить | Цитировать Сообщить модератору
 Re: Очень медленно выполняется package по вливанию из текстового файла!!!  [new]
AlexeyKiev
Member

Откуда:
Сообщений: 5
Может, оперативной памяти у меня мало? 2 Гигабайта.
Объем базы 40 Гигабайт.
Помогите!
4 сен 03, 16:35    [326723]     Ответить | Цитировать Сообщить модератору
 Re: Очень медленно выполняется package по вливанию из текстового файла!!!  [new]
злой шаман
Member

Откуда: Питер
Сообщений: 1253
Индексы есть на табличках? Сколько? Кластерный есть?
4 сен 03, 16:38    [326734]     Ответить | Цитировать Сообщить модератору
 Re: Очень медленно выполняется package по вливанию из текстового файла!!!  [new]
Glory
Member

Откуда:
Сообщений: 104760
Выполняется крайне долго.
Крайне долго - это сколько ? 10 миллионов записей это по объему сколько ?
На каких дисках расположены базы ? А логи ? Не отключена ли в TransformationTask опция Fastload ?
4 сен 03, 16:38    [326736]     Ответить | Цитировать Сообщить модератору
 Re: Очень медленно выполняется package по вливанию из текстового файла!!!  [new]
AlexeyKiev
Member

Откуда:
Сообщений: 5
Индексов никаких нет.
Долго - это сутки!!!
4 сен 03, 16:42    [326753]     Ответить | Цитировать Сообщить модератору
 Re: Очень медленно выполняется package по вливанию из текстового файла!!!  [new]
AlexeyKiev
Member

Откуда:
Сообщений: 5
НАРОД!!! НЕУЖЕЛИ НИ У КОГО НЕТ НИКАКИХ МЫСЛЕЙ???

ВСЕ ПРОИСХОДИТ НА ДИСКЕ С.
4 сен 03, 17:17    [326825]     Ответить | Цитировать Сообщить модератору
 Re: Очень медленно выполняется package по вливанию из текстового файла!!!  [new]
Glory
Member

Откуда:
Сообщений: 104760
А вы на вопросы собираетесь отвечать ?
Или вот так по одному в полчаса ?
4 сен 03, 17:18    [326830]     Ответить | Цитировать Сообщить модератору
 Re: Очень медленно выполняется package по вливанию из текстового файла!!!  [new]
BootMaker
Member

Откуда: С-Петербург
Сообщений: 902
Боролся с подобными вещами. Ограничился лишь разбиением многомиллионной выборки на несколько маломиллионных. Ускорение идет в геом. прогрессии. Причем при таком раскладе во второй таблице можно индексы и не снимать даже.
4 сен 03, 19:25    [327045]     Ответить | Цитировать Сообщить модератору
 Re: Очень медленно выполняется package по вливанию из текстового файла!!!  [new]
AlexeyKiev
Member

Откуда:
Сообщений: 5
кроме разбиения многомногомиллионной таблицы на маломиллионные ничего сделать нельзя?
8 сен 03, 14:46    [329901]     Ответить | Цитировать Сообщить модератору
 Re: Очень медленно выполняется package по вливанию из текстового файла!!!  [new]
АлексейК
Member

Откуда: http://www.msdatabase.ru , Moscow
Сообщений: 7683
предполагаю что вставка осуществляется при помощи операторов массовой вставки.

если это так то можно попробовать разбить операцию вставки на блоки
см. BOL

Batch Switches
The bcp utility and BULK INSERT statement accept two switches that allow the user to specify the number of rows per batch sent to Microsoft® SQL Server™ for the bulk copy operation.
8 сен 03, 15:02    [329939]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить