Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 долгий инсерт  [new]
инсерт
Guest
Есть таблица (ID (некластерный индекс), Name (nvarchar 255))
в ней 150 000 000 записей

Каждый день записывается новая дата

Инсерт происходит очень долго, как я понимаю из за индекса.


Есть возможность ускорить инсерт?
21 авг 13, 12:18    [14735229]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Glory
Member

Откуда:
Сообщений: 104760
инсерт
Инсерт происходит очень долго

Инсерт еще 150млн ?

инсерт
как я понимаю из за индекса.

Откуда вы это понимаете ? При удалении индекса скорость возрастает что ли ?
21 авг 13, 12:21    [14735255]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
KRS544
Member

Откуда:
Сообщений: 497
1. секционировать таблицу
2. разнести на разные устройства
21 авг 13, 12:22    [14735264]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
инсерт
Guest
Glory,

Когда индекса не было запрос отрабатывал 3 минуты сейчас 30 минут
21 авг 13, 12:24    [14735284]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Гость333
Member

Откуда:
Сообщений: 3683
инсерт
Когда индекса не было запрос отрабатывал 3 минуты сейчас 30 минут

Сам запрос, по традиции, предлагается угадать, вместе с его планом и количеством вставляемых записей?
21 авг 13, 12:31    [14735370]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Glory
Member

Откуда:
Сообщений: 104760
инсерт
Когда индекса не было запрос отрабатывал 3 минуты сейчас 30 минут

Одной записи ? или 150млн ?
21 авг 13, 12:33    [14735388]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
инсерт
Guest
Glory,

Добавление одной записи в таблицу с 150 000 000 записями
21 авг 13, 12:36    [14735422]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Glory
Member

Откуда:
Сообщений: 104760
инсерт
Добавление одной записи в таблицу с 150 000 000 записями

Добавление 1ой записи в таблицу без индекса занимает 3 минуты ?
У вас явные проблемы с производительностью оборудования. Или недостаток ресурсов
21 авг 13, 12:38    [14735451]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
инсерт
Guest
Гость333,

Плана запроса нет. т.к. я заливаю через ETL
21 авг 13, 12:39    [14735458]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Гость333
Member

Откуда:
Сообщений: 3683
инсерт
Есть таблица (ID (некластерный индекс), Name (nvarchar 255))
в ней 150 000 000 записей

Каждый день записывается новая дата

Дата записывается в поле ID или Name?
Записывается одна дата в день?
Значит ли это, что БД существует 150 000 000 дней?
21 авг 13, 12:39    [14735462]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Glory
Member

Откуда:
Сообщений: 104760
инсерт
Плана запроса нет. т.к. я заливаю через ETL

Как вы тогда измеряете именно время запроса ?
21 авг 13, 12:41    [14735471]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
инсерт
Guest
Glory,

Возможно но 3 минуты было терпимо а 30 минут нет )

сейчас удалил индекс и снова быстро заливает.

А join теперь долгие
21 авг 13, 12:41    [14735473]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Glory
Member

Откуда:
Сообщений: 104760
инсерт
Возможно но 3 минуты

3 минуты на добавление 260 байтов - это не "терпимо". Это ужасно.
21 авг 13, 12:42    [14735486]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
инсерт
Guest
Glory,

Monitor отображает начало и конец отработки пакета
21 авг 13, 12:43    [14735495]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Glory
Member

Откуда:
Сообщений: 104760
инсерт
Monitor отображает начало и конец отработки пакета

Что за Monitor ?
21 авг 13, 12:43    [14735499]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
инсерт
Guest
Гость333,

каждый день заливается такая информация

20130101 название1
20130101 название2
20130101 название3
20130101 название4
20130101 название5
20130101 названиеN

записей на одну дату около 1 млн
21 авг 13, 12:46    [14735521]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
angel_zar
Member

Откуда: Барнаул
Сообщений: 902
Glory
инсерт
Monitor отображает начало и конец отработки пакета

Что за Monitor ?

Это наверное тот, что на столе стоит.
21 авг 13, 12:46    [14735523]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
инсерт
Guest
Glory,

job activity monitor
21 авг 13, 12:47    [14735530]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Glory
Member

Откуда:
Сообщений: 104760
инсерт
job activity monitor

А время запроса то как измереятся ?
Или у вас в джобе одна команда INSERT и все ?
21 авг 13, 12:49    [14735543]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
инсерт
Guest
Glory,

да. только один "data flow task"
21 авг 13, 12:49    [14735550]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Glory
Member

Откуда:
Сообщений: 104760
инсерт
да. только один "data flow task"

Мда.
INSERT это не data flow task
Вы сначала разберитесь, что и сколько времени выполняется _на сервере_.
21 авг 13, 12:51    [14735567]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
инсерт
Guest
Glory,

я был на 100% уверен что "data flow tack" это аналог "инсерта"

А где можно почитать что такое "data flow tack" и почему он долго добавляет данные?
21 авг 13, 12:54    [14735584]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
iap
Member

Откуда: Москва
Сообщений: 47000
инсерт,

а профайлером померять не получается?
21 авг 13, 12:57    [14735607]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
Glory
Member

Откуда:
Сообщений: 104760
инсерт
А где можно почитать что такое "data flow tack"

В хелпе для начала

инсерт
и почему он долго добавляет данные?

Узнать для начала, что вообще делает ваш data flow task
21 авг 13, 12:57    [14735608]     Ответить | Цитировать Сообщить модератору
 Re: долгий инсерт  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 2396
инсерт
Добавление одной записи в таблицу


короче, у вас не одна запись добавляется, а много
"data flow task" это закачка данных, SSIS пакет.
читайте что это такое, ковыряйте его, привидите скрипт создания таблицы, индексов
21 авг 13, 14:02    [14736084]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить