Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Оценка быстроты записи в SQL Server  [new]
Бока
Member

Откуда:
Сообщений: 694
Можно ли в SQL Server сделать копирование 4,000,000 записей из одной таблицы в другую за 2 cекунды ?
Если да, то что для этого надо ?
17 май 11, 17:53    [10666842]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
1d0
Member

Откуда: инфа100%
Сообщений: 2521
Бока
Можно ли в SQL Server сделать копирование 4,000,000 записей из одной таблицы в другую за 2 cекунды ?
Если да, то что для этого надо ?


что случится если не успеть это сделать за 2 секунды?
17 май 11, 17:55    [10666854]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Glory
Member

Откуда:
Сообщений: 104751
4млн записей по 1 байту - это 3,8Мб. За 2 секунды - это 1.4 Мбайт/сек
17 май 11, 17:55    [10666857]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Бока
Member

Откуда:
Сообщений: 694
Glory
4млн записей по 1 байту - это 3,8Мб. За 2 секунды - это 1.4 Мбайт/сек
а какая скорость у balck copy в SQL Server ?
17 май 11, 17:59    [10666899]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
1d0
Member

Откуда: инфа100%
Сообщений: 2521
Glory
4млн записей по 1 байту - это 3,8Мб. За 2 секунды - это 1.4 Мбайт/сек


что может содержаться в такой записи?

Сообщение было отредактировано: 17 май 11, 18:06
17 май 11, 18:03    [10666939]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Бока
а какая скорость у balck copy в SQL Server ?


Вжжжжж......
17 май 11, 18:04    [10666953]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Glory
Member

Откуда:
Сообщений: 104751
1d0
Glory
4млн записей по 1 байту - это 3,8Мб. За 2 секунды - это 1.4 Мбайт/сек[/quot

что может содержаться в такой записи?

В 8 битах можно закодировать 256 значений

Сообщение было отредактировано: 17 май 11, 18:05
17 май 11, 18:04    [10666954]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Prolog
Member

Откуда: Москва
Сообщений: 2793
Бока
а какая скорость у balck copy в SQL Server ?
Это зависит от сервера (кол-во процессороы, память), от жесткого диска или SAN, от наличии/отсутсвия индексов, тригерров на таблицы, от загруженности сервера в данную минуту, и т.п.
Вы можете проэкспериментировать на своём сервере, чтобы определить скорость.
17 май 11, 18:07    [10666976]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Гавриленко Сергей Алексеевич
Member

Откуда:
Сообщений: 37254
Если балк не параллельный будет, то скорее всего, раньше упрется в ядро процессора, чем в диски.
17 май 11, 18:11    [10666994]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Владимир СА
Member

Откуда:
Сообщений: 7915
Prolog
Бока
а какая скорость у balck copy в SQL Server ?
Это зависит от сервера (кол-во процессороы, память), от жесткого диска или SAN, от наличии/отсутсвия индексов, тригерров на таблицы, от загруженности сервера в данную минуту, и т.п.
Вы можете проэкспериментировать на своём сервере, чтобы определить скорость.
А действительно, почему топикастер не попробует... А то как-то его железа мы не видим...
17 май 11, 18:13    [10667011]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31958
Бока
Glory
4млн записей по 1 байту - это 3,8Мб. За 2 секунды - это 1.4 Мбайт/сек
а какая скорость у balck copy в SQL Server ?
Сорость коррелируется с дисковой подсистемой сервера.

Если операции нелогируемые, источник и приёмник на разных дисках, то скорость будет равна скорости диска (конечно, меньше, но порядок понятен).
17 май 11, 18:14    [10667016]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31958
Гавриленко Сергей Алексеевич
Если балк не параллельный будет, то скорее всего, раньше упрется в ядро процессора, чем в диски.
Процессор-то по любому не нагружен, что ему делать во время балка?

Чтобы не упиралось в диски, нужно хотя бы 10 дисков на ядро (80-160 дисков 15К для обычного 2-х процессорного сервера). Чего обычно не бывает :-)
17 май 11, 18:18    [10667045]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Бока
Member

Откуда:
Сообщений: 694
alexeyvg
Гавриленко Сергей Алексеевич
Если балк не параллельный будет, то скорее всего, раньше упрется в ядро процессора, чем в диски.
Процессор-то по любому не нагружен, что ему делать во время балка?

Чтобы не упиралось в диски, нужно хотя бы 10 дисков на ядро (80-160 дисков 15К для обычного 2-х процессорного сервера). Чего обычно не бывает :-)
не понял: что значит десять дисков на ядро ?
17 май 11, 18:26    [10667097]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Гавриленко Сергей Алексеевич
Member

Откуда:
Сообщений: 37254
alexeyvg
Гавриленко Сергей Алексеевич
Если балк не параллельный будет, то скорее всего, раньше упрется в ядро процессора, чем в диски.
Процессор-то по любому не нагружен, что ему делать во время балка?
Как, что? Данные, которые по TDS-протоколу идут разбирать, да io обслуживать. Если коннект один, то, грубо говоря, и принимающий его на стороне сервера поток один (io-то как раз можно всеми обслуживать).

Вон, люь себе в одно подключение данные, 5-10 Мб/сек i/o наблюдаю и ядро, загруженное процентов на 95%.

Но это все если мы снаружи льем.
17 май 11, 18:37    [10667142]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31958
Бока
alexeyvg
Процессор-то по любому не нагружен, что ему делать во время балка?

Чтобы не упиралось в диски, нужно хотя бы 10 дисков на ядро (80-160 дисков 15К для обычного 2-х процессорного сервера). Чего обычно не бывает :-)
не понял: что значит десять дисков на ядро ?
Это значит, что нужно 10 умножить на количество ядер процессора, потом умножить на количество процессоров и получите необходимое количество дисков для сбалансированной конфигурации, в которой процессор тоже будет загружен.
17 май 11, 18:38    [10667144]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Бока
Member

Откуда:
Сообщений: 694
alexeyvg
Бока
пропущено...
не понял: что значит десять дисков на ядро ?
Это значит, что нужно 10 умножить на количество ядер процессора, потом умножить на количество процессоров и получите необходимое количество дисков для сбалансированной конфигурации, в которой процессор тоже будет загружен.
а как узнать количество ядер в процессоре ?
17 май 11, 18:40    [10667155]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Prolog
Member

Откуда: Москва
Сообщений: 2793
Бока
а как узнать количество ядер в процессоре ?
Task Manager
17 май 11, 18:41    [10667164]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31958
Prolog
Бока
а как узнать количество ядер в процессоре ?
Task Manager
По умолчанию там стоит "не показывать ядра" :-)

Но, в общем, такое админ должен знать :-)
17 май 11, 18:49    [10667204]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
ОперацияПингвин
Member

Откуда:
Сообщений: 647
Блог
Бока,

Нужен рэйд из ssd slc дисков
17 май 11, 19:17    [10667372]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Бока
Member

Откуда:
Сообщений: 694
ОперацияПингвин,

Disk array (raid 1, 5 or 10) of ssd’s достаточно ?

Что такое ssd slc диски ?
17 май 11, 20:00    [10667565]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Crimean
Member

Откуда:
Сообщений: 13147
Бока
Можно ли в SQL Server сделать копирование 4,000,000 записей из одной таблицы в другую за 2 cекунды ?
Если да, то что для этого надо ?


обычная рабочая станция

К сообщению приложен файл. Размер - 23Kb
17 май 11, 20:16    [10667615]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31958
Гавриленко Сергей Алексеевич
Как, что? Данные, которые по TDS-протоколу идут разбирать, да io обслуживать. Если коннект один, то, грубо говоря, и принимающий его на стороне сервера поток один (io-то как раз можно всеми обслуживать).

Вон, люь себе в одно подключение данные, 5-10 Мб/сек i/o наблюдаю и ядро, загруженное процентов на 95%.

Но это все если мы снаружи льем.
Это уже частные случаи. Если, например, не-серверный сетевой или дисковый контроллер. Т.е. что-то не в порядке...
TDS разбирать ничего не стоит.

В нормальной ситуации процессор не нагружен; или у вас не просто вставка, а сложная вставка. Типа куча индексов, вставка в случайные страницы.

Сообщение было отредактировано: 17 май 11, 21:29
17 май 11, 21:03    [10667742]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31958
Бока
ОперацияПингвин,

Disk array (raid 1, 5 or 10) of ssd’s достаточно ?
Достаточно, только дороговато. Лучьше задачу огласить, может, одним обычным винтом можно обойтись.

Бока
Что такое ssd slc диски ?
Это такие быстрые диски. Дешёвые есть, по 2 штуки баксов, и подороже, по 10-20K$
17 май 11, 21:15    [10667771]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Бока
Member

Откуда:
Сообщений: 694
alexeyvg
Бока
ОперацияПингвин,

Disk array (raid 1, 5 or 10) of ssd’s достаточно ?
Достаточно, только дороговато. Лучьше задачу огласить, может, одним обычным винтом можно обойтись.

Бока
Что такое ssd slc диски ?
Это такие быстрые диски. Дешёвые есть, по 2 штуки баксов, и подороже, по 10-20K$
Уточнил задачу:
- есть некая многопользовательская WEB аппликация;
- есть один SQL Server instance с тремя БД, в которых хранятся несколько статических таблиц с исходными данными;
- в одной из БД есть одна таблица для записи в нее временных данных, которые рассчитывютсяпо определенному алгоритму для каждой сессии и записываются в нее по номеру сессии для вывода в WEB интерфейсе для каждого юзера, когда юзер посмотрел и разконнектировался, то данные из этой таблицы удаляются по номеру сессии;
- так вот для каждой сессии каждый раз в эту таблицу в результате расчета пишется от 2,000,000 до 4,000,000 записей;
- триггеров на этой таблице нет, индексов пока тоже нет;
- 85% времени всего алгоритма уходит на запись, и весь алгоритм для каждого юзера составляет в среднем 30 сек;
- желательно сократить это время до 2-х секунд.

Возможности hardware:
- сервер HP blade server: BL490c, 1 x Six Core Xeon, 32GB ram, 1 x 300GB 15k SAS, 1 x 60GB SLC SSD, 1 x 1000GB 7.2k SAS. the ssd for SQL Server data storage and the 300GB 15k SAS disc for logs and everything else;
- upgrade дисков может быть до an array (raid 1, 5 or 10) of ssd’s;
- много дисков компания покупать не может (дорого)

Можно что-нибудь посоветовать ?
18 май 11, 00:43    [10668580]     Ответить | Цитировать Сообщить модератору
 Re: Оценка быстроты записи в SQL Server  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6724
Бока
... для вывода в WEB интерфейсе для каждого юзера, когда юзер посмотрел ...
... от 2,000,000 до 4,000,000 записей ...
18 май 11, 01:15    [10668622]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить