Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
Alex123F
Member [заблокирован]

Откуда:
Сообщений: 2402
Народ, есть какой нибуть способ программмно импортировать excel, csv файлы непосредственно в базу на mssql с дирректории находящейся в сети?
раньше я сначала гнал файлы через ftp на локальный комп на котором установлен sqlserver, запихивая все команды в прооцедуру используя xp_cmdshel.
затем импортировал через bulk csv файлы либо xls по колонкам используя соотв. excel провайдер на mssql.

сейчас это все не канает.
есть какие нибуть другие варианты?
26 сен 17, 14:54    [20824090]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5111
Alex123F
есть какие нибуть другие варианты?
ssis?
26 сен 17, 15:02    [20824131]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
iii2
Member

Откуда:
Сообщений: 202
Можно еще в filestream filetable грузить, а потом парсить данные какой-нибудь CLR процедуркой.
26 сен 17, 15:11    [20824168]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
Alex123F
Member [заблокирован]

Откуда:
Сообщений: 2402
Дедушка
Alex123F
есть какие нибуть другие варианты?
ssis?


в ssis все походу рассчитано на локальную дирректорию.
26 сен 17, 15:14    [20824184]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
Alex123F
Member [заблокирован]

Откуда:
Сообщений: 2402
вообще я гружу в sql-сервер excel файл с 3000 строчками через дельфи где ехсель засунут в оле контейнер.
заодно выполняю обработку построчно все длится 15 минут. это долго поэтому задача была отделить загрузку от обработки.
обработку засунул в процедуру на сервере.
но чистая загрузка через дельфи все равно длится около 5 минут.

если делать загрузку в процедуре на sql сервере через bulk то загрузка идет какую-то секунду.
но это возможно только с локального диска.

поэтому возник вопрос как еще сделать быструю загрузку в sql сервер.
26 сен 17, 15:28    [20824231]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
iii2
Member

Откуда:
Сообщений: 202
Alex123F
вообще я гружу в sql-сервер excel файл с 3000 строчками через дельфи где ехсель засунут в оле контейнер.
заодно выполняю обработку построчно все длится 15 минут. это долго поэтому задача была отделить загрузку от обработки.
обработку засунул в процедуру на сервере.
но чистая загрузка через дельфи все равно длится около 5 минут.

если делать загрузку в процедуре на sql сервере через bulk то загрузка идет какую-то секунду.
но это возможно только с локального диска.

поэтому возник вопрос как еще сделать быструю загрузку в sql сервер.

А ты не грузи по 1 строке. А грузи именно bulk.
http://blog.devart.com/using-batch-operations-in-delphi-data-access-components.html
26 сен 17, 15:50    [20824314]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3618
Alex123F
Дедушка
пропущено...
ssis?


в ssis все походу рассчитано на локальную дирректорию.

подмонтируйте сетевую шаред фолдер
или
выполните первым степом cmd копирующее из удаленной папки в локальную
26 сен 17, 15:57    [20824340]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
rnk
Member

Откуда:
Сообщений: 126
Alex123F,
Если вы в домене, пускайте сервис MSSQL от юзера или аккаунта службы (Managed Service Account), имеющего право на доступ к сетевому каталогу. Без домена можно завести на каждом сервере по локальному юзеру с одинаковым именем и паролем, и на источнике дать права чтения на каталог (пермишны и сетевые), а на приёмнике пускать от соответствующего юзера сервис.
26 сен 17, 16:18    [20824418]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
Alex123F
Member [заблокирован]

Откуда:
Сообщений: 2402
rnk
Alex123F,
Если вы в домене, пускайте сервис MSSQL от юзера или аккаунта службы (Managed Service Account), имеющего право на доступ к сетевому каталогу. Без домена можно завести на каждом сервере по локальному юзеру с одинаковым именем и паролем, и на источнике дать права чтения на каталог (пермишны и сетевые), а на приёмнике пускать от соответствующего юзера сервис.


ок спасиоб.. попробую так.
26 сен 17, 16:27    [20824442]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
Alex123F
Member [заблокирован]

Откуда:
Сообщений: 2402
я в мыслях, возможна ли подобная реализация через java-web приложение типа excel-импорт в базу с ипсользованием какого нибуть сервлет контейнера типа glassfish.
26 сен 17, 16:36    [20824462]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
rnk
Member

Откуда:
Сообщений: 126
Alex123F
я в мыслях, возможна ли подобная реализация через java-web приложение типа excel-импорт в базу с ипсользованием какого нибуть сервлет контейнера типа glassfish.

Чур меня, чур...
26 сен 17, 16:39    [20824470]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
MSSQLAndDotNet
Member

Откуда:
Сообщений: 10398
линкед сервер например
26 сен 17, 16:58    [20824525]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
LSV
Member [заблокирован]

Откуда: Киев
Сообщений: 30817
но чистая загрузка через дельфи все равно длится около 5 минут.

если делать загрузку в процедуре на sql сервере через bulk то загрузка идет какую-то секунду.
И чо ? Жалко чужих 5 минут ? :) Пусть ждут, чо.

Вставлять построчно это нормально, если это не мульон записей. Можно полноценно проконтролировать вставку и отреагировать на ошибки.
27 сен 17, 09:53    [20825804]     Ответить | Цитировать Сообщить модератору
 Re: возможен импорт excel, csv непосредственно в базу на sql сервере с удаленной дирректории?  [new]
Alex123F
Member [заблокирован]

Откуда:
Сообщений: 2402
LSV
но чистая загрузка через дельфи все равно длится около 5 минут.

если делать загрузку в процедуре на sql сервере через bulk то загрузка идет какую-то секунду.
И чо ? Жалко чужих 5 минут ? :) Пусть ждут, чо.

Вставлять построчно это нормально, если это не мульон записей. Можно полноценно проконтролировать вставку и отреагировать на ошибки.


да мне то без разницы. уже года 3 так рааботает. но впарили ускорять.
27 сен 17, 14:03    [20826657]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить