Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
comprose
Member

Откуда:
Сообщений: 9
есть 2 ssis пакета. Один сделан в visual studio2008, другой в 2015(преобразование первого). Пакеты Идентичны! Загружаю 2008пакетом все загружает, тот же файл 2015 пакетом, выдает ошибку.
Исходный файл CSV [51]] Ошибка: Ошибка при обработке строки 248227188195721216 в файле "D:\myFile-1(21_11_2016).csv".
[Исходный файл CSV [51]] Ошибка: Не обнаружен разделитель столбцов для столбца "Столбец1.

Смотрели разными редакторами эту строку - все нормально. Пропускали ее грузит 3014 строк и та же ошибка, пропускали и эти 3014 строку - та же ошибка. так через каждые 3014 строки ошибка, пока не дойдёшь до конца файла. Причем мои пакетом 2015 грузит 273 000 строк, а если если просто мастером экспорта/импорта ms sql server грузит 293000 и выдает ошибку.
Файл размером где-то 2,3 Гб.
Формат c разделителями.
Ограничитель текста "
Разделитель строки {LF}
ColumnDelimiter Запятая,
У каждого столбца DataType строка в Юникоде DT_WST
Когда убираешь Ограничитель текста ", то все без ошибок загружается, но коряво.

Подскажите в чем причина такого странного поведения и как это исправить?
Может дело в памяти? С транзакциями?()есть ошибки в такого рода в другом ssis пакете, тоже после того как в 2015 сделали). Может что-то доустановить надо к visual studio???
Заранее спасибо за ответ!
11 дек 16, 21:09    [19990695]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7868
comprose,

все обновления установлены?
12 дек 16, 10:25    [19991850]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
comprose
Member

Откуда:
Сообщений: 9
Владислав Колосов
comprose,

все обновления установлены?

Обновления чего? Visual studio? Windows? SQL Server? Скажите, пожалуйста, конкретнее.

Microsoft Visual Studio Professional 2015
Версия 14.0.25431.01 Update 3
Установленная версия: Professional

Microsoft Visual Studio Tools for Applications 2015





SQL Server Data Tools 14.0.61021.0

SQL Server Integration Services
Конструктор служб Microsoft SQL Server Integration Services
Версия 13.0.1601.5



Службы SQL Server Analysis Services 13.0.1701.8
Конструктор служб Microsoft SQL Server Analysis Services
Версия 13.0.1701.8

Службы SQL Server Reporting Services 13.0.1701.8
Конструкторы Microsoft SQL Server Reporting Services
Версия 13.0.1701.8

Visual studio устанавливался где-то 22-23 ноября

Сообщение было отредактировано: 13 дек 16, 10:04
13 дек 16, 07:59    [19995893]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
Massa52
Member

Откуда:
Сообщений: 380
comprose
Файл размером где-то 2,3 Гб.


Такое впечатление(2 гига предел) - что все упирается в размер файла.
13 дек 16, 08:20    [19995921]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
comprose
Member

Откуда:
Сообщений: 9
Massa52
comprose
Файл размером где-то 2,3 Гб.


Такое впечатление(2 гига предел) - что все упирается в размер файла.


Если я убираю ограничитель текста, то файл загружается полностью, но криво.
13 дек 16, 09:06    [19996028]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
Massa52
Member

Откуда:
Сообщений: 380
comprose,

2 Гига - магическое число. Многие DVD плееры и некоторые проги с не читают файлы > 2 с флешки
(адресное пространство процесса в Win32 ограничено теми же 2 Гб).

Может стоит попробовать прочитать файл < 2 гиг, чтобы отсечь эту версию.
13 дек 16, 09:16    [19996060]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
comprose
Member

Откуда:
Сообщений: 9
Massa52
comprose,

2 Гига - магическое число. Многие DVD плееры и некоторые проги с не читают файлы > 2 с флешки
(адресное пространство процесса в Win32 ограничено теми же 2 Гб).

Может стоит попробовать прочитать файл < 2 гиг, чтобы отсечь эту версию.


Читала файл больше 2х гигов в другом проекте, все было ok. Только журнал транзакций быстро забивается!
13 дек 16, 09:21    [19996078]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6801
Massa52,

автор
(адресное пространство процесса в Win32 ограничено теми же 2 Гб).

а не 4 ли??
13 дек 16, 10:06    [19996222]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7868
TaPaK,

ну у кого INT, а у кого UNSIGNED INT.
13 дек 16, 10:18    [19996249]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
Massa52
Member

Откуда:
Сообщений: 380
TaPaK,
Когда то в винде было так:
В адресном пространстве 4 Гбайт Windows резервирует снизу 2 Гбайт под память приложения. Адреса свыше 2 Гбайт отведены для ОС.

Ваще то это не важно. У меня сложилось впечатление - что все упирается в эти 2 гига, так как определенное количество строк читается и потом все стопорится и происходит это в конце.
13 дек 16, 10:48    [19996360]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
comprose
Member

Откуда:
Сообщений: 9
Massa52
TaPaK,

Ваще то это не важно. У меня сложилось впечатление - что все упирается в эти 2 гига, так как определенное количество строк читается и потом все стопорится и происходит это в конце.

он останавливается на 9%, там до конца еще много
13 дек 16, 21:02    [19999520]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
Massa52
Member

Откуда:
Сообщений: 380
comprose,

9% - Тады Ой :)

Ошибка при обработке строки 248227188195721216 в файле
Это гдет ~2^58 строк - как такое возможно?
14 дек 16, 02:24    [20000269]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
comprose
Member

Откуда:
Сообщений: 9
Massa52

Ошибка при обработке строки 248227188195721216 в файле
Это гдет ~2^58 строк - как такое возможно?
там нет столько строк. Там всего 3700000строк. Не загруэается 287777. Вчера попробовала загрузить в одну колонку - получилось. И когда ограничитель убираю - файл полностью загружается, но криво.
14 дек 16, 06:45    [20000337]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
comprose
Member

Откуда:
Сообщений: 9
Massa52,
Вопрос странный, но задам. Может быть у файла 2 кодировки. Я этот злополучный разбила на 10 частей с помощью total comander. У 1,2,6,7,10 частей буквы отображаются нормально, у остальных крокозябры. Смотрела через просмотр в total и в notepad++
15 дек 16, 08:48    [20005320]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
aleks2
Guest
comprose
Massa52,
Вопрос странный, но задам. Может быть у файла 2 кодировки. Я этот злополучный разбила на 10 частей с помощью total comander. У 1,2,6,7,10 частей буквы отображаются нормально, у остальных крокозябры. Смотрела через просмотр в total и в notepad++


У ТЕКСТОВОГО файла не может быть "две кодировки".
Но может быть криво записанный файл.

ЗЫ. MS Word вам в кривые руки. Что-то я сомневаюся в способностях total comander.
15 дек 16, 09:24    [20005398]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
Massa52
Member

Откуда:
Сообщений: 380
comprose,

Надо бы пробежаться по файлу в каком нить Hex редакторе на предмет структуры - чтобы можно было видеть как техт и хекс файла. Каждая строка должна заканчиваться CR/LF - это в досовской кодировке. Может там чтот двоичное затесалось. Если так - то там этих строк может быть мильон и маленькая тележка. И ваще - почему бы в Экзеле его не попробовать открыть он же парсит csv?.
15 дек 16, 11:04    [20005978]     Ответить | Цитировать Сообщить модератору
 Re: Не загружается .csv-файл, чем это вызвано? - Visual Studio  [new]
comprose
Member

Откуда:
Сообщений: 9
Создала другой ssis пакет работаю с другими csv. Структура Контейнер по каждому элементу, внутри его поток данных и sql команды(1 до потока, остальные после). В соединение с неструктурированным файлом ограничительный не ставлю, все грузится, ставлю ограничитель ", опять ошибка "[Источник "Неструктурированный файл" [2]] Ошибка: Ошибка при обработке строки 519298792042790912 в файле "D:\export\My\25.01.2016_page_0.csv"." Хотя ошибка возникает на первой же строке. Ее проверила в notepade++ - все на месте. ничем не отличается от других.("CRLF есть). Весит файл всего 15Мб
22 дек 16, 09:08    [20035101]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить