Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / PostgreSQL Новый топик    Ответить
 Импорт данных в JSON формате из файла  [new]
Alex_Don
Member

Откуда:
Сообщений: 3
Здравствуйте, имеется файл который содержит данные в JSON формате, его размер около 200 гигабайт.
Данные имеют следующий формат:

{"data":"123","host":"1.14.32.7","port":50880,"vhost":"1.14.32.7"}


Мне необходимо импортировать значения из "host" ключа в базу, в колонку host.
Опыта у меня не много, и пока что поиск привел только к разным костылям. Например, испорт всего файла в колонку, а затем уже его парсинг (https://info.crunchydata.com/blog/fast-csv-and-json-ingestion-in-postgresql-with-copy) - что мне кажется не совсем корректно. Даже не знаю сколько это может занять времени для такого большего файла.

Прошу подсказать как более грамотно реализовать импорт данных из файлв в JSON формате. Буду рад примерам, это очень мне поможет, спасибо.
28 июл 20, 23:10    [22174900]     Ответить | Цитировать Сообщить модератору
 Re: Импорт данных в JSON формате из файла  [new]
Alex_Don
Member

Откуда:
Сообщений: 3
Похоже что PostgreSQL не имеет функции импорта необработанных данных JSON непосредственно из файла. Но я конечно могу ошибаться. Прошу помощи, ведь наверняка кто-то еще сталкивался с подобным.
28 июл 20, 23:40    [22174905]     Ответить | Цитировать Сообщить модератору
 Re: Импорт данных в JSON формате из файла  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4230
Alex_Don
Похоже что PostgreSQL не имеет функции импорта необработанных данных JSON непосредственно из файла. Но я конечно могу ошибаться. Прошу помощи, ведь наверняка кто-то еще сталкивался с подобным.


ETL это вообще не задача базы...
для этого нужно свои тулзы писать или использовать готовые ETL решения с поддержкой postgresql.
29 июл 20, 09:43    [22174970]     Ответить | Цитировать Сообщить модератору
 Re: Импорт данных в JSON формате из файла  [new]
Alex_Don
Member

Откуда:
Сообщений: 3
Maxim Boguk,

Спасибо за ответ.
автор
ETL это вообще не задача базы...

Хм, как то не пришел к этой мысли сам. Как быть в моей ситуации, может быть мне стоит тогда JSON конвентировать в CVS, и уже его импортировать? Тут с CVS форматом не должно быть никаких проблем. Просто из-за отсутствия опыта не могу наиболее корректно решить эту задачу.
29 июл 20, 13:11    [22175095]     Ответить | Цитировать Сообщить модератору
 Re: Импорт данных в JSON формате из файла  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4230
Alex_Don
Maxim Boguk,

Спасибо за ответ.
автор
ETL это вообще не задача базы...

Хм, как то не пришел к этой мысли сам. Как быть в моей ситуации, может быть мне стоит тогда JSON конвентировать в CVS, и уже его импортировать? Тут с CVS форматом не должно быть никаких проблем. Просто из-за отсутствия опыта не могу наиболее корректно решить эту задачу.


Да если у вас есть возможность json в csv перевести - то csv вы в базу нормально штатным copy зальете быстро и без проблем.
29 июл 20, 14:27    [22175165]     Ответить | Цитировать Сообщить модератору
Все форумы / PostgreSQL Ответить