Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Достучаться до небес  [new]
Шыфл
Member

Откуда: Прага
Сообщений: 774
Добрый и Всезнающий All,

Можешь ли подсказать мне, как подключиться на Azure и создать таблицу, записать в эту таблицу данные, если исходящие подключения на порт 1433 совсем и для всех закрыты. Есть ли какое-нибудь онлайн GUI для Azure Database, типа PHPMyAdmin?

AzCopy и CloudBerry Explorer работают, можно залить файл или блоб, но как создать таблицы и записать в них данные - непонятно. Ни SSMS ни прочие excelи подключаться не хотят. И вообще

автор
SQL Database communicates over port 1433. If you are trying to connect from within a corporate network, outbound traffic over port 1433 may not be allowed by your network's firewall. If so, you will not be able to connect to your Azure SQL Database server unless your IT department opens port 1433.
7 ноя 17, 14:54    [20932919]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Шыфл,

С картинками пошагово
7 ноя 17, 15:27    [20933097]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Шыфл,

Студию 17.3 качать отсюда, если будет глючить - последнюю нормальную 16.5.3.
7 ноя 17, 15:29    [20933102]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6794
наш чукча не читатель, а "дохерна бестолкового писатель"...
7 ноя 17, 15:32    [20933120]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
felix_ff
Member

Откуда: Moscow
Сообщений: 1172
Andy_OLAP,

Я конечно с ажуром не работал, но вроде ТС написал что у него доступ по портам закрыт. И ищет обходной путь.
7 ноя 17, 15:33    [20933126]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6794
Шыфл,

may be this...
https://azure.microsoft.com/en-us/blog/t-sql-query-editor-in-browser-azure-portal/
7 ноя 17, 15:34    [20933133]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
TaPaK,

Так автор темы написал "Ни SSMS ни прочие excelи подключаться не хотят" - может быть, он что-то не так пишет в подключении?
7 ноя 17, 15:42    [20933168]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
felix_ff
Andy_OLAP,

Я конечно с ажуром не работал, но вроде ТС написал что у него доступ по портам закрыт. И ищет обходной путь.

Обходной путь есть - самому сделать point to point tunnelling.
7 ноя 17, 16:08    [20933276]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Шыфл
Member

Откуда: Прага
Сообщений: 774
TaPaK
Шыфл,
may be this...
https://azure.microsoft.com/en-us/blog/t-sql-query-editor-in-browser-azure-portal/


Отлично, подвижки есть! Таблица создана!

Теперь остаётся её заполнить! Вопрос, как выглядит запрос, чтобы в таблицу на Azure залить содержимое файла CSV, который лежит на Аzure, зная адрес URL, имя файла и ключ? Что-то типа openrowset тут есть?
7 ноя 17, 17:13    [20933698]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Konst_One
Member

Откуда:
Сообщений: 11512
https://docs.microsoft.com/en-us/azure/sql-database/sql-database-load-from-csv-with-bcp
7 ноя 17, 17:30    [20933810]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6794
Konst_One,

+ или как вариант линк от azur-ы к своему и заливать на свой потом туда...
7 ноя 17, 17:32    [20933823]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Шыфл
Member

Откуда: Прага
Сообщений: 774
TaPaK,
Шота мне очень сомнительно, что при не работающей SSMS будет работать bcp. Оно и не работает...

Вот тут пример
+

CREATE DATABASE SCOPED CREDENTIAL UploadInvoices  
WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
SECRET = 'QLYMgmSXMklt%2FI1U6DcVrQixnlU5Sgbtk1qDRakUBGs%3D';

CREATE EXTERNAL DATA SOURCE MyAzureInvoices
    WITH  (
        TYPE = BLOB_STORAGE,
        LOCATION = 'https://newinvoices.blob.core.windows.net', 
        CREDENTIAL = UploadInvoices  
    );

SELECT * FROM OPENROWSET(
   BULK  'week3/inv-2017-01-19.csv',
   DATA_SOURCE = 'MyAzureInvoices',
   SINGLE_CLOB) AS DataFile;


Ток шота нихрена так не работает! Вбиваю свои данные, а мне в ответ
Azure
Failed to execute query. Error: Bad or inaccessible location specified in external data source "MyAzureInvoices".


Хотя простое копирование работает хорошо
set @cmd='"C:\Program Files (x86)\Microsoft SDKs\Azure\AzCopy\AzCopy.exe" ' +
 '/Source:https://[server].blob.core.windows.net/[container] /Dest:D:\Data /SourceKey:[sourcekey] /s'

exec master..xp_cmdshell @cmd


Штаядэлаюнэтак?
7 ноя 17, 18:43    [20934139]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
iii2
Member

Откуда:
Сообщений: 202
Шыфл,
Эээ а банальный Bulk Insert что, не работает?
8 ноя 17, 11:56    [20935807]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Шыфл
Member

Откуда: Прага
Сообщений: 774
iii2,

Банальный BULK INSERT в условиях AZURE работает через CREDENTIAL и EXTERNAL DATA SOURCE, а они, почему-то не работаю, хотя делаю я всё строго по примеру :/


BULK INSERT export
FROM 'klient20171103.csv'
WITH (DATA_SOURCE = 'MyAzureInvoices',
      FORMAT = 'CSV'); 


Azure
Failed to execute query. Error: Cannot bulk load. The file "klient20171103.csv" does not exist or you don't have file access rights.


Хотя этот файл там есть, я его туда сам копирую с локальной машины, и скачать обратно могу без проблем через AzCopy... Короче, хрень полная, буду писать жалобу!
8 ноя 17, 13:25    [20936213]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Шыфл
Azure
Failed to execute query. Error: Cannot bulk load. The file "klient20171103.csv" does not exist or you don't have file access rights.


Хотя этот файл там есть

Попробуйте указать полный путь к файлу, со всеми каталогами и подкаталогами.
8 ноя 17, 13:46    [20936337]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Шыфл
Member

Откуда: Прага
Сообщений: 774
Andy_OLAP
Попробуйте указать полный путь к файлу, со всеми каталогами и подкаталогами.

Куда?
Вариантов ответа 2. Если путь не правельный, пишет
Azure
Failed to execute query. Error: Bad or inaccessible location specified in external data source "MyAzureInvoices".


Если путь правельный, пишет
Azure
Failed to execute query. Error: Cannot bulk load. The file "[container]/[filename]" does not exist or you don't have file access rights.


Контейнер можно переность в определение MyAzureInvoices, но это не помогает. Короче, копипаста из доков мелкомягких не работает - уже обратился за разъяснениями к Билли
8 ноя 17, 14:19    [20936500]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
iii2
Member

Откуда:
Сообщений: 202
Шыфл
Контейнер можно переность в определение MyAzureInvoices, но это не помогает. Короче, копипаста из доков мелкомягких не работает - уже обратился за разъяснениями к Билли

Расскажи потом, чем дело кончилось. Интересно.
8 ноя 17, 15:41    [20936880]     Ответить | Цитировать Сообщить модератору
 Re: Достучаться до небес  [new]
Шыфл
Member

Откуда: Прага
Сообщений: 774
iii2,

Нужно настроить ACL Settings для контейнера, потому что по дефолту стоит no public read access
T.e. ты можешь скопировать файл себе, но не можешь его прочитать на месте, пока не сменишь галку <_<

Теперь таблица заполнена, остаётся 2 шага:

  • Найти аналог команды dir для Azure BLOB, чтобы проверять контейнеры на наличие новых файлов
  • Написать job, который будет контейнеры проверять и новые файлы обрабатывать

    Any ideas?
  • 8 ноя 17, 17:47    [20937498]     Ответить | Цитировать Сообщить модератору
     Re: Достучаться до небес  [new]
    0wl
    Member

    Откуда:
    Сообщений: 53
    Шыфл,

    джоб с PowerShell-скриптом?
    8 ноя 17, 17:50    [20937519]     Ответить | Цитировать Сообщить модератору
     Re: Достучаться до небес  [new]
    Andy_OLAP
    Member

    Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
    Сообщений: 3151
    Шыфл
    Any ideas?

    Идеи есть.
    8 ноя 17, 18:03    [20937578]     Ответить | Цитировать Сообщить модератору
     Re: Достучаться до небес  [new]
    Andy_OLAP
    Member

    Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
    Сообщений: 3151
    Шыфл,

    Брандо Шанг уже все расписал подробно.
    8 ноя 17, 18:04    [20937582]     Ответить | Цитировать Сообщить модератору
    Все форумы / Microsoft SQL Server Ответить