Информация

Последние записи

Теги


Блоги


Записи из всех блогов на Sql.ru


Внешние таблицы External Table

Блог: Oracle SQL
Чалышев Максим Михайлович
SQL. 5 дней, которые изменят вашу жизнь.
Внешние таблицы – специальный механизм Oracle СУБД с помощью которого можно обращаться в данным , хранящимся в файлах вне базы данных как к обычным таблицам.

Для загрузки данных могут использоваться команды драйвера OracleLoader. В ExternalTable не могут применяться операторы изменения данных (DELETE INSERT UPDATE MERGE).

Но, к таким таблицам вполне могут применяться стандартные запросы SELECT, с использованием групповых операций, агрегатных функций, аналитического SQL.

Все это делает механизм внешних таблиц особенно эффективным для проектов DWH(хранилищ данных) , при формировании ETL(процедур загрузки) для данных.

Теория и практика

Предположим, у нас есть несколько файлов заданного формата, файлы расположены в каталоге temp на диске c:
Необходимо подключить эти файлы как внешние таблицы к экземпляру нашей базы данных.

Название файлов city.csv и man.csv, кодировка UTF8 - ниже представлено содержание этих файлов текстовом виде.

city.csv

1,Москва,10000000
2,Владимир,500000
3,Орел,300000
4,Курск,200000
5,Казань,2000000
7,Котлас,110000
8,Мурманск,400000
9,Ярославль,500000 

man.csv
9152222221,Андрей,Николаев,1,22
9152222222,Максим,Москитов,1,31
9153333333,Олег,Денисов,3,34
9173333334,Алиса,Никифорова,4,31
9173333335,Таня,Иванова,4,31
9213333336,Алексей,Иванов,7,25
9213333331,Андрей,Некрасов,2,27
9213333332,Миша,Рогозин,2,21
9214444444,Алексей,Галкин,1,38

Вы можете создать эти файлы сами с помощью любого текстового редактора. Напоминаю, что кодировка файлов UTF8.
Перед использованием внешних таблиц необходимо создать специальный объект directory указывающий на каталог, где расположены файлы для внешних таблиц

CREATE OR REPLACE DIRECTORY ext_tab_data AS 'c:/temp';

Здесь
• ext_tab_data – название объекта directory
• AS 'c:/temp' – каталог, где расположены файлы для формирования внешних таблиц.
Далее формируем временные таблицы
Создаем таблицу для файла city.csv
читать дальше...
автор: Myp3_u_K добавлено: 18 фев 19 просмотры: 3945, комментарии: 1



Опыт размещения файлов больших баз данных

В этой статье отражён опыт построения и поддержания инфраструктуры для больших (больше 10Тб) баз данных. Статья не предлагает универсального решения всех возможных задач MS SQL Serverи не отражает всего разнообразия возможных типов нагрузки. Поэтому использовать представленные ниже выводы и рекомендации стоит с оглядкой на свою специфику. Всё, что тут описано, было апробировано на OLTP нагрузках с немалой долей больших аналитических запросов, агрегации, процессинга и массовых выгрузок/загрузок данных. Нагрузка была блочная, неоднородная во времени и по структуре. Характерными чертами нагрузки являлся высокий параллелизм, большое число блокировок, листаний, асинхронных операций, очередей, ожиданий процессора и окончания ввода-вывода. Сама нагрузка балансировалась на уровне логики работы приложения, ресурсы распределялись сообразно возможностям задач, запросы снабжались «хинтами», а распределения памяти для многих задач исчислялись десятками и сотнями Мегабайт. Статья предназначена для администраторов баз данных и хранилищ. Подразумевается, что она облегчит понимание особенностей размещения файлов данных и журналов SQL Server в сетях SAN.

Читать далее: https://blogs.msmvps.com/gladchenko/sizing/
автор: Александр Гладченко добавлено: 06 фев 19 просмотры: 2923, комментарии: 0



Критика смысла: квантовые компьютеры в прикладном исполнении, Д.Дойч

Quantum Computation, www.dwavesys.com
Rather than store information using bits represented by 0s or 1s as conventional digital computers do, quantum computers use quantum bits, or qubits, to encode information as 0s, 1s, or both at the same time. This superposition of states—along with the other quantum mechanical phenomena of entanglement and tunneling—enables quantum computers to manipulate enormous combinations of states at once.


Прошу прощения у подписчиков за то, что в заметке будет много цитат из главы Д. Дойча «Структура реальности», но коротко «вход» в тематику у меня был с двух сторон – первые попытки Андрея Гордиенко доказать возможность к 2019 году создать «соизмеримый» с человеческим интеллектом «механизм» и примерно же в это время друг начал работы над ловлей электрона «за хвост» - очень «острая» игла туннельного микроскопа (его коллеги наверняка к 2025-му году получат Нобелевскую премию по физике, если работа или премия не обесценится, кросс-национальная команда из многих стран) и простой материал. Андрей доказать не смог, но друг электрон поймал. Поэтому придётся цитировать, чтобы обоснование для людей, которым интересен данный вопрос изучили его со всех сторон, в т.ч. и со стороны виртуальной реальности, глава о которой также есть в книге.

Предыдущая заметка о времени https://www.sql.ru/blogs/iyun/2231.

читать дальше...


Моменты в управлении антикризиcными IT-проектами

Работа над заметкой "Авторская теория замены рядового менеджера от Сергея Трушкина (или почему ИИ не быстро идет в гору)" продолжается, просто не хочу ее дополнять по чуть-чуть.
Запись "Педал-лохус-клан [PL] в QuakeWorld (почему в 90-е уходили из киберспорта)" в целом закончена.

Прошу прощения у подписчиков, но нарыл тут у себя в архиве интересный документ.
Делюсь документом в режиме записи в блоге.

Здесь и далее антикризисное управление читать как кризисное управление - - Правка от 03.11.2019

К читателю
Автор блога не обладает специализированными знаниями в классическом антикризисном менеджменте. Автор блога практически всегда был вовлечен в проекты такого рода на «плохой» стадии как управленец. Часть процесса пикирования в кризис им наблюдалась интерактивно без права решающего голоса. С точки зрения автора блога чистые методы решения проблем в проектах не могут быть успешно применены в данном типе проектов, что позволяет считать любой антикризисный проект сложным. Сложность антикризисного проекта по мнению автора блога определяется не стоимостью, не требованиями к качеству, не сроками. Как следствие содержание антикризисного проекта зависит от решений спонсора как реагировать на проблему в проекте, которая заставила считать данный проект «особым». Автор блога не претендует на универсальность примененных проектных решений и универсальность разработанных методов.
читать дальше...




Педал-лохус-клан [PL] в QuakeWorld (почему в 90-е уходили из киберспорта)

Вспоминая прошлое, на собеседованиях я всегда говорил неправду, почему при крассном дипломе Вы не стали защищаться.

Здесь же в формате блога могу себе в режиме полной анонимности рассказать полную правду.
Учился я тогда в аспирантуре ИВМ РАН Гурия Ивановича Марчука, и если экзамены вступительные по философии и английскому дались в лёт, то экзамен по вычислительной математике только со второго раза и то, только после качественной подготовки и спора о терминологии, что такое обобщенная производная по Соболеву, на что принимающий сказал, что обязательно перечитает.
читать дальше...
автор: Програмер.Илюша добавлено: 10 окт 18 просмотры: 3280, комментарии: 2



Предтечи (по мотивам Д.Дойча

Wiki: Предтечи или древние расы — собирательное название для группы вымышленных и гипотетических цивилизаций, описанных в различных художественных произведениях, в основном, научно-фантастических и, реже, историографических трудах. Понятие встречается достаточно часто и, как правило, обозначает цивилизацию (как вариант — расу), существовавшую в определённом месте в определённое время в прошлом и оставившую после себя какие-либо следы.

Анализ и оппонирование главе одиннадцатой Время: первая квантовая концепция.
Arden Shakespeare Sonnet LX
Like as the waves make towards the pebbled shore,
So do our minutes hasten to their end;
Each changing place with that which goes before,
In sequent toil all forwards do contend.


Итак поехали.

Дойч основывает свой вывод о "Другие времена — это всего лишь особые представители других вселенных", на базе "... в физике — в ложной физике пространства-времени. Физическая реальность — это не пространство-время. Это гораздо большая и более многообразная категория, мультиверс." На том, что в иных философских и логических представлениях стараются пользоваться причинно-следственной связью. А она работает только не в "квантовом смысле".
читать дальше...


Ускорение выборки из производных таблиц с учётом всей цепочки наследования

Блог: СУБД Caché
Недавно возникла интересная задача: 21665297 и 21666325.

Итак, дано:
  • три хранимых класса "a","b" и "c", где "с" наследуется от "b", а "b" в свою очередь - от "a";
  • данные всех трёх классов хранятся в одном глобале и соответственно нумерация ID у всех трёх - сквозная;
  • необходимо как-то ускорить следующие запросы, чтобы избежать полного сканирования
    select * from a
    select * from b
    select * from с
  • также должна учитываться вся цепочка наследования при работе с указанными таблицами.
А ларчик-то просто открывается...
автор: servit добавлено: 25 сен 18 просмотры: 2183, комментарии: 1



Инкремент шестнадцатеричных чисел на ABAP

Блог: ABAP Thinking
Друзья, всем известен способ ведения генерации порядковых номеров документов для номеров
с десятеричными цифрами. В транзакции SNRO ведутся диапазоны номеров, а с помощью
функционального модуля NUMBER_GET_NEXT можно получить следующий порядковый номер из диапазона.
В этом очерке описываю, генератор номеров с шестнадцатеричными цифрами на ABAP,
представляю небольшую подпрограмму, увеличивающую шестнадцатеричное число на единицу.
Подпрограмма получает на вход шестнадцатеричное число и увеличивает его на единицу.
*&---------------------------------------------------------------------*
*&      Form  INCREASE_KEY
*&---------------------------------------------------------------------*
*       text
*----------------------------------------------------------------------*
*  -->  p1        text
*  <--  p2        text
*----------------------------------------------------------------------*
FORM INCREASE_KEY  CHANGING pv_key type wanid.
  CONSTANTS:

     c_transl  type text100 value

               '0112233445566778899AABBCCDDEEFFGGHHIIJJKKLLMMNNOOPPQQRRSSTTUUVVWWXXYYZZ0'.

  TRANSLATE pv_key+2(1)  USING c_transl.

  IF pv_key+2(1) = '0'.

    TRANSLATE pv_key+1(1)  USING c_transl.

    IF pv_key+1(1) = '0'.

      TRANSLATE pv_key+0(1)  USING c_transl.

    ENDIF.

  ENDIF.

ENDFORM.                    " INCREASE_KEY
автор: Изя Шниперсон добавлено: 21 сен 18 просмотры: 2034, комментарии: 1



Winsoft OCR EngineMode := emTesseractOnly

В свойствах TOcr есть EngineMode, где можно указать "emTesseractOnly".

Ocr1.EngineMode := emTesseractOnly;

При этом возникает исключение
exception
Project raised exception class EOcrError with message 'Cannot initialize Tesseract library'


Это связано с тем, что используете emTesseractOnly, т.е. при использовании устаревшего движка Tesseract вам необходимо загрузить и использовать данные языка Tesseract из репозитория tessdata:
https://github.com/tesseract-ocr/tessdata

Репозиторий Tessdata также поддерживает механизм LSTM. При использовании только LSTM нейронной сети, вы можете использовать данные языка из tessdata_fast или tessdata_best
https://github.com/tesseract-ocr/tessdata_fast
https://github.com/tesseract-ocr/tessdata_best
автор: X11 добавлено: 27 авг 18 просмотры: 2263, комментарии: 0


предыдущие записи