Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 Нужен консультант по БД (ГИС)  [new]
guliapl
Member

Откуда:
Сообщений: 9
Добрый день!
Срочно ищем человека из любой части России с большим опытом работы с базами данных в разрезе ГИС.
Нужна консультация по конкретным вопросам. За хорошее вознаграждение при реальной помощи.

gulnara.plotnikova@gmail.com
912 4637868(telegram, viber, whatsapp)
13 сен 17, 11:03    [20792161]     Ответить | Цитировать Сообщить модератору
 Re: Нужен консультант по БД (ГИС)  [new]
kealon(Ruslan)
Member

Откуда: Нижневартовск
Сообщений: 2405
guliapl,

что вы подразумеваете
  • под абревиатурой "ГИС" ?
  • "хорошее вознаграждение" ?

    ставка часовая какая? и минимальный порог оплаты: пол часа, час, два?
  • 13 сен 17, 12:29    [20792427]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    alex-ls
    Member

    Откуда: Иркутская обл - Пенза - Москва
    Сообщений: 6186
    Гульнара, а почему Вы мне на почту написали? или это не по этому вопросу? :)
    13 сен 17, 13:43    [20792742]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    guliapl
    Member

    Откуда:
    Сообщений: 9
    alex-ls, написала. об этом. увидела ваше сообщение в одной из тем по БД и решила подробнее с вами пообщаться. лучше не по почте, а тут?
    13 сен 17, 14:07    [20792809]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    guliapl
    Member

    Откуда:
    Сообщений: 9
    kealon(Ruslan), геоинформационная система. в плане БД интересует хранение фото материала - с какой БД лучше связаться для таких целей и какие проблемы могут поджидать.
    вознаграждение - да. давайте лично обговорим (ваша почта? или мне напишите, пожалуйста). у нас вопросов много, а вдруг и о более долгосрочном сотрудничестве договоримся.
    13 сен 17, 14:13    [20792831]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    Южный Ктототам
    Member

    Откуда:
    Сообщений: 1883
    Задумался. А какие проблемы хранить фотоматериал банально в бинарниках внутри таблицы на оракле или мсскл сервере в чем принципиальная разница? Или из этих фото данных картинку потом рисовать надо т.е. карту?
    13 сен 17, 14:31    [20792902]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    alex-ls
    Member

    Откуда: Иркутская обл - Пенза - Москва
    Сообщений: 6186
    Южный Ктототам
    Задумался. А какие проблемы хранить фотоматериал банально в бинарниках внутри таблицы на оракле или мсскл сервере в чем принципиальная разница? Или из этих фото данных картинку потом рисовать надо т.е. карту?

    ну вряд ли просто хранить, а разница например в цене есть и большая
    13 сен 17, 15:28    [20793090]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    Южный Ктототам
    Member

    Откуда:
    Сообщений: 1883
    alex-ls
    Южный Ктототам
    Задумался. А какие проблемы хранить фотоматериал банально в бинарниках внутри таблицы на оракле или мсскл сервере в чем принципиальная разница? Или из этих фото данных картинку потом рисовать надо т.е. карту?

    ну вряд ли просто хранить, а разница например в цене есть и большая


    В цене на срфт субд. Ч тут о технологическрй стороне
    13 сен 17, 16:54    [20793368]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    dvim
    Member

    Откуда: Санкт Петербург
    Сообщений: 616
    guliapl
    интересует хранение фото материала

    В гис понимаю мало, но хранить фотоматериал в базе получается очень дорого.
    Мы пришли к тому, что только часть данных (бинарников) хранится в БД, а часть на ФС.

    И есть сервис, что выгружает старые данные в ФС из СУБД.
    13 сен 17, 17:54    [20793585]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    iv_an_ru
    Member

    Откуда: Новосибирск
    Сообщений: 20175
    dvim
    В гис понимаю мало, но хранить фотоматериал в базе получается очень дорого.
    Вот совершенно не очевидно :) Возьмите любую приличную СУБД, разместите файлы с данными на пустом диске, и вы получите производительность, почти не уступающую файловой системе на "тупом" доступе, и выигрыш за счёт префетча при выборке по запросам.
    13 сен 17, 21:21    [20794005]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    iv_an_ru
    Member

    Откуда: Новосибирск
    Сообщений: 20175
    guliapl,

    Я среди прочего отвечаю за поддержку геоданных в Virtuoso Universal Server, вы можете задать свой вопрос на virtuoso-users@lists.sourceforge.net (желательно на английском), и с большой вероятностью получить подробную консультацию бесплатно.
    13 сен 17, 21:30    [20794016]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    guliapl
    Member

    Откуда:
    Сообщений: 9
    iv_an_ru, спасибо большое! обязательно напишу.
    14 сен 17, 07:27    [20794365]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    guliapl
    Member

    Откуда:
    Сообщений: 9
    iv_an_ru, спасибо большое! обязательно напишу.
    14 сен 17, 07:29    [20794366]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    363
    Member [заблокирован]

    Откуда: Москва
    Сообщений: 22913
    iv_an_ru
    dvim
    В гис понимаю мало, но хранить фотоматериал в базе получается очень дорого.
    Вот совершенно не очевидно :) Возьмите любую приличную СУБД, разместите файлы с данными на пустом диске, и вы получите производительность, почти не уступающую файловой системе на "тупом" доступе, и выигрыш за счёт префетча при выборке по запросам.

    тем не менее, фото и подобные материалы (например кеш картинок) быстрее работает не в СУБД, а на ФС
    14 сен 17, 09:44    [20794597]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    iv_an_ru
    Member

    Откуда: Новосибирск
    Сообщений: 20175
    363
    iv_an_ru
    пропущено...
    Вот совершенно не очевидно :) Возьмите любую приличную СУБД, разместите файлы с данными на пустом диске, и вы получите производительность, почти не уступающую файловой системе на "тупом" доступе, и выигрыш за счёт префетча при выборке по запросам.

    тем не менее, фото и подобные материалы (например кеш картинок) быстрее работает не в СУБД, а на ФС
    Кэш картинок "целиком" будет быстрее на ФС, а вот кэш тайлов пирамид для сильверлайта или аналога яндекс.карты --- в СУБД. У дисковой подсистемы СУБД есть лишние накладные расходы, но есть и преимущество --- в отличие от ФС она получает информацию о вероятных чтениях в ближайшем будущем, и может кэшировать впрок. Если прогноз оказывается верным, то "HDD притворяется SSD".
    14 сен 17, 13:26    [20795552]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    Критик
    Member

    Откуда: Москва / Калуга
    Сообщений: 31488
    Блог
    iv_an_ru,

    Так и субд сейчас позволяют хранить картинки в файловой системе.
    Если же хранить полностью раздельно, логику в субд, а картинки в файлах, то появляется проблема резервирования.
    14 сен 17, 16:32    [20796403]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    iv_an_ru
    Member

    Откуда: Новосибирск
    Сообщений: 20175
    Критик
    iv_an_ru,

    Так и субд сейчас позволяют хранить картинки в файловой системе.
    Если же хранить полностью раздельно, логику в субд, а картинки в файлах, то появляется проблема резервирования.
    Хранить в файловой системе хоста то, что можно хранить в БД --- это самому себе прищемить тестикулы, когда придёт пора переходить на кластер :)
    14 сен 17, 16:49    [20796471]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    363
    Member [заблокирован]

    Откуда: Москва
    Сообщений: 22913
    iv_an_ru
    363
    пропущено...

    тем не менее, фото и подобные материалы (например кеш картинок) быстрее работает не в СУБД, а на ФС
    Кэш картинок "целиком" будет быстрее на ФС, а вот кэш тайлов пирамид для сильверлайта или аналога яндекс.карты --- в СУБД. У дисковой подсистемы СУБД есть лишние накладные расходы, но есть и преимущество --- в отличие от ФС она получает информацию о вероятных чтениях в ближайшем будущем, и может кэшировать впрок. Если прогноз оказывается верным, то "HDD притворяется SSD".

    Это да.
    Сервера приложений вполне могут в том числе и кэшировать.
    14 сен 17, 17:29    [20796619]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    Adekamer
    Member

    Откуда: 127.0.0.1
    Сообщений: 2484
    iv_an_ru,

    только в случае если NoSQL с шардированием и прочими плюшками
    :)
    14 сен 17, 17:31    [20796627]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    iv_an_ru
    Member

    Откуда: Новосибирск
    Сообщений: 20175
    Adekamer
    iv_an_ru,

    только в случае если NoSQL с шардированием и прочими плюшками
    :)
    Почему вы думаете, что в олдскульной ACID-ной базе не может быть шардирования и прочих плюшек? В ней может быть вообще elastic cluster, например --- добавляешь новые пустые ящики, и база сама перебалансируется так, что админ за голову хватается.
    14 сен 17, 18:18    [20796804]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    Adekamer
    Member

    Откуда: 127.0.0.1
    Сообщений: 2484
    iv_an_ru,

    я чет не понял - какая связь между acid и эластиком ?
    15 сен 17, 09:58    [20797873]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    iv_an_ru
    Member

    Откуда: Новосибирск
    Сообщений: 20175
    Adekamer
    iv_an_ru,

    я чет не понял - какая связь между acid и эластиком ?
    Вот и я не понял перед этим --- какая связь между шардированием и NoSQL? На мой взгляд --- никакой.
    15 сен 17, 10:59    [20798065]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    MasterZiv
    Member

    Откуда: Питер
    Сообщений: 33575
    Adekamer
    iv_an_ru,

    я чет не понял - какая связь между acid и эластиком ?


    Это другой эластик, не тот, что ты думаешь.
    Имелся в виду общий принцип дейтсвия, а не определённый продукт с этим названием.
    15 сен 17, 17:23    [20799628]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    Dmitry V. Liseev
    Member [заблокирован]

    Откуда: Санкт-Петербург
    Сообщений: 5583
    Никогда не приходилось работать с геоданными в базах.

    Насколько я понимаю, особенность ГИС в способности хранить геометрические объекты (точки, линии, многоугольники и т.д.) а также выполнять операции "найти все отрезки длиннее 5 метров, пересекающие заданный".

    Ну и как бы фишка Яндекс карты не в хранении растровых картинок, а в генерации векторных. Скажем, данные хранятся с точностью до контуров зданий. Но, при масштабах в тысячу километров мне не надо отрисовывать каждое здание в каждом городе на всём континенте, когда этот континент помещается на экран целиком. Нужны только контуры государств и точками наиболее крупные города.
    15 сен 17, 23:00    [20800112]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    alexeyvg
    Member

    Откуда: Moscow
    Сообщений: 25829
    Dmitry V. Liseev
    Насколько я понимаю, особенность ГИС в способности хранить геометрические объекты (точки, линии, многоугольники и т.д.) а также выполнять операции "найти все отрезки длиннее 5 метров, пересекающие заданный".
    Основная задача скорее - вхождение точки в фигуру, и получение результата пересечения фигур.
    Dmitry V. Liseev
    Скажем, данные хранятся с точностью до контуров зданий. Но, при масштабах в тысячу километров мне не надо отрисовывать каждое здание в каждом городе на всём континенте, когда этот континент помещается на экран целиком. Нужны только контуры государств и точками наиболее крупные города.
    И что? Работаем же со всеми данными.
    У вас есть массив многоугольников, включая, например, какой то домик в селе на Камчатке. И что бы узнать, в каком доме в Москве вы находитесь, вам нужно проверить и тот домик тоже.

    Вот собственно и вопрос ТС - какие СУБД для этого хорошо приспособлены? Кто умеет индексировать эти операции, что бы не перебирать все фигуры?

    Всякие "шардирования", распараллеливание, можно сделать на любой платформе, специально не нужно упираться в этом вопросе, он тут не самый главный.
    16 сен 17, 01:34    [20800224]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    iv_an_ru
    Member

    Откуда: Новосибирск
    Сообщений: 20175
    Dmitry V. Liseev
    Никогда не приходилось работать с геоданными в базах.

    Насколько я понимаю, особенность ГИС в способности хранить геометрические объекты (точки, линии, многоугольники и т.д.) а также выполнять операции "найти все отрезки длиннее 5 метров, пересекающие заданный".

    Ну и как бы фишка Яндекс карты не в хранении растровых картинок, а в генерации векторных. Скажем, данные хранятся с точностью до контуров зданий. Но, при масштабах в тысячу километров мне не надо отрисовывать каждое здание в каждом городе на всём континенте, когда этот континент помещается на экран целиком. Нужны только контуры государств и точками наиболее крупные города.
    Яндекс и спутниковую подложку умеет рисовать, если что. А "не отрисовывать каждое здание в Европе" делается на уровне приложения, переключением слоёв в зависимости от масштаба и "самоотсечением".
    16 сен 17, 06:52    [20800291]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    iv_an_ru
    Member

    Откуда: Новосибирск
    Сообщений: 20175
    alexeyvg
    Вот собственно и вопрос ТС - какие СУБД для этого хорошо приспособлены? Кто умеет индексировать эти операции, что бы не перебирать все фигуры?
    Умеет любая БД с пространственными индексами, само собой ;)

    alexeyvg
    Всякие "шардирования", распараллеливание, можно сделать на любой платформе, специально не нужно упираться в этом вопросе, он тут не самый главный.
    Луц частями не продаётся --- пространственный индекс раскладывается на кластер, но "без глюков" не шардируется.
    16 сен 17, 06:54    [20800292]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    guliapl
    Member

    Откуда:
    Сообщений: 9
    А HDFS в таким ключе уместно применить?
    20 сен 17, 10:55    [20808208]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    iv_an_ru
    Member

    Откуда: Новосибирск
    Сообщений: 20175
    guliapl
    А HDFS в таким ключе уместно применить?
    Не уместно, потому что если не обрабатывать данные близко к их физическому размещению, то латентность межнодовых соединений похоронит производительность. А если у вас уже есть полноценная кластерная СУБД, то она получше всякого HDFS решит, где и как свои данные складывать.
    20 сен 17, 17:53    [20809828]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    skyANA
    Member

    Откуда: Зеленоград
    Сообщений: 22808
    Nick Patrick,
    Co-Founder and CEO at Radar https://www.onradar.com

    Moving fast with MongoDB at Radar
    21 сен 17, 16:23    [20813008]     Ответить | Цитировать Сообщить модератору
     Re: Нужен консультант по БД (ГИС)  [new]
    Alexander Ryndin
    Member

    Откуда:
    Сообщений: 4704
    Блог
    guliapl
    А HDFS в таким ключе уместно применить?
    И HDFS применимо, и обычные реляционки типа Oracle.
    У Oracle для этого есть модуль Oracle Spatial с возможностью хранения спутниковой и аэрофотосъемки.
    http://docs.oracle.com/database/121/GEORS/geor_intro.htm#GUID-3DAEDA62-561C-40ED-A350-D15766726917
    Также есть Oracle Spatial for Big Data. Там немного другие задачи, связанные с пакетной обработкой растровой информации, хранящейся в HDFS
    http://www.oracle.com/technetwork/database/database-technologies/bigdata-spatialandgraph/overview/index.html
    23 сен 17, 02:56    [20817676]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: 1 2      [все]
    Все форумы / Работа Ответить