Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 [6] 7 8 9 10 .. 13   вперед  Ctrl
 Re: Причины ненависти к языку SQL?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 604
Eugene New
может вопрос наивный, но как вообще можно судить о верности работы самообучающегося робота, алгоритма работы которого вы в принципе не знаете и не понимаете? и которому скармливаете огромные сырые массивы данных, собранных "абы как". То есть неизвестный алгоритм, на входе которого неизвестно что. Откуда уверенность, что на выходе будет что то правильное?

во первых Ынтерпрайзы не любят то что нельзя потом расшифровать и в суде рассказать почему было принято такое решение. я не видел нейроных сетей в проде. есть мульон других алгоритмов, точно по тем же принципам обучающихся. от примитивной линейной регрессии и decision trees. там точно также модель обучается, но в к примеру в decision tree ты можешь взять и посмотреть всю ветку решений и понять почему такой ответ. далее аналитики ждут когда наберется статистика и рисуют некую area under curve (AUC), которая говорит на сколько хорошо перформит их модель.

Eugene New
Понятно, что если деньги платят и что то такое крутое крутится и даже какой то результат показывает, то можно и не думать об этом. И никто особо не придерется, так как никто вообще не понимает, что там происходит. Некий черный ящик. "Дельфиский оракул".

у нас эта дребедень принимает решения думаю на 50-100 млн зеленых, пока только саксес стори, хотя процент откровенной лажи огромен. но люди лажают настолько эпично, что на их фоне даже такое для бизнеса выглядит прорывом. ну и надо сказать если ты нормальные данные подсовываешь, ответ очень точен. в наших условиях добиться нормальных данных с олтп систем не так просто.
3 окт 18, 11:48    [21693856]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
H5N1
при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл.
как работник сбера (точнее сбертеха) и имеющий к этому некоторое отношение могу сказать что сбер в данном случае неудачный пример
мягко говоря
я бы даже сказал пример в обратную сторону

Сообщение было отредактировано: 3 окт 18, 12:09
3 окт 18, 12:00    [21693880]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
H5N1,
это игра на бирже?

SergSuper,
пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми.
3 окт 18, 12:15    [21693909]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 604
SergSuper
H5N1
при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл.
как работник сбера (точнее сбертеха) и имеющие к этому некоторое отношение могу сказать что сбер в данном случае неудачный пример
мягко говоря
я бы даже сказал пример в обратную сторону

нормальный. даже если конкретно игнайт не взлетит то взлетит что-то рядом, типа cloudera kudu. они чуть с другой стороны идут, но там уже работает обычный mvcc с redo, undo и хадуповской массивно-параллельностью. не столь важно кто там именно, важно что уже есть прототипы, которые концептуально уже работают. т.е. уже понятно откуда там скорость и acid одновременно возьмутся.
3 окт 18, 12:15    [21693910]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 604
Eugene New
это игра на бирже?

нет. фин услуги. те же банки скоринги покупают.

Eugene New
SergSuper,
пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми.

да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субд. отсюда и все проблемы с "где открывали карту, туда и идите" (тм)
3 окт 18, 12:38    [21693954]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 11115
Eugene New
пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми.


мне кажется ты не совсем понимаешь для чего используется bigdata. Учёт денег на конкретной карточке или счёте спокойно выполняет любая реляционная СУБД. Bigdata прежде всего необходима для анализа. Например изучения поведения, маркетинга, прогнозирования...
Например выявления тех же серых схем ухода от налогов.
3 окт 18, 12:42    [21693960]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
H5N1
SergSuper
пропущено...
как работник сбера (точнее сбертеха) и имеющие к этому некоторое отношение могу сказать что сбер в данном случае неудачный пример
мягко говоря
я бы даже сказал пример в обратную сторону

нормальный. даже если конкретно игнайт не взлетит то взлетит что-то рядом, типа cloudera kudu. они чуть с другой стороны идут, но там уже работает обычный mvcc с redo, undo и хадуповской массивно-параллельностью.
Остановись... Это уже не смешно
3 окт 18, 13:20    [21694003]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
отсюда и все проблемы с "где открывали карту, туда и идите"

Читал описание интересной вещи - человек давно закрыл карточку, проверял ее закрытие, работники видели что закрытие прошло, а ему потом снова приходило уведомление о долге. И так несколько раз, пока он не накатал заяву в Центробанк.

Симонов Денис,
так тут говорят разные вещи. От вообще не использовать до "полностью заменить" РСУБД. Я не знаю, чего ждать от Сбербанка после того, как слышал как его региональный руководитель на конференции утверждал на полном серьезе, что к 2030 году человечество ждет бессмертие и его после этого не увезли в дурку.

Тема блокировки карточек и счетов непонятно за что по случайному принципу тоже эпична. Причем никто не может ни описать критерии, ни быстро ликвидировать ошибку. Поэтому многие граждане уже давно сделали вывод, что в Сбербанке вообще нельзя делать переводов на чужие счета, а лучше там и денег не хранить.
3 окт 18, 13:22    [21694004]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
H5N1
да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субд
Ну ты ведь не знаешь про Сбер НИЧЕГО. Какого хрена ты несешь эту чушь тут?
3 окт 18, 13:22    [21694005]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
H5N1
важно что уже есть прототипы, которые концептуально уже работают. т.е. уже понятно откуда там скорость и acid одновременно возьмутся.

ну вот не взялись

H5N1
да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субд. отсюда и все проблемы с "где открывали карту, туда и идите" (тм)

перефразируя известный анекдот: как жаль что все, кто может решить проблемы сбера, не работают в сбере
(года три уже как на одной железяке)

Eugene New
пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми.

во первых не знаю, во вторых это не относится ни к теме топика, ни к теме форума и хотел бы на этом тему сбера тут закрыть
3 окт 18, 13:25    [21694015]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
во первых не знаю, во вторых это не относится ни к теме топика, ни к теме форума и хотел бы на этом тему сбера тут закрыть


Я понимаю ваше желание, однако не могу не заметить, что к теме форума это относится напрямую, да и к теме топика тоже может относится. Так как интересно знать, происходит ли это по причине отказа от реляционных бд или по какой-то другой.

Ну и плюс в кои то веки представляется возможность пообщаться не с роботом Сбербанка, и с не дебилом на ресепшене, а со знающим человеком.
3 окт 18, 13:33    [21694028]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
Alexander Ryndin, SergSuper,
в любом случае спасибо за полезную информацию.
3 окт 18, 13:36    [21694030]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 11115
Eugene New,

по поводу критериев блокировки это тебе к Набиулиной надо. ЦБ постоянно выпускает свои "ценные" указания и банки обязаны их соблюдать.
В прочем это действительно к теме не относится.
3 окт 18, 13:38    [21694037]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
Симонов Денис,
нет, в Сбербанке не так. Там с 2016 года какой-то самообучающийся робот этим занимается. Критериев, которыми он руководствуется, нет в открытом доступе. Зато куча сообщений об ошибочных блокировках.
3 окт 18, 13:43    [21694041]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
Так что к теме относится напрямую.
Причем все это весело очень для частного лица, когда внезапно все его счета блокируются и он должен ходить и что то доказывать и оправдываться. Прикол еще и в том, что могут заблокировать за перевод на ВАШ счет. Т. е. вы сидите, никого не трогаете, вам кто то присылает денег - и бах, вы без штанов, идите доказывайте, добивайтесь и умоляйте.
3 окт 18, 13:45    [21694044]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 11115
Eugene New,

ты новости то вообще смотришь? Заканчивай тему сбера, а то сейчас топик за флуд прикроют.
3 окт 18, 13:55    [21694069]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
Симонов Денис,
нет, не смотрю, а что там?
И то, что я говорю - не флуд.
Модератор: таки флуд
посты не по теме будем тереть


Сообщение было отредактировано: 3 окт 18, 14:42
3 окт 18, 14:11    [21694089]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 11115
Eugene New,

про понятие самозанятый гражданин знаешь? Поставлена задача вывести их из тени, читай заставить платить налоги.
Сегодня это делает сбер, а завтра всех обяжут выявлять кто использует счета физ лиц для ведения "бизнеса".
3 окт 18, 14:18    [21694098]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3795
H5N1
Ivan Durak
это от бедности. Ну нельзя же всерьез считать что экспорт из БД террабайта в текстовый файл а потом его обработка питоном - это эффективнее чем обработка внутри бд.

предложи свой вариант. разговор не о том что где-то эффективней, а вот что вариантов натренировать модель в рсубд попросту нет.

Все идет к тому, что спарк станет РСУБД, да и ты тот же игнайт уже рсубд назвал. И хайв.
И будут они нормальными рсубд, с ansi sql, mvcc, транзакциями и redolog.
И вопрос с РСУБД решится сам собой, вхождение текущих недосубд бигдата рещений в большую семью рсубд.
Конечно конкретный оракл может и помрет. Но туда ему и дорога. А рсубд будут живы
3 окт 18, 14:46    [21694149]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3795
H5N1
Ivan Durak
это от бедности. Ну нельзя же всерьез считать что экспорт из БД террабайта в текстовый файл а потом его обработка питоном - это эффективнее чем обработка внутри бд.

предложи свой вариант. разговор не о том что где-то эффективней, а вот что вариантов натренировать модель в рсубд попросту нет.

ах да.... чуть не забыл.
https://docs.microsoft.com/en-us/sql/advanced-analytics/r/sql-server-r-services?view=sql-server-2017
R внутри MS sql server.
ДАННЫЕ никуда перемещать не надо.. никаких экспортов в csv. Бери и анализируй по месту их нахождения.
3 окт 18, 14:48    [21694154]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
Симонов Денис,
и что? Это повод оправдывает ошибки в информационной системе, из за которых массово блокируют счета граждан, которые не занимаются никакими теневыми делами?

Связь с темой прямая. H5N1 заявил, что РУСБД не подходят для обработки информации самообучающимися программами и что их надо менять на бигдату или использовать как хранилища. Сразу возникает вопрос о надежности таких программ. И вот - есть известный масштабный пример работы с кучей ошибок.
3 окт 18, 14:50    [21694157]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3795
или например
https://gpdb.docs.pivotal.io/590/install_guide/install_python_dsmod.html
Внутри гринпламовского кластера питон с пандами и блекджеком.
Анализируй не хочу.....
3 окт 18, 14:50    [21694158]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Eugene New
Member

Откуда:
Сообщений: 456
Ivan Durak,
а не выйдет ли так, что эта новая рсубд будет хуже предыдущик потому, что в ней сразу отказались от соблюдения целостности и не считают это важным?
3 окт 18, 14:52    [21694164]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 604
Ivan Durak
ах да.... чуть не забыл.
https://docs.microsoft.com/en-us/sql/advanced-analytics/r/sql-server-r-services?view=sql-server-2017
R внутри MS sql server.
ДАННЫЕ никуда перемещать не надо.. никаких экспортов в csv. Бери и анализируй по месту их нахождения.

я об этом упоминал
H5N1
самое близкое к субд видел примерчики у майкрософт, они предлагают питон скрипты в субд запускать. но это тоже лишь иллюзия, реально там точно так же данные из движка субд копируются в питон.

в этих примерах они по odbc перекачивает данные в R
https://docs.microsoft.com/en-us/sql/advanced-analytics/tutorials/deepdive-create-sql-server-data-objects-using-rxsqlserverdata?view=sql-server-2017


Ivan Durak
Все идет к тому, что спарк станет РСУБД, да и ты тот же игнайт уже рсубд назвал. И хайв.
И будут они нормальными рсубд, с ansi sql, mvcc, транзакциями и redolog.
И вопрос с РСУБД решится сам собой, вхождение текущих недосубд бигдата рещений в большую семью рсубд.
Конечно конкретный оракл может и помрет. Но туда ему и дорога. А рсубд будут живы

сомневаюсь я что FK, жестко синхронизированные индексы, autoincrement поля можно будет подружить с массивно параллельностью. без FK и индексов на роль рсубд их не натянуть, имхо. а с ними я слабо представляю перформенс в параллель.
3 окт 18, 15:17    [21694193]     Ответить | Цитировать Сообщить модератору
 Re: Причины ненависти к языку SQL?  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3795
Eugene New
Ivan Durak,
а не выйдет ли так, что эта новая рсубд будет хуже предыдущик потому, что в ней сразу отказались от соблюдения целостности и не считают это важным?
это сперва отказались, а потом спохватились.
Уже в ORC формате для HIVE появилась поддержка ACID транзакций
3 окт 18, 15:20    [21694196]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 [6] 7 8 9 10 .. 13   вперед  Ctrl
Все форумы / Сравнение СУБД Ответить