Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
Добрый день! Подскажите пожалуйста подходящее хранилище для хранения множества очень маленьких типовых связаннных объектов.

Требования:
неограниченная вложенность
возможность циклических ссылок
возможность на лету изменять ссылки
большая скорость выборки(!), изменения и удаления (вставки не так важно)
API под Java или .Net.
20 окт 11, 18:41    [11475031]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
RXL
Member

Откуда:
Сообщений: 1599
Random_Goodman,

Что есть нейронная сеть? Набор связанных нейронов.
Сколько нейронов в сети? Один и более.
Что есть нейрон? Набор коэффициентов связи (синапсов) и выходная функция.
Со сколькими нейронами связан синапс? С одним.
Что и как будем хранить?

Например, так:

TABLE nets
net_id INT PK

TABLE neurons_links
net_id INT
neuron_id INT
PK (net_id, neuron_id)

TABLE neurons
neuron_id INT PK
func TEXT

TABLE synapses
neuron_id INT
synapse_id INT
link_neuron_id INT
coef REAL
PK (neuron_id, synapse_id)
22 окт 11, 13:52    [11483104]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
В данном случае традиционные SQL не подходят, т. к. связи должны изменяться на лету в зависимости от внутренней логики (да, забыл написать. нейрон должен поддерживать простые изменяющиеся на лету внутренние алгоритмы в зависимости от входных-выходных параметров). Связей может быть больше одной, до 8. Таких нейронов ОЧЕНЬ много. Традиционные СУБД не потянут.
24 окт 11, 10:39    [11487196]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
Random_Goodman
В данном случае традиционные SQL не подходят, т. к. связи должны изменяться на лету в зависимости от внутренней логики (да, забыл написать. нейрон должен поддерживать простые изменяющиеся на лету внутренние алгоритмы в зависимости от входных-выходных параметров). Связей может быть больше одной, до 8. Таких нейронов ОЧЕНЬ много. Традиционные СУБД не потянут.
Потянут, традиционные СУБД ОЧЕНЬ быстро работают
24 окт 11, 10:51    [11487270]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
RXL
Member

Откуда:
Сообщений: 1599
Random_Goodman,

Чем же они не подходят? Или вы реализуете нейронную сеть прямо в базе? ;)
Скорость работы с базой напрямую зависит от того, как вы с ней работаете. Используйте транзакции для сохранения изменений конфигурации - это будет намного быстрее, чем сохранять каждую связь отдельно, в отдельных транзакциях.
24 окт 11, 11:37    [11487572]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
тем не менее, я не имею ни малейшего представления, каким некривым образом зашить изменяющуюся логику поведения в объект нейрона
24 окт 11, 11:38    [11487580]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
RXL
Member

Откуда:
Сообщений: 1599
Структурно, нейронная сеть - это граф: набор узлов с их свойствами и направленные ребра со своими свойствами.
24 окт 11, 11:39    [11487590]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
RXL
Чем же они не подходят? Или вы реализуете нейронную сеть прямо в базе? ;)
что-то близкое к этому. Т. е. требуется некий черный ящик, у которого есть вход и выход и который можно реализовать (поведение) прямо внутри него, не прибегая к различным извращениям снаружи.
24 окт 11, 11:40    [11487596]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
RXL
Member

Откуда:
Сообщений: 1599
Random_Goodman
тем не менее, я не имею ни малейшего представления, каким некривым образом зашить изменяющуюся логику поведения в объект нейрона


Что вы имеете в виду под "изменяющуюся логику поведения в объект нейрона"? Изменение коэффициентов, перекоммутация связей, изменение числа нейронов?
24 окт 11, 11:43    [11487619]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
RXL
Структурно, нейронная сеть - это граф: набор узлов с их свойствами и направленные ребра со своими свойствами.

Да, только вот ребра имеют свойства динамически переопределяться, как и элементы. Т. е. по некоему условию ребро может быть разрушено или создано и направлено на совершенно другой узел (который, в свою очередь, должен иметь набор свойств, определяющих, что он готов принять ребро с конкретными свойствами).
24 окт 11, 11:44    [11487630]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
RXL
Что вы имеете в виду под "изменяющуюся логику поведения в объект нейрона"? Изменение коэффициентов, перекоммутация связей, изменение числа нейронов?

все вместе.
24 окт 11, 11:45    [11487637]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
RXL
Member

Откуда:
Сообщений: 1599
Random_Goodman
RXL
Чем же они не подходят? Или вы реализуете нейронную сеть прямо в базе? ;)
что-то близкое к этому. Т. е. требуется некий черный ящик, у которого есть вход и выход и который можно реализовать (поведение) прямо внутри него, не прибегая к различным извращениям снаружи.


Реализация прямо в базе - это и есть, извините, извращение. Хотя и реализуемое.

Т.ч. пока так и не понятно, в чем у вас трудности и в чем состоит вопрос.
24 окт 11, 12:09    [11487875]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Alexsalog
Member

Откуда:
Сообщений: 4116
Может нужно рассмотреть key->value СУБД. Ну там Mongo, Raven
24 окт 11, 12:19    [11487967]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
RXL

Реализация прямо в базе - это и есть, извините, извращение. Хотя и реализуемое.

Т.ч. пока так и не понятно, в чем у вас трудности и в чем состоит вопрос.

В том что задача здесь вовсе не СУБДшная (SQL вообще не нужен, разве что на этапе доводки - битые сущности подчищать), но нужно некое хранилище с данным функционалом. Глупо натягивать что-то 100% объектно-ориентированное на классическую СУБД, тем более что это "что-то" вообще не содержит никаких данных по сути.

Alexsalog
Может нужно рассмотреть key->value СУБД. Ну там Mongo, Raven

о, гляну, спасибо.
24 окт 11, 12:30    [11488048]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
RXL
Member

Откуда:
Сообщений: 1599
Random_Goodman,

Оригинальное у вас суждение. Даже белый шум в памяти является данными, а уж свойства объектов и подавно.
24 окт 11, 12:33    [11488063]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
RXL,

Имеются ввиду данные в классическом понимании. Функциональность классических СУБД все-таки на это рассчитана.

Можно конечно извратиться и сделать на SQL, только тогда при проходе сигнала КАЖДЫЙ элемент и КАЖДОЕ ребро будут лазать в какую-либо внешнюю надстройку для построения алгоритма своего поведения. Очень сомневаюсь, что это вообще будет шевелиться.
24 окт 11, 12:38    [11488106]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
RXL
Member

Откуда:
Сообщений: 1599
Random_Goodman,

У меня вопрос: требования к программе вы составили? А то складывается ощущение, что вы работаете эмпирически, без ТЗ. С одной стороны вы вроде как все уже знаете, а с другой - что-то хотите спросить у сообщества, но толком ничего не говорите.
24 окт 11, 12:42    [11488143]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
Наверное, кроме того что уже сказал, не могу ничего сказать по некоторым причинам, пока рассматривается патент. только общие слова.

Считайте что я захотел создать Lawul Evil Chaotic Network, запустить и. потирая лапки, посмотреть что выйдет.
24 окт 11, 12:49    [11488219]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
Грубо говоря, есть некий алгоритм построения конкретной сети. Есть прототип, написанный на .Net вообще без СУБД (все в памяти). Он работает. Но для достижения неких целей объектов должно быть существенно больше, а кроме того надо периодически сохранять состояния, для чего, очевидно, это решение не подходит. Да и скорость в данном случае не особо устраивает.
24 окт 11, 12:54    [11488260]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 67500
Блог
Реляционные СУБД для нейронной сети, очевидно, подходят плохо. Да и в целом по её специфике "всё в памяти" есть вариант, близкий к идеалу. Если опираться на СУБД, то очевидная дорога в сторону сетевых/объектных, но всё равно сомневаюсь. Имхо это тот случай, когда базу надо рассматривать только как persistent store.
24 окт 11, 13:30    [11488590]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
krot-s
Member

Откуда: Одесса
Сообщений: 513
Посмотрите на граф-ориентированные базы, например neo4j.
24 окт 11, 13:39    [11488679]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
servit
Member

Откуда: г. Кишинёв, Республика Молдова
Сообщений: 3148
Блог
Random_Goodman,

Посмотрите в сторону GlobalsDB или СУБД Caché, которые используют в своей основе многомерные ассоциативные массивы - глобалы.
Примеры моделирования данных с использованим глобалов Вы можете посмотреть в документе A Universal NoSQL Engine, Using a Tried and Tested Technology

PS: список доступных API (для Java самый быстрый Multidimensional Data Storage API).
PPS: пример построения нейросети на архитектуре многослойного персептрона с использованием технологий СУБД Caché.
24 окт 11, 13:54    [11488821]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
О, спасибо, вот это уже что-то
24 окт 11, 13:59    [11488881]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54818

Random_Goodman
надо периодически сохранять состояния

А что, тупо сливать структуры из памяти в файл, как это делают все игрушки, ниже Вашего
достоинства?..

Posted via ActualForum NNTP Server 1.4

24 окт 11, 14:32    [11489181]     Ответить | Цитировать Сообщить модератору
 Re: СУБД (?) для нейронных сетей  [new]
Random_Goodman
Member [заблокирован]

Откуда:
Сообщений: 3708
Я боюсь что тогда как раз и выйдет реализация того, что мне нужно. Там все далеко не так просто. Например я не могу разом гарантированно остановить работу всей сети.
24 окт 11, 14:40    [11489245]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить