Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / MySQL Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
DBConstructor
Member [заблокирован]

Откуда: RU-SPE
Сообщений: 716
Arhat109
DBConstructor,

Потестил в той куче данных: selected = 301 items by 0.7 .. 0.93 sec. Нисколько оно не "скоростной вариант". Точно такой же. :)

1. Справедливости ради: тема - моя и работают у меня эти запросы уже больше года, Бочков самостоятельно(!) нашел решение, которое я тогда не мог выложить. И самое быстрое решение - это:

Я надеюсь, ты не запретишь мне писать в твою тему? ;)
И кстати, самое универсальное и быстрое решение - решение с курсором в SP (13935415).

У меня никак не получается получить идентичный результат, хотя бы по количеству результирующих строк.
(для тестирования использую сгенерированную таблицу в 3к строк из 13962137)
Я правильно запускаю твой алгоритм?
SET @search_num:='2';
SELECT
--    ch.`level` AS lvl,
    If(@pr<>ch.`parent_id`,
      Greatest(@array:=REPLACE(@array, @prc, ''),
        @prc:=Concat(',',ch.`parent_id`,','),
        @pr:=ch.`parent_id`),
      @pr) AS parent,
    Greatest(ch.`id`,
		  If(Locate(@prc, @array) > 0,
        @array:=Concat(@array, Concat(',',ch.`id`,',')),
        '')
    ) AS childs
  FROM (
        SELECT @prc:=@array:=Concat(',',@pr:=@search_num,',')
      ) AS dummy,
      `catalog` AS ch -- FORCE INDEX (`PRIMARY`) # if present other index!
  WHERE Locate(Concat(',',ch.`parent_id`,','), @array) > 0;

результат его работы:
/* 0 rows affected, 50 rows found. Duration for 2 queries: 0,000 sec. */

50 строк!

А это результат работы алгоритма из 13969815 при SET @seq:='2'; :
/* 0 rows affected, 1 274 rows found. Duration for 5 queries: 0,109 sec. */

1274 строки и на 30% быстрее SP с курсором!

Arhat109
Кстати, почему вы так любите Find_in_set()? LOCATE() -- существенно быстрее. :)

1. Этой функции есть куда расти. В будущем, к примеру, она может быть оптимизирована для использования индексов при выборке строк.
2. Меня полностью устраивает её функционал - быстрая, не требуется дополнительного приобразования строк поиска. Можешь сам в этом убедиться:
SET group_concat_max_len = 65533;
SET @branch = '2';
SELECT @branch:=Concat_ws(',', @branch, c.`id`) branch
  FROM `catalog` c
  WHERE Find_in_set(c.`parent_id`, @branch)
    AND NOT Find_in_set(c.`id`, @branch)
  ORDER BY `branch` DESC LIMIT 1
/* 0 rows affected, 1 rows found. Duration for 2 queries: 0,078 sec. */

SET @branch = '2';
SELECT @branch:=Concat_ws(',', @branch, c.`id`) branch
  FROM `catalog` c
  WHERE Locate(Concat(',', c.`parent_id`), Concat(',', @branch))
    AND NOT Locate(Concat(',', c.`id`), Concat(',', @branch))
  ORDER BY `branch` DESC LIMIT 1
/* 0 rows affected, 1 rows found. Duration for 2 queries: 0,156 sec. */

Вот как-то так...
23 фев 13, 16:09    [13970667]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3282
DBConstructor,

Эта - не "моя" тема. Это фак. И думаю, сюда полезно выкладывать УЖЕ работающие варианты...

Странно что не получается.
Вот тут: 13969570 полностью приведен весь код, которым тестю. В т.ч. и по построению таблицы. Закрываешь комментами, чего не надо и запускаешь. Он оформлен в виде хранимки search_num - её параметр, который указывается при запуске. Я гоняю через EMS-manager, поэтому не трудно скорректировать код процедуры и перекомпилять заново.
23 фев 13, 19:22    [13971152]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3282
DBConstructor,

нет НЕ правильно. Посмотрите внимательно. Там нужно дополнительное поле level и составной уникальный ключ. Посмотрите мой тестовый код внимательнее. Это ключевое расширение.
23 фев 13, 19:24    [13971159]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3282
Arhat109,

кстати, это вариант с вырезанием найденных узлов ... ежели ничего не резать, то всё резко упрощается до этого:

SELECT
  ch.`id` AS child, ch.`parent_id` AS parent, ch.`level` AS level
  , @array := CONCAT(@array, CONCAT(',',ch.`id`,',')) AS array
FROM (SELECT @array:=',9,') AS dummy
, `tree1` AS ch  FORCE INDEX (level)
WHERE
  LOCATE(CONCAT(',',ch.`parent_id`,','), @array) > 0
;
--# индекс: `level` (`level`,`parent_id`,`id`) лучше делать единственным и первичным ключом таблицы
--# тогда можно не прибивать гвоздями...
--# В этом случае надо забыть про автоинтремент, требующий собственного отдельного индекса...


, приведено тут: 13674855
23 фев 13, 19:40    [13971204]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
Диклевич Александр
Member

Откуда:
Сообщений: 574
Вот еще нашел презентацию с описанием разных подходов и их недостатков, с примерами.
Лично мне понравилось решение с помощью Closure Tables.
5 июл 13, 12:02    [14526689]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
tanglir
Member

Откуда:
Сообщений: 30154
Диклевич Александр
Лично мне понравилось решение с помощью Closure Tables.
Это тот же Adjacency list, только с доп. информацией о путях.
Кстати. На 69-м слайде для этой структуры указано Query child - Easy? ЯНХНП.
Если длины пути нет, то задача выборки прямого потомка ("child" же, не "children") в CT наоборот весьма сложна.
Если длина пути есть, то замаешься при добавлении листа вычислять длины путей от всех предков - речь ведь идёт о добавлении листа за один-два запроса без всяких там рекурсий или хранимок, так?Я уж молчу про перенос ветки куда-нибудь в другую часть дерева.

Ну и ещё меня пугает O(n2). Хотя для малых деревьев это и неважно.
5 июл 13, 13:20    [14527292]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
deblogger
Member

Откуда:
Сообщений: 825
Arhat109
-, Проблемы вызывает поиск ВСЕХ потомков от заданного узла. Типовые, предлагаемые решения через последовательные JOIN и UNION -- или громоздки в построении, или предполагают знание или ограничение уровней вложенности.


Уровень вложенности можно хранить в дереве или отслеживать по FK.

В самом первом сообщении написано так, будто бы добавление FK в таблицу обеспечивает легкость процитированного следом запроса. Вполне ясно что FK тут не при чем, запрос совершенно обычный, но я подумал что наверняка эти внешние ключи можно поддержать в приложении и реально обеспечить автоматизм объединений.

Поскольку тема в FAQ вопрос такой. Я добавляю FK к уже готовой таблице, но в information_schema таблица REFERENTIAL_CONSTRAINTS (или типа того) остается пустой.

Драйвер MyISAM. Я знаю там FK смысла не имеют, но информация о них должна сохраняться в БД. Вдруг я захочу привод поменять.

Так вот, где эти ключи отыскать в БД, чтобы через API заюзать?

---

По деревьям. Долго скрипел извилинами и вроде понял что применительно к большинству случаев деревья только способ отображения информации, а не способ ее хранения. Например типичная гармошка Категория-суб-товар-аксессуар на самом деле может тупо указывать на вхождения в одной и той же таблице где все хранится вперемешку. При этом Категория вообще никуда не указывает, а лишь открывает все что в нее входит. Суб может поступить точно так же. В общем пока до товара какого-нибудь не доберешься - ничего не увидишь. Вполне понятно что описать дерево менюшек nested set позволит очень легко и просто.

А чтобы оценить масштабы бедствия с хранением деревьев я бы посоветовал читателям эту статью http://en.wikipedia.org/wiki/Bill_of_materials

OFF Испытываю чувство вины за нацию - ссылки на русскую секцию википедии эта статья не имеет. А вроде бы индустриальная держава были.
24 июл 13, 22:52    [14613693]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
deblogger
Member

Откуда:
Сообщений: 825
То есть я конечно читал "For storage engines other than InnoDB, MySQL Server parses the FOREIGN KEY syntax in CREATE TABLE statements, but does not use or store it." но логики не могу просечь. На самом деле что ли не сохраняются FK если не выбран привод InnoDB?

А если я выберу этот привод, сделаю FK, а потом поменяю привод - FK сотруться что ли?
24 июл 13, 23:04    [14613748]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
deblogger
Member

Откуда:
Сообщений: 825
Проверил. Создал в иннодб, в соответствующей таблице в информационной схеме все красиво нарисовалось - какая таблица, какой реф, какие ключи - в общем все есть.

Однако при попытке поменять мотор появляется сообщение, которого и следовало ожидать:

#1217 - Cannot delete or update a parent row: a foreign key constraint fails

Это что, FK проприети Инны? В общем облом.
24 июл 13, 23:35    [14613873]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3282
deblogger, перечитал на три раза, но так и не понял, что Вы хотели спросить "на самом деле"... увы.

1. Приведённая Вами цитата имеет отношение к типовым решениям вопроса в данной архитектуре хранения. А именно, при выборке потомков всех уровней от заданного узла - возникает проблема, когда глубина уровней не известна заранее: невозможно построить запрос на "самоджойнах", только потому, что неизвестно сколько их надо джойнить. И только. Там (и тогда я не имел права писать по-другому) был только намек на то, что эта задача имеет решение, которое озвучил Бочков, и по факту его публичного первенства, далее его решение я везде называл его именем (несмотря на то, что у меня оно работало на полгода-год раньше, а у кого-нибудь может и того раньше)... тут оно опубликовано Бочковым - первым.

К вопросам далее - приведенная цитата или не имеет отношения совсем или я не очень понял ход вашего высказывания...

2. FK - это данные движка InnoDb, и правильно, никакого отношения к MyISAM (который и не движок вовсе!) - отношения не имеют. И мускуль совершенно корректно матерится на попытку с установленным FK сменить движок... что Вы нашли "удивительного", а самого интересное - зачем такое надо ... увы непонятно.

3. Параграф о долгом скрипении извилинами - тоже остался непонятным, могу только добавить, что данные в БД "пихаются" в основном чтобы их потом оттудова извлекать и что-то с ними делать... деревья "в целом" применяются не только к данным типа "категория"-"подкат-я"-"товар"... но и много где ещё.

Из всех представленных и обсужденных вариантов, у меня Nested Sets - оказался самым медленным (даже после разборок с ним)... он вообще, годится только для обработок небольших объемов данных, типа "меню"-"подменю" и сильным ограничением на глубину и вествистость структур. Его реальная полезность больше маркетинговая чем программистская. ИМХО конечно.
29 авг 13, 11:04    [14769713]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
tanglir
Member

Откуда:
Сообщений: 30154
Arhat109
И мускуль совершенно корректно матерится на попытку с установленным FK сменить движок... что Вы нашли "удивительного"
Хм, почему это корректно? Если объявление ФК (пусть и не работающих) допускается в других движках, то имхо логично было бы как раз НЕ материться на попытку сменить движок.
29 авг 13, 11:30    [14769949]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3282
tanglir,

?!? яж не смотрел конкретно этот случай и кто и куда там на самом деле "матерится"... но имхо, если в служебные таблички внесены данные по движке, изменение его далее - некорректно и должно автоматически отслеживаться как нарушение ссылочной целостности... нет? Какая нафиг разница, где нарушается "комплектация ключей" в рабочей базе или служебных табличках... :)
29 авг 13, 15:23    [14771483]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
tanglir
Member

Откуда:
Сообщений: 30154
Arhat109, глупость состоит в том, что это можно сделать, причём без ошибок... но в три этапа: убрать фк, сменить движок, добавить фк.
Впрочем, на эту тему надо общаться в другом топике, здесь это вроде как оффтоп :)
30 авг 13, 05:23    [14773805]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3282
tanglir,

нельзя. Можно сделать только первые 2 операции. Последняя операция движком MyIsam - не поддерживается. Нет у него FK, и сталобыть "внезапно" - ничего и никуда он добавлять не будет. Просто проигнорит или тоже выдаст обшибку... :)
30 авг 13, 08:47    [14774007]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
tanglir
Member

Откуда:
Сообщений: 30154
Arhat109
росто проигнорит или тоже выдаст обшибку... :)
так в том-то и дело, что просто проигнорит! почему тогда "объединённая" операция не игнорит, а ошибку выдаёт? именно этого , насколько я понимаю, и не мог понять deblogger(и я тоже)
30 авг 13, 10:30    [14774548]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3282
tanglir,

потому что это не "объединенная операция", а банальный update служебной таблицы, который выдает нарушение содержимого...
2 сен 13, 13:08    [14783777]     Ответить | Цитировать Сообщить модератору
 Re: MySQL тормозит на стадии "Copying to tmp table"  [new]
Гуляев Гоша
Member

Откуда:
Сообщений: 60
Извините все сообщения тут не прочитал и потому может чего-то не в тему скажу.
Я для себя проблему (или задачу) с поиском всех потомков и всех родителей данного узла в дереве делаю с помощью доп. таблицы:
Основная таблица с реализацией дерева
TABLE cat (
 id        INT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT,
 parentID  INT UNSIGNED NOT NULL,
 catName   CHAR(50) NOT NULL
)


И таблицы в которую вносятся автоматом изменения при изменении данных в таблице cat
TABLE cat_relations (
 id        INT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT,
 parentID  INT UNSIGNED NOT NULL,
 childID   INT UNSIGNED NOT NULL,
 UNIQUE KEY rel (parentID,childID)
)

В таблицу cat_relation изменения вносятся при каждом внесении изменений в таблицу cat:
Добавление узла node1ID в качестве дочернего узлу node2ID:
INSERT INTO cat_relations (parentID, childID) 
       SELECT aa.parID, node1ID
       FROM    (
           SELECT aa.childID AS parID 
           FROM   cat_relations   AS aa
           WHERE  aa.parentID=node2ID
       ) AS aa

Ну и аналогичным образом удаление ноды и перемещение в другую ноду.
18 янв 14, 21:51    [15434604]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
tanglir
Member

Откуда:
Сообщений: 30154
Гуляев Гоша, только вот размер доп. таблицы очень быстро растёт . Но для маленьких деревьев прокатит.

Кстати, ЯНП:
Гуляев Гоша
Добавление узла node1ID в качестве дочернего узлу node2ID:
INSERT INTO cat_relations (parentID, childID) 
       SELECT aa.parID, node1ID
       FROM    (
           SELECT aa.childID AS parID 
           FROM   cat_relations   AS aa
           WHERE  aa.parentID=node2ID
       ) AS aa
           SELECT aa.childID AS parID 
           FROM   cat_relations   AS aa
           WHERE  aa.parentID=node2ID
выбираем потомков ноды2 и...
INSERT INTO cat_relations (parentID, childID) 
       SELECT aa.parID, node1ID
       FROM (все потомки ноды2)  AS aa

и определяем ноду1 как потомка каждого из потомков ноды2? может, надо было наоборот, предков выбирать?
20 янв 14, 05:48    [15438569]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
tanglir
Member

Откуда:
Сообщений: 30154
Кстати, похоже, вы изобрели велосипед (или его часть) под названием Closure tables
См. по ссылке здесь 14526689
20 янв 14, 05:54    [15438571]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 12867
немного поделюсь опытом
есть таблица для дерева - по ней надо построить дерево для отобржения на странице HTML
в таблице 354 строки - много это или мало -хз...
таблица обрабатывается в хранимке с рекурсией. и данные заносятся во временную таблицу(в памяти)
отрабатывало ~1сек
для ускорения, в том месте где создаётся эта таблица, создал и ещё одну - копию таблицы из которой строится дерево,
время упало на порядок...только за счёт отказа от дисковых операций
7 фев 15, 22:26    [17233687]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
fans74
Member

Откуда:
Сообщений: 10
mahoune
Ссылки:
Моделирование иерархических объектов
//http://www.rsdn.ru/article/alg/dbtree.xml

Иерархические структуры данных в реляционных БД
//http://www.rsdn.ru/article/db/Hierarchy.xml

Древовидные (иерархические) структуры данных в реляционных базах данных
//http://ibase.ru/devinfo/treedb.htm

Древовидные (иерархические) структуры данных в реляционных базах данных,
часть 2
//http://ibase.ru/devinfo/treedb2.htm

Работа с MySQL. Деревья
//http://phpclub.ru/detail/article/2002-06-03

Хранение древовидных структур в Базах данных
//http://phpclub.ru/detail/article/db_tree

Деревья в SQL
//http://gsbelarus.com/gs/modules.php?name=News&file=article&sid=314

Дерево каталогов NESTED SETS (вложенные множества) и управление ими
//http://www.getinfo.ru/article610.html

Деревья в SQL
//http://www.codenet.ru/db/other/trees/

MySQL. Иерархические запросы
//http://club.shelek.ru/viewart.php?id=307


в статье
Моделирование иерархических объектов
http://www.rsdn.ru/article/alg/dbtree.xml

неверно индексы right и left расставлены
правильно тут http://www.ibase.ru/devinfo/DBMSTrees/sqltrees.html - структура идентичная
19 май 15, 19:29    [17663569]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
miksoft
Member

Откуда:
Сообщений: 36390
fans74
в статье
Моделирование иерархических объектов
http://www.rsdn.ru/article/alg/dbtree.xml

неверно индексы right и left расставлены
Что именно неверно? На глаз ошибок не вижу.
19 май 15, 19:39    [17663591]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
fans74
Member

Откуда:
Сообщений: 10
miksoft
fans74
в статье
Моделирование иерархических объектов
http://www.rsdn.ru/article/alg/dbtree.xml

неверно индексы right и left расставлены
Что именно неверно? На глаз ошибок не вижу.


в статье индексы расставлены так:

таб. 1
Id Parent Name Left Right
1 0 A1 1 11
2 1 B1 2 4
3 1 B2 6 10
4 2 C1 3 3
5 3 C2 7 7
6 3 C3 9 9



Разве не так должно быть?
таб. 2
Id Parent Name Left Right
1 0 A1 1 12
2 1 B1 2 5
3 1 B2 6 11
4 2 C1 3 4
5 3 C2 7 8
6 3 C3 9 10


в этой статье к примеру (http://www.woweb.ru/publ/41-1-0-464) обозначены ряд правил:

1. Левый ключ ВСЕГДА меньше правого;
2. Наименьший левый ключ ВСЕГДА равен 1;
3. Наибольший правый ключ ВСЕГДА равен двойному числу узлов;
4. Разница между правым и левым ключом ВСЕГДА нечетное число;
5. Если уровень узла нечетное число то тогда левый ключ ВСЕГДА нечетное число, то же самое и для четных чисел;
6. Ключи ВСЕГДА уникальны, вне зависимости от того правый он или левый;


индексы left и right в таб. 1 этим правилам не удовлетворяют.
20 май 15, 18:51    [17668318]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
miksoft
Member

Откуда:
Сообщений: 36390
fans74,

В статье на rsdn используется немного другой набор правил. Благодаря чему соблюдается закономерность "Количество потомков = (Right - Left) / 2".

Собственно, правил может быть много разных. Пожалуй, единственное непременное условие - чтобы числа возрасталали (или убывали) при обходе дерева.
20 май 15, 22:36    [17669014]     Ответить | Цитировать Сообщить модератору
 Re: FAQ: Древовидные структуры средствами MySQL или роман Стендаля "Красное и Черное"  [new]
fans74
Member

Откуда:
Сообщений: 10
miksoft
fans74,

В статье на rsdn используется немного другой набор правил. Благодаря чему соблюдается закономерность "Количество потомков = (Right - Left) / 2".

Собственно, правил может быть много разных. Пожалуй, единственное непременное условие - чтобы числа возрасталали (или убывали) при обходе дерева.


ммм.. ясно. Смутило то, что автор статьи ссылается на решения предложенное Joe Celko, а в итоге использует немного другой алгоритм.

Спасибо за разъяснение.
21 май 15, 04:32    [17669528]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
Все форумы / MySQL Ответить