Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Sergey B
Member

Откуда: Finland, Lappeenranta
Сообщений: 131
Занимаюсь Data Mining/Text Mining, но с использованием Oracle.
Использую пока Oracle Data Mining, Oracle Text (использую ODM в диссертации).

Собираюсь заняться этим более серьезно, интересно послушать профи, которые занимаются подобной темой.
Как с этим в IMB DB2?
25 окт 05, 23:51    [2005627]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Эстонский голем
Member [заблокирован]

Откуда: Умные мысли иногда преследуют меня, но я бегаю быстрее.
Сообщений: 13788
Sergey B
Занимаюсь Data Mining/Text Mining, но с использованием Oracle.
Использую пока Oracle Data Mining, Oracle Text (использую ODM в диссертации).

Собираюсь заняться этим более серьезно, интересно послушать профи, которые занимаются подобной темой.
Как с этим в IMB DB2?


проблемы при развертке как конечнго решения
как чати продуктов разных на ура теже свойсва и возможности что и у Oracle только API по удобней
26 окт 05, 00:34    [2005718]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
nkulikov
Guest
http://www-128.ibm.com/developerworks/apps/ViewServlet.wss?viewType=Library&devDomain=dmdd&sortBy=Posted&start=1&keyword=mining
Там же на developerWorks найдешь Intelligent Miner в downloads.
26 окт 05, 10:23    [2006439]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
ggv
Member

Откуда:
Сообщений: 1810
если после ковыряния будут "практические" вопросы, don't hesitate, типа, спросить.
26 окт 05, 10:36    [2006504]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Sergey B
Member

Откуда: Finland, Lappeenranta
Сообщений: 131
ggv
если после ковыряния будут "практические" вопросы, don't hesitate, типа, спросить.


Пока интересуют вопросы сравнения удобства работы и возможностей.
Практически я сделал почти все, что нужно на Oracle, переделывать на IBM DB2 не пытался - времени нет. Интересно поговорить (можно по аське) со спецом в данной области.

В диссертации занимаюсь именно Text Mining (это по разному называют, некоторые Data Mining for unstructured data, кто Unstructured Information Management), но смысл - анализ текста на английском.

Использую движок одной онлайн библиотеки (вообще-то платный, но я с работы имею доступ к www.sciencedirect.com), загружаю научные статьи в html или pdf в БД, дальше выдираю отдельные предложения с интересующими словами, предложения анализирую с помощью NLP (natural language processing), просто нахожу близкие семантические структуры и вытаскиваю только слова, которые могут иметь ко мне отношение.
Затем уже эти фразы сравниваю.

Все написано на PL/SQL и PL/SQL Server Pages.
Язык крайне удобный и мощный, даже Java пока не потребовался.
Долго разбирался, так как изучал с нуля, но вообще можно было сделать за пару недель, если специалист.

И очень большие возможности для улучшения...
Вообще, да простят меня посетители этой ветки, но я просто влюбился в Oracle. Очень мощная штука, можно изучать, изучать...

Интересует, кто-нибудь занимался Data Mining или Text Mining'ом на IBM DB2? Я бы мог изложить свою задачу поподробнее и объяснить (если надо) как я это решил.
Интересно, на IBM DB2 это будет проще?
26 окт 05, 22:21    [2010080]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Sergey B
Member

Откуда: Finland, Lappeenranta
Сообщений: 131
Да, я уже скачал триал версии DB2, Intelligent Data Miner и все, что с этим связано.
Более того, скачал некоторые статьи с ibm по данной теме.

Но заниматься серьезно пока времени нет.

Пока очень хотелось бы поговорить со спецом.
26 окт 05, 22:23    [2010083]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
nkulikov
Guest
Тогда ты взял не тот продукт.

DB2 Information Integrator OmniFind Edition. Это а-ля google только на стероидах.

Делает crawling после этого категоризацию кластеризацию поддерживает. И как ты уже упомянул поддерживает UIMA.

Если нужен то, придется заиметь машину с 4GB оперативки и подъехать в Московский офис IBM, там я тебе смогу его дать.
27 окт 05, 10:24    [2010873]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
ggv
Member

Откуда:
Сообщений: 1810
а интегратор то с какого боку? ну текст понятно (можно еще DataBlade Excalibrus, не знаю, как его позиционировать по отношению к omnifind, мне нравился).
а интеграторы они тоже разные. он то зачем?
27 окт 05, 10:28    [2010903]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
nkulikov
Guest
Ну человек же явно указал что ему UIMA нужна.... A OmniFind как раз этим занимается и не только на английском....
27 окт 05, 10:42    [2010981]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
ggv
Member

Откуда:
Сообщений: 1810
а Excalibrus что - токо на английском?
Да по поддержке языков ему просто нет равных - omnifind отдыхает.
а вот по поводу UIM - дык смотреть надо, я в 2000 году с ним работал
27 окт 05, 11:10    [2011167]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
nkulikov
Guest
Ты почитай сначала про omnifind или мне к тебе подойти ссылку показать :)
27 окт 05, 11:24    [2011262]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
ggv
Member

Откуда:
Сообщений: 1810
не надо - все равно omnifind отдыхает.
только на основании того факта, что Excalibrus не имеет поддержки НИ одной кодовой страницы.
Их надо создавать самому. Можно создать страницу любого, в том числе и НЕ существующего языка, а потом создать индекс с использованием созданной страницы.
Так чта...
27 окт 05, 11:27    [2011290]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
ggv
Member

Откуда:
Сообщений: 1810
дык UIMA это вообще открытый SDK
27 окт 05, 11:31    [2011314]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
nkulikov
Guest
Кому нужна поддержка несуществующих страниц...
А вот определить какая кодировка и какой основной язык документа это сильно....
27 окт 05, 14:03    [2012461]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
ggv
Member

Откуда:
Сообщений: 1810
наверное, народности, чей язык не имеет кодировки, или кодировка не поддерживается omnifind
27 окт 05, 14:37    [2012678]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Sergey B
Member

Откуда: Finland, Lappeenranta
Сообщений: 131
nkulikov
Тогда ты взял не тот продукт.

DB2 Information Integrator OmniFind Edition. Это а-ля google только на стероидах.

Делает crawling после этого категоризацию кластеризацию поддерживает. И как ты уже упомянул поддерживает UIMA.

Если нужен то, придется заиметь машину с 4GB оперативки и подъехать в Московский офис IBM, там я тебе смогу его дать.


Я читал статьи с IBM про DB2 Information Integrator OmniFind Edition, например сейчас читаю Programming Guide and API Reference for Enterprise Search.
Да, мощная штука, но мне сложно сравнивать с Oracle Text, Oracle Data Mining и возможностями PL/SQL... У тебя опыт в этой области? Может пообщаемся по аське или мэйлу? Моя 61006766.
По настоящему увлекся этой темой, действительно интересное направление.

P.S. Ну, поставить 4 Гб не проблема. Как я понимаю, нужна просто машина с 4 Гб, а не сервер IBM?
27 окт 05, 16:28    [2013334]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Sergey B
Member

Откуда: Finland, Lappeenranta
Сообщений: 131
ggv
а Excalibrus что - токо на английском?
Да по поддержке языков ему просто нет равных - omnifind отдыхает.
а вот по поводу UIM - дык смотреть надо, я в 2000 году с ним работал


А есть опыт создания Data Mining системы или подобного?
Можно пообщаться не на форуме...
27 окт 05, 16:36    [2013383]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
ggv
Member

Откуда:
Сообщений: 1810
я - пас.
Я транзакциями занимаюсь, а не научными изысканиями - за них не платят.
А Excalibrus - так там был коммерческий проект, заказанный цельным правительством банановой республики.
А просто теоретизировать - конешно, хорошо, но времени нету, море чего другого интересного.
Хотя, если увидеть перспективу, а так - кому это надо? Это вообще - востребовано рынком?
27 окт 05, 17:44    [2013860]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Lepsik
Member

Откуда: glubinka
Сообщений: 4237
nkulikov
А вот определить какая кодировка и какой основной язык документа это сильно....


на самом деле простая задача если база слов того языка.

вот русския язык это что-то. Приходится конвертировать по очереди в 6 кодировок и анализировать есть ли у него корень, потом прыгать в базу слов и если не помогло идти дальше.
31 окт 05, 18:34    [2024859]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
nkulikov
Guest
Кстати II поддерживает русский в том числе. Правда кодировок всего 5

866
iso
1251
koi-8r
1025 (mf)
31 окт 05, 18:51    [2024927]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Sergey B
Member

Откуда: Finland, Lappeenranta
Сообщений: 131
Я рад, что моя тема вызвала подобные дискуссии.
Но таки хотелось бы по делу!
31 окт 05, 21:13    [2025241]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
nkulikov
Guest
Задавай вопросы.
31 окт 05, 21:33    [2025274]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Sergey B
Member

Откуда: Finland, Lappeenranta
Сообщений: 131
nkulikov
Задавай вопросы.


Может лучше по аське?
Но если ее нет - задам тут :)
31 окт 05, 22:14    [2025344]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
nkulikov
Guest
Можно тут можно по почте Nikolay_Kulikov@ru.ibm.com
1 ноя 05, 09:52    [2025869]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2547
nkulikov
DB2 Information Integrator OmniFind Edition. Это а-ля google только на стероидах.

А я тоже хочу ;-) ;-(
1 ноя 05, 13:46    [2027070]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
nkulikov
Guest
Будет. Надо только до Utair доехать.
1 ноя 05, 14:02    [2027171]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2547
http://www.fcenter.ru/online.shtml?softnews/2005/11/04#material_id=15352
извините, лень идти на ibm-овский сайт.
5 ноя 05, 20:55    [2039977]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Sergey B
Member

Откуда: Finland, Lappeenranta
Сообщений: 131
Мда
Все таки google предпочел IBM, достаточно веско.
7 ноя 05, 04:48    [2040898]     Ответить | Цитировать Сообщить модератору
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
kmike
Member

Откуда:
Сообщений: 286
Печально. Intelligent Miner как отдельный продукт теперь, оказывается, discontinued.
Только в нагрузку к DB2 DWE...
26 окт 06, 11:30    [3313106]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: Есть ли профи в IBM Intelligent Miner for Data и WebSphere Information Integrator  [new]
Fargana
Guest
Sergey B,

как Вы смогли скачать Intelligent Miner for text. Если возможно прошу поставить ссылку для скачивания
24 окт 16, 13:46    [19815614]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2      [все]
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Ответить