Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / C++ Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 [7] 8   вперед  Ctrl      все
 Re: Тяпничная география  [new]
Dima T
Member

Откуда:
Сообщений: 15689
mayton
Далее вследствие самопального софта и спешки если снять ограничение в 3_500_000
у меня проблемы с java.lang.OutOfMemoryError: GC overhead limit exceeded.

ЕМНИП у тебя GeoIpCity в оракле живет. Тут 18175138 про Spatial индексы было, в MySQL и MSSQL есть. Наверно и в оракле есть, поизучай да заливай лог туда, а дальше select`ом.
25 сен 15, 08:22    [18193021]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
Увы Оракл в дауне. К вечеру подниму. А пока - скриптики и memory.

Кстати есть мысль - создать форк - Тяпничный анализ ботнета и перенести
весь анализ туда чтоб не оффтопить.
25 сен 15, 08:27    [18193043]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
Dima T
Member

Откуда:
Сообщений: 15689
mayton
И кстати - приятная новость. Интервалы изначально были отсортированны и не перекрываются.

Если так, то на Spartial можно не заморачиваться. Ищем первый интервал начало которого >= проверяемому IP.
mayton
если снять ограничение в 3_500_000

Сделай массив структур
int start_ip;
int end_ip;
char[4] country;

12 байт на запись, 42 Мб на 3,5 млн.
mayton
Кстати есть мысль - создать форк - Тяпничный анализ ботнета и перенести
весь анализ туда чтоб не оффтопить.

Правильная мысль
25 сен 15, 08:41    [18193077]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
В настоящий момент адресная сущность выглядит так

public final class IpInterval implements Comparable<IpInterval> {

    public final long startIpNum;
    public final long endIpNum;
    public final String country;
    public final String region;
    public final String city;
.....


2) Сегодня подумаю над новым топиком.
25 сен 15, 08:48    [18193090]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
Dima T
Member

Откуда:
Сообщений: 15689
ИМХУ ораклов не надо. Массивов хватит. Думаю надо сначала с твоей GeoIpCity разобраться: сохранить в максимально компактном виде (можно ужать до 8 байт на запись), API сделать (загрузка из файла, поиск и т.д. и т.п.). В принципе это тема данного топика.
25 сен 15, 08:51    [18193098]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
Вроде обсуждали. Производитель (MaxMind) раньше предоставлял сжатые бинарники в своём
формате где диапазоны хранились в Radix-Tree в сериализованном виде. Это ИМХО не для экономии
места а для префисного поиска. Предоставлял также csv для загрузок в БД.

Сейчас - услуга платная и реально можно достать бинари где-то до 2013 года. Кроме
того они поменяли формат с GeoLite на GeoLite2 вобщем подкинули головняк. Надо
еще разбираться где есть что.

По поводу массивов. Я не против. Где-то мы запускали бенчмарки и решили
что дихотом-поиск по 1-му адресу рулит.
25 сен 15, 08:59    [18193113]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
Dima T
Member

Откуда:
Сообщений: 15689
csv достаточно. Дальше делаем свою структуру хранения, парсим, сортируем как надо, добавляем индексы, сохраняем в бинарник. В итоге получится микро движок СУБД для конкретной задачи. Т.к. данные не меняются, то задача сильно упрощается. Деревья тоже не нужны.
25 сен 15, 09:05    [18193125]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
IntervalTree жрёт память как обжора. Повысил Xmx до 4Г и закончил отчотик.
Кому интересно - тут 18193163
25 сен 15, 09:24    [18193169]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
Создал 18194303
25 сен 15, 13:30    [18194693]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
miksoft
Dima T
пропущено...

Они куплены/заняты. Другой вопрос как их использует владалец. Например некоторые провайдеры раздают постоянные IP людям которые комп включают раз в месяц, но за интернет платят регулярно.
Блоки с 0 по 32 что-то не похожи на выключенные компы дома.

Кстати, а что за серые блоки в углах нулевого блока?


Трудно сказать. Дополню своей старой цитатой.
SQL> select sum(n_endip-n_startip) from geoipcity;

SUM(N_ENDIP-N_STARTIP)
----------------------
            3155268734

Всего аллоцировано адресов 3 155 268 734.

Квадрат (предположительно) брался из расчёта 64К на 64К пикселов или 2^32 = 4 294 967 296

В процентном соотношении аллоцировано 3 155 268 734 / 4 294 967 296 = 0.7346

Тоесть примерно четверть целых чисел формата uint32 в IP адресах не используется.
25 сен 15, 23:31    [18197812]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
UP. Еще один источник IP-географической инфы.

http://www.nirsoft.net/countryip/
27 мар 16, 17:02    [18983843]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
Еще один кабанчик заинтересован https://habrahabr.ru/post/353986/
22 апр 18, 11:03    [21357868]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
полудух
Member

Откуда: планета орков, г.Зверополис
Сообщений: 1350
mayton
miksoft
Если это абсолютное требование - то вариант только один - линейное расположение пикселей, т.е. цепочка. А вот укладывать эту цепочку на плоскости можно разными способами - меандром, по спирали и т.п.

Да я щас думаю над этим. Самое сложное - обеспечить кластеризацию или скопление точек в одном месте.
Не хочется диаграмму превращять в полосатый шум. Всё таки визуализация должна быть наглядной.

вообще странам/городам раздаются IP-диапазоны
а IP-адреса в диапазоны легко складываются через CIDR
а просто покрасить 3.5 ярда точек это о чём вообще?

зы: пофиг что старая тема
6 авг 18, 21:54    [21632211]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
Ну вот. Вбросил и зобанился.

Что за народ!
7 авг 18, 21:43    [21633508]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 3634
mayton
Еще один кабанчик заинтересован https://habrahabr.ru/post/353986/
Мне лишь одно непонятно - занафига нужна эта бесполезная визуализация? Что она нам дает?
8 авг 18, 09:33    [21633812]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
Зачем нужны графики? Диаграммы? Чертежи?

Не знаю. Я предложил тему. Народ откликнулся.

Вам эта тема скорее всего не нужна.
8 авг 18, 11:29    [21634050]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
полудух
Member

Откуда: планета орков, г.Зверополис
Сообщений: 1350
mayton
Ну вот. Вбросил и зобанился.

Что за народ!

тут я
11 авг 18, 10:57    [21638580]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
полудух
mayton
Ну вот. Вбросил и зобанился.

Что за народ!

тут я

Красавца! :)

Я планировал разработать такой себе ui-чик. Чтоб мышкой диапазоны сеток выбирать. И правила файрвола.
11 авг 18, 17:53    [21638813]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
полудух
Member

Откуда: планета орков, г.Зверополис
Сообщений: 1350
mayton
Чтоб мышкой диапазоны сеток выбирать. И правила файрвола.

диапазоны это CIDR
в правилах он тоже прекрасно живёт
как узнать, принадлежит ли IP к сетке?
net & mask == ip & mask
// ИЛИ посложнее:
(net ^ ip) & mask == 0


mayton
2.92.0.0,2.95.255.255,"RU","48","Moscow","",55.7522,37.6156,,

это: 2.92/14
кальк

с первоначальной задачей (я поизучал 1, 6 и 7 страницы) не согласен
3.5 ярда разноцветных точек на экране никакой практической пользы не имеют и в обнаружении хоть чего-нибудь никак не помогут
сама покраска - тривиальная задача даже для развития
сервис, которому можно скормить пул адресов и получить страны - тоже
CIDR-конвертеров полно в гугле
11 авг 18, 22:27    [21638902]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
полудух,

Я ещё окончательно не решил нужна мне эта география или нет. Скорее нет чем да. Топик сдох. Поэтому можешь расслабится.

Грубо говоря судьба этой задачи меня не парит. Да и пятница...
11 авг 18, 22:37    [21638910]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
полудух
Member

Откуда: планета орков, г.Зверополис
Сообщений: 1350
а чего ещё ждать от такой задачи

зы: вообще суббота
11 авг 18, 23:43    [21638977]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
полудух, это пятничная тема. По стартовому сообщению.
12 авг 18, 00:33    [21638991]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 3634
полудух
net & mask == ip & mask
// ИЛИ посложнее:
(net ^ ip) & mask == 0
Всё равно как-то сложно...
subnet_ip == host_ip & subnet_mask
13 авг 18, 10:31    [21639997]     Ответить | Цитировать Сообщить модератору
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
Прошу прощения за внезапный UP.

Полезная ссылка до кучи http://www.ipdeny.com/ipblocks/
16 дек 18, 00:33    [21765085]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: Тяпничная география  [new]
mayton
Member

Откуда: loopback
Сообщений: 51016
UP. А разве такие маски бывают?

[ 78.33.196.42 - 78.33.196.63 ] / 27 : GB/Chesterford 

START: 01001110001000011100010000101010
END  : 01001110001000011100010000111111
MASK : 11111111111111111111111111101010
IPv4 mask : 0.0.0.27


С разрывом монотонности внутри? Вроде нет. Тогда как рассматривать диапазон адресов для Честерфорда?
9 янв 21, 23:52    [22260858]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 [7] 8   вперед  Ctrl      все
Все форумы / C++ Ответить