Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Firebird, InterBase Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
 Проблемы с node-firebird-drivers  [new]
sysdba22
Member

Откуда:
Сообщений: 188
Спрошу на всякий случай, может кто использует драйвера для nodejs отсюда:

https://github.com/asfernandes/node-firebird-drivers

Постоянно сталкиваемся с проблемами. Node падает вместе с драйвером с кодами выхода 3221225477 и 3221226505. Это access violation и stack overflow. Разработчик пока не сильно помогает. Похоже, что никто интенсивно этот драйвер не использует.

PS: может кто сталкивался, насколько трудоемок будет процесс самому установить MS Visual Studio, перекомпилировать драйвер, подключить его в Node и проверить что к чему?
31 дек 18, 18:03    [21777183]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9468
sysdba22,

ну ты время нашёл к разработчику обращаться. Через 3-4 дня обратись
31 дек 18, 18:09    [21777188]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 47380

sysdba22
Похоже, что никто интенсивно этот драйвер не использует.

Никто интенсивно не использует nodejs. Назачем было выбирать такую экзотику? Решили
сэкономить на программистах, набрав школьников, поднаторевших в JavaScript? Так школьники
с PHP не дороже.

Posted via ActualForum NNTP Server 1.5

31 дек 18, 18:13    [21777194]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Коваленко Дмитрий
Member

Откуда: Липецк
Сообщений: 539
Симонов Денис
sysdba22,

ну ты время нашёл к разработчику обращаться. Через 3-4 дня обратись


Нормальное время.
31 дек 18, 18:44    [21777204]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6147
sysdba22
Спрошу на всякий случай, может кто использует драйвера для nodejs отсюда:

https://github.com/asfernandes/node-firebird-drivers

Постоянно сталкиваемся с проблемами. Node падает вместе с драйвером с кодами выхода 3221225477 и 3221226505. Это access violation и stack overflow. Разработчик пока не сильно помогает. Похоже, что никто интенсивно этот драйвер не использует.

PS: может кто сталкивался, насколько трудоемок будет процесс самому установить MS Visual Studio, перекомпилировать драйвер, подключить его в Node и проверить что к чему?
Зачем студия? Драйвер на TypeScript написан
31 дек 18, 21:02    [21777228]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6147
Там есть модульные тесты - надо их прогнать и посмотреть результат
31 дек 18, 21:05    [21777229]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
sysdba22
Member

Откуда:
Сообщений: 188
Пока вроде подправили у себя, ошибки пока нет. Дальше будем смотреть. На nodejs остановились по следующим причинам:

За спиной 25 лет опыта Pascal - Delphi - Firebird. Платформа на 1.6 млн строк исходного кода + сотни прикладных решений на её базе.

Но, естественно, сейчас всё это слегка устаревает. Люди хотят работать в браузерах с любого устройства, из любой точки мира и под любой операционной системой. Да и программиста на Делфи сейчас уже найти днём с огнём... Старые на пенсию уходят, а молодеж и слышать о таком не хочет. Особенно в Минске, где все избалованы работой на офшорных конторах.

Почему решили смотреть на nodejs:

1. Изоморфный код. Т.е. один и тот же код может крутиться как в браузере, так и на сервере. Это важно, так
как остается свобода выбора -- можно выполнять некоторую задачу на сервере, можно на клиенте. Код один,
компоненты одни и т.п.

2. Удобно для небольшого колектива разработчиков так как не надо делить на фронтов и бэков.

3. В нашей платформе пользователь имеет возможность настраивать алгоритмы/вычисления под себя. Мы стараемся максимально включить декларативное описание и блок схемы, но все равно придется и просто код писать. Возникает вопрос на чём?
В нашей существующей платформе мы используем VBScript, который удобен своим примитивизмом. Т.е. даже далёкий от
серьезного программирования человек способен быстро усвоить пару простых понятий и начать программировать
алгоритмы. Но VBScript встроен в Windows, а на остальных платформах его нет... Возникает вопрос, что использовать?
И тут Java Script всегда под рукой. Мы ведь работаем в браузере, где он есть всегда, а nodejs позволяет его использовать и на
сервере.

Но, я сейчас провожу обширные тесты и честно говоря не в восторге от nodejs.

Скорость! Эта штука крайне медленная. Я сравниваю доступ к БД Firebird с Делфи и позже выложу сюда результаты.
Они удручают, сразу скажу.

Длительные вычисления необходимо выносить в child_process со всеми вытекающими проблемами.


Может кто-то из присутствующих здесь имеет опыт решения подобных задач в современных реалиях? Я с большой признательностью выслушаю советы. Возможно, есть удобное и признанное решение, которое я просто не знаю.
13 янв 19, 17:22    [21784088]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9468
sysdba22
Удобно для небольшого колектива разработчиков так как не надо делить на фронтов и бэков.


преимущество сомнительное. Тем более что всё равно на клиентской стороне приходится знать дополнительно CSS и html.
Язык то вроде один, но вот уровни владения разные. В браузерах надо думать о том, а будет ли сия возможность поддерживаться, ибо уровни соответствия ECMA 6 везде разные, некоторые и дальше 5 не ушли. В ноде вы там можете очень широко развернуться.
13 янв 19, 17:35    [21784091]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
sysdba22
Member

Откуда:
Сообщений: 188
а вот и тесты. во сколько раз nodejs медленнее делфи при последовательном выполненнии задач, во столько же раз быстрее при параллельном...

https://docs.google.com/spreadsheets/d/1YEFv_O_-QiMHbHgBUNwe7yJuyFPui54OUXzXLyjQywQ/edit?usp=sharing
13 янв 19, 19:26    [21784152]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Vlad F
Member

Откуда:
Сообщений: 778
sysdba22,

Оно, конечно же, еще как именно там внутри у вас организовано. Но что то я, однако, сомневаюсь про отставание Delphi в параллельном. Ибо я его и на C++ с кодом, в принципе один-в-один никак не догоню.
13 янв 19, 19:40    [21784161]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9468
Vlad F,

он в дельфи без пулов делал. Поэтому не удивительно
13 янв 19, 19:43    [21784167]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
sysdba22
Member

Откуда:
Сообщений: 188
Нить на делфи выглядит так:

type
  TDBThread = class(TThread)
  public
    tr: TIBTransaction;
    SL: TStringList;

    constructor Create;
    destructor Destroy; override;

    procedure Execute; override;
  end;

constructor TDBThread.Create;
begin
  inherited Create(True);
  SL := TSTRingList.Create;
end;

destructor TDBThread.Destroy;
begin
  SL.Free;
  inherited;
end;

procedure TDBThread.Execute;
var
  q: TIBSQL;
  J: Integer;
begin
  q := TIBSQL.Create(nil);
  try
    q.Transaction := Tr;
    q.SQL.Text := 'SELECT FIRST 1 * FROM GD_CONTACT';
    q.ExecQuery;
    if not q.EOF then
    begin
      SL.Add(q.FieldByName('name').AsString);
    end;
    q.Close;
  finally
    q.Free;
  end;
end;


код теста так:

procedure TfrmGedeminMain.TBItem32Click(Sender: TObject);
var
  db: TIBDatabase;
  Tr: TIBTransaction;
  I, T, J: Integer;
  OL: TObjectList;
  Thread: TDBThread;
begin
  db := TIBDatabase.Create(nil);
  Tr := TIBTransaction.Create(nil);
  OL := TObjectList.Create(True);
  try
    db.LoginPrompt := False;
    db.SQLDialect := 3;
    db.Params.Clear;
    db.Params.Add('user_name=SYSDBA');
    db.Params.Add('password=***');
    db.DatabaseName := '*****';
    db.Connected := True;

    Tr.DefaultDatabase := db;
    Tr.StartTransaction;

    for I := 1 to cnt do
    begin
      Thread := TDBThread.Create;
      Thread.tr := tr;
      OL.Add(Thread);
    end;

    T := GetTickCount;

    for I := 0 to cnt - 1 do
    begin
      (OL.Items[I] as TDBThread).Resume;
    end;

    for I := 0 to cnt - 1 do
    begin
      (OL.Items[I] as TDBThread).WaitFor;
    end;

    MessageBox(0,
      PChar(IntToStr(Round(cnt / (GetTickCount - T) * 1000)) + ' req/sec'),
      'Внимание',
      MB_OK or MB_ICONINFORMATION or MB_TASKMODAL);

    Tr.Commit;
  finally
    OL.Free;
    Tr.Free;
    db.Free;
  end;
end;


код теста на nodejs:

const  { Factory } = require("gdmn-db");
const { performance } = require('perf_hooks');

async function test() {
  const connection = Factory.FBDriver.newConnection();
  await connection.connect({
    server: {
      host: "***",
      port: 3053
    },
    username: "SYSDBA",
    password: "***",
    path: "***"
  });

  const arr = [];
  const res = [];
  const cnt = 750;
  const transaction = await connection.startTransaction();
  const startTime = performance.now();

  for (let i = 0; i < cnt; i++) {
    arr.push(
      async () => {
        const q = await connection.executeQuery(transaction, `SELECT FIRST 1 * FROM GD_CONTACT`);
        if (await q.next()) {
          res.push(q.getString("NAME"));
        }
        return q.close();
      }
    )
  }

  await Promise.all(arr.map( f => f() ));

  const endTime = performance.now();
  await transaction.commit();
  console.log(res);
  console.log(`${Math.round(cnt / (endTime - startTime) * 1000)} req/sec`);
  console.log(process.memoryUsage());

  await connection.disconnect();
}

test();
13 янв 19, 19:47    [21784176]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
sysdba22
Member

Откуда:
Сообщений: 188
честно говоря, в драйвере для нода настоящий ад с преобразованием типов из буфера фб. и оно очень затратное. это хорошо видно на тесте. там где много (записей * полей) сразу огромное отставание в последовательном тесте или умеренное преимущество в параллельном. но, как только уменьшается количество и мы работаем с конкретной записью/полем так сразу разрыв начинает увеличиваться.

и для справедливости, надо сказать что класс в nodejs для работы с набором данных скорее похож на TDataSet в делфи. а я для теста использую в делфи TIBSQL, который ЗНАЧИТЕЛЬНО быстрее чем TDataSet так как держит внутри себя просто буфер, переданный из Firebird и преобразовывает данные только в момент обращения.

Т.е. в тесте, где мы открываем запрос, затем бежим 1000 записей, затем считываем поле NAME. Код nodejs выполнит где-то 95 000 преобразований из буфера Firebird в родные типы Java Script, а код на Delphi только одно -- кода будет считываться поле name.

Посмотрю, может заменю TIBSQL на TIBDATASET чтобы сравнимые вещи сравнивать.
13 янв 19, 19:56    [21784191]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Vlad F
Member

Откуда:
Сообщений: 778
sysdba22,

Ваш тест в части Delphi полная туфта. Ожидал большего профессионализма от специалистов Гедымина,
но теперь начинаю догадываться о причинах поиска других платформ. На Delphi же в настоящее время в
многопоточном режиме одним из самых узких мест являются обращения к менеджеру памяти, коих я в вашем
.Execute(), не считая .ExecQuery, насчитал целых пять штук. В то время как в альтернативном варианте все
аналоги вынесены за пределы цикла. Вы не находите, что по меньшей мере не солидно транслировать
сделанные на основани всех этих "недочетов"выводы на все союзное государство?))
13 янв 19, 20:24    [21784219]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
sysdba22
Member

Откуда:
Сообщений: 188
ох, чем мне нравятся русскоязычные форумы это их доброжелательностью ))

приведен простой код на делфи без мега оптимизаций и ухищрений и такой же простой код на node.

оба кода выполняют одну и ту же задачу, на одной и той же машине, с одной и той же базой данных.

в чем проблема? у делфи менеджер памяти не такой как надо? зато у node 888 слоев преобразования
данных между c++ и javascript. да еще и параллельно работающий gc.
13 янв 19, 20:33    [21784228]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 47380

Vlad F
На Delphi же в настоящее время в
многопоточном режиме одним из самых узких мест являются обращения к менеджеру памяти

Брось, не такое уж он и узкое место. И прокололись они в этом тесте совсем не на нём. 750
настоящих потоков против 750 запросов к пулу из четырёх потоков - вот где собака порылась.

Posted via ActualForum NNTP Server 1.5

13 янв 19, 21:07    [21784245]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Vlad F
Member

Откуда:
Сообщений: 778
sysdba22,

Возможно, мы здесь и не ласковы, но, видимо, в иноязычных тоже ничему путному не научили.
И я не про мегаоптимизации, а всего лишь, про грамотное построение многопоточного конвеера.
Проблемы в менеджере памяти Delphi в том, что он блокировочный. Помести в паскалевский .Execute
цикл на десяток миллионов ExecQuery, а результат в том же цикле цикле забирай через .Fields[nn].
Аналогичный цикл, не сочти за труд, соорудить внутри, а не снаружи потоковой функции
альтернативного языка и только тогда можно будет о чем то аргументированно говорить.
Иначе к озвученным результатам нет и не может быть никакого доверия, ибо они получены
в совершенно неравных условиях.
13 янв 19, 21:17    [21784248]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Vlad F
Member

Откуда:
Сообщений: 778
Dimitry Sibiryakov,

А вот посмотрим, если смелый экспериментатор внемлется к советам.))
13 янв 19, 21:20    [21784250]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
sysdba22
Member

Откуда:
Сообщений: 188
Задача стояла проверить на коротком примере ШТАТНЫЕ средства организации параллельных вычислений ноды и дельфи. Она выполнена.

То что предлагаете Вы звучит так: взять на ноде простенький пример на 20 строчек и сравнивать его со специально написанной оптимизированной программой, по сути эмулирующей основную идею нода. у меня не было задачи сравнивать производительность нода с производительностью нода, написанного на делфи.

и вот почему: повторение архитектуры ноды повторит не только ее плюсы, но и ее минусы. Чего мне как раз таки и не надо.

Потоки в Гедымине конечно же не выглядят так просто. Вот базовый класс потока, управляемого сообщениями:

https://github.com/GoldenSoftwareLtd/gedemin/blob/b78c077d4d6018d6cded76894d8e6365b82deddf/Gedemin/Component/gdMessagedThread.pas

а вот один из классов нити, на базе TgdMessagedThread:

https://github.com/GoldenSoftwareLtd/gedemin/blob/b78c077d4d6018d6cded76894d8e6365b82deddf/Gedemin/Component/gd_WebClientControl_unit.pas#L59
13 янв 19, 22:10    [21784275]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Фэйтл Эра
Member

Откуда:
Сообщений: 627
sysdba22
Задача стояла проверить на коротком примере ШТАТНЫЕ средства...

А смысл?
13 янв 19, 22:13    [21784279]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9468
sysdba22,

действительно какой смысл? так можно и на C++ без оптимизаций написать, а потом сделать вывод что потоки С++ не оптимальны
13 янв 19, 22:28    [21784288]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Сергей Фролов
Member

Откуда:
Сообщений: 1328
Предлагаю забить на веб, который модно-молодежный.
И сделать так, чтобы Гедымин просто работал через Интернет. 99.9% хотелок пользователей это решение закроет. Те, инвалиды, которые хотят браузер, пусть в ВК и ОК работают.
13 янв 19, 22:35    [21784301]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
sysdba22
Member

Откуда:
Сообщений: 188
Сергей Фролов,

это именно то, что я думаю о текущей ситуации... но есть такая неприятная вещь, как тендеры. где в последнее время поголовно начали включать требования в виде "веб интерфейса", "работы под операционной системой с открытым исходным кодом" и т.п.
13 янв 19, 22:50    [21784313]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 47380

sysdba22
Задача стояла проверить на коротком примере ШТАТНЫЕ средства организации параллельных
вычислений ноды и дельфи. Она выполнена.

Прэлестно, но у меня для тебя есть плохая новость: в пределах одного коннекта Firebird
параллельной работы быть не может, вызовы API жёстко сериализуются.

Posted via ActualForum NNTP Server 1.5

13 янв 19, 23:03    [21784321]     Ответить | Цитировать Сообщить модератору
 Re: Проблемы с node-firebird-drivers  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6147
sysdba22
Пока вроде подправили у себя, ошибки пока нет.....

В чем проблема то была ?
14 янв 19, 00:56    [21784395]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
Все форумы / Firebird, InterBase Ответить