Ядро SMLogix аварийно остановлено (решено)

[megazaic]

Здравствуйте!

присказка:
после очередной "проблемы с фирменным оборудованием на производстве" мне была поставлена задача найти и предложить "что нибудь" что сможем контролировать мы сами, а не специалист фирмы-установщика этого оборудования (и за немалые доп.деньги, разумеется).
лично я, достаточно в своё время поработавший с омронами/сименсами/митсубиси, в настоящем любитель конструировать "дёшево и сердито" из ардуинок и разных малинок. именно малинки запустили у меня углубленный процесс изучения линуксов и Дебиана в частности.
поиск дешёвого-сердитого-профессионального привёл к оборудованию Segnetics.
*** здесь благодарность разработчикам данных конструкторов ***
выбор пал на SMH4, т.к. в оборудовании требуется и HMI.
+ расширение в виде некоторого количества FMR3022 и MRL1000.

сказка:
ожидая ТЗ по модернизации, тестовый комплект собран, исследовательский проект записан, экран показывает, релюшки щёлкают.
базовая задача: считать время, переключать разные реле по таймеру, измерять температуру (пока 2х pt100), раз в 30сек записывать её в архив (установлена SD на 16G).

на четвёртый день обнаружил, что реле не щёлкают, а экран завис и не реагирует на нажатия. быстрое зондирование через SSH ничего особенного не показало. и после нескольких попыток подключиться по VNC, появилось окно с информацией об "...аварийной остановке...".
"ну, может быть, флешка"
переписал проект на запись архива во внутреннюю память, те же 2х pt100, интервал 1мин.
через неделю утром наблюдаю такую же картину, экран с аварией.
ещё косметически подредактировал проект и перезапустил, сегодня с утра (прошла ещё неделя) то же окно...

прошу подсказки, что же я сделал не так. логи и работающий сейчас проект прилагаются.

[Arsie]

Цитата:

Сообщение от megazaic

сообщу по факту сбоя, если произойдёт.
* если так не произойдёт, буду продолжать по начальной программе (с SD картой)

вам что наиболее информативно, лог системы или лог в каталоге проекта или и то и другое?

/var/log целиком, и лог в /projects, если есть. Обязательно с указанием времени происшествия.

[megazaic]

Цитата:

Сообщение от Arsie

/var/log целиком, и лог в /projects, если есть. Обязательно с указанием времени происшествия.

итак, аптайма на момент сбоя 17 дней и 3 часа. на "долгих выходных" по удалёнке изредка проверял состояние, последний раз вчера (Nov 7 02:19:12), а с вечера (Nov 7 18:17 по логам), висит "SMLogix core abnormal stopped".
*проект тот же, в системе ничего левого, кроме "рекомендованного" vncsrv_201105_armhf.deb

[ujin]

Цитата:

Сообщение от megazaic

итак, аптайма на момент сбоя 17 дней и 3 часа. на "долгих выходных" по удалёнке изредка проверял состояние, последний раз вчера (Nov 7 02:19:12), а с вечера (Nov 7 18:17 по логам), висит "SMLogix core abnormal stopped".
*проект тот же, в системе ничего левого, кроме "рекомендованного" vncsrv_201105_armhf.deb

Последние сообщения в kern.log
Nov 7 18:24:08 localhost kernel: [1484606.922309] Out of memory: Kill process 1435 (almon) score 5 or sacrifice child
Nov 7 18:24:08 localhost kernel: [1484606.922325] Killed process 1435 (almon) total-vm:95800kB, anon-rss:1108kB, file-rss:112kB

В log_killed_dmesg
[1485989.460344] Out of memory: Kill process 1900 (logix) score 5 or sacrifice child
[1485989.460363] Killed process 1900 (logix) total-vm:469684kB, anon-rss:212120kB, file-rss:14112kB

Можно поискать кто дает утечку памяти. Думаю никто не поможет, кроме производителя.

[Ruslangsm]

на com портах физически ничего не подключено кроме fmr?


возможно поможет в анализе, один раз на smh2gi мониторили так, вы можете под свою ситуацию откорректировать:

1. переименуйте demon.sh.txt в demon.sh
2. скопируйте в папку projects demon.sh он во вложении
3. в start.after пропишите вызов этого скрипта
#!/bin/bash
sh demon.sh&

коротко будет так
при проблеме с памятью скрипт сформирует по TOP лог demon.log и сохранит в папку проджект
при повторной проблеме допишет в лог инфу по Top


при проблеме или при проверке вы же заходите по ssh увидите лог скопируйте и покажите Илье

[megazaic]

прихожу сегодня с утра, на экране No proect files.
шпионы молчат, проект просто закрылся вчера вечером

Старт almon - [10.11.2021 12:25:51:080396] -
id=613 [0] - [10.11.2021 12:25:57:542501] - ERROR - Modem not supported
id=561 [0] - [10.11.2021 12:25:58:811549] - ERROR - History data writing error
id=560 [0] - [10.11.2021 12:25:58:846949] - ERROR - External storage missing
id=505 [0] - [10.11.2021 12:25:59:661344] - ALARM - Project cycle time exceeded
id=505 [0] - [10.11.2021 12:26:01:695458] - ALARM - Project cycle time exceeded
id=503 [1] - [10.11.2021 20:04:58:624279] - ALARM - Segmetrarion fault in project
id=503 [1] - [10.11.2021 20:04:58:656504] - ALARM - Segmetrarion fault in project

[megazaic]

Цитата:

Сообщение от Ilya J.

Ваш текущий проект, версия SMlogix и версия ПО контроллера? Сколько времени прошло до этого падения? Соберу стенд...

часов 11 прошло.
Модификация SMH4 1011-00-0
Встроенное ПО 211014-151755
Версия проекта 3.34.0057

[Ilya J.]

#46509 повторил, по исследованию сообщу.

[Ilya J.]

Проблему локализовали, будет учтено в будущем релизе.

[megazaic]

Цитата:

Сообщение от Ilya J.

Проблему локализовали, будет учтено в будущем релизе.

чего нашли-то, с чем связано?

сегодня (2021-12-15-06-16-59) demon.sh "прибил" logix, который после этого всё равно в top-е висел до моего прихода и проект на экране, но уже ничего не работало.
* трисполовиной дня прошло
** получается, лог demon-а, да и сам demon, не очень...

[Ilya J.]

У вас в проекте неправильно реализована работа с блоком истории, возможно ядро падает из-за этого. Вы каждую секунду подаете сигнал в select, при этом период записи данных у вас 15 сек. Ладно, вы нагружаете контроллер, но 14 выборок из 15 бессмысленны, ибо данные в базе не поменялись.

Зачем так реализовано - мне непонятно. Как минимум нужно уменьшить частоту выборки до раз в 15 сек и уже станет легче без изменения алгоритма работы программы.


Со своей стороны мы предусмотрим защиту от такого использования исторической системы.

[megazaic]

Цитата:

Сообщение от Ilya J.

У вас в проекте неправильно реализована работа с блоком истории, возможно ядро падает из-за этого. Вы каждую секунду подаете сигнал в select, при этом период записи данных у вас 15 сек. Ладно, вы нагружаете контроллер, но 14 выборок из 15 бессмысленны, ибо данные в базе не поменялись.
Зачем так реализовано - мне непонятно.

период опроса базы и период записи данных в базу как-бы не должны завязываться друг на друга.
предположим, select я подаю раз в 10 секунд, а период записи может меняться от 1 до 30 секунд.
на индикации я должен видеть самые свежие данные. появились они 1 секунду назад или 10, меня не особо волнует.

* опять же, если из-за этого ядро падает, то падать оно должно стабильно, не так ли? сейчас аптайма 14 дней, 3.34.0083

[Ilya J.]

Цитата

опять же, если из-за этого ядро падает, то падать оно должно стабильно, не так ли? сейчас аптайма 14 дней, 3.34.0083

Не сказал бы. По мере того, как падают ресурсы контроллера.

Честно, вижу эту реализацию не только вредной, но и бесполезной. Какой функционал она несет, так и не понимаю до конца. Уберите историю и протестируйте падение ядра без нее.


Добавлено через 3 минуты

Цитата:

Сообщение от megazaic

на индикации я должен видеть самые свежие данные. появились они 1 секунду назад или 10, меня не особо волнует.

Если вам нужны саме свежие данные, зачем использовать историческую систему?

[megazaic]

Цитата:

Сообщение от Ilya J.

Ну там по мере зажирания ресурсов начинают сервисы отпадать. Дайте обратную связь, как историю уберете или переорганизуете. Лучше убрать сначала.

вот чего я по логам не вижу, так это зажирания ресурсов ДО "падения сервисов". зато после 2-х дней и
Dec 30 04:03:54 localhost mbsd: Modbusd has internet on eth0
Dec 30 04:07:57 localhost mbsd: Modbusd lost internet on eth0
в прошлый раз, 17-и дней и
Jan 17 03:51:43 localhost mbsd: Modbusd lost internet on eth0
Jan 17 03:52:13 localhost mbsd: Modbusd has internet on eth0
сегодня, начинаются чудеса. sysbus исчезает из списка процессов, а logix начинает есть память вплоть до своего падения.

"конфигуратор архива" тоже чутка мозг взрывает. как его показания интерпретировать?

* эти логи от версии 3.34.0083, сейчас обновил до 3.34.0086 и добавил ещё делитель 1:60 (1 минута) для этого select. кстати, этот сигнал сейчас вообще смысла не имеет, выборка для индикации происходит из самого начала архива (от октября 2021).
** удалять историю вообще не планируется. а иначе смысл в этой железяке и в этом проекте в целом?
а для чего вся эта заморочка? я считаю, что если проект нарисовался, скомпилировался, загрузился и работает, то виснуть он не должен, как бы коряво это ни было сделано.
и тут есть два варианта: или мы вместе находим причину глюка, или вы мне объясните, что с вашей точки зрения (как разработчика) я сделал неверно. вариант "вредно и бесполезно" не рассматривается, т.к. оно работает, идёт отладка, исследование возможностей. я не поставлю в устройство контроллер, в стабильности которого не уверен.

[ATS]

Цитата:

Сообщение от megazaic

вот чего я по логам не вижу, так это зажирания ресурсов ДО "падения сервисов".

Из Ваших логов.

[1557047.291398] Out of memory: Kill process 3694 (almon) score 5 or sacrifice child
[1557047.291415] Killed process 3694 (almon) total-vm:97228kB, anon-rss:1080kB, file-rss:172kB
...
[1557047.294665] Out of memory: Kill process 3710 (almon) score 5 or sacrifice child
[1557047.294677] Killed process 3710 (almon) total-vm:97228kB, anon-rss:1080kB, file-rss:172kB
...
[1557178.273104] Out of memory: Kill process 1044 (rsyslogd) score 4 or sacrifice child
[1557178.273689] Killed process 1044 (rsyslogd) total-vm:30500kB, anon-rss:1004kB, file-rss:192kB
...
[1557301.787557] Out of memory: Kill process 23878 (bash) score 4 or sacrifice child
[1557301.787575] Killed process 24241 (top) total-vm:4644kB, anon-rss:436kB, file-rss:24kB
...
[1557561.026661] Out of memory: Kill process 3973 (dis) score 5 or sacrifice child
[1557561.026675] Killed process 3973 (dis) total-vm:64476kB, anon-rss:920kB, file-rss:504kB

[Ilya J.]

Цитата

или мы вместе находим причину глюка, или вы мне объясните, что с вашей точки зрения (как разработчика) я сделал неверно. вариант "вредно и бесполезно" не рассматривается, т.к. оно работает, идёт отладка, исследование возможностей. я не поставлю в устройство контроллер, в стабильности которого не уверен.

Я не предлагаю вам отказаться от истории, лишь на время её убрать. Чтобы точно убедиться, что причина в ней. А уже после будем разбираться с тем, как она у вас организована и почему именно так. И ниже уже писали:

Цитата

Со своей стороны мы предусмотрим защиту от такого использования исторической системы.

[megazaic]

Цитата:

Сообщение от Ilya J.

Я не предлагаю вам отказаться от истории, лишь на время её убрать. Чтобы точно убедиться, что причина в ней. А уже после будем разбираться с тем, как она у вас организована и почему именно так.

хорошо, пусть будет так. возражений нет? всё корректно?

[Ilya J.]

Вроде возражений нет) Жду обратную связь.

[megazaic]

32 дня, пока всё стабильно

top - 08:00:01 up 32 days, 21:16,  0 users,  load average: 1.36, 1.31, 1.32
Tasks: 135 total,   1 running, 134 sleeping,   0 stopped,   0 zombie
%Cpu(s):  6.1 us,  7.9 sy,  0.0 ni, 85.6 id,  0.0 wa,  0.0 hi,  0.4 si,  0.0 st
KiB Mem:    250936 total,   245200 used,     5736 free,    60076 buffers
KiB Swap:        0 total,        0 used,        0 free.    37612 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
31228 root     -13  -2   72580  69616  11160 S  0.0 27.7   1074:48 sysbus
31261 root      18  -2  291928  34196  23132 S 10.6 13.6   7490:34 logix
31672 root      20   0   95728  17284  12788 S  0.0  6.9  49:05.93 sysmenu
 1213 www-data  20   0   87332  12132   9852 S  0.0  4.8   0:00.15 php-cgi
30980 root      20   0   97228   7804   6732 S  0.0  3.1  23:12.65 almon
 1646 root      20   0   44816   7268   6456 S  0.0  2.9  82:44.27 smserv
31235 root     -13  -1   56284   6652   5928 S  0.0  2.7  98:44.80 smse
31251 root     -13   0   56232   6556   5836 S  0.0  2.6  86:16.17 smsc
31216 root      18  -2  113680   6544   5796 S  0.0  2.6 312:04.49 mbs
 1681 root      20   0   62560   6188   5648 S  0.0  2.5   0:02.33 timekeepd
 1522 root      20   0    7768   5736   1048 S  0.0  2.3   0:01.82 dhclient
 2172 root      20   0    7764   5644    960 S  0.0  2.2   6:09.63 dhclient
31258 root     -13   0   64476   5216   4312 S  0.0  2.1 113:25.65 dis
30825 root      20   0   65984   5100   4356 S  0.0  2.0  35:29.32 smwatch
31157 root      39  19   38500   4908   3868 S  0.0  2.0   0:00.15 sqld
31278 root      21   1   62776   4900   4020 S  0.0  2.0  11:44.10 initer
31290 root      21   1   47884   4900   4272 S  0.0  2.0   2:35.82 st
31185 root      20   0   30196   4884   4396 S  0.0  1.9   0:50.61 cfg_srv
 1368 root      20   0   32012   4780   4256 S  0.0  1.9   8:25.28 factory_res+
31220 root     -13   0   62628   4744   4008 S  0.0  1.9 217:36.05 mbsd
 1074 root      20   0   70836   4668   3932 S  0.0  1.9  28:38.75 backlight
30960 root      -2   0   54288   4660   4060 S  0.0  1.9  93:47.75 ledd
31267 root      21   1   46200   4636   3988 S  0.0  1.8   0:17.30 sw
 2095 root      21   1   46340   4576   3980 S  0.0  1.8   0:00.11 conn
 1337 root      -9   0   46320   4444   3852 S  0.0  1.8 101:41.25 beeperd
 1252 www-data  20   0   87332   3752   1472 S  0.0  1.5   0:00.00 php-cgi
 1253 www-data  20   0   87332   3752   1472 S  0.0  1.5   0:00.00 php-cgi
 1254 www-data  20   0   87332   3752   1472 S  0.0  1.5   0:00.00 php-cgi
 1255 www-data  20   0   87332   3752   1472 S  0.0  1.5   0:00.00 php-cgi
31411 root      20   0    7996   3496   1784 S  0.0  1.4  31:26.69 vncsrv
 1154 root      -9   0   13840   2436   2168 S  0.0  1.0   0:58.60 gpiod
31413 root      20   0    7124   2224   1844 S  0.0  0.9   0:00.00 websockify
 1036 root      20   0   30500   2220   1280 S  0.0  0.9   3:41.06 rsyslogd
 2239 root      20   0    6528   2168   1712 S  0.0  0.9   0:00.06 sshd
 1157 root      -9   0   13840   2116   1848 S  0.0  0.8   0:58.58 gpiod
 1158 root      -9   0   13840   2116   1848 S  0.0  0.8   0:58.59 gpiod
 1159 root      -9   0   13840   2116   1848 S  0.0  0.8   0:58.58 gpiod
17030 root      20   0    4512   2076   1764 R  5.3  0.8   0:00.04 top
17027 root      20   0    5160   1888   1568 S  0.0  0.8   0:00.01 cron
31240 root      18  -2    4332   1852   1620 S  0.0  0.7   0:00.01 runlogix
  215 root      20   0    9972   1704   1320 S  0.0  0.7   0:00.42 udevd
 1122 root      20   0    4384   1672   1444 S  0.0  0.7   0:15.40 cron
 1212 www-data  20   0    6948   1428    740 S  0.0  0.6   2:30.58 lighttpd
17032 root      20   0    2928   1352   1276 S  0.0  0.5   0:00.00 tail
17031 root      20   0    2912   1276   1204 S  0.0  0.5   0:00.00 head
 2145 root      20   0    1976   1236   1124 S  0.0  0.5   0:00.01 getty
    1 root      20   0    2372   1204   1068 S  0.0  0.5   1:02.11 init
31506 root      20   0    1468   1088    996 S  0.0  0.4   0:00.00 netcat
 1359 root      20   0    3856   1012    760 S  0.0  0.4   0:00.00 pure-ftpd
31410 root      20   0    4312    948    736 S  0.0  0.4   0:00.00 run-vncsrv.+
 2135 root      20   0    1376    944    868 S  0.0  0.4   0:00.00 startpar
17028 root      20   0    1432    928    860 S  0.0  0.4   0:00.00 sh
17029 root      20   0    1432    928    864 S  0.0  0.4   0:00.00 toplog
 2131 root      20   0    1432    524    452 S  0.0  0.2   0:00.00 rc.local
    2 root      20   0       0      0      0 S  0.0  0.0   0:01.20 kthreadd
    3 root      20   0       0      0      0 S  0.0  0.0  11:20.02 ksoftirqd/0
    4 root      -2   0       0      0      0 S  0.0  0.0  74:13.38 ktimersoftd+

[Ilya J.]

Теперь можно возвращать функцию выборки, только реализовать её нормально нужно.

[megazaic]

Цитата:

Сообщение от Ilya J.

Теперь можно возвращать функцию выборки, только реализовать её нормально нужно.

я предполагаю, что вы предполагали использовать её для "одноразового запроса". т.к. даже БольшойБрат чутка подвешивается при попытке сделать определённые запросы из базы.
* ваше возмущение по её использованию понял. и если она будет возвращена, будет сделано "нормально". а пока погоняю ещё в этом варианте.