[Behoben] [7.3.1.3] StarfaceEventService Queue ist voll & Anlage stürzt ab

  • 7.3.1.3
    Appliance
    VM-Edition
    Cloud
    Ich habe mit einem STARFACE Partner ein Problem angesehen, bei dem mehrere Anlagen das gleiche Verhalten aufzeigten. ([Call#7768658])
    Beim Webinterface kann man sich einloggen, dann kommt sofort "In der Anwendung ist ein Fehler aufgetreten"
    Zu einem gewissen Grad kann noch ausgehend Telefoniert werden, eingehende Anrufe sind nicht mehr möglich.
    Die Anlage muss neu gestartet werden, um das Problem zu beheben.

    Alle Anlagen zeigen die gleichen Fehlermeldungen im Logfile:
    Drei Beispiele:

    Modulverarbeitung geht nicht mehr, da Queue voll.
    2023-02-20T10:30:18,810] [ERROR] [] [de.starface.bo.externalService.module.ModuleDataTransporter] An exception occurred during handling of ModuleDataStartAction [data=de.starface.ch.processing.externalService.module.datatypes.StartModuleData@2680eafa]
    This means that the update sent may not be correctly reflected outside of call handling.
    java.util.concurrent.RejectedExecutionException: Task de.starface.core.component.events.StarfaceEventService$1@28471182 rejected from de.starface.core.component.concurrent.ExecutorComponent$3@5ac17d4f[Running, pool size = 1, active threads = 1, queued tasks = 10000, completed tasks = 68360]

    Der Telefoniestatus der Benutzer wird nicht mehr aktualisiert, da Queue voll.
    [2023-02-20T09:29:54,251] [ERROR] [] [de.starface.callhandling.busylampfieldstates.AccountStateLogic] An exception occurred during handling of TelephonyStateChangedEvent [telephonyState=AVAILABLE, getAccountId()=1003]
    This means that the update sent may not be correctly reflected outside of call handling.
    java.util.concurrent.RejectedExecutionException: Task de.starface.core.component.events.StarfaceEventService$1@311f869f rejected from de.starface.core.component.concurrent.ExecutorComponent$3@5ac17d4f[Running, pool size = 1, active threads = 1, queued tasks = 10000, completed tasks = 68360]

    Die STARFACE kann ihre Lizenz nicht mehr prüfen, da Queue voll.
    [2023-02-20T08:47:46,047] [ERROR] [] [de.starface.license.manager.LicenseComponent] Refresh license failed
    java.util.concurrent.RejectedExecutionException: Task de.starface.core.component.events.StarfaceEventService$1@32692e15 rejected from de.starface.core.component.concurrent.ExecutorComponent$3@5ac17d4f[Running, pool size = 1, active threads = 1, queued tasks = 10000, completed tasks = 68360]
    No

    Es scheint, dass der StarfaceEventService ==> ExecutorComponent ==> singleThreadExecutorService seine Maximale Warteschlangengrösse erreicht, weil er seine Aufgaben nicht schnell genug Abarbeiten kann, bzw. stecken bleibt, da es nur ein erlaubtes Thread hat, und alle Aufgaben werden hinten nacheschaufelt, bis es an die Limite kommt.


    Ich habe einen HEAP Dump gezogen, und diesen Analysiert.

    Die Pendenten aufgaben sind zu 99% de.starface.core.component.security.authentication.AuthenticationEvent von Erfolgreichen/Nicht Erfolgreichen SIP-Anmeldungen, vermutlich weil der 5060 aus dem Internet erreichbar ist.


    1.png


    2.png


    3.png


    Ich habe in der Zwischenzeit einen Queuewatcher geschrieben, welcher die Queue beobachtet, so dass der Partner ggf. einen Alarm bekommt, falls sich zu viele Aufgaben anstauen.


    Der Support konnte mir logischerweise nicht weiterhelfen, haben mich aber auf einen Beitrag aus dem Forum bezgl. Drittanbietermodule und 7.3 Verwiesen: RE: STARFACE 7.3.0.5 (Major Release) - Beta online . Sehr hilfreich. Danke :cursing:


    Ich hoffe dass ein Entwickler hier mitliest, und ich so ggf. etwas mehr Informationen dazu bekommen kann, was das Verursachen könnte.

    Diese Anlagen haben ein Modul von mir, welches speziell Entwickelt wurde, und nur Informationen ausliest, und per XML-RPC bereitstellt.


    Dies enthält u.a.:


    • STARFACE Build / Version
    • Letztes Update
    • Hat es Terminalserver lizenzen?
    • Uptime / RAM / CPU / Speicherplatz
    • Updatevertrag bis
    • Div. Lizenzinformationen
    • Interne IP
    • Status der Backups
    • Installierte Module
    • ...

    Ich wüsste nicht, wie dies damit im Zusammenhang steht.


    Ich hoffe hier auf Unterstützung von Seiten STARFACE


    MfG


    Fabian

  • Hallo Fabian,


    könntest du beim nächsten Fehlerfall zeitversetzt 5 Stacktraces (jstack) ziehen (z.B. alle 2 Sekunden einen) und uns zukommen lassen ?


    Grüßle

    Dirk

    Dirk Wendland

    Development


    STARFACE GmbH | Adlerstraße 61 | 76137 Karlsruhe | www.starface.com

  • diwe


    Ich habe Folgendes Script geschrieben:

    Es macht für jeden Java Prozess jeweils 5 JStacks mit dem -l und -e Parameter, und schläft dazwischen jeweils 2 Sekunden.


    Passt das so für dich?

    Der Code könnte natürlich mit einem Counter optimiert werden, bin aber zu faul dafür.


    MfG


    Fabian

  • diwe


    Wir hatten vom Sonntag auf den Montag 4 Anlagen, bei denen die Queue wieder auf 10'000 geschossen ist nachdem über ein Monat ruhe war.


    Bei dreien konnte ich per SSH die Stacktraces erzeugen.

    Diese sind dem Ticket [Call#7768658] angehängt worden.


    MfG


    Fabian

  • Schönen guten Morgen,


    das Problem ([7.3.1.3] StarfaceEventService Queue ist voll) wurde in der 8.0.0.X behoben und wird zum final Release ausgeliefert.



    Vielen Dank euch

    Grüßle

    Dirk

  • Hi Dirk,


    wenn Du gerade dabei bist: Es gibt in der 7.3.1 ein Problem im Bereich der Backups. Wenn diese nicht ordentlich terminieren, finden Folgebackups nicht statt, da der vorherige Backupprozess noch zu laufen scheint. Außerdem wird das Modulsystem angehalten und nicht wieder gestartet, wodurch Zugriffe auf die Modul-Derbys fehlschlagen (PersistenceException).

    Hi Fabian,

    gibt es da schon weitere Infos? Wir haben auch eine Anlage, wo die Backups hängen und keine weiteren erstellt werden.

    Erst half ein Neustart, mittlerweile geht aber selbst nach einem Neustart kein Backup mehr. Ein manuelles Backup friert bei 78% ein.


    Vom Starface Support habe ich bisher noch keine weitere Rückmeldung erhalten. :(


    Gruß

    Thomas

  • FabianZ

    Changed the title of the thread from “[7.3.1.3] StarfaceEventService Queue ist voll & Anlage stürzt ab” to “[Behoben] [7.3.1.3] StarfaceEventService Queue ist voll & Anlage stürzt ab”.

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!