Analiza porównawcza możliwości i ograniczeń wykorzystania silników Apache Flink, Apache Spark oraz Apache Storm w strumieniowym przetwarzaniu danych

Abstract

Artykuł przedstawia analizę porównawczą trzech silników do przetwarzania strumieniowego danych: Apache Flink, Apache Spark i Apache Storm. Obejmuje ona kryteria porównawcze, takie jak: architektura, interfejsy, tryby przetwarzania, tryby uruchomieniowe, niezawodność, skalowalność, wydajność, źródła i ujścia danych. W ramach badań przeprowadzono serię eksperymentów, w których każdy silnik był testowany w czasie rzeczywistym podczas realizacji zadania detekcji anomalii w pomiarach parametrów środowiskowych. Eksperymenty obejmowały analizę wpływu liczby czujników, rozmiaru okna agregującego oraz obciążenia systemu na opóźnienia w generowaniu ostrze-żeń, zużycie zasobów (CPU, pamięć RAM) i liczbę wygenerowanych ostrzeżeń przez każdy z silników. Wnioski z badań dostarczają informacji na temat efektywności i przydatności każdego z analizowanych silników w kontekście przetwarzania strumieniowego danych, zwłaszcza w zastosowaniach związanych z detekcją anomalii środowiskowych.

Keywords

• przetwarzanie strumieniowe
• apache flink
• apache spark
• apache storm