Zmniejsz obciążenie pamięci PostgreSQL w Matrix Synapse

Jeśli PostgreSQL zużywa więcej pamięci niż oczekiwano w przypadku Matrix Synapse, najpierw sprawdź, czy pamięć znajduje się w buforach współdzielonych, aktywnych zapytaniach, automatycznym odkurzaniu lub dużej liczbie połączeń. Następnie dostosuj jedno źródło na raz i ponownie zmierz. Własne procesy Pythona w Synapse również zużywają dużo pamięci, więc przed zmianą ustawień bazy danych upewnij się, że procesy PostgreSQL lub kontener bazy danych są źródłem.

Zrozum, co oznacza „duża pamięć”

PostgreSQL wykorzystuje pamięć współdzieloną do obsługi pamięci podręcznej, pamięć prywatną dla każdego połączenia z serwerem i zapytania oraz pamięć podręczną stron systemu operacyjnego. W systemie Linux pamięć wyświetlana jako „używana” może obejmować odzyskiwalną pamięć podręczną systemu plików; sama ta liczba nie dowodzi, że baza danych jest obciążona. Zwróć uwagę na utrzymujący się niski poziom dostępnej pamięci, aktywność wymiany, zdarzenia braku pamięci lub zbliżanie się kontenera do limitu pamięci. Porównaj te sygnały z metrykami procesów Synapse i PostgreSQL.

Zaplecze PostgreSQL to proces serwera obsługujący połączenie klienta. Pula połączeń z bazą danych Synapse może otwierać kilka zapleczy na proces, a każdy z procesów roboczych Synapse ma własną pulę. Zwiększenie liczby procesów roboczych lub rozmiaru puli może zatem zwiększyć współbieżną pracę bazy danych i zapotrzebowanie na pamięć. Działanie: zinwentaryzuj procesy Synapse, liczbę procesów roboczych, ustawienia puli, połączenia PostgreSQL oraz limit pamięci hosta lub kontenera przed dostosowaniem PostgreSQL.

Przed dostrojeniem znajdź główne źródło

Połącz się z bazą danych Synapse jako administrator i sprawdź ustawienia kontrolujące pamięć i połączenia:

SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
SHOW autovacuum_work_mem;
SHOW max_connections;

shared_buffersto współdzielona pamięć podręczna PostgreSQL, przydzielana podczas uruchamiania serwera. work_memto budżet na operacje sortowania i tabele skrótów na zapytanie, a nie limit na serwer; jedno zapytanie może wykorzystywać kilka takich operacji, a wiele połączeń może je wykonywać jednocześnie. Pamięć konserwacyjna i pamięć automatycznego odkurzania mogą się również mnożyć, gdy uruchomionych jest kilku administratorów. Działanie: porównaj skonfigurowane wartości z dostępną pamięcią RAM, współbieżnością i liczbą połączeń Synapse, zamiast zakładać, że największe ustawienie jest najlepsze.

Użyj tego zapytania, aby sprawdzić, ile sesji klientów jest połączonych i czy są one aktywne czy bezczynne:

SELECT application_name, state, count(*)
FROM pg_stat_activity
GROUP BY application_name, state
ORDER BY count(*) DESC;

Jeśli jest to obsługiwane przez wdrożenie, sprawdź limit pamięci kontenera PostgreSQL i użyj jego metryk lub metryk procesu i grupy cgroup hosta. Sumowanie pamięci rezydentnej w procesach PostgreSQL może spowodować przeliczenie stron współdzielonych. Działanie: użyj konta pamięci kontenera lub hosta, aby zweryfikować obciążenie, a następnie użyj statystyk połączeń i zapytań, aby zidentyfikować prawdopodobnego współautora.

Wybierz zmiany na podstawie dowodów

Jeśli pamięć zapytań gwałtownie wzrośnie w okresach wzmożonego ruchu

Najpierw sprawdź work_mem. Wysoka wartość może zużywać znaczną ilość pamięci, gdy współbieżne zapytania wykonują wiele operacji sortowania lub haszowania. Ostrożnie ją zmniejszaj, jeśli pomiary pokazują, że współbieżność zapytań zwielokrotnia zużycie pamięci; kompromisem jest to, że duże operacje mogą zostać przeniesione do plików tymczasowych i działać wolniej. Unikaj kopiowania wartości generycznych z innego serwera, ponieważ obciążenie Synapse i wersja PostgreSQL mają znaczenie.

Dokumentacja PostgreSQL opisuje shared_bufferspamięć podręczną jako główną współdzieloną pamięć podręczną i podaje około 25% pamięci RAM jako rozsądny punkt wyjścia jedynie dla dedykowanego serwera bazy danych z co najmniej 1 GB pamięci RAM. Zauważa również, że przydzielenie więcej niż 40% prawdopodobnie nie pomoże w większości obciążeń, ponieważ PostgreSQL również korzysta z pamięci podręcznej systemu operacyjnego. Działanie: należy wykorzystać te dane jako kontekst, a nie cel dla współdzielonego hosta Synapse; jeśli współdzielone bufory zajmują już dużą część całkowitej pamięci, należy oszacować niższą wartość podczas planowanego restartu.

Jeśli liczba połączeń jest głównym ciśnieniem

Przejrzyj ustawienia Synapse database.args.cp_minoraz cp_maxwartości w homeserver.yamlplikach konfiguracyjnych i w plikach konfiguracyjnych pracowników. Przewodnik Synapse PostgreSQL pokazuje te ustawienia jako minimalny i maksymalny rozmiar puli połączeń. W przypadku wielu pracowników, z których każdy ma własną pulę, łączna liczba możliwych połączeń może być znacznie większa niż wartość w jednym pliku. Obniżenie cp_maxmoże ograniczyć współbieżne serwery baz danych i ich zużycie pamięci, ale zbyt mała pula może powodować oczekiwanie na połączenie.

database:
  name: psycopg2
  args:
    user: synapse_user
    password: "use-a-secret-store-or-protected-config"
    dbname: synapse
    host: 127.0.0.1
    port: 5432
    cp_min: 2
    cp_max: 5

Powyższe wartości mają charakter poglądowy i nie stanowią uniwersalnego zalecenia. Należy policzyć pule w procesie głównym i każdym pracowniku, pozostawiając margines na administrację, migracje, monitorowanie i innych klientów. PostgreSQL przydziela część zasobów na podstawie max_connections, więc podniesienie tego limitu „na wszelki wypadek” może zwiększyć obciążenie pamięci bazowej. Działanie: ogranicz pule Synapse do poziomu wymaganego przez zmierzoną współbieżność i upewnij się, że limit połączeń PostgreSQL wystarcza na wszystkie usługi oraz dostęp administracyjny.

Jeżeli konserwacja lub automatyczne odkurzanie zbiega się z okresem pików

PostgreSQL może przydzielać pamięć konserwacyjną do zadań związanych z próżnią i indeksowaniem. Pamięć autopróżni może być przydzielana dla każdego pracownika autopróżni, więc duże ustawienie w połączeniu z kilkoma pracownikami może zwiększyć szczytowe wykorzystanie pamięci. Nie należy wyłączać autopróżni w celu zmniejszenia ilości pamięci: wykonuje ona niezbędną konserwację tabel. Działanie: sprawdź logi i aktywność podczas szczytu obciążenia, a następnie dostosuj maintenance_work_memlub autovacuum_work_memtylko wtedy, gdy te operacje są potwierdzone.

Zastosuj zmiany i sprawdź wynik

Najpierw utwórz kopię zapasową konfiguracji PostgreSQL i Synapse. Zmieniaj limity jednej zmiennej lub puli na raz, bezpiecznie zachowuj istniejące dane uwierzytelniające i używaj ścieżki konfiguracji odpowiedniej dla Twojego pakietu lub kontenera. Niektóre parametry PostgreSQL, w tym shared_buffersi max_connections, wymagają restartu serwera; ustawienia z możliwością ponownego ładowania można zastosować za pomocą obsługiwanego mechanizmu ponownego ładowania PostgreSQL. Sprawdź kontekst ustawienia przed założeniem, że zostało ono zastosowane przez ponowne ładowanie.

Po zmianie monitoruj szczytowe zużycie pamięci, zdarzenia wymiany i braku pamięci, aktywne połączenia, opóźnienia zapytań, aktywność plików tymczasowych oraz opóźnienia żądań Synapse w reprezentatywnym okresie wzmożonego ruchu. Zmiana jest przydatna, jeśli zmniejsza obciążenie pamięci bez powodowania długotrwałego oczekiwania na połączenie, wolniejszych zapytań lub rosnącego backlogu żądań. Jeśli to Synapse, a nie PostgreSQL, zużywa pamięć RAM, należy osobno dostroić działanie pamięci podręcznej Synapse i liczbę procesów roboczych; ustawienia PostgreSQL nie naprawią pamięci zajmowanej przez procesy robocze Pythona.

Nie ustawiaj work_memwartości równej całej pamięci RAM serwera, nie zwiększaj jej max_connectionsbez obliczania sumy puli ani nie wyłączaj automatycznego odkurzania jako rozwiązania tymczasowego. Jeśli pamięć nadal jest wysoka, zbierz metryki w szczytowym momencie i przejrzyj faktycznie uruchomione zapytania oraz źródła połączeń przed dodaniem sprzętu lub wprowadzeniem szeroko zakrojonych zmian w konfiguracji.

Oficjalne źródła

Zostaw komentarz

Zmniejsz obciążenie pamięci PostgreSQL w Matrix Synapse

Sprawdź, czy pamięć PostgreSQL pochodzi z obsługi zapytań, współdzielonych buforów, połączeń czy konserwacji, a następnie wprowadź ukierunkowane zmiany bezpieczne dla Synapse.

Dlaczego połączenia w pokoju Matrix Synapse są powolne i co należy sprawdzić

Dlaczego połączenia w pokoju Matrix Synapse są powolne i co należy sprawdzić

Śledź powolne dołączanie pokoju Matrix do jednego zdalnego serwera domowego, wycofywanie federacji, obciążenie lokalnej bazy danych lub kolejkę nadawcy wychodzącego przed zmianą ustawień Synapse.

Zamknij rejestrację w Matrix lub wymagaj tokenów zaproszeń w Synapse

Zatrzymaj możliwość tworzenia otwartych kont na samodzielnie hostowanym serwerze Synapse lub zachowaj możliwość rejestracji wyłącznie na zaproszenia, korzystając z tokenów rejestracyjnych o ograniczonym zastosowaniu.

Ostrzeżenie dotyczące tożsamości sesji elementu: Zweryfikuj bezpiecznie swoje logowanie

Ostrzeżenie Clear Element o niezweryfikowanej sesji korzystające z zaufanego urządzenia lub klucza odzyskiwania, z kontrolami chroniącymi historię szyfrowanych czatów.

Zatrzymaj przekroczenia limitu czasu blokady plików w chmurze ownCloud za pomocą odpowiedniego zaplecza

Rozróżnij konflikty blokad bazy danych od wygasłych blokad WebDAV, a następnie wybierz i skonfiguruj odpowiednią poprawkę ownCloud 10.

Co sprawdzić, gdy witryna ownCloud Web otwiera się na pustej stronie

Co sprawdzić, gdy witryna ownCloud Web otwiera się na pustej stronie

Śledź pusty ekran witryny ownCloud Web w kontekście pamięci podręcznej przeglądarki, brakujących zasobów sieciowych, błędów usług lub ustawień adresu URL serwera proxy odwrotnego za pomocą ukierunkowanych kontroli.

Wyczyść ostrzeżenie dotyczące pamięci PHP ownCloud w odpowiednim środowisku wykonawczym

Ustaw limit pamięci PHP dla witryny ownCloud, uruchom ponownie odpowiednią usługę i zweryfikuj aktywną wartość, nie myląc jej z ustawieniami CLI ani limitami przesyłania.

Rozwiązywanie problemów z połączeniem MySQL w chmurze ownCloud 10

Sprawdź, czy MySQL, PHP, ustawienia gniazd lub uprawnienia bazy danych blokują ownCloud 10, a następnie sprawdź, czy istnieje bezpieczne rozwiązanie.

Ustaw sztywny limit wygaśnięcia dla publicznych linków ownCloud

Ustaw sztywny limit wygaśnięcia dla publicznych linków ownCloud

Ustaw obowiązkowe wygasanie łączy publicznych w ownCloud Classic, ustaw maksymalny czas trwania i zaznacz istniejące udziały, które mogą wymagać osobnego czyszczenia.

Dodaj dwuskładnikowe logowanie TOTP do ownCloud Infinite Scale z Keycloak

Dodaj dwuskładnikowe logowanie TOTP do ownCloud Infinite Scale z Keycloak

Włącz funkcję TOTP za pośrednictwem Keycloak, zarejestruj użytkowników bezpiecznie i dowiedz się, kiedy obowiązują ustawienia MFA na poziomie trasy Infinite Scale.