Tylko AOS — co zrobić, gdy partycja domowa lub katalog domowy Nutanix na maszynie wirtualnej kontrolera (CVM) jest pełny
Tylko AOS — co zrobić, gdy partycja domowa lub katalog domowy Nutanix na maszynie wirtualnej kontrolera (CVM) jest pełny
Tylko AOS — co zrobić, gdy partycja domowa lub katalog domowy Nutanix na maszynie wirtualnej kontrolera (CVM) jest pełny
Opis
Ważne uwagi:
- Nie używaj tej KB ani skryptu czyszczącego, jeśli partycja /home przekracza limit na maszynie wirtualnej Prism Central (PCVM) . W przypadku problemu PCVM zapoznaj się z KB 5228 .
- Zaloguj się do CVM jako użytkownik nutanix
- Nie traktuj maszyny Nutanix CVM (Controller VM) jak normalnego komputera z systemem Linux.
- Nie używaj rm -rf pod żadnymi okolicznościami, chyba że podano inaczej. Doprowadzi to do scenariuszy utraty danych.
- Jeśli używasz LCM-2.6 lub LCM-2.6.0.1, zbieranie dzienników LCM zapełnia katalog /home. Zapoznaj się z artykułem KB 14671 , aby poznać sposób obejścia problemu.
- Jeśli w klastrze obsługującym NCC 4.0.0 pojawi się alert o wysokim wykorzystaniu partycji /home, sprawdź także artykuł KB 10530 .
- Możesz sprawdzić konkretne klastry objęte tym alertem za pomocą odkryć w Portalu wsparcia obsługiwanym przez Nutanix Insights tutaj
- Jeśli masz jakiekolwiek wątpliwości, skontaktuj się z pomocą techniczną Nutanix .
Informacja o zapełnieniu partycji CVM /home lub katalogu /home/nutanix może zostać zgłoszona w dwóch scenariuszach:
- Kontrola stanu dysku disk_usage_check w programie NCC informuje, że wykorzystanie partycji /home przekracza próg (domyślnie 75%).
- Przed uaktualnieniem test_nutanix_partition_space sprawdza, czy wszystkie węzły mają co najmniej 5,6 GB wolnego miejsca w katalogu /home/nutanix.
Poniższe komunikaty o błędach są generowane w Prism przez kontrolę przedaktualizacyjną test_nutanix_partition_space :
Nutanix rezerwuje miejsce na poziomie SSD każdego CVM dla swoich plików i katalogów. Te pliki i katalogi znajdują się w folderze /home, który widzisz po zalogowaniu się do CVM. Rozmiar folderu /home jest ograniczony do 40 GB, tak aby większość miejsca na dysku SSD była dostępna dla danych użytkownika.
Ze względu na ograniczony rozmiar partycji /home możliwe jest, że zabraknie wolnego miejsca i wywołają Prism Alerts, awarie lub ostrzeżenia NCC Health Check lub awarie Pre-Upgrade Check. Te zabezpieczenia zapobiegają całkowitemu zapełnieniu partycji /home , ponieważ powoduje to, że usługi przetwarzania danych, takie jak Stargate, przestają odpowiadać. Klastry, w których partycje /home wielu maszyn CVM są w 100% pełne, często powodują przestoje maszyn wirtualnych użytkowników.
Podczas czyszczenia nieużywanych plików binarnych i starych dzienników na CVM, ważne jest, aby pamiętać, że wszystkie partycje danych użytkownika na każdym dysku powiązanym z danym węzłem są również zamontowane w /home. Dlatego zdecydowanie odradzamy używanie nieudokumentowanych poleceń, takich jak rm -rf /home , ponieważ spowoduje to również wyczyszczenie katalogów danych użytkownika zamontowanych w tej ścieżce. Celem tego artykułu jest poprowadzenie Cię przez identyfikację plików, które powodują, że CVM ma mało wolnego miejsca i usunięcie tylko tych, które można bezpiecznie usunąć.
Rozwiązanie
Uwaga: Najnowsze wersje AOS zawierają ulepszenia i poprawki błędów zaprojektowane w celu optymalizacji wykorzystania przestrzeni /home. Aby uniknąć potencjalnych problemów w przyszłości, ważne jest, aby regularnie aktualizować AOS.
Wskazówki ogólne
- Sprawdzanie wykorzystania przestrzeni w /home . Aby uwzględnić potencjalną aktualizację AOS, wykorzystanie powinno być poniżej 70%. Użyj polecenia df -h, aby sprawdzić ilość wolnego miejsca w /home . W poniższym przykładzie wykorzystanie CVM xxx12 /home wynosi 81%.
================== xxx11 =================
/dev/md2 40G 22G 18G 55% /home
================== xxx12 =================
/dev/md2 40G 32G 7.4G 81% /home
================== xxx13 =================
/dev/md2 40G 24G 16G 61% /home
Aby uzyskać dalsze rozbicie wykorzystania w kolejności malejącej, użyj polecenia du -h z flagą -d, aby uzyskać numer wymaganego poziomu katalogu. Na przykład, poniżej -d 2 oznacza przeglądanie dwóch poziomów katalogu z /home/nutanix/data, dodatkowo dodanie head -n 15 wyświetli 15 najlepszych katalogów, które można następnie porównać z innymi CVM, aby zobaczyć, skąd pochodzi wysokie wykorzystanie:
================== xx.xx.xx.11 =================
17G /home/nutanix/data
9.4G /home/nutanix/data/logs
4,6G /home/nutanix/data/installer/el7.*
4.6G /home/nutanix/data/instalator
2.5G /home/nutanix/data/logs/sysstats
512M /home/nutanix/data/ncc/instalator
================== xx.xx.xx.12 =================
18G /home/nutanix/data
9.5G /home/nutanix/data/logs
4,6G /home/nutanix/data/installer/el7.*
4.6G /home/nutanix/data/instalator
3.0G /home/nutanix/data/logs/sysstats
610M /home/nutanix/data/logbay/taskdata
.
.
- Informacje o partycji CVM/home można zebrać przy użyciu polecenia logbay (NCC 4.0.0 i nowsze, Nutanix KB 6691 ).
- Czyszczenie niepotrzebnych plików w katalogu /home .
Jeśli masz otwarte sprawy, w których analiza przyczyn źródłowych jest w toku, sprawdź u właściciela sprawy, czy te pliki dziennika są nadal potrzebne, czy można je usunąć.
Ostrzeżenia: Przed zastosowaniem jakichkolwiek obejść należy zachować ważne notatki wymienione na początku artykułu w Bazie wiedzy (KB)
Metoda 1: Korzystanie z zatwierdzonego skryptu
Pobierz i uruchom plik KB-1540_clean_v12.sh, aby wyczyścić pliki z zatwierdzonych katalogów.
Uwaga: Ten skrypt NIE nadaje się do użycia na maszynie wirtualnej Prism Central.
- Z poziomu dowolnego CVM uruchom następujące polecenia, aby pobrać plik KB-1540_clean_v12.sh :
(MD5:967eb7f5de91bb684f730eb4bb45a16d)
nutanix@cvm:~/tmp$ wget -O KB-1540_clean_v12.sh http://download.nutanix.com/kbattachments/1540/KB-1540_clean_v12.sh
nutanix@cvm:~/tmp$ md5sum KB-1540_clean_v12.sh
967eb7f5de91bb684f730eb4bb45a16d KB-1540_clean_v12.s
- Wdróż skrypt na lokalnym CVM lub na wszystkich CVM klastra:
Wybierz pakiet do wdrożenia
1: Wdróż narzędzie tylko na lokalnym CVM
2: Wdróż narzędzie na wszystkich maszynach CVM w klastrze
Wybór (Anuluj="c"): <==== 1 lub 2
- Uruchom skrypt, aby wyczyścić pliki z zatwierdzonych katalogów.
- Pomoc
- Tryb interaktywny
- Tryb nieinteraktywny
Uwaga: Jeżeli wynik skryptu lub jego kolory są nieprawidłowe, spróbuj ustawić zmienną środowiskową przed uruchomieniem skryptu lub użyj opcji „--no_color”:
Tryb interaktywny
Menu główne
|
Menu elementów planu
|
Tryb nieinteraktywny
Polecenia
|
Jeżeli element jest wymieniony jako „instrukcja” w kolumnie Operacja, możesz wyświetlić instrukcje, uruchamiając ten element.
Na przykład:
┌─────────────────────────────────────────── ──────────────────┬───────────┬────────────┐ │ Plany czyszczenia: Elementy objęte │ Działanie │ Użytkowanie │ ├─────────────────────────────────────────── ──────────────────┼───────────┼────────────┤ │ 5: Pakiet dziennika (logbay) │usuń │ 2.25G│ │10: Pobrano instalator │instrukcja│ 824,00M│ │59: Możliwe pliki tworzone ręcznie │instrukcja│ 3.69G│ ├─────────────────────────────────────────── ──────────────────┴───────────┼────────────┤ │ Razem │ 6,74G│ ╞═══════════════════════════════════════ ══════════════════════════════╧════════╡ │CVM xxxx │ │ /użytkowanie domowe = 30,99G (80%) >> zalecane czyszczenie │ └─────────────────────────────────────────── ───────────────────────────────────────────────┘
Pozycje 10 i 59 są wymienione jako „instruction”. Aby zobaczyć instrukcje dla pozycji 10, uruchom ją, wpisując „10” w menu głównym i wpisując „R” na następnym ekranie. Przykładowy wynik poniżej:
┌─────────────────────────────────────────── ──────────────────┬───────────┬────────────┐ │ Plan czyszczenia 10 │ Działanie │ Użytkowanie │ ├─────────────────────────────────────────── ──────────────────┼───────────┼────────────┤ │10: Pobrano instalator │instrukcja│ 824,00M│ └─ ... ( Quit, Back, Help, Rescan, Operation, List, Dryrun, Run, Export): R Uruchom operację dla planu 10: „instruction” Wymagana jest ręczna operacja dla planu 10 -- Instruction -- Te pobrane instalatory można usunąć z „Upgrade Software” w Prism. Znajdź sekcję z „/home/nutanix/software_downloads/” w KB-1540 (http://portal.nutanix.com/kb/1540) Starszych plików instalatora nie można było wyświetlić w Prism ani przez ncli. Skontaktuj się z pomocą techniczną Nutanix, jeśli potrzebujesz pomocy. ┌─────────────────────────────────────────── ──────────────────┬───────────┬────────────┐ │ Plan czyszczenia 10 │ Działanie │ Użytkowanie │ ├─────────────────────────────────────────── ──────────────────┼───────────┼────────────┤ │10: Pobrano instalator │instrukcja│ 824,00M│ └─────────────────────────────────────────── ──────────────────┴───────────┴────────────┘
Powtórz powyższe czynności dla punktu 59, aby zobaczyć instrukcje dotyczące punktu 59.
- Sprzątanie po rozwiązywaniu problemów
Oczekuje się, że pobrane pliki skryptów, dzienniki i wyeksportowane pliki zostaną usunięte ręcznie po każdym rozwiązywaniu problemów. Całkowity rozmiar tych plików powinien być niewielki i nie wpłynie na system plików CVM. Możesz usunąć następujące pliki, gdy skrypt stanie się zbędny.
<yymmdd-hhmmss> to data i godzina utworzenia.- W CVM, w którym wdrożono skrypt KB ( /home/nutanix/tmp/ ):
KB-1540_clean.sh - pobrany plik z KB
deploytool_yyyymmdd-hhmmss.log - dziennik skryptu wdrażania (niepotrzebny po wdrożeniu)
nutanix_home_clean.py - główny skrypt KB
nutanix_home_clean_config.py - plik konfiguracyjny dla głównego skryptu - W pozostałych maszynach CVM w klastrze — jeśli wdrożono je do wszystkich maszyn CVM w kroku 2:
nutanix_home_clean.py - główny skrypt KB
nutanix_home_clean_config.py - plik konfiguracyjny dla głównego skryptu - Każdy CVM, w którym uruchamiany jest plik nutanix_home_clean.py:
KB-1540_v12_yyyymmdd_hhmmss_nutanix_home_clean.log – dziennik skryptu KB
KB-1540_v12_yyyymmdd_hhmmss_export_*.csv - eksportowane pliki (jeśli eksportowane)
Poniższe polecenie może usunąć wszystkie powyższe elementy:
nutanix@cvm:~/tmp$ allssh 'cd ~/tmp/; /usr/bin/rm KB-1540* deploytool_*.log nutanix_home_clean.py nutanix_home_clean_config.py'
- W CVM, w którym wdrożono skrypt KB ( /home/nutanix/tmp/ ):
Metoda 2: Metoda ręczna
PRZECZYTAJ : Tylko pliki w katalogach wymienionych poniżej są bezpieczne do usunięcia. Zwróć uwagę na konkretne wskazówki dotyczące usuwania plików z każdego katalogu. Nie używaj żadnych innych poleceń ani skryptów do usuwania plików. Nie używaj rm -rf pod żadnym pozorem.
- Usuwanie starych dzienników i plików rdzenia. Usuń tylko pliki wewnątrz następujących katalogów, a nie same katalogi .
- /home/nutanix/data/cores/
- /home/nutanix/data/binary_logs/
- /home/nutanix/data/ncc/instalator/
- /home/nutanix/data/log_collector/
- /home/nutanix/prism/webapps/console/downloads/NCC-logs-*
Aby usunąć pliki w każdym z tych katalogów, użyj następującej składni:
- Usuwanie starych plików ISO i plików binarnych oprogramowania. Usuń tylko pliki znajdujące się w następujących katalogach, a nie same katalogi .
Sprawdź aktualną wersję AOS w sekcji „Wersja klastra”:
Nazwa klastra: Axxxxa
Wersja klastra: 5.10.2
- /home/nutanix/software_uncompressed/ - Folder software_uncompressed jest używany tylko wtedy, gdy trwa pre-upgrade i powinien zostać usunięty po pomyślnym uaktualnieniu. Jeśli widzisz działający klaster, który obecnie nie jest uaktualniany, możesz bezpiecznie usunąć wszystko w katalogu software_uncompressed. Usuń wszystkie stare wersje inne niż wersja, do której uaktualniasz.
- /home/nutanix/foundation/isos/ - Stare obrazy ISO hiperwizorów lub Phoenix.
- /home/nutanix/foundation/tmp/ - Pliki tymczasowe, które można usunąć.
Aby usunąć pliki w każdym z tych katalogów, użyj następującej składni:nutanix@cvm:~$ /usr/bin/rm /home/nutanix/foundation/isos/* nutanix@cvm:~$ /usr/bin/rm /home/nutanix/foundation/tmp/*
- /home/nutanix/pobieranie_oprogramowania/
Jeśli pliki w katalogu software_downloads nie są wymagane do żadnych planowanych uaktualnień, usuń je z Prism Web Console > Settings > Upgrade Software . Sprawdź również zakładki File Server , Hypervisor , NCC i Foundation , aby znaleźć pliki do pobrania, których możesz nie potrzebować. Poniższy przykład ilustruje dwie wersje AOS dostępne do uaktualnienia, każda zużywa około 5 GB. Kliknij „X”, aby usunąć pliki.
Jeśli jest zaznaczone, odznacz opcję „Włącz automatyczne pobieranie”. Pozostawiony bez nadzoru klaster będzie pobierał wiele wersji, niepotrzebnie zużywając miejsce w katalogu domowym.
- Sprawdź ponownie wykorzystanie miejsca w katalogu /home za pomocą polecenia df -h (zobacz Ogólne wskazówki w tym artykule), aby potwierdzić, że wynosi ono teraz mniej niż 70%.
Uwaga: Jeżeli nie możesz usunąć plików i wyświetla się poniższy błąd, a miejsce nie zostało wykorzystane, skontaktuj się z pomocą techniczną Nutanix, aby uzyskać pomoc.
==> Wykryto pliki systemowe:
/home/nutanix/data/oprogramowanie_nieskompresowane/xxx
Operacja niedozwolona. Usunięcie plików systemowych spowoduje niestabilność klastra i potencjalną utratę danych.
Ważne uwagi dotyczące klastrów NC2:
W niektórych przypadkach klastrów NC2 zaobserwowano, że /tmp jest prawie pełny. Możesz wykonać poniższe kroki, aby wyczyścić katalog ~/tmp.
- Nawiąż połączenie SSH z odpowiednim CVM i sprawdź wykorzystanie dysku, uruchamiając polecenie „df -h”:
nutanix@CVM:~$ df -h /tmp Rozmiar systemu plików Użyty Dostępny Użycie% Zamontowano na /dev/loop0 240M 236M 0 100% /tmp
- Na powyższym wyjściu możemy zobaczyć, że /tmp pokazuje 100%. Zmień katalog na ~/tmp i posortuj listę używając sudo du -aSxh /tmp/* | sort -h .
Plik źródłowy pliku tmp/hsperfdata_nutanix zawiera następujące informacje: 4,0 tys. /tmp/hsperfdata_nutanix 12 tys. /tmp/lost+found 23 tys. /tmp/rc_nutanix_start.1731.log 39 tys. /tmp/rc_nutanix_start.1734.log 78 mln /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.ERROR.20230123-201357.3575 78 mln /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.INFO.20230123-200932.3575 78 mln /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.WARNING.20230123-201357.3575
- Z otrzymanego powyżej wyniku ręcznie usuń pliki większe niż 12K. Na przykład zobacz poniżej pliki usunięte z powyższego wyniku.
nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.WARNING.20230123-201357.3575 nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.INFO.20230123-200932.3575 nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/.ntnx-i-02a754840c30b5e66-a-cvm.root.log.ERROR.20230123-201357.3575 nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/rc_nutanix_start.1734.log nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/rc_nutanix_start.1731.log
- Po usunięciu możesz sprawdzić ilość dostępnego wolnego miejsca poleceniem df -h :
nutanix@CVM:~/tmp$ df -h /tmp Rozmiar systemu plików Użyty Dostępny Użycie% Zamontowano na /dev/loop0 240M 14M 210M 6% /tmp
- Jak widać, dostępna wolna przestrzeń wynosi obecnie 6%. Możesz to sprawdzić jeszcze raz, wykonując następujące czynności:
nutanix@CVM:~$ kontrole_stanu_ncc kontrole_sprzętu kontrole_dysków kontrola_użycia_dysków --cvm_list=
Lubnutanix@CVM:~$ ncc health_checks run_all
Skontaktuj się z pomocą techniczną Nutanix, aby uzyskać pomoc, jeśli użycie /home nadal przekracza próg po oczyszczeniu plików z zatwierdzonych katalogów. W żadnym wypadku nie należy usuwać plików z żadnych innych katalogów poza tymi zalecanymi w tym artykule, ponieważ mogą one mieć krytyczne znaczenie dla wydajności CVM lub mogą zawierać dane użytkownika.