Pouze AOS – Co dělat, když je domovský oddíl nebo domovský adresář Nutanix na virtuálním počítači řadiče (CVM) plný
Pouze AOS – Co dělat, když je domovský oddíl nebo domovský adresář Nutanix na virtuálním počítači řadiče (CVM) plný
Pouze AOS – Co dělat, když je domovský oddíl nebo domovský adresář Nutanix na virtuálním počítači řadiče (CVM) plný
Popis
Důležité poznámky:
- Nepoužívejte tuto KB nebo čisticí skript, pokud oddíl /home překračuje limit na Prism Central VM (PCVM) . Problém PCVM naleznete v KB 5228 .
- Přihlaste se do CVM jako uživatel nutanix
- Nezacházejte s Nutanix CVM (Controller VM) jako s běžným linuxovým strojem.
- Pokud není uvedeno jinak, za žádných okolností nepoužívejte rm -rf . To povede ke scénářům ztráty dat.
- Pokud používáte LCM-2.6 nebo LCM-2.6.0.1, sběr protokolů LCM zaplňuje adresář /home, viz KB 14671 pro řešení.
- Pokud se zobrazí upozornění na vysoké využití oddílu /home v clusteru se systémem NCC 4.0.0, zkontrolujte také KB 10530 .
- Konkrétní clustery ovlivněné tímto upozorněním si můžete prohlédnout prostřednictvím objevů na portálu podpory založeném na Nutanix Insights zde
- Pokud máte nějaké pochybnosti, kontaktujte podporu Nutanix .
Plnění oddílu CVM /home nebo /home/nutanix lze nahlásit ve dvou scénářích:
- Kontrola stavu NCC disk_usage_check hlásí, že využití oddílu /home je nad prahovou hodnotou (ve výchozím nastavení 75 %).
- Kontrola před upgradem test_nutanix_partition_space zkontroluje, zda mají všechny uzly v adresáři /home/nutanix minimálně 5,6 GB místa.
Následující chybové zprávy jsou v Prism generovány kontrolou před upgradem test_nutanix_partition_space :
Nutanix si vyhrazuje místo na SSD vrstvě každého CVM pro své soubory a adresáře. Tyto soubory a adresáře jsou umístěny ve složce /home, kterou uvidíte, když se přihlásíte do CVM. Velikost složky /home je omezena na 40 GB, takže většina místa na SSD je k dispozici pro uživatelská data.
Vzhledem k omezené velikosti oddílu /home je možné, že dojde k nedostatku volného místa a spustí se upozornění Prism Alerts, selhání nebo varování NCC Health Check nebo selhání Pre-Upgrade Check. Tyto zábradlí brání úplnému zaplnění /home , protože to způsobí, že služby zpracování dat, jako je Stargate, přestanou reagovat. Clustery, kde je více oddílů /home CVM 100% zaplněných, často vedou k výpadkům uživatelských virtuálních počítačů.
Při čištění nepoužívaných binárních souborů a starých protokolů na CVM je důležité poznamenat, že všechny oddíly uživatelských dat na každém disku spojeném s daným uzlem jsou také připojeny v /home. To je důvod, proč důrazně nedoporučujeme používat nezdokumentované příkazy jako rm -rf /home, protože to také vymaže adresáře uživatelských dat připojené v této cestě. Účelem tohoto článku je provést vás identifikací souborů, které způsobují, že CVM má málo volného místa, a odstranit pouze ty, které lze bezpečně odstranit.
Řešení
Poznámka: Nejnovější verze AOS obsahují vylepšení a opravy chyb navržené k optimalizaci využití /home prostoru. Abyste se vyhnuli potenciálním problémům, je důležité zajistit, aby byl váš AOS pravidelně aktualizován.
Všeobecné pokyny
- Kontrola využití místa v /home . Aby bylo možné vyhovět případnému upgradu AOS, využití by mělo být nižší než 70 %. Pomocí příkazu df -h ověřte množství volného místa v /home . V níže uvedeném příkladu je využití CVM xxx12 /home 81 %.
================== xxx11 =================
/dev/md2 40G 22G 18G 55% /home
================== xxx12 ==================
/dev/md2 40G 32G 7,4G 81 % /home
================== xxx13 ==================
/dev/md2 40G 24G 16G 61% /home
Chcete-li získat další rozpis použití v sestupném pořadí, použijte příkaz du -h s příznakem -d, abyste získali požadovanou úroveň dir. Například pod -d 2 znamená hledat ve dvou úrovních adresářů z /home/nutanix/data , navíc přidání head -n 15 zobrazí 15 nejlepších adresářů, které lze poté porovnat s jinými CVM, abyste viděli, kde přichází vysoké využití. z:
================== xx.xx.xx.11 =================
17G /home/nutanix/data
9.4G /home/nutanix/data/logs
4.6G /home/nutanix/data/installer/el7.*
4.6G /home/nutanix/data/installer
2.5G /home/nutanix/data/logs/sysstats
512M /home/nutanix/data/ncc/installer
================== xx.xx.xx.12 =================
18G /home/nutanix/data
9,5G /home/nutanix/data/logs
4.6G /home/nutanix/data/installer/el7.*
4.6G /home/nutanix/data/installer
3.0G /home/nutanix/data/logs/sysstats
610M /home/nutanix/data/logbay/taskdata
.
.
- Informace o oddílu CVM /home lze shromáždit pomocí příkazu logbay (NCC 4.0.0 a vyšší, Nutanix KB 6691 ).
- Čištění nepotřebných souborů v adresáři /home .
Pokud máte nějaké otevřené případy s nevyřízenou analýzou kořenových příčin, ověřte si u vlastníka případu, zda jsou tyto soubory protokolu stále vyžadovány nebo zda je lze zahodit.
Upozornění: Ujistěte se, že máte po ruce důležité poznámky uvedené v horní části článku znalostní báze (KB), než použijete jakákoli náhradní řešení.
Metoda 1: Použití schváleného skriptu
Stáhněte a spusťte KB-1540_clean_v12.sh pro vyčištění souborů ze schválených adresářů.
Poznámka: Tento skript NENÍ kvalifikován pro použití na virtuálním počítači Prism Central.
- Z libovolného CVM spusťte následující příkazy ke stažení KB-1540_clean_v12.sh :
(MD5:967eb7f5de91bb684f730eb4bb45a16d)
nutanix@cvm:~/tmp$ wget -O KB-1540_clean_v12.sh http://download.nutanix.com/kbattachments/1540/KB-1540_clean_v12.sh
nutanix@cvm:~/tmp$ md5sum KB-1540_clean_v12.sh
967eb7f5de91bb684f730eb4bb45a16d KB-1540_clean_v12.s
- Nasaďte skript do místního CVM nebo všech CVM v clusteru:
Vyberte balíček k nasazení
1 : Nasaďte nástroj pouze do místního CVM
2: Nasaďte nástroj do všech CVM v clusteru
Výběr (Cancel="c"): <==== 1 nebo 2
- Spusťte skript pro vymazání souborů ze schválených adresářů.
- Pomoc
- Interaktivní režim
- Neinteraktivní režim
Poznámka: Pokud výstup skriptu nebo jeho zbarvení vypadaly nesprávně, zkuste před spuštěním skriptu nastavit proměnnou prostředí nebo použijte volbu „--no_color“:
Interaktivní režim
Hlavní menu
|
Nabídka položek plánu
|
Neinteraktivní režim
Příkazy
|
Pokud je položka uvedena jako „pokyn“ ve sloupci Operace, můžete pokyny zobrazit spuštěním této položky.
Například:
┌──────────────────────────────└└──└─ — ────────── ────────┬───────────┬────────┐ │ Plány čištění: Dotyčné položky │ Provoz │ Použití │ ├───────────────────────────────└─—└─— ────────── ────────┼───────────┼────────┤ │ 5: Balíček protokolů (logbay) │odstranit │ 2.25G│ │10: Stažený instalační program │návod│ 824.00M│ │59: Možné ručně vytvořené soubory │pokyny│ 3.69G│ ├───────────────────────────────└─—└─— ────────── ────────┴───────────┼────────┤ │ Celkem │ 6,74 G│ ╞═════════════════════════════╕════╕════════╕══════ ══════════ ═══════════════════════╧════════╡ │CVM xxxx │ │ /domácí spotřeba = 30,99G (80%) >> doporučujeme čištění │ - ────────── ────────────────────────────────┘
Položky 10 a 59 jsou uvedeny jako "návod". Chcete-li zobrazit pokyny pro položku 10, spusťte ji zadáním „10“ v hlavní nabídce a zadáním „R“ na další obrazovce. Ukázkový výstup níže:
┌──────────────────────────────└└──└─ — ────────── ────────┬───────────┬───────────└── Plán úklidu ───────── - ───────┼── ─────────┼────────┤ │10: Stažený instalační │návod│ 824.00 M└└─ └└─ ───────── - ────────── ┴────────┘ Menu Plán 10 (Ukončit, Zpět, Nápověda, Znovu prohledat, Provoz, Seznam, Dryrun, Spustit, Exportovat): R Spustit provoz pro plán 10: "instrukce" Pro plán 10 je vyžadován ruční provoz -- Instrukce -- Tyto stažené instalační programy lze odstranit z "Upgrade Software" na Prism. Najděte sekci s "/home/nutanix/software_downloads/" na KB-1540 (http://portal.nutanix.com/kb/1540) Starší instalační soubory nemohou být uvedeny na Prism nebo ncli. Kontaktujte prosím podporu Nutanix, kdykoli budete potřebovat pomoc. ┌──────────────────────────────└└──└─ — ────────── ────────┬───────────┬───────────└── Plán úklidu ───────── - ───────┼── ─────────┼────────┤ │10: Stažený instalační │návod│ 824.00 M└└─ └└─ ───────── - ────────── ┴────────┘
Opakujte výše uvedený postup pro položku 59, abyste viděli pokyny pro položku 59.
- Čištění po odstranění závady
Očekává se, že stažené soubory skriptů, protokoly a exportované soubory budou odstraněny ručně po každém řešení potíží. Celková velikost těchto souborů by měla být malá a neovlivní souborový systém CVM. Jakmile se skript stane nepotřebným, můžete odstranit následující soubory.
<yymmdd-hhmmss> je datum a čas vytvoření.- V CVM, kde je nasazen skript KB ( /home/nutanix/tmp/ ):
KB-1540_clean.sh - soubor stažený z KB
deploytool_yyyymmdd-hhmmss.log – protokol skriptu nasazení (po nasazení není nutné)
nutanix_home_clean.py - hlavní skript KB
nutanix_home_clean_config.py - konfigurační soubor pro hlavní skript - Ve zbývajících CVM v clusteru – pokud jsou nasazeny do všech CVM v kroku 2:
nutanix_home_clean.py - hlavní skript KB
nutanix_home_clean_config.py - konfigurační soubor pro hlavní skript - Každý CVM, kde je spuštěn nutanix_home_clean.py:
KB-1540_v12_yyyymmdd_hhmmss_nutanix_home_clean.log – protokol skriptu KB
KB-1540_v12_yyyymmdd_hhmmss_export_*.csv – exportované soubory (pokud jsou exportovány)
Následující příkaz může odstranit všechny výše uvedené:
nutanix@cvm:~/tmp$ allssh 'cd ~/tmp/; /usr/bin/rm KB-1540* deploytool_*.log nutanix_home_clean.py nutanix_home_clean_config.py'
- V CVM, kde je nasazen skript KB ( /home/nutanix/tmp/ ):
Metoda 2: Ruční metoda
PROSÍM, PŘEČTĚTE SI : Pouze soubory v adresářích uvedených níže lze bezpečně odstranit. Všimněte si specifických pokynů pro odstraňování souborů z každého adresáře. K odstranění souborů nepoužívejte žádné jiné příkazy nebo skripty. Za žádných okolností nepoužívejte rm -rf .
- Odstranění starých protokolů a základních souborů. Odstraňte pouze soubory v následujících adresářích, nikoli adresáře samotné .
- /home/nutanix/data/cores/
- /home/nutanix/data/binary_logs/
- /home/nutanix/data/ncc/installer/
- /home/nutanix/data/log_collector/
- /home/nutanix/prism/webapps/console/downloads/NCC-logs-*
Pro mazání souborů v každém z těchto adresářů použijte následující syntaxi:
- Odstranění starých ISO a softwarových binárních souborů. Odstraňte pouze soubory v následujících adresářích, nikoli adresáře samotné .
Zkontrolujte aktuální spuštěnou verzi AOS v části "Verze clusteru":
Název clusteru: Axxxxa
Verze clusteru: 5.10.2
- /home/nutanix/software_uncompressed/ - Složka software_uncompressed se používá pouze v případě, že je spuštěna předupgrade a po úspěšné aktualizaci by měla být odstraněna. Pokud vidíte spuštěný klastr, který se aktuálně neupgraduje, je bezpečné odebrat vše v adresáři software_uncompressed. Odstraňte všechny staré verze kromě verze, na kterou upgradujete.
- /home/nutanix/foundation/isos/ - Staré ISO hypervizorů nebo Phoenix.
- /home/nutanix/foundation/tmp/ - Dočasné soubory, které lze smazat.
Pro mazání souborů v každém z těchto adresářů použijte následující syntaxi:nutanix@cvm:~$ /usr/bin/rm /home/nutanix/foundation/isos/* nutanix@cvm:~$ /usr/bin/rm /home/nutanix/foundation/tmp/*
- /home/nutanix/software_downloads/
Pokud soubory v adresáři software_downloads nejsou vyžadovány pro žádné plánované aktualizace, odeberte je z Prism Web Console > Nastavení > Upgrade softwaru . Zkontrolujte také záložky File Server , Hypervisor , NCC a Foundation a vyhledejte soubory ke stažení, které nepotřebujete. Níže uvedený příklad ilustruje dvě verze AOS dostupné pro upgrade, každá spotřebovává přibližně 5 GB. Kliknutím na 'X' soubory odstraníte.
Pokud je zaškrtnuto, zrušte zaškrtnutí možnosti „Povolit automatické stahování“. Cluster, který nebude monitorován, stáhne více verzí a zbytečně zabere místo v domovském adresáři.
- Znovu zkontrolujte využití místa v /home pomocí df -h (viz Obecné pokyny k tomuto článku), abyste potvrdili, že je nyní pod 70 %.
Poznámka: Pokud nejste schopni smazat soubory s následující chybou a místo není nárokováno, požádejte o pomoc podporu Nutanix .
==> Byly zjištěny systémové soubory:
/home/nutanix/data/software_uncompressed/xxx
Operace není povolena. Odstranění systémových souborů způsobí nestabilitu clusteru a potenciální ztrátu dat.
Důležité poznámky pro clustery NC2:
V některých případech clusterů NC2 bylo pozorováno, že /tmp se blíží úplnému zaplnění. Chcete-li vyčistit adresář ~/tmp, postupujte podle následujících kroků.
- SSH do postiženého CVM a zkontrolujte využití disku spuštěním příkazu "df -h":
nutanix@CVM:~$ df -h /tmp Použitá velikost souborového systému Dostupnost Využití % Připojeno /dev/loop0 240M 236M 0 100% /tmp
- Ve výše uvedeném výstupu vidíme, že /tmp ukazuje 100 %. Změňte adresář na ~/tmp a seřaďte seznam pomocí sudo du -aSxh /tmp/* | seřadit -h .
4.0K /tmp/hsperfdata_nutanix 12K /tmp/lost+found 23K /tmp/rc_nutanix_start.1731.log 39K /tmp/rc_nutanix_start.1734.log 78M /tmp/infra-gateway.ntnx64a-02a.m. .log.ERROR.20230123-201357.3575 78M /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.INFO.20230123-200932.3nt7.i0932.3nt7 54840c30b5e66-a -cvm.root.log.WARNING.20230123-201357.3575
- Z výstupu, který obdržíte výše, ručně odstraňte soubory větší než 12 kB. Viz například níže soubory odstraněné z výše uvedeného výstupu.
nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.WARNING.20230123-201357.3575M~$t sudo@C /usr/bin/rm /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.INFO.20230123-200932.3575 nutanix@CVM:~/tmp$ sudo /usr/bin/r .ntnx-i-02a754840c30b5e66-a-cvm.root.log.ERROR.20230123-201357.3575 nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp@rc_7nutanix_nutanix_start. $ sudo /usr/bin/rm /tmp/rc_nutanix_start.1731.log
- Po smazání můžete zkontrolovat dostupné volné místo pomocí df -h :
nutanix@CVM:~/tmp$ df -h /tmp Použitá velikost souborového systému Dostupnost Využití % Připojeno /dev/loop0 240M 14M 210M 6% /tmp
- Jak můžete vidět, dostupné volné místo nyní ukazuje 6 %. Další kontrolu můžete provést pomocí:
nutanix@CVM:~$ ncc health_checks hardwarové_kontroly disk_checks disk_usage_check --cvm_list=
nebonutanix@CVM:~$ ncc health_checks run_all
Pokud je použití /home po vyčištění souborů ze schválených adresářů stále nad prahovou hodnotou, obraťte se na podporu Nutanix . Za žádných okolností byste neměli odstraňovat soubory z jiných adresářů kromě těch, které doporučuje tento článek, protože mohou být kritické pro výkon CVM nebo mohou obsahovat uživatelská data.