Tento článek byl přeložen automatem, původní anglickou verzi zobrazíte kliknutím sem.
Popis
Kontrola stavu NCC pcvm_disk_usage_check ověřuje, že množství využití disku nebo systémového oddílu ve virtuálním počítači Prism Central (PC) je v rámci limitů.
Tato kontrola má následující části:
- Kontrola využití jednotlivých datových disků (přidáno v NCC 3.5.1):
- Pokud je využití více než 75 % po několik hodin, vrátí se VAROVÁNÍ k identifikaci disku.
- Pokud je využití více než 90 % po několik hodin, je vráceno FAIL k identifikaci disku.
- Kontrola celkového využití datového disku (přidáno v NCC 3.10.1):
- Pokud je celkové využití více než 90 % po několik hodin, vrátí se VAROVÁNÍ.
- Kontrola využití kořenového oddílu systému Prism Central VM (přidáno v NCC 3.9.4). Vrátí pouze zprávu FAIL, pokud využití oddílu překročí 95 %.
- Kontrola využití domácího oddílu VM Prism Central (přidáno v NCC 3.9.4):
- Pokud je využití více než 75 %, vrátí se VAROVÁNÍ.
- Pokud je využití více než 90 %, vrátí se FAIL.
- Kontrola využití oddílu Prism Central VM CMSP (přidáno v NCC 3.10.1):
- Pokud je využití více než 75 %, vrátí se VAROVÁNÍ.
- Pokud je využití více než 90 %, vrátí se FAIL.
- Kontrola využití diskového oddílu Prism Central VM Upgrade (přidáno v NCC 4.6.0):
- Pokud je využití více než 70 %, je vráceno FAIL.
- Tato kontrola probíhá každých 5 minut.
- Pokud dojde k více než 5 selháním (30 minut), spustí se kritické upozornění.
Poznámka : Pokud používáte LCM-2.6 nebo LCM-2.6.0.1, shromažďování protokolů LCM zaplní adresář /home viz KB-14671 pro řešení.
Spuštění kontroly NCC
Spusťte kontrolu NCC jako součást kompletních kontrol stavu NCC.
Klikněte zde k zobrazení podrobných informací níže:
nutanix@pcvm$ ncc health_checks run_all
Nebo spusťte kontrolu pcvm_disk_usage_check samostatně.
nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Kontroly můžete také spustit ze stránky Prism Web Console Health: vyberte Akce > Spustit kontroly . Vyberte Všechny kontroly a klikněte na Spustit .
Tato kontrola se standardně spouští každých 5 minut.
Tato kontrola vygeneruje výstrahu po 5 po sobě jdoucích selháních v naplánovaných intervalech.
Ukázkové výstupy
Pro stav: PASS
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ PASS ] -------------------------------------------------------------------------------+ +---------------+ | State | Count | +---------------+ | Pass | 1 | | Total | 1 | +---------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Pro stav: WARN (na datovém disku virtuálního počítače Prism Central, např. /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds warning limit 75 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Pro stav: WARN (na Prism Central VM celkově MultiVDisk)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx overall MultiVDisk usage exceeds warning limit of 2321329924 KB. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Pro stav: FAIL (na datovém disku virtuálního počítače Prism Central, např. /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds critical limit 90 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Pro stav: FAIL (na kořenovém oddílu, tj. /)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: PC VM root partition xxxx disk usage exceeds critical limit 95 % for disks: 97%. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------+ | State | Count | +-----------------+ | Fail | 1 | | Total | 1 | +-----------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Pro stav: WARN (na domovském oddílu virtuálního počítače Prism Central, tj. /home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds warning limit 75 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Pro stav: FAIL (na domovském oddílu VM Prism Central, tj. /home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds critical limit 90 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Pro stav: WARN (na oddílu Prism Central VM CMSP, tj. /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Platform disk space usage in Prism Central VM xxxx exceeds 75% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Pro stav: FAIL (na oddílu Prism Central VM CMSP, tj. /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx : FAIL: Platform disk space usage in Prism Central VM xxxx exceeds 90% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Pro stav: FAIL (na Prism Central VM upgrade oddílu disku, tj. /home/nutanix/upgrade)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: Prism Central VM xxxx upgrade disk usage exceeds critical limit 70 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Poznámka: Všechny příkazy v tomto článku, které se mají spustit na počítači, předpokládají, že se přihlásíte k virtuálnímu počítači PC přes SSH.
Kontrola využití disku v PC VM
Následuje příklad, jak zkontrolovat využití disku na virtuálním počítači PC.
Klikněte zde pro zobrazení níže uvedeného příkladu:
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on /dev/sdb1 9.8G 7.2G 2.2G 78% / devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 16K 7.9G 1% /dev/shm tmpfs 7.9G 428K 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb3 40G 4.4G 35G 12% /home /dev/sdc1 493G 431G 57G 69% /home/nutanix/data/stargate-storage/disks/NFS_1_0_450_823394be_0c7b_4f18_8335_71bae1bc6c82 tmpfs 1.6G 0 1.6G 0% /run/user/1000
Oddíl pro upgrade disku by se zobrazil podobně jako:
/dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade
Výstupní zprávy
Zkontrolujte ID
|
101059 |
Popis
|
Zkontrolujte, zda je využití místa na disku na virtuálním počítači Prism Central v rámci limitů. |
Příčiny neúspěchu
|
Vysoké využití disku ve virtuálním počítači Prism Central. |
Usnesení
|
Další podrobnosti naleznete v KB 5228. |
Dopad
|
VM Prism Central může dojít k nedostatku úložného prostoru pro uložení dat. |
ID upozornění
|
A101059 |
Název upozornění
|
Vysoké využití disku VM Prism Central |
Výstražná zpráva
|
Využití disku IP VM Prism Central překračuje limit upozornění x % pro disky: disky .
Prism Central VM IP celkové využití MultiVDisk překračuje limit varování 2321329924 KB
Využití disku IP VM Prism Central překračuje kritický limit x % pro disky: disky . |
Zkontrolujte ID
|
200316 |
Popis
|
Kontroluje, zda je využití kořenového oddílu systému Prism Central v mezích, aby byla zajištěna nepřerušovaná operace. |
Příčiny neúspěchu
|
Zvýšené využití kořenového oddílu systému Prism Central VM kvůli nadměrnému protokolování nebo nedokončené údržbě. |
Usnesení
|
Snižte využití kořenového oddílu systému Prism Central VM odstraněním všech známých dočasných nebo nepotřebných souborů. Další podrobnosti naleznete v KB 5228. |
Dopad
|
Pokud je kořenový oddíl systému Prism Central VM vysoce využíván, mohou být ovlivněny určité operace údržby, jako jsou upgrady. Pokud je kořenový oddíl systému Prism Central VM využit na 100 %, služby se mohou zastavit a ovlivnit funkce správy clusteru Prism Central. |
ID upozornění
|
A200316 |
Název upozornění
|
Využití prostoru kořenového oddílu centrálního virtuálního počítače Prism Vysoká
|
Výstražná zpráva
|
Využití místa na disku pro kořenový oddíl mount_path na entitě - ip_address překročila prahovou hodnotu %. |
Zkontrolujte ID
|
200317 |
Popis
|
Kontroluje, zda je využití domácího oddílu Prism Central v mezích, aby byl zajištěn nepřerušovaný provoz. |
Příčiny neúspěchu
|
Zvýšené využití domácího oddílu Prism Central VM kvůli nadměrnému protokolování nebo nedokončené údržbě. |
Usnesení
|
Snižte využití domácího oddílu Prism Central VM odstraněním všech známých dočasných nebo nepotřebných souborů. Další podrobnosti naleznete v KB 5228. |
Dopad
|
Pokud je domácí oddíl Prism Central VM vysoce využíván, mohou být ovlivněny určité operace údržby, jako jsou upgrady. Pokud je domácí oddíl Prism Central VM využit na 100 %, mohou se služby zastavit a ovlivnit dostupnost úložiště clusteru. |
ID upozornění
|
A200317 |
Název upozornění
|
Vysoké využití disku domácího oddílu VM Prism Central |
Výstražná zpráva
|
Využití disku domácího oddílu IP Prism Central VM překračuje limit varování x %.
Využití disku domácího oddílu IP Prism Central VM překračuje kritický limit x %. |
Zkontrolujte ID
|
200328 |
Popis
|
Zkontrolujte, zda je využití místa na disku platformy na virtuálním počítači Prism Central v rámci limitů. |
Příčiny neúspěchu
|
Vysoké využití disku ve virtuálním počítači Prism Central. |
Usnesení
|
Další podrobnosti naleznete v KB 5228. |
Dopad
|
VM Prism Central může dojít k nedostatku úložného prostoru pro uložení dat. |
ID upozornění
|
A200328 |
Název upozornění
|
Vysoké využití místa na disku platformy Prism Central VM |
Upozornění Smart Title
|
Vysoké využití místa na disku platformy Prism Central VM svm_ip |
Výstražná zpráva
|
Využití místa na disku platformy v Prism Central VM svm_ip překračuje procento_exceed % pro disky: disk_paths . |
Zkontrolujte ID
|
200334 |
Popis
|
Kontroluje, zda je využití upgradovacího disku Prism Central v mezích, aby byla zajištěna nepřerušovaná operace upgradu. |
Příčiny neúspěchu
|
Zvýšené využití disku upgradu virtuálního počítače Prism Central díky přítomnosti více souborů instalačního programu Prism Central |
Usnesení
|
Snižte využití oddílu aktualizace Prism Central VM odstraněním souborů Prism Central Installer, které nejsou potřeba. Další podrobnosti naleznete v KB 5228. |
Dopad
|
Pokud je upgrade disk Prism Central VM vysoce využíván, pak by upgrade Prism Central selhal kvůli nedostatku místa na disku pro upgrade. |
ID upozornění
|
A200334 |
Název upozornění
|
Využití disku upgradu virtuálního počítače Prism Central |
Výstražná zpráva
|
Využití disku upgradu Prism Central VM <IP> překračuje kritický limit x % |
Scénáře, které spouštějí kontrolu pcvm_disk_usage Warn/Fail na oddílu /home
Klikněte zde pro zobrazení podrobných informací v tomto kroku:
Scénář 1
Adresář /home na dlouho spuštěných instancích PC může dosáhnout téměř svého maximálního limitu, protože starší kód Prism není vyčištěn:
nutanix@pcvm$ cat ~/config/upgrade.history Thu, 17 Dec 2020 08:51:43 el7.3-release-euphrates-5.19-stable-b2ab98294375c3f24f4d813b83ffcb43d85ebcc1 Tue, 19 Jan 2021 11:53:43 el7.3-release-euphrates-5.19-stable-aadf03fd084cb00f0414f84549b7ebbe9691a984 Wed, 24 Feb 2021 08:53:13 el7.3-release-euphrates-5.19-stable-ddf5fcc232b693ae965280668b10d0337ce99281 Mon, 19 Apr 2021 07:03:39 el7.3-release-euphrates-5.19-stable-6d6cec7de63c8fd117eeb59162031d03c2faf548 Mon, 26 Apr 2021 07:00:07 el7.3-release-euphrates-5.19-stable-3927829dad6a930e67f2f4a47e752df5a8f6c64d Tue, 01 Jun 2021 10:15:14 el7.3-release-euphrates-5.19-stable-db974bded2c0cd1037288ca7aa9aef6f5e441222 Mon, 14 Jun 2021 09:47:29 el7.3-release-fraser-6.0-stable-a48467616ee7c603e3cee3174779cf24bea227cb Thu, 01 Jul 2021 11:52:24 el7.3-release-fraser-6.0-stable-0601c1f41bad35bf4afe05da443947d34927c6ae Thu, 05 Aug 2021 09:16:28 el7.3-release-fraser-6.0-stable-b9dbe4a0b0876cffa23d268d8ddc7f272fa4a166 Wed, 01 Sep 2021 07:44:46 el7.3-release-fraser-6.0-stable-f948d198de58b1b1e511431dbef0b34d20c82739 nutanix@pcvm$ sudo du -sh /home/apache/ www /console/el7.3-release-* 304M el7.3-release-euphrates-5.18.1.1-stable-4546d2908cb8495b316deb45de63b7f5e52541a1 541M el7.3-release-euphrates-5.18.1.2-stable-b1b096696c0c034570545912a00d39746e901f36 675M el7.3-release-euphrates-5.19.1.5-stable-0f9e00f661436fef1af18a094089744f34ccd8c0 1.1G el7.3-release-euphrates-5.19.1.6-stable-a1bbd4f054f86b9d445bf2153b93c5d8d920cff7 629M el7.3-release-euphrates-5.19.1-stable-6edca74801c9db2ff2003780084bb12aa6aa29f4 694M el7.3-release-euphrates-5.19.2-stable-8e7da6324cbe5c34564ec51615b10a7737c6782a 1.1G el7.3-release-euphrates-5.19-stable-5282152e02f3ede70f0957217a62dc436c60b454 329M el7.3-release-euphrates-5.20.1.1-stable-726ea8f7dc4bca156d3e3f63cd7982eecb70c8cb 2.1G el7.3-release-fraser-6.0.1.1-stable-d9f94c47b63e3eb4179dd7a6e16202d5856581a6
Problém byl vyřešen a opraven ve vydáních: pc.2022.1, pc.2022.4, pc.2021.9.0.5 a novějších. Další podrobnosti a řešení naleznete v příslušné části řešení.
Odstranění starších protokolů sysstats
Pokud jste zkontrolovali všechna obvyklá místa, ale stále potřebujete vyčistit místo, můžete získat povolení zákazníka k odstranění starších protokolů sysstats. Než budete pokračovat, zkontrolujte, zda neexistují žádné otevřené případy podpory s nevyřízenými RCA, protože tato data možná ještě nebyla shromážděna.
nutanix@pcvm:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@pcvm:~$
Scénář 2
Protokoly Hyperkube (protokoly kubletů) se po povolení CMSP / mikroslužeb na Prism Central nevyčišťují.
Pokud byly Cluster Maintenance Utilities (CMU) aktualizovány na verzi 2.0.3 pomocí LCM, v zahrnuté verzi Scavenger chybí schopnost vyčistit určité protokoly související s mikroslužbami CMSP. V důsledku tohoto problému mohou uživatelé zjistit, že se služby Prism Central nespouštějí nebo že se nemohou přihlásit do uživatelského rozhraní PC. Tento problém nejprve zaplní adresář /home/nutanix/data/sys-storage/NFS_.../ a poté začnou protokoly kubelet zaplňovat kořenový oddíl ve složce /tmp.
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 34G 0 34G 0% /dev tmpfs 34G 52K 34G 1% /dev/shm tmpfs 34G 3.4M 34G 1% /run tmpfs 34G 0 34G 0% /sys/fs/cgroup /dev/sdb2 9.8G 9.8G 0G 100% / /dev/sdb3 50G 33G 16G 68% /home tmpfs 6.7G 0 6.7G 0% /run/user/1000 /dev/sdf1 2.5T 21G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977956_4f2835fa_ab29_41c5_9110_483bff268ca0 /dev/sdg1 2.5T 13G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977958_10aa3f76_65a5_4fa6_8c88_7c70a4504f29 /dev/sde1 2.5T 20G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977954_df3a5816_b14b_4098_9b58_d90d670781a1 /dev/sdc1 2.5T 12G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977948_1bd3cd0d_de69_4a98_a18d_6049945e261b /dev/sdd 98G 88G 5.4G 100% /home/nutanix/data/kafka/disks/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c
Můžeme zjistit, že se logy hyperkube.ntnx * generují a netočí správně, když je povoleno CMSP. Zkontrolujte, zda adresář /home/nutanix/data/sys-storage/NFS.../kubelet/ není příliš zaplněn těmito protokoly.
nutanix@pcvm:~$ du -hsx /home/nutanix/data/sys-storage/NFS*/kubelet/ 97.0G /home/nutanix/data/sys-storage/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c/kubelet/ nutanix@pcvm:~$ ls -l /home/nutanix/data/sys-storage/NFS_4_0_7036_6578653c_8a38_4af8_9649_42e7939f3656/kubelet/kubelet* | wc -l 98
Při správné práci bychom měli vidět méně než 10G použitých v této složce kubelet a počet souborů pro kubelet* by byl menší než ~15
Můžeme navíc vidět, že podobné kubelet logy zaplňují místo v /tmp po vyčerpání místa v adresáři /home/nutanix/data/sys-storage/NFS....
nutanix@pcvm:~$ sudo du -hsx /tmp 2.8G /tmp nutanix@pcvm:~/tmp$ sudo ls -larth /tmp/ total 2.8G ***truncated*** -rw-r--r--. 1 root root 109K Jun 23 05:49 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-054920.15123 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055012.17214 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055011.17214 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055038.18217 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055038.18217 -rw-r--r--. 1 root root 109K Jun 23 05:51 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055106.19499 -rw-r--r--. 1 root root 1.8G Jun 24 03:20 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055151.21218 -rw-r--r--. 1 root root 60K Jun 24 15:06 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230623-055155.21218 -rw-r--r--. 1 root root 5.8M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055152.21218 -rw-r--r--. 1 root root 990M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-032057.21218 -rw-r--r--. 1 root root 103K Jun 24 23:59 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-235940.170513 -rw-r--r--. 1 root root 3.3K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-000123.175052 -rw-r--r--. 1 root root 6.7K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-000120.175052 -rw-r--r--. 1 root root 2.8M Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-000120.175052 lrwxrwxrwx. 1 root root 67 Jun 25 04:01 kubelet.INFO -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 lrwxrwxrwx. 1 root root 70 Jun 25 04:01 kubelet.WARNING -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 lrwxrwxrwx. 1 root root 68 Jun 25 04:01 kubelet.ERROR -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 25K Jun 25 04:02 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 38K Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 -rw-r--r--. 1 root root 6.0M Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 -rw-------. 1 nutanix nutanix 0 Jun 26 08:37 .nstat.u1000 -rw-r-----. 1 nutanix nutanix 0 Jun 26 08:38 lcm_metrics_uploader_lock -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 lazan_pc_greenlet_stack_dump -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 uhura_greenlet_stack_dump drwxr-xr-x. 19 root root 4.0K Jun 26 08:44 .. drwx------. 2 nutanix nutanix 4.0K Jun 26 09:24 hsperfdata_nutanix drwxrwxrwt. 14 root root 4.0K Jun 26 09:35 .
Scénář 3
Starting PC.2022.6 - je vytvořen a připojen vyhrazený 30GB disk pro upgrade PC. Tento Vdisk bude použit pro stahování a extrahování binárních souborů aktualizace z po sobě jdoucích aktualizací. Pokud je upgrade disk Prism Central VM vysoce využíván, pak by upgrade Prism Central selhal kvůli nedostatku místa na disku pro upgrade.
nutanix@NTNX-PCVM:$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 13G 0 13G 0% /dev tmpfs 13G 40K 13G 1% /dev/shm tmpfs 13G 2.6M 13G 1% /run tmpfs 13G 0 13G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.2G 2.5G 75% / /dev/sdb3 50G 14G 36G 28% /home /dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade /dev/sdc1 492G 147M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_271_960db4d2_45e7_4ef7_92bd_bdcd7e0b6aaf tmpfs 2.6G 0 2.6G 0% /run/user/1000
Poznámka : V případě, že je na Prism Central povoleno několik služeb, jako je msp, karbon, klid, tok a objekty, vidíme, že využití /home bude vysoké, protože každá ze služeb bude generovat několik protokolů a konfiguračních souborů. Inženýři společnosti Nutanix neustále pracují na zlepšení domácího použití. Pokud žádný z výše uvedených scénářů neodpovídá a to ovlivní upgrade Prism Central, zapojte tým podpory Nutanix , aby vám pomohl ručně vyčistit /home oříznutím protokolů.
Scénář 4
Kvůli problému s rotací souborů protokolu je využití adresáře protokolů Adonis vysoké. Využití tohoto adresáře protokolu by nemělo přesáhnout 1G. U nasazení Scale-Out Prism Central zkontrolujte využití souborů na každém z virtuálních počítačů Prism Central:
nutanix@pcvm:~/data/logs$ sudo du -h /home/nutanix/adonis/logs 6.1G /home/nutanix/adonis/logs/access 19G /home/nutanix
Scénář 5
V určitých případech může catalina.out spotřebovat velké množství místa na virtuálním počítači Prism Central.
SSH do Prism Central a zkontrolujte, zda /home/nutanix/data/logs/catalina.out spotřebovává obrovské množství místa:
nutanix@PCVM:~$ allssh du -h /home/nutanix/data/logs/catalina.out
Scénář 6
U PC 2022.9 a vyšší je patrné, že vysoké využití inodů v PCVM způsobuje vysoké využití kořenového oddílu
SSH do prism central a spusťte následující příkazy, abyste ověřili použití inodů:
nutanix@PCVM:~$ allssh df -i /
Řešení
Pokud kontrola hlásí stav WARN nebo FAIL, využití disku je nad prahovou hodnotou a vyžaduje prošetření. Obecně lze využití prostoru dotazovat pomocí df -h . Níže uvedený výstup ukazuje body připojení následovně:
- /dev/sdb1 je kořenový oddíl
- /dev/sdb3 je domácí oddíl
- /dev/sdc1 je oddíl datového disku
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 44K 7.9G 1% /dev/shm tmpfs 7.9G 6.1M 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.4G 2.3G 77% / /dev/sdb3 50G 8.5G 41G 18% /home /dev/sdc1 492G 150M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_267_5a298323_3c9f_4a6f_a265_10c4c1e6593e tmpfs 1.6G 0 1.6G 0% /run/user/1000 /dev/sde 98G 401M 93G 1% /home/nutanix/data/sys-storage/NFS_1_0_264_1f5cda9a_2b3f_4f49_b348_baeb0ae338b8 tmpfs 1.6G 0 1.6G 0% /run/user/0
Využití datového disku ( /dev/sdXX ) nebo celkové využití multivdisk :
Ověřte, že počet virtuálních počítačů podporovaných pro konkrétní velikost Prism Central je v rámci limitu (limity naleznete v příručce Prism Central pro vaši verzi na portálu podpory ). Kontaktujte podporu Nutanix . Při otevírání podpůrného pouzdra připojte k pouzdru výstup následujících příkazů.
nutanix@pcvm$ allssh df -h nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Domovský oddíl Prism Central VM ( /home ):
Zkontrolujte výstup NCC a zjistěte, který virtuální počítač Prism Central má vysoké využití, a poté proveďte následující:
- Přihlaste se k virtuálnímu počítači Prism Central.
- Pomocí příkazu cd změňte umístění na oddíl /home.
- Vypište obsah adresáře podle velikosti pomocí příkazu níže:
nutanix@pcvm$ ls -al | sort -k5,5nr
Zkontrolujte výstup, zda neobsahuje velké nepoužité soubory, které lze odstranit.
- Spuštěním příkazu du níže zobrazíte seznam použití každého souboru a podadresáře:
nutanix@pcvm$ sudo du -skxh * | sort -h
Prozkoumejte výstup velkých podadresářů. Můžete spustit příkaz du pro každý dotyčný podadresář a dále identifikovat velké nepoužívané soubory, které lze odstranit.
- Níže jsou uvedeny některé běžné podadresáře /home , kde pravděpodobně existují velké nepoužívané soubory:
- /home/nutanix/software_downloads/ - smažte všechny staré verze kromě verzí, které právě aktualizujete.
- /home/nutanix/software_uncompressed/ - smaže všechny staré verze kromě verzí, které právě aktualizujete.
- /home/nutanix/data/cores - odstraní staré stopy zásobníku, které již nejsou potřeba.
- /home/nutanix/data/log_collector/ - smažte staré protokoly NCC pomocí formátu NCC-logs-2018-07-20-11111111111111-1032057545.tar.
- /home/nutanix/foundation/isos/ - staré ISO.
- /home/nutanix/foundation/tmp/ - dočasné soubory, které lze smazat.
Pokud výše uvedené kroky problém nevyřeší nebo pokud problém odpovídá jednomu ze scénářů uvedených výše v tomto článku, postupujte podle kroků řešení uvedených níže.
Oddíl kořenového systému VM Prism Central ( / ) nebo oddíl CMSP ( /dev/sdXX ):
Zvažte zapojení podpory Nutanix . Shromážděte výstup níže uvedených příkazů a připojte jej k podpůrnému pouzdru:
nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 / 2>/dev/null nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Scénář 1
Klikněte zde pro zobrazení podrobných informací v tomto scénáři:
Problém byl vyřešen a opraven ve vydáních: pc.2022.1, pc.2022.4, pc.2021.9.0.5 a novějších.
Jako zástupné řešení odeberte adresáře, které nemají registrované clustery s odpovídající verzí.
- Najděte verze AOS všech registrovaných odborníků na služby. Můžete tak učinit z Prism Central > Hardware > Clustery > sloupec Verze AOS.
- Seznam adresářů konzoly PE apache na adrese /home/apache/ www /console/
nutanix@pcvm$ sudo ls -lrth /home/apache/ www /console/el7.3-release-*
- Pokud jsou přítomny nějaké adresáře konzoly PE apache, které neodpovídají registrovaným verzím PE, mělo by být bezpečné je vyčistit.
Pokud potřebujete další pomoc s čištěním, zvažte zapojení podpory Nutanix . Shromážděte výstup níže uvedených příkazů a připojte jej k podpůrnému pouzdru:
nutanix@pcvm$ ncli cluster info nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 /home/apache/ www 2>/dev/null nutanix@pcvm$ cat ~/config/upgrade.history nutanix@pcvm$ ls -lrth /home/apache/ www /console/el7.3-release-* nutanix@pcvm$ du -sh /home/apache/ www /console/el7.3-release-*
Odstranění starších protokolů sysstats
Pokud jste zkontrolovali všechna obvyklá místa, ale stále potřebujete vyčistit místo, můžete získat povolení zákazníka k odstranění starších protokolů sysstats. Než budete pokračovat, zkontrolujte, zda neexistují žádné otevřené případy podpory s nevyřízenými RCA, protože tato data možná ještě nebyla shromážděna.
nutanix@PCVM:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@PCVM:~$
Následující příkaz můžete použít k odstranění gzipovaných protokolů sysstats starších než určité datum. V níže uvedeném příkladu odeberete protokoly sysstats ze všech PCVM, které jsou starší než 3 dny (nebo 4320 minut).
nutanix@PCVM:~$ allssh "find ~/data/logs/sysstats -name '*.gz' -mmin +4320 -type f -exec rm '{}' +"
Scénář 2
Pokud vaše instance Prism Central odpovídá tomuto scénáři, podívejte se na KB-12707 Scénář č. 2 a otevřete případ s podporou Nutanix , kde vám pomůže zotavit se z problému.
Scénář 3
Klikněte zde pro zobrazení podrobných informací v tomto scénáři:
Nárůst využití virtuálního počítače Prism Central, využití disku upgradu, je způsoben několika soubory instalačního programu Prism Central. Snižte využití oddílu aktualizace Prism Central VM odstraněním souborů Prism Central Installer, které nejsou potřeba.
Tento oddíl /home/nutanix/upgrade je navržen tak, aby obsahoval soubory související s upgradem. Takže jakýkoli jiný soubor v tomto adresáři může být smazán.
Využití oddílu, jak je uvedeno v
df -h :
/dev/sde 30G 26G 4.1G 87%/home/nutanix/upgrade
Chcete-li zkontrolovat obsah disku:
allssh "ls -latr /home/nutanix/upgrade/"
Chcete-li odstranit nežádoucí soubory, použijte následující příkaz:
rm -f /home/nutanix/upgrade/<file_to_be_removed>
Poznámka: Pokud omylem smažete aktualizaci Prism Central v této složce, přihlaste se do Prism Central prostřednictvím webového prohlížeče, přejděte do Nastavení Prism Central --> Upgrade Prism Central --> Klikněte na „X“ vedle aktualizace softwaru a Znovu si stáhněte balíček.
Scénář 4
Nutanix si je tohoto problému vědom. Oprava tohoto problému bude k dispozici v budoucí PC verzi. Chcete-li to obejít, zapojte podporu Nutanix .
Scénář 5
Pokud vidíte, že soubor protokolu catalina.out zabírá hodně místa, použijte následující příkaz k restartování služby hranolu na PCVM.
Klikněte zde pro zobrazení podrobných informací v tomto scénáři:
nutanix@PCVM:~$ genesis stop prism; cluster start
V některých vzácných případech soubor catalina.out automaticky neuvolní místo poté, co se vodicí lišta hranolu převalí. Chcete-li to vyřešit, ručně vynulujte soubor protokolu catalina.out poté, co se vodicí prvek hranolu převalí:
nutanix@PCVM:~$ echo "" > ~/data/logs/catalina.out
U PCVM s jednou instancí proveďte tuto změnu při zastavené službě hranolu a poté spusťte spuštění clusteru.
Scénář 6
Postupujte podle KB-6082 a vymažte využití inodů.
Související články