Alleen AOS - Wat te doen als een Home Partition of Home Nutanix Directory op een Controller VM (CVM) vol is
Alleen AOS - Wat te doen als een Home Partition of Home Nutanix Directory op een Controller VM (CVM) vol is
Alleen AOS - Wat te doen als een Home Partition of Home Nutanix Directory op een Controller VM (CVM) vol is
Beschrijving
Belangrijke opmerkingen:
- Gebruik deze KB of het opschoonscript niet als de /home-partitie de limiet op een Prism Central VM (PCVM) overschrijdt. Raadpleeg KB 5228 voor het PCVM-probleem.
- Meld u aan bij de CVM's als Nutanix- gebruiker
- Behandel de Nutanix CVM (Controller VM) niet als een normale Linux-machine.
- Gebruik rm -rf onder geen enkele omstandigheid, tenzij anders aangegeven. Het zal leiden tot dataverliesscenario's.
- Als u LCM-2.6 of LCM-2.6.0.1 gebruikt, vult de LCM-logboekverzameling de map /home. Raadpleeg KB 14671 voor een tijdelijke oplossing.
- Als u de melding /home partitiegebruik hoog krijgt op een cluster waarop NCC 4.0.0 wordt uitgevoerd, controleer dan ook KB 10530 .
- U kunt de specifieke clusters die door deze waarschuwing worden beïnvloed, bekijken via de ontdekkingen op de Support Portal die wordt aangestuurd door Nutanix Insights hier
- Neem contact op met Nutanix Support als u twijfels heeft.
Een volle CVM /home-partitie of /home/nutanix-map kan in twee scenario's worden gemeld:
- De NCC-statuscontrole disk_usage_check meldt dat het gebruik van de /home-partitie boven de drempelwaarde ligt (standaard 75%).
- De pre-upgrade controle test_nutanix_partition_space controleert of alle knooppunten minimaal 5,6 GB aan ruimte hebben in de map /home/nutanix.
De volgende foutmeldingen worden in Prism gegenereerd door de pre-upgrade controle test_nutanix_partition_space :
Nutanix reserveert ruimte op de SSD-laag van elke CVM voor zijn bestanden en mappen. Deze bestanden en mappen bevinden zich in de map /home die u ziet wanneer u inlogt op een CVM. De grootte van de map /home is beperkt tot 40 GB, zodat het grootste deel van de ruimte op de SSD beschikbaar is voor gebruikersgegevens.
Vanwege de beperkte grootte van de /home- partitie is het mogelijk dat er te weinig vrije ruimte is en Prism Alerts, NCC Health Check-fouten of -waarschuwingen of Pre-Upgrade Check-fouten worden geactiveerd. Deze guardrails zijn er om te voorkomen dat /home helemaal vol raakt, omdat dit ervoor zorgt dat gegevensverwerkingsservices zoals Stargate niet meer reageren. Clusters waarbij de /home -partities van meerdere CVM's 100% vol zijn, resulteren vaak in downtime van gebruikers-VM's.
Bij het opschonen van ongebruikte binaire bestanden en oude logs op een CVM is het belangrijk om op te merken dat alle gebruikersdatapartities op elke schijf die is gekoppeld aan een bepaald knooppunt ook zijn gemount in /home. Daarom raden we ten zeerste af om ongedocumenteerde opdrachten zoals rm -rf /home te gebruiken, omdat dit ook de gebruikersdatadirectory's wist die in dit pad zijn gemount. Het doel van dit artikel is om u te begeleiden bij het identificeren van de bestanden die ervoor zorgen dat de CVM weinig vrije ruimte heeft en alleen de bestanden te verwijderen die veilig kunnen worden verwijderd.
Oplossing
Let op: De nieuwste versies van AOS bevatten verbeteringen en bugfixes die zijn ontworpen om het gebruik van /home-ruimte te optimaliseren. Om mogelijke problemen in de toekomst te voorkomen, is het cruciaal om ervoor te zorgen dat uw AOS regelmatig wordt bijgewerkt.
Algemene richtlijnen
- Het ruimtegebruik in /home controleren. Om een mogelijke AOS-upgrade mogelijk te maken, moet het gebruik onder de 70% liggen. Gebruik de opdracht df -h om de hoeveelheid vrije ruimte in /home te controleren. In het onderstaande voorbeeld is het CVM xxx12 /home -gebruik 81%.
================== xxx11 =================
/dev/md2 40G 22G 18G 55% /home
================== xxx12 =================
/dev/md2 40G 32G 7.4G 81% /home
================== xxx13 =================
/dev/md2 40G 24G 16G 61% /home
Om een verdere uitsplitsing van het gebruik in aflopende volgorde te verkrijgen, gebruikt u de opdracht du -h met de vlag -d om het gewenste dir-niveau te verkrijgen. Bijvoorbeeld, hieronder betekent -d 2 dat u in twee directoryniveaus kijkt vanaf /home/nutanix/data , daarnaast zal het toevoegen van head -n 15 de bovenste 15 directory's weergeven die vervolgens kunnen worden vergeleken met andere CVM's om te zien waar het hoge gebruik vandaan komt:
================== xx.xx.xx.11 =================
17G /home/nutanix/gegevens
9.4G /home/nutanix/data/logs
4.6G /home/nutanix/data/installer/el7.*
4.6G /home/nutanix/data/installatieprogramma
2.5G /home/nutanix/data/logs/sysstats
512M /home/nutanix/data/ncc/installer
================== xx.xx.xx.12 =================
18G /home/nutanix/gegevens
9.5G /home/nutanix/data/logs
4.6G /home/nutanix/data/installer/el7.*
4.6G /home/nutanix/data/installatieprogramma
3.0G /home/nutanix/data/logs/sysstats
610M /home/nutanix/data/logbay/taakgegevens
.
.
- Informatie over de CVM /home-partitie kan worden verzameld met de opdracht logbay (NCC 4.0.0 en hoger, Nutanix KB 6691 ).
- Onnodige bestanden in de map /home opschonen.
Als u nog openstaande cases hebt waarvoor een root cause-analyse in behandeling is, neem dan contact op met de eigenaar van de case om te controleren of deze logbestanden nog steeds nodig zijn of kunnen worden verwijderd.
Waarschuwingen: Zorg ervoor dat u de belangrijke opmerkingen die boven aan het Knowledge Base (KB)-artikel worden genoemd, bij de hand hebt voordat u tijdelijke oplossingen toepast
Methode 1: Gebruik van goedgekeurd script
Download en voer KB-1540_clean_v12.sh uit om bestanden uit goedgekeurde mappen te verwijderen.
Let op: dit script is NIET gekwalificeerd voor gebruik op Prism Central VM.
- Voer de volgende opdrachten uit vanaf een CVM om KB-1540_clean_v12.sh te downloaden:
(MD5:967eb7f5de91bb684f730eb4bb45a16d)
nutanix@cvm:~/tmp$ wget -O KB-1540_clean_v12.sh http://download.nutanix.com/kbattachments/1540/KB-1540_clean_v12.sh
nutanix@cvm:~/tmp$ md5sum KB-1540_clean_v12.sh
967eb7f5de91bb684f730eb4bb45a16d KB-1540_schoon_v12.s
- Implementeer het script naar een lokale CVM of alle CVM's van het cluster:
Selecteer pakket om te implementeren
1: Implementeer de tool alleen op de lokale CVM
2: Implementeer de tool op alle CVM's in het cluster
Selectie (Annuleren="c"): <==== 1 of 2
- Voer het script uit om bestanden uit goedgekeurde mappen te wissen.
- Hulp
- Interactieve modus
- Niet-interactieve modus
Let op: als de uitvoer van het script of de kleur ervan niet correct is, probeer dan de omgevingsvariabele in te stellen voordat u het script uitvoert, of gebruik de optie "--no_color":
Interactieve modus
Hoofdmenu
|
Menu met planitems
|
Niet-interactieve modus
Opdrachten
|
Als een item onder de kolom Bewerking als 'instructie' wordt vermeld, kunt u de instructies bekijken door dat item uit te voeren.
Bijvoorbeeld:
┌─────────────────────────────────────── ──────────────────┬───────────┬────────┐ │ Reinigingsplannen: Betreffende items │ Bediening │ Gebruik │ ├─────────────────────────────────────── ──────────────────┼───────────┼────────┤ │ 5: Logbundel (logbay) │verwijderen │ 2.25G│ │10: Gedownloade installer │instructie│ 824.00M│ │59: Mogelijke handmatig aangemaakte bestanden │instructie│ 3.69G│ ├─────────────────────────────────────── ──────────────────┴───────────┼────────┤ │ Totaal │ 6,74G│ ╞═══════════════════════════════════════ ══════════════════════════════╧════════╡ │CVM xxxx │ │ /thuisgebruik = 30,99G (80%) >> schoonmaken wordt aanbevolen │ └─────────────────────────────────────── ───────────────────────────────────────┘
Items 10 en 59 worden vermeld als "instructie". Om de instructies voor item 10 te zien, voert u deze uit door "10" in te voeren in het hoofdmenu en "R" in te voeren op het volgende scherm. Voorbeelduitvoer hieronder:
┌─────────────────────────────────────── ──────────────────┬───────────┬────────┐ │ Reinigingsplan 10 │ Bediening │ Gebruik │ ├─────────────────────────────────────── ──────────────────┼───────────┼────────┤ │10: Gedownloade installer │instructie│ 824.00M│ └─────────────────────────────────────────────────────────────────────────────┴────────┘ Menukaart 10 ( Quit, Back, Help, Rescan, Operation, List, Dryrun, Run, Export): R Run operation voor plan 10: "instruction" Handmatige bediening is vereist voor plan 10 -- Instructie -- Deze gedownloade installers kunnen worden verwijderd van "Upgrade Software" op Prism. Vind een sectie met "/home/nutanix/software_downloads/" op KB-1540 (http://portal.nutanix.com/kb/1540) Oudere installer-bestanden konden niet worden vermeld op Prism of door ncli. Neem contact op met Nutanix Support wanneer u hulp nodig hebt. ┌─────────────────────────────────────── ──────────────────┬───────────┬────────┐ │ Reinigingsplan 10 │ Bediening │ Gebruik │ ├─────────────────────────────────────── ──────────────────┼───────────┼────────┤ │10: Gedownloade installer │instructie│ 824.00M│ └─────────────────────────────────────── ──────────────────┴───────────┴────────┘
Herhaal het bovenstaande voor item 59 om de instructies voor item 59 te zien.
- Opruimen na het oplossen van problemen
De gedownloade scriptbestanden, logs en geëxporteerde bestanden worden naar verwachting handmatig verwijderd na elke probleemoplossing. De totale grootte van deze bestanden moet klein zijn en heeft geen invloed op het bestandssysteem van CVM. U kunt de volgende bestanden verwijderen zodra het script overbodig wordt.
<jjmmdd-uummss> is de datum en tijd van aanmaak.- In de CVM waar het KB-script is geïmplementeerd ( /home/nutanix/tmp/ ):
KB-1540_clean.sh - gedownload bestand van de KB
deploytool_yyyymmdd-hhmmss.log - logboek van het implementatiescript (onnodig na implementatie)
nutanix_home_clean.py - hoofd KB-script
nutanix_home_clean_config.py - configuratiebestand voor het hoofdscript - In de rest van de CVM's in het cluster - indien geïmplementeerd op alle CVM's in stap 2:
nutanix_home_clean.py - hoofd KB-script
nutanix_home_clean_config.py - configuratiebestand voor het hoofdscript - Elke CVM waar nutanix_home_clean.py wordt uitgevoerd:
KB-1540_v12_jjjjmmdd_hhmmss_nutanix_home_clean.log - Logboek van KB-script
KB-1540_v12_jjjjmmdd_hhmmss_export_*.csv - geëxporteerde bestanden (indien geëxporteerd)
Met de volgende opdracht kunt u alle bovenstaande punten verwijderen:
nutanix@cvm:~/tmp$ allssh 'cd ~/tmp/; /usr/bin/rm KB-1540* deploytool_*.log nutanix_home_clean.py nutanix_home_clean_config.py'
- In de CVM waar het KB-script is geïmplementeerd ( /home/nutanix/tmp/ ):
Methode 2: Handmatige methode
LEES DIT AUB : Alleen de bestanden in de hieronder vermelde mappen kunnen veilig worden verwijderd. Let op de specifieke richtlijnen voor het verwijderen van bestanden uit elke map. Gebruik geen andere opdrachten of scripts om bestanden te verwijderen. Gebruik onder geen enkele omstandigheid rm -rf .
- Verwijderen van oude logs en core files. Verwijder alleen de bestanden in de volgende directories en niet de directories zelf .
- /home/nutanix/gegevens/cores/
- /home/nutanix/data/binaire_logs/
- /home/nutanix/data/ncc/installatieprogramma/
- /home/nutanix/gegevens/log_collector/
- /home/nutanix/prism/webapps/console/downloads/NCC-logs-*
Gebruik de volgende syntaxis om bestanden in elk van deze mappen te verwijderen:
- Verwijderen van oude ISO's en software binaries. Verwijder alleen de bestanden in de volgende mappen en niet de mappen zelf .
Controleer de huidige actieve AOS-versie onder "Clusterversie":
Clusternaam: Axxxxa
Clusterversie: 5.10.2
- /home/nutanix/software_uncompressed/ - De map software_uncompressed wordt alleen gebruikt wanneer de pre-upgrade wordt uitgevoerd en moet worden verwijderd na een succesvolle upgrade. Als u een cluster ziet dat momenteel niet wordt geüpgraded, is het veilig om alles in de map software_uncompressed te verwijderen. Verwijder alle oude versies, behalve de versie waarnaar u een upgrade uitvoert.
- /home/nutanix/foundation/isos/ - Oude ISO's van hypervisors of Phoenix.
- /home/nutanix/foundation/tmp/ - Tijdelijke bestanden die verwijderd kunnen worden.
Gebruik de volgende syntaxis om bestanden in elk van deze mappen te verwijderen:nutanix@cvm:~$ /usr/bin/rm /home/nutanix/foundation/isos/* nutanix@cvm:~$ /usr/bin/rm /home/nutanix/foundation/tmp/*
- /home/nutanix/software_downloads/
Als de bestanden in de software_downloads directory niet nodig zijn voor geplande upgrades, verwijder ze dan via Prism Web Console > Instellingen > Upgrade Software . Controleer ook de tabbladen Bestandsserver , Hypervisor , NCC en Foundation om de downloads te vinden die u mogelijk niet nodig hebt. Het onderstaande voorbeeld illustreert twee versies van AOS die beschikbaar zijn voor upgrades, elk verbruikt ongeveer 5 GB. Klik op de 'X' om de bestanden te verwijderen.
Als het is aangevinkt, deselecteer dan de optie "Automatisch downloaden inschakelen". Als het niet wordt gecontroleerd, downloadt het cluster meerdere versies, wat onnodig ruimte in de home directory in beslag neemt.
- Controleer het ruimtegebruik in /home opnieuw met df -h (zie Algemene richtlijnen in dit artikel) om te bevestigen dat het nu onder de 70% ligt.
Let op: Als u de bestanden met de volgende foutmelding niet kunt verwijderen en er geen ruimte is geclaimd, neem dan contact op met Nutanix Support voor hulp.
==> Systeembestanden gedetecteerd:
/home/nutanix/data/software_niet-gecomprimeerd/xxx
Bewerking niet toegestaan. Verwijdering van systeembestanden zal leiden tot clusterinstabiliteit en mogelijk gegevensverlies.
Belangrijke opmerkingen voor NC2-clusters:
In sommige gevallen van NC2-clusters is waargenomen dat /tmp bijna vol raakt. U kunt de onderstaande stappen volgen om de directory ~/tmp op te schonen.
- Maak via SSH verbinding met de betreffende CVM en controleer het schijfgebruik door de opdracht "df -h" uit te voeren:
nutanix@CVM:~$ df -h /tmp Bestandssysteem Grootte Gebruikt Beschikbaar Gebruik% Gekoppeld op /dev/loop0 240M 236M 0 100% /tmp
- In de bovenstaande uitvoer kunnen we zien dat /tmp 100% aangeeft. Wijzig de directory naar ~/tmp en sorteer de lijst met sudo du -aSxh /tmp/* | sort -h .
4,0K /tmp/hsperfdata_nutanix 12K /tmp/verloren+gevonden 23K /tmp/rc_nutanix_start.1731.log 39K /tmp/rc_nutanix_start.1734.log 78M /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.ERROR.20230123-201357.3575 78M /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.INFO.20230123-200932.3575 78M /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.WAARSCHUWING.20230123-201357.3575
- Verwijder handmatig bestanden die groter zijn dan 12K uit de uitvoer die u hierboven ontvangt. Zie bijvoorbeeld de onderstaande bestanden die uit de bovenstaande uitvoer zijn verwijderd.
nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.WAARSCHUWING.20230123-201357.3575 nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.INFO.20230123-200932.3575 nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/.ntnx-i-02a754840c30b5e66-a-cvm.root.log.ERROR.20230123-201357.3575 nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/rc_nutanix_start.1734.log nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/rc_nutanix_start.1731.log
- Na het verwijderen kunt u de beschikbare vrije ruimte controleren met df -h :
nutanix@CVM:~/tmp$ df -h /tmp Bestandssysteem Grootte Gebruikt Beschikbaar Gebruik% Gekoppeld op /dev/loop0 240M 14M 210M 6% /tmp
- Zoals u kunt zien, toont de beschikbare vrije ruimte nu 6%. U kunt dit verder controleren met:
nutanix@CVM:~$ ncc health_checks hardware_checks disk_checks disk_usage_check --cvm_list=
ofnutanix@CVM:~$ ncc health_checks run_all
Neem contact op met Nutanix Support voor hulp als het /home- gebruik nog steeds boven de drempelwaarde ligt na het opschonen van bestanden uit de goedgekeurde mappen. Verwijder onder geen beding bestanden uit andere mappen dan die welke in dit artikel worden aanbevolen, omdat deze cruciaal kunnen zijn voor de CVM-prestaties of gebruikersgegevens kunnen bevatten.