僅限 AOS - 當控制器虛擬機器 (CVM) 上的主分割區或主 Nutanix 目錄已滿時該怎麼辦
僅限 AOS - 當控制器虛擬機器 (CVM) 上的主分割區或主 Nutanix 目錄已滿時該怎麼辦
僅限 AOS - 當控制器虛擬機器 (CVM) 上的主分割區或主 Nutanix 目錄已滿時該怎麼辦
描述
重要提示:
- 如果 /home 分區超出Prism Central VM (PCVM)上的限制,請勿使用此 KB 或清理腳本。有關 PCVM 問題,請參閱知識庫文章 5228 。
- 以nutanix用戶身分登入 CVM
- 請勿將 Nutanix CVM(控制器 VM)視為普通 Linux 計算機。
- 除非另有說明,否則任何情況下都不要使用rm -rf 。這將導致資料遺失的情況。
- 如果您執行的是 LCM-2.6 或 LCM-2.6.0.1,LCM 日誌收集會填滿 /home 目錄,請參閱KB 14671以了解解決方法。
- 如果您在執行 NCC 4.0.0 的叢集上收到 /home 分割區使用率高警報,也請檢查KB 10530 。
- 您可以透過此處由 Nutanix Insights 提供支援的支援入口網站上的發現來查看受此警報影響的特定集群
- 如果您有任何疑問,請聯絡Nutanix 支援。
在兩種情況下可能會報告 CVM /home 分區或 /home/nutanix 目錄已滿:
- NCC 運行狀況檢查 disk_usage_check 報告 /home 分區使用率高於閾值(預設為 75%)。
- 升級前檢查 test_nutanix_partition_space 檢查所有節點的 /home/nutanix 目錄中是否至少有 5.6 GB 空間。
透過test_nutanix_partition_space升級前檢查,Prism 中會產生以下錯誤訊息:
Nutanix 在每個 CVM 的 SSD 圖層上為其檔案和目錄保留空間。這些檔案和目錄位於您登入 CVM 時看到的 /home 資料夾中。 /home 資料夾的大小上限為 40 GB,以便 SSD 上的大部分空間可用於使用者資料。
由於/home分區的大小有限,可能會出現可用空間不足並觸發 Prism 警報、NCC 運行狀況檢查失敗或警告或升級前檢查失敗的情況。這些護欄的存在是為了防止/home完全滿,因為這會導致 Stargate 等資料處理服務變得無回應。多個 CVM 的/home分區 100% 已滿的叢集通常會導致使用者虛擬機器停機。
清理 CVM 上未使用的二進位檔案和舊日誌時,請務必注意,與給定節點關聯的每個磁碟機上的所有使用者資料分割區也安裝在 /home 中。這就是為什麼我們強烈建議不要使用未記錄的命令,例如rm -rf /home,因為這也會擦除此路徑中安裝的使用者資料目錄。本文的目的是指導您識別導致 CVM 可用空間不足的文件,並僅刪除那些可以安全刪除的文件。
解決方案
注意: AOS 的最新版本包括旨在優化 /home 空間利用率的增強功能和錯誤修復。為了避免潛在的問題,確保定期更新您的 AOS 至關重要。
一般指導
- 檢查/home中的空間使用情況。為了適應潛在的 AOS 升級,使用率應低於 70%。使用df -h指令驗證/home中可用的空間量。在下面的範例中,CVM xxx12 /home使用率為 81%。
=================xxx11 ===================
/dev/md2 40G 22G 18G 55% /home
================== xxx12 ===================
/dev/md2 40G 32G 7.4G 81% /home
================== xxx13 ===================
/dev/md2 40G 24G 16G 61% /home
若要取得依降序排列的使用情況的進一步細分,請使用帶有 -d 標誌的du -h指令來取得所需的目錄等級編號。例如,低於-d 2意味著從/home/nutanix/data 尋找兩個目錄級別,此外,新增head -n 15將顯示前15 個目錄,然後可以將其與其他CVM 進行比較,以了解高使用率來自何處從:
================== xx.xx.xx.11 =================
17G /home/nutanix/數據
9.4G /home/nutanix/資料/日誌
4.6G /home/nutanix/data/installer/el7.*
4.6G /home/nutanix/資料/安裝程序
2.5G /home/nutanix/data/logs/sysstats
512M /home/nutanix/data/ncc/安裝程序
================== xx.xx.xx.12 =================
18G /home/nutanix/數據
9.5G /home/nutanix/資料/日誌
4.6G /home/nutanix/data/installer/el7.*
4.6G /home/nutanix/資料/安裝程序
3.0G /home/nutanix/data/logs/sysstats
610M /home/nutanix/data/logbay/taskdata
。
。
- 可以使用 logbay 指令收集 CVM /home 分區資訊(NCC 4.0.0 及更高版本、 Nutanix KB 6691 )。
- 清理/home目錄下不需要的檔案。
如果您有任何懸而未決的根本原因分析案例,請與案例擁有者核實這些日誌檔案是否仍需要或可以丟棄。
警告:在應用任何解決方法之前,請確保將知識庫 (KB) 文章頂部提到的重要註釋放在手邊
方法一:使用核准的腳本
下載並執行KB-1540_clean_v12.sh以清理核准目錄中的檔案。
注意:此腳本不適合在 Prism Central VM 上使用。
- 在任意 CVM 上執行以下命令來下載KB-1540_clean_v12.sh :
(MD5:967eb7f5de91bb684f730eb4bb45a16d)
nutanix@cvm:~/tmp$ wget -O KB-1540_clean_v12.sh http://download.nutanix.com/kbattachments/1540/KB-1540_clean_v12.sh
nutanix@cvm:~/tmp$ md5sum KB-1540_clean_v12.sh
967eb7f5de91bb684f730eb4bb45a16d KB-1540_clean_v12.s
- 將腳本部署到本機CVM或叢集的所有CVM:
選擇要部署的套件
1:僅將工具部署到本地CVM
2 : 將工具部署到叢集中的所有 CVM
選擇(取消=“c”):<==== 1 或 2
- 執行腳本以清除批准目錄中的檔案。
- 幫助
- 互動模式
- 非互動模式
注意:如果腳本的輸出或其顏色看起來不正確,請嘗試在執行腳本之前設定環境變量,或使用「--no_color」選項:
互動模式
主選單
|
計劃項目選單
|
非互動模式
命令
|
如果「操作」列下有「指令」項,您可以透過執行該項來查看指令。
例如:
┌────────────────────────────────────────────────── ─ ────────┬────────────┬────────┐ │ 清潔計畫:注意事項 │ 操作 │ 使用方法 │ ├────────────────────────────────────────────────── ─ ────────┼────────────┼────────┤ │ 5:日誌捆綁(logbay) │刪除 │ 2.25G │ │10:下載安裝程式│使用說明│824.00M│ │59:可能的手動建立檔案│說明│3.69G│ ├────────────────────────────────────────────────── ─ ────────┴────────────┼────────┤ │ 總計 │ 6.74G │ ╞═══════════════════════ ══════════ ════════════════════╧════════╧══ │CVM xxxx │ │ /home 使用量 = 30.99G (80%) >> 建議清潔 │ └────────────────────────────────────────────────── ─ ──────────────────────────────┘
第 10 項和第 59 項被列為「說明」。要查看第 10 項的說明,請在主選單上輸入“10”並在下一個畫面上輸入“R”來運行它。範例輸出如下:
┌────────────────────────────────────────────────── ─ ────────┬────────────┬────────┐ │ 清潔計畫10 │ 操作│ 使用│ ├──────── ── ──────────────────────────────────────────────── ┼── ──────────┼────────┤ │10:下載的安裝程式│說明│ 824.00M│ └───────────── ─────── ──────────────────────────────────────┴──── ──────── ┴────────┘ Plan 10 選單(退出、返回、幫助、重新掃描、操作、清單、Dryrun、運行、匯出): R 計畫10 的運作操作:「指令」 計劃10 需要手動操作-- 說明 -- 這些下載的安裝程式可以從 Prism 上的「升級軟體」中刪除。請在 KB-1540 上尋找「/home/nutanix/software_downloads/」部分 (http://portal.nutanix.com/kb/1540) 舊版安裝程式檔案無法在 Prism 或 ncli 上列出。當您需要協助時,請聯絡 Nutanix 支援。 ┌────────────────────────────────────────────────── ─ ────────┬────────────┬────────┐ │ 清潔計畫10 │ 操作│ 使用│ ├──────── ── ──────────────────────────────────────────────── ┼── ──────────┼────────┤ │10:下載的安裝程序│使用說明│ 824.00M│ └──────────── ──────── ──────────────────────────────────────┴───── ───────── ┴────────┘
對第 59 項重複上述操作以查看第 59 項的說明。
- 故障排除後清理
每次故障排除後,預計會手動刪除下載的腳本檔案、日誌和匯出的檔案。這些檔案的總大小應該很小,並且不會影響 CVM 的檔案系統。一旦腳本不再需要,您可以刪除以下文件。
<yymmdd-hhmmss> 是建立日期和時間。- 在部署 KB 腳本的 CVM 中 ( /home/nutanix/tmp/ ):
KB-1540_clean.sh - 從知識庫下載的文件
deploytool_yyyymmdd-hhmmss.log - 部署腳本的日誌(部署後不需要)
nutanix_home_clean.py - 主知識庫腳本
nutanix_home_clean_config.py - 主腳本的設定檔 - 在叢集中的其餘 CVM 中 - 如果在步驟 2 中部署到所有 CVM:
nutanix_home_clean.py - 主知識庫腳本
nutanix_home_clean_config.py - 主腳本的設定檔 - 每個運行 nutanix_home_clean.py 的 CVM:
KB-1540_v12_yyyymmdd_hhmmss_nutanix_home_clean.log - KB 腳本的日誌
KB-1540_v12_yyyymmdd_hhmmss_export_*.csv - 匯出的檔案(如果匯出)
以下命令可以刪除以上所有內容:
nutanix@cvm:~/tmp$ allssh 'cd ~/tmp/; /usr/bin/rm KB-1540*deploytool_*.log nutanix_home_clean.py nutanix_home_clean_config.py'
- 在部署 KB 腳本的 CVM 中 ( /home/nutanix/tmp/ ):
方法二:手動方法
請閱讀:只有下列目錄下的檔案才可以安全刪除。請注意從每個目錄中刪除檔案的具體指南。請勿使用任何其他命令或腳本來刪除檔案。在任何情況下都不要使用rm -rf 。
- 刪除舊日誌和核心檔案。僅刪除以下目錄中的文件,而不刪除目錄本身。
- /home/nutanix/資料/核心/
- /home/nutanix/data/binary_logs/
- /home/nutanix/data/ncc/安裝程式/
- /home/nutanix/data/log_collector/
- /home/nutanix/prism/webapps/console/downloads/NCC-logs-*
使用以下語法刪除每個目錄中的檔案:
- 刪除舊的 ISO 和軟體二進位。僅刪除以下目錄中的文件,而不刪除目錄本身。
在「叢集版本」下檢查目前執行的 AOS 版本:
叢集名稱:Axxxxa
叢集版本:5.10.2
- /home/nutanix/software_uncompressed/ - software_uncompressed 資料夾僅在預先升級運行時使用,成功升級後應刪除。如果您看到正在執行的叢集目前未升級,則可以安全地移除 software_uncompressed 目錄中的所有內容。刪除要升級到的版本之外的所有舊版本。
- /home/nutanix/foundation/isos/ - 虛擬機器管理程式或 Phoenix 的舊 ISO。
- /home/nutanix/foundation/tmp/ - 可以刪除的暫存檔案。
使用以下語法刪除每個目錄中的檔案:nutanix@cvm:~$ /usr/bin/rm /home/nutanix/foundation/isos/* nutanix@cvm:~$ /usr/bin/rm /home/nutanix/foundation/tmp/*
- /home/nutanix/software_downloads/
如果任何計劃的升級不需要 software_downloads 目錄下的文件,請從Prism Web Console > 設定 > 升級軟體中刪除它們。也請檢查File Server 、 Hypervisor 、 NCC和Foundation標籤以找到您可能不需要的下載。下面的範例說明了可升級的 AOS 的兩個版本,每個版本消耗約 5 GB。點選“X”刪除檔案。
如果選中,請取消選取「啟用自動下載」選項。如果不受監控,叢集將下載多個版本,從而不必要地消耗主目錄中的空間。
- 使用df -h重新檢查/home中的空間使用情況(請參閱本文的一般指南),以確認其現在低於 70%。
注意:如果您無法刪除檔案並出現以下錯誤且空間未佔用,請聯絡Nutanix 支援尋求協助。
==> 偵測到系統檔案:
/home/nutanix/data/software_uncompressed/xxx
不允許操作。刪除系統檔案將導致叢集不穩定和潛在的資料遺失。
NC2 集群的重要注意事項:
在 NC2 叢集的某些實例中觀察到 /tmp 接近滿。您可以按照以下步驟清理 ~/tmp 目錄。
- 透過 SSH 連接到受影響的 CVM,並透過執行“df -h”命令檢查磁碟使用情況:
nutanix@CVM:~$ df -h /tmp 已使用的檔案系統大小 可用 使用% 安裝於 /dev/loop0 240M 236M 0 100% /tmp
- 在上面的輸出中,我們可以看到 /tmp 顯示為 100%。將目錄更改為 ~/tmp 並使用sudo du -aSxh /tmp/* |對列表進行排序排序 -h 。
4.0K /tmp/hsperfdata_nutanix 12K /tmp/lost+found 23K /tmp/rc_nutanix_start.1731.log 39K /tmp/rc_nutanix_start.1734.log 78M 39K /tmp/rc_nutanix_start.1734.log 78M /tmp/infrax root .log.ERROR.20230123-201357.3575 78M /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.INFO.20230123-20095-3075xint. 2a75 4840c30b5e66- a -cvm.root.log.警告.20230123-201357.3575
- 從上面收到的輸出中,手動刪除大於 12K 的檔案。例如,請參閱從上述輸出中刪除的以下檔案。
nutanix@CVM:~/tmp$ sudo /usr/bin/rm /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.WARNING.20230123-201357.3575 nutx/CVMm~ /usr/bin/rm /tmp/infra-gateway.ntnx-i-02a754840c30b5e66-a-cvm.root.log.INFO.20230123-200932.3575 nutanix@CVM:~/tmp/bindo/usr/mbin /t:~ .ntnx-i-02a754840c30b5e66-a-cvm.root.log.ERROR.20230123-201357.3575 nutanix@CVM:~/tmp$ sudo /usr/bin/rm /t $ sudo /usr/bin/rm /tmp/rc_nutanix_start.1731.log
- 刪除後,您可以使用df -h檢查可用空間:
nutanix@CVM:~/tmp$ df -h /tmp 已使用的檔案系統大小 可用 使用% 安裝於 /dev/loop0 240M 14M 210M 6% /tmp
- 如您所見,可用空間現在顯示為 6%。您可以進一步重新檢查:
nutanix@CVM:~$ ncc health_checks hardware_checks disk_checks disk_usage_check --cvm_list=
或者nutanix@CVM:~$ ncc health_checks run_all
如果從核准的目錄中清理文件後/home使用率仍然高於閾值,請聯絡Nutanix 支援部門尋求協助。在任何情況下,您都不應從本文推薦的目錄之外的任何其他目錄中刪除文件,因為這些文件可能對 CVM 效能至關重要或可能包含使用者資料。