Aktualisieren Sie Produktions-ThinkSystem Server auf den im ersten Quartal 2021 oder höher veröffentlichten Firmware-Stack, um sicherzustellen, dass alle bekannten Intel und Lenovo Firmware-Fehlerbehebungen angewendet wurden. Dies kann durch Navigieren zur Lenovo Support-Portal-URL erfolgen: https://support.lenovo.com und durch Auswahl der entsprechenden Produktgruppe, des Systemtyps, des Produktnamens, des Produkttyps und des Betriebssystems.

Planen Sie, LXPM Advanced Memory Tests mindestens alle 6 Monate sowie vor der Bereitstellung neuer Systeme oder der Wartung von Systemen durchzuführen. Weitere Informationen finden Sie unter URL: HT511056 - LXPM Advanced Memory Test reduziert DIMM-Fehler. Die folgenden Schritte sollten befolgt werden, wenn Sie diese Option in Betracht ziehen.

1. Halten Sie die Systemfirmware (UEFI & BMC/XCC) auf dem neuesten Stand: Für die besten Ergebnisse stellen Sie sicher, dass das Zielsystem die neueste Firmware oder den Firmware-Stack verwendet, der nach dem ersten Quartal 2021 veröffentlicht wurde.
   • Überprüfen Sie Systeminformationen während POST oder wählen Sie Systemübersicht, um die Firmware-Informationen des Systems zu überprüfen:
     
     
     
      
2. Wenn Sie die Methode der Befehlszeilenschnittstelle (CLI) verwenden, beziehen Sie sich auf die folgenden Befehle:

   Um das AMT zu aktivieren, führen Sie aus:

   OneCli.exe config set Memory.MemoryTest Enable --imm xcc_user_id:xcc_password@xcc_external_ip
   OneCli.exe config set Memory.AdvMemTestOptions 0xF0000 --override --imm xcc_user_id:xcc_password@xcc_external_ip
   

   Um das AMT zu deaktivieren, führen Sie aus:

   OneCli.exe config set Memory.MemoryTest Automatic --imm xcc_user_id:xcc_password@xcc_external_ip
   OneCli.exe config set Memory.AdvMemTestOptions 0 --override --imm xcc_user_id:xcc_password@xcc_external_ip
   

3. Wenn Sie die grafische Benutzeroberfläche (GUI) verwenden, schalten Sie den Server ein und drücken Sie F1, um das ThinkSystem UEFI-Setup-Menü, XClarity Provisioning Manager, zu betreten.
   
   
   
    
4. Wählen Sie die Option Diagnose aus dem linken Menü.
   
    
5. Wählen Sie Diagnose ausführen auf dem Diagnoseschirm.
   
    
6. Wählen Sie Speichertest vom Dashboard.
   
    
7. Wählen Sie Erweiterter Speichertest aus dem Menü Speichertest.
   
   
   
    
8. Nachdem der erweiterte Speichertest (AMT) ausgewählt wurde, wird das System neu gestartet, und der Speichertest wird während UEFI POST durchgeführt. Dieser Test ähnelt sehr dem Test auf Fertigungsniveau und kann nicht deaktiviert werden, bis ein vollständiger Testzyklus abgeschlossen ist. Ein Neustart des Systems während des Testbetriebs startet den Speichertest von vorne, es sei denn, die CMOS-Batterie wird entfernt. Das System kehrt zur Diagnoseseite zurück und bietet eine Schnittstelle zum Speichern von Systemprotokollen, wenn es sich im grafischen Systemsetup befindet.
   
    
9. Die für den Test benötigte Zeit variiert je nach System. Nach Abschluss des Tests kehrt das System zur Seite für den Speichertest in LXPM zurück und fordert dazu auf, ein USB-Laufwerk in das System einzufügen, um die Protokolldatei zu speichern. Fügen Sie ein USB-Laufwerk in das System ein und klicken Sie auf Wiederholen, um fortzufahren. 
    
10. Wenn ein Benutzer die Option zum Speichern des Testprotokolls umgehen möchte, muss das F1-Systemsetup so konfiguriert werden, dass es im Textmodus ausgeführt wird.

    Redfish-Befehl zum Aktivieren/Deaktivieren von AMT

    {
        "Attributes": {
            "Memory_MemoryTest": "Enabled",  
            "Memory_AdvMemTestOptions": 983040 
        }
    }
    

    Hinweis: Für weitere Details siehe Erweiterter Speichertest auf Xeon-basierten ThinkSystem Servern.

MCA-Wiederherstellung ermöglicht es dem Betriebssystem zu entscheiden, ob der Fehler vom Betriebssystem ohne Systemausfall behoben werden kann. Weitere Informationen zu diesem RAS-Feature finden Sie im Abschnitt Details. Für detailliertere Informationen zur MCA-Wiederherstellung siehe den Abschnitt Zusätzliche Informationen.

Die folgenden Schritte sollten befolgt werden, wenn Sie diese Option in Betracht ziehen.

1. ​Wenn Sie die CLI-Methode verwenden, wählen Sie „AdvancedRAS.MachineCheckRecovery=Enable”. Dieses Feature ist standardmäßig im UEFI-Setup aktiviert.
2. Wenn Sie die GUI-Methode verwenden:
   1. Schalten Sie den Server ein.
   2. Drücken Sie F1 , um das Systemsetup, LXPM, zu betreten.
      
       
   3. Wählen Sie im linken Navigationsmenü Systemeinstellungen → Wiederherstellung und RAS, wie unten gezeigt.
      
       
   4. Wählen Sie Erweiterte RAS.
      
       
   5. Aktivieren Sie Maschinenprüfungswiederherstellung.
      
       

Hinweis: Die MCA-Wiederherstellung und die lokale Maschinenprüfungswiederherstellung (LMCE) hängen von der Unterstützung des Betriebssystems ab. Konsultieren Sie daher Ihren OS-Anbieter bezüglich der MCA- und LMCE-Fähigkeiten, da jeder Betriebssystemanbieter RAS-Features mit eigenen Veröffentlichungszyklen implementiert. Die auf Lenovo basierende Plattformfirmware aktiviert standardmäßig die LMCE-basierte Wiederherstellung, aber diese Einstellung ist im UEFI-Setup nicht für den Benutzer sichtbar. Die Vorteile von LMCE gegenüber MCE werden im folgenden Dokument erörtert: Behandlung lokaler Maschinenprüfungsfehler in Linux.

Windows: Für eine detaillierte Beschreibung, wie Windows RAS-Features verwendet, konsultieren Sie bitte den Windows Hardwarefehlerarchitektur (WHEA) Entwurfsleitfaden. Siehe Abschnitt „Zusätzliche Informationen“ für die Liste der unterstützten RAS-Features nach Betriebssystem.

VMware: Die Maschinenprüfungswiederherstellung wird vom Kernel in der ESXi 5-Version und höher unterstützt. Siehe Abschnitt „Zusätzliche Informationen“ für die Liste der unterstützten RAS-Features nach Betriebssystem.

Darüber hinaus sollte der Benutzer die lokale Maschinenprüfungswiederherstellung (LMCE) nutzen, die standardmäßig in der ESXi 7.0-Version aktiviert ist. Siehe Lenovo ThinkSystem Server mit Intel® Optane™ DC Persistent Memory Module Unterstützung

Für die Lenovo ThinkSystem SR850P und SR850 ist aufgrund einer bekannten Hardwarebeschränkung erforderlich, das Kernel-Boot-Flag „useLMCE“ zu aktivieren, um die lokale Maschinenprüfungsfehlerwiederherstellung mit ESXi 6.7 U2 und höheren Versionen zu unterstützen.

• Um die lokale MCE-Wiederherstellung auf einem ESXi 6.7 U2-System zu aktivieren:
  Führen Sie in der ESXi-Konsole diese beiden esxcli-Befehle aus, um die Kernel-Boot-Option auf TRUE zu setzen, verwenden Sie LMCE, und starten Sie dann das System neu, damit die Änderungen wirksam werden.

   esxcli system settings kernel set -s useLMCE -v TRUE
   /sbin/reboot
  

  Nach einem Neustart überprüfen Sie, ob die Einstellung wirksam wurde, indem Sie diesen Befehl ausführen:

   esxcli system settings kernel list -o “useLMCE”
  

Linux: Siehe Abschnitt „Zusätzliche Informationen“ für die Liste der unterstützten RAS-Features nach Betriebssystem. Kernel-Support-Liste für die MCA-Wiederherstellung durch die wichtigsten Linux-Anbieter:

Quelle: Ingenieurpraxis zur Reduzierung der Serverabsturzrate aufgrund von DDR-unkorrigierbaren Fehlern (UCE) in hyperskaligen Cloud-Datenzentren, siehe Ingenieurpraxis zur Reduzierung von Serverabstürzen

Um eine Ansammlung von weichen Fehlern zu vermeiden, die sich in unkorrektierbare Fehler (UCE) verwandeln können, verfügt der Intel Chipsatz über eine integrierte Speicherbereinigungsengine. Sie liest Daten von jedem DDR-Speicherort und korrigiert Bitfehler (sofern vorhanden) mit einem Fehlerkorrekturcode (ECC), bevor sie die korrigierten Daten an denselben Ort zurückschreibt. Das Patrouillen-Scrubbing ist auf ein 24-Stunden-Intervall eingestellt, in dem jede Adresse während dieses Zeitraums überprüft wird.

• Wenn Sie die CLI-Methode verwenden, wählen Sie „Memory.PatrolScrub=Enable“. Dieses Feature ist standardmäßig im UEFI-Setup aktiviert.

Erzwingen Sie das Speicherausbildung bei jedem Neustart, indem Sie Cold Boot Fast deaktivieren. Dies erhöht die Systemstartzeit während des POST. Der Zweck von Cold Boot Fast besteht darin, die Speicherausbildung zu überspringen, wenn in den letzten 90 Tagen keine Konfigurationsänderung festgestellt wurde, was die Systemstartzeit verbessert. Das Deaktivieren von Cold Boot Fast ermöglicht eine erneute Ausbildung der Speicher-Schnittstelle, um signifikante Änderungen der Umgebungsbedingungen auszugleichen.

• Wenn Sie die CLI-Methode verwenden, wählen Sie „Memory.ColdBootFast=Disable”.
• Dieses Feature ist standardmäßig im UEFI-Setup aktiviert.

Dies ist ein branchengeführtes Feature, das von JEDEC definiert wurde, um die Bootzeit-Post-Paket-Reparatur (PPR) zu aktivieren, um eine Zeile innerhalb eines DRAM zu ersetzen, die als fehlerhaft erachtet wird. Ziel des Features ist es, DIMM-Austausche im Feld aufgrund von fehlerhaften Zellen zu reduzieren. Während der Laufzeit kann ein DIMM, der korrigierbare Fehler aufweist, für eine PPR in einem nachfolgenden Bootzyklus eingeplant werden. Der DRAM, der den Fehler innerhalb des DIMM aufweist, wird intern durch eine Ersatzzeile innerhalb desselben DRAM ersetzt. Dieser PPR-Korrekturprozess ist dauerhaft.

Wenn Ihr System beispielsweise einen Laufzeit-PFA festgestellt hat, wird beim nächsten Neustart UEFI versuchen, eine Reparatur durchzuführen. Dies wird durch eine „Selbstheilung“-Nachricht im Ereignisprotokoll angezeigt, und nach Abschluss wird der PFA zurückgesetzt.

• Dieses Feature ist standardmäßig im UEFI-Setup aktiviert .

In einigen Situationen wurde beobachtet, dass das Deaktivieren von Energiemanagementrichtlinien im System-UEFI und im vSphere-Client intermittierende „Unkorrektierbare Busfehler“ oder Systemneustarts und Speicherfehler behoben hat.

• Bei Verwendung der CLI-Methode wählen Sie „OperatingModes.ChooseOperatingMode=Maximale Leistung“.
• Um maximale Leistung mit der CLI-Methode zu aktivieren, führen Sie aus:

  OneCli.exe config set OperatingModes.ChooseOperatingMode "Maximale Leistung" --imm xcc_user_id:xcc_password@xcc_external_ip

​Zur Referenz siehe Systemoptimierung für VMware auf x86-Servern und ThinkSystem, siehe Systemoptimierung für VMware auf x86-Servern und ThinkSystem
​Zur Referenz siehe empfohlene UEFI-Einstellungen - Lenovo ThinkAgile HX-Systeme, siehe URL: Empfohlene UEFI-Einstellungen

Die Adressbereichsspiegelung ist eine RAS-Funktion, die auf den Intel Xeon Scalable Family-Plattformen verfügbar ist und eine granulare Kontrolle darüber ermöglicht, wie viel Speicher für Redundanz zugewiesen wird. Siehe Abschnitt „Details“ für weitere Informationen. Die folgenden Schritte sollten befolgt werden, wenn Sie diese Option in Betracht ziehen. Für detailliertere Informationen zur Adressbereichsspiegelung siehe bitte den Abschnitt „Zusätzliche Informationen“.

1. Bei Verwendung der CLI-Methode wählen Sie „Memory.MirrorMode=Teilweise“, „Memory.Mirrorbelow4GB=Aktivieren“
2. Wenn die Adressbereichsspiegelung aktiviert ist, wird der Speicherinhalt auf dem entfernten DIMM in der Partition dupliziert. Das bedeutet, dass nicht der gesamte Systemspeicher dem Betriebssystem zur Verfügung steht. Zum Beispiel wird bei aktivierter teilweiser Spiegelung UEFI 36 GB eines festen Speicherbetrags pro physischem Prozessor dem Spiegel zuweisen.
3. Befolgen Sie die folgenden Schritte, um den teilweisen Spiegelmodus für die Speicherredundanz zu aktivieren:
   1. Schalten Sie den Server ein.
   2. Drücken Sie die F1 -Taste, um LXPM einzugeben:
      
       
   3. Wählen Sie im linken Navigationsmenü UEFI-Setup.
      
       
   4. Wählen Sie Systemeinstellungen.
      
       
   5. Wählen Sie Speicher im mittleren Bereich.
      
       
   6. Scrollen Sie nach unten und wählen Sie Spiegelkonfiguration.
      
       
   7. Setzen Sie Spiegelmodus auf Teilweise und aktivieren Sie Spiegeln unter 4 GB, um sicherzustellen, dass die Speicherspiegelung niedrige Adressbereiche umfasst. 
      
       

      Hinweis: Spiegeln unter 4 GB wird mit der MM-Konfigurationsbasis geteilt, für die die Standardeinstellung 3 GB beträgt. In diesem Beispiel haben wir das Spiegeln unter 4 GB aktiviert.

   8. Speichern Sie die Konfiguration und verlassen Sie das UEFI-Setup-Menü.
4. Die Speicherinformationen des Speicherspiegels werden auf dem Systemstartbildschirm angezeigt. Die nutzbare Speicherkapazität wird gemäß der in UEFI festgelegten Konfiguration reduziert. Die Abbildung unten zeigt den speicherunabhängigen Modus auf der linken Seite und den Adressbereichsspiegelungsmodus auf der rechten Seite, bei dem 1536 GB Speicher auf eine nutzbare Kapazität von 1461 GB = 1536 (gesamt) - 36 (CPU1) - 36 (CPU2) - 3 (MM-Konfiguration) reduziert wird.
   
    
5. Hinweis:
   • Linux: Für Details zur Aktivierung und Konfiguration der teilweisen Speicherspiegelung im Adressbereich unter Linux siehe Teilweise Speicherspiegelung im Adressbereich unter Linux.
   • VMware: Für Details zur Konfiguration von Reliable Memory auf Basis von virtuellen Maschinen (2146595) unter VMware siehe https://kb.vmware.com/s/article/2146595.
6. Nachdem die teilweise Speicherspiegelung im UEFI festgelegt wurde, kann man „esxcli hardware memory get“ verwenden, um zu überprüfen, dass Reliable Memory verwendet wird und über „0“ Bytes liegt.
   Siehe das folgende Beispiel:

   Vor der Aktivierung der teilweisen Speicherspiegelung im Adressbereich: [root@h2:~] esxcli hardware memory get Physischer Speicher: 549657530368 Bytes Zuverlässiger Speicher: 0 Bytes NUMA-Knotenzahl: 2

   Nach der Aktivierung der teilweisen Speicherspiegelung im Adressbereich: [root@h2:~] esxcli hardware memory get Physischer Speicher: 480938061824 Bytes Zuverlässiger Speicher: 68619579392 Bytes NUMA-Knotenzahl: 2

Eine Reihe von Tabellen, die unten aufgeführt sind, zeigt, wann Betriebssystemanbieter einzelne RAS-Funktionen erstmals übernommen haben, die zur Verbesserung der Systemstabilität und der Widerstandsfähigkeit gegen Hardwarefehler verwendet werden können.

* Die Tabellen unten listen alle großen Betriebssystemanbieter auf.

Die neuen Intel Xeon Scalable Family Prozessoren unterstützen die Wiederherstellung von bestimmten Speicherfehlern basierend auf dem Machine Check Architecture (MCA) Wiederherstellungsmechanismus. Dies erfordert, dass das Betriebssystem eine Speicherseite als „vergiftet“ erklärt, die mit der Seite verbundenen Prozesse beendet und die Seite in Zukunft nicht mehr verwendet. Der MCA-Mechanismus wird verwendet, um Maschinenfehlerinformationen zu erkennen, zu signalisieren und aufzuzeichnen. Einige dieser Fehler sind korrigierbar, während andere nicht korrigierbar sind. Der MCA-Mechanismus soll CPU-Designern und CPU-Debuggern helfen, Prozessorfehler zu diagnostizieren, zu isolieren und zu verstehen. Er soll auch Systemadministratoren helfen, vorübergehende und altersbedingte Fehler zu erkennen, die während des langfristigen Betriebs des Servers auftreten. Die MCA-Wiederherstellungsfunktion ist Teil der fehlertoleranten Fähigkeiten von Servern, die auf den Intel Xeon Scalable Family Prozessoren basieren, wie z.B. dem ThinkSystem Portfolio von Servern. Diese Fähigkeiten ermöglichen es den Systemen, weiter zu arbeiten, wenn ein nicht korrigierter Fehler im System erkannt wird. Ohne diese Fähigkeiten würde das System abstürzen und könnte einen Hardwareaustausch oder einen Systemneustart erfordern.

Die MCA-Wiederherstellung ermöglicht es dem Betriebssystem zu entscheiden, ob der Fehler vom Betriebssystem ohne Systemausfall behoben werden kann, wenn die folgenden Vorbedingungen erfüllt sind:

• Speicher-UCE ist ein nicht fatales Fehler
• Die Adresse des Speicherfehlers befindet sich nicht im Kernel-Speicher
• Die betroffene Anwendung kann vom Host-Betriebssystem beendet werden.

Die folgende Abbildung zeigt den Ablauf der Fehlerbehandlung im System mit einem Linux-Betriebssystem.

Quelle: siehe URL LP0778 - Demonstration der Memory RAS-Funktionen der Lenovo ThinkSystem Server
Software-Wiederherstellungsaktion erforderlich (SRAR): Es gibt zwei Arten solcher Fehler, die von der Data Cache Unit (DCU) und der Instruction Fetch Unit (IFU) erkannt werden, auch bekannt als MCA-Wiederherstellungs-Ausführungspfad.
Software-Wiederherstellungsaktion optional (SRAO): Es gibt zwei Arten solcher Fehler, die durch Speicherpatrouillen und durch Last Level Cache (LLC) explizite Schreibtransaktionen erkannt werden, auch bekannt als MCA-Wiederherstellungs-Nicht-Ausführungspfad.

Wenn ein SRAR/SRAO auftritt, wird die MCA-Wiederherstellung ausgelöst. Wenn der Kernel eine erfolgreiche Wiederherstellung durch das Beenden der Anwendung oder der virtuellen Maschine, die den nicht korrigierbaren Speicherfehler verursacht hat, durchführen kann, sollte das System online bleiben, wenn keine zusätzlichen nicht korrigierbaren Fehler erkannt werden.

Quelle: Ingenieurpraxis zur Reduzierung der Serverabsturzrate aufgrund von DDR nicht korrigierbaren Fehlern (UCE) in hyperskalierbaren Cloud-Datenzentren, siehe URL: Intel® Ingenieurpraxis zur Reduzierung der Serverabsturzrate

Die Adressbereichsspiegelung ist eine neue Speicher-RAS-Funktion auf der Intel Xeon Scalable Family Plattform, die eine größere Granularität bei der Auswahl ermöglicht, wie viel Speicher für Redundanz vorgesehen ist. Implementierungen der Speicher-Spiegelung (Vollspiegelmodus oder Adressbereichsmodus) sind so konzipiert, dass sie die Spiegelung kritischer Speicherbereiche ermöglichen, um die Stabilität des physischen Speichers zu erhöhen. Der gespiegelte Speicher ist für das Betriebssystem und die Anwendungen transparent. Eine Abbildung unten zeigt die Adressbereichsspiegelung in der Praxis, wobei der grüne Adressbereich und der orangefarbene Adressbereich gespiegelt sind.

Die Intel Xeon Sliver SKUs und höher unterstützen bis zu zwei Spiegelbereiche in einem Sockel, einen Spiegelbereich pro integriertem Speichercontroller (iMC). Der Bereich wird durch den im Target Address Decoder 0 (TAD0) Register für den Server programmierten Wert definiert. Der TAD0 definiert die Größe der primären und sekundären Spiegelbereiche. Der sekundäre Spiegelbereich ist für Redundanz reserviert und wird nicht in der Gesamtspeichergröße angegeben. Um die Adressbereichsspiegelung zu aktivieren, gibt es ein Steuer- und Statusregister (CSR)-Bit, das die Verwendung von TAD0 für die Spiegelung aktiviert.

Die Adressbereichsspiegelung bietet folgende Vorteile:

• Bietet eine weitere Granularität für die Speicher-Spiegelung, indem es der Firmware oder dem Betriebssystem ermöglicht, einen Bereich von Speicheradressen zu bestimmen, die gespiegelt werden sollen, während der Rest des Speichers im Sockel im Nicht-Spiegelmodus bleibt.
• Reduziert die Menge an Speicher, die für Redundanz reserviert ist.
• Verbessert die hohe Verfügbarkeit, indem nicht korrigierbare Fehler im Kernel-Speicher des Betriebssystems vermieden werden, indem der gesamte Kernel-Speicher aus dem gespiegelten Speicher zugewiesen wird.

Die Adressbereichsspiegelung hat folgende Anforderungen an das Betriebssystem und die Firmware:

• Der Systemstartmodus muss auf 'UEFI-Boot' eingestellt sein.
• Erfordert OS-Unterstützung, um die Adressbereichsspiegelung vollständig zu nutzen.
• Das Betriebssystem muss sich des gespiegelten Bereichs bewusst sein.
• Abhängigkeit von der Systemfirmware zur Konfiguration der Adressbereichsspiegelung:
  • Verwendung der UEFI-Einstellungen zur Aktivierung der Adressbereichsspiegelung mit fester Spiegelsgröße. ThinkSystems, die mit Gen 1, Gen 2 und Gen 3 Intel Xeon-Prozessoren ausgeliefert werden, unterstützen die Konfiguration des Spiegelmodus über die UEFI-Einstellungsseite, wie zuvor beschrieben.
  • Verwendung von OS-Einstellungsbefehlen wie „efibootmgr und kernelcore=mirror“, um die Adressbereichsspiegelung mit unterschiedlichen Spiegelsgrößen über die Firmware-OS-Schnittstelle zu konfigurieren. ThinkSystems, die mit Gen 1, Gen 2 und Gen 3 Intel Xeon-Prozessoren ausgeliefert werden, haben eine grundlegende Unterstützung, und es gibt einen Plan, in einer zukünftigen Generation von Plattformen vollständige Unterstützung zu bieten, die es dem Betriebssystem ermöglichen wird, % des Speichers basierend auf seinen einzigartigen Bedürfnissen zu spiegeln.