X2apic что это

i7-4770K & x2APIC

нет этой фичи, а вроде должна быть.
Владельцы i7-4770K проверьте, плжста, наличие данной фичи на своих процах.
Как понимаю, что в ядре это никак не отключить, так ли это?

Deleted
11.12.15 20:26:28 MSK

У разлоченных процев нет VT-d и x2apic, насколько я в курсе.

devl547 ★★★★★
( 11.12.15 20:41:31 MSK )
Ответ на: комментарий от devl547 11.12.15 20:41:31 MSK

dmesg | grep -e DMAR -e IOMMU [ 0.000000] ACPI: DMAR 0x00000000BCC6C100 0000B8 (v01 INTEL BDW 00000001 INTL 00000001) [ 0.000000] DMAR: IOMMU enabled

dmesg | grep 2APIC
[ 0.047477] x2apic: IRQ remapping doesn’t support X2APIC mode

~~King_Carlo~~ ★★★★★
( 11.12.15 20:57:26 MSK )
Последнее исправление: King_Carlo 11.12.15 21:00:55 MSK (всего исправлений: 1)

Кто тебе сказал, что она должна быть? Где это написано?

# > uname -p Intel(R) Core(TM) i7-4770K CPU @ 3.50GHz

r3lgar ★★★★★
( 11.12.15 21:28:12 MSK )
Последнее исправление: r3lgar 11.12.15 21:29:01 MSK (всего исправлений: 1)

Ответ на: комментарий от r3lgar 11.12.15 21:28:12 MSK

да, гугл в заблуждение ввёл.

Прерывания от внешних устройств в системе x86. Часть 1. Эволюция контроллеров прерываний

В данной статье хотелось бы рассмотреть механизмы доставки прерываний от внешних устройств в системе x86 и попытаться ответить на вопросы:

что такое PIC и для чего он нужен?
что такое APIC и для чего он нужен? Для чего нужны LAPIC и I/O APIC?
в чём отличия APIC, xAPIC и x2APIC?
что такое MSI? В чём отличия MSI и MSI-X?
как с этим связаны таблицы $PIR, MPtable, ACPI?

Введение

Все мы знаем, что такое прерывание. Для тех, кто нет, цитата из википедии:

Прерывание (англ. interrupt) — сигнал от программного или аппаратного обеспечения, сообщающий процессору о наступлении какого-либо события, требующего немедленного внимания. Прерывание извещает процессор о наступлении высокоприоритетного события, требующего прерывания текущего кода, выполняемого процессором. Процессор отвечает приостановкой своей текущей активности, сохраняя свое состояние и выполняя функцию, называемую обработчиком прерывания (или программой обработки прерывания), которая реагирует на событие и обслуживает его, после чего возвращает управление в прерванный код.

В зависимости от источника возникновения сигнала прерывания делятся на:

асинхронные, или внешние (аппаратные) — события, которые исходят от внешних аппаратных устройств (например, периферийных устройств) и могут произойти в любой произвольный момент: сигнал от таймера, сетевой карты или дискового накопителя, нажатие клавиш клавиатуры, движение мыши. Факт возникновения в системе такого прерывания трактуется как запрос на прерывание (англ. Interrupt request, IRQ) — устройства сообщают, что они требуют внимания со стороны ОС;
синхронные, или внутренние — события в самом процессоре как результат нарушения каких-то условий при исполнении машинного кода: деление на ноль или переполнение стека, обращение к недопустимым адресам памяти или недопустимый код операции;

В данной статье хотелось бы обсудить внешние прерывания IRQ.

Зачем они нужны? Допустим мы хотим выполнить какое-либо действие со входным пакетом для сетевой карты, когда он придёт. Чтобы не спрашивать сетевую карту постоянно «есть ли у тебя новый пакет?» и не тратить на это ресурсы процессора, можно использовать прерывание IRQ. Линия прерываний устройства соединяется с линией INTR процессора, и при получении пакета сетевая карта «дергает» эту линию. Процессор понимает, что для него есть информация и читает пакет.

Но что делать если устройств много? На все внешние устройства ножек процессора не напасёшься.

Чтобы решить эту проблему, придумали микросхему — контроллер прерываний.

PIC

Первой была микросхема Intel 8259 PIC. 8 входных линий (IRQ0-7), и одна выходная, соединяющая контроллер с линией INTR процессора. Когда возникает прерывание от какого-либо устройства, 8259 дёргает линию INTR, процессор понимает, что какое-то устройство сигнализирует о прерывании и опрашивает PIC, чтобы понять по какой именно ножке IRQx возникло прерывание. Появляется дополнительная задержка на данный опрос, но зато количество линий прерываний увеличивается до 8.

Однако 8 линий быстро оказалось мало, и чтобы увеличить их количество стали использовать 2 контроллера 8259 (master и slave) соединённых каскадно (Dual PIC).

IRQ с 0 по 7 обрабатываются первым Intel 8259 PIC (master), а IRQ с 8 по 15 вторым 8259 PIC (slave). О возникновении прерывания CPU сигнализирует только master. Если возникло прерывание на линиях 8-15, второй PIC (slave) сигнализирует о прерывании мастеру по линии IRQ 2, и тот уже в свою очередь сигнализирует CPU. Это каскадное прерывание отнимает одну из 16 линий, но в итоге даёт 15 доступных прерываний для устройств.

Схема утвердилась, и именно её имеют ввиду, когда говорят сейчас о PIC (Programm Interrupt Controller). Впоследствии контроллеры 8259 получили некоторые улучшения, и стали называться 8259A, а эта схема вошла в состав чипсета. Во времена когда основной шиной для подключения внешних устройств была шина ISA, такой системы в целом хватало. Надо было лишь следить, чтобы разные устройства не подключались на одну линию IRQ для избежания конфликтов, так как прерывания ISA не разделяемые.

Обычно раскладка прерываний под устройства была более менее стандартная

Пример (взят отсюда):
IRQ 0 — system timer
IRQ 1 — keyboard controller
IRQ 2 — cascade (прерывание от slave контроллера)
IRQ 3 — serial port COM2
IRQ 4 — serial port COM1
IRQ 5 — parallel port 2 and 3 or sound card
IRQ 6 — floppy controller
IRQ 7 — parallel port 1
IRQ 8 — RTC timer
IRQ 9 — ACPI
IRQ 10 — open/SCSI/NIC
IRQ 11 — open/SCSI/NIC
IRQ 12 — mouse controller
IRQ 13 — math co-processor
IRQ 14 — ATA channel 1
IRQ 15 — ATA channel 2

Конфигурация и работа с микросхемами 8259 осуществляется через I/O порты:

Чип	Регистр	I/O port
Master PIC	Command	0x0020
Master PIC	Data	0x0021
Slave PIC	Command	0x00A0
Slave PIC	Data	0x00A1

→Документацию на 8259A можно найти тут

На смену шине ISA пришла шина PCI. И количество устройств явно стало превосходить число 15, плюс в отличие от статической шины ISA в данном случае случае устройства могут добавляться в систему динамически. Но к счастью в данной шине прерывания могут быть разделяемыми (то есть к одной линии IRQ можно подсоединить несколько устройств). В итоге чтобы решить проблему нехватки линий IRQ, прерывания ото всех PCI устройств решили группировать в линии PIRQ (Programmable Interrupt Request).

Допустим у нас 4 линии прерываний свободно на PIC контроллере, а PCI устройств 20 штук. Мы объединяем прерывания по 5 устройств на линию PIRQx и подключаем линии PIRQx к контроллеру. При возникновении прерывания на линии PIRQx процессору придётся опросить все устройства подключённые к данной линии, чтобы понять от кого именно пришло прерывание, но в целом это решает задачу. Устройство осуществляющее связывание линий прерываний PCI в линии PIRQ часто называют PIR router.

В данном методе надо следить, чтобы линии PIRQx не подсоединялись к линиям IRQx на которых уже заведены прерывания ISA (так как это вызовет конфликты), и чтобы линии PIRQx были сбалансированы (ведь чем больше устройств мы подключили к одной линии PIRQ, тем больше устройств надо будет опрашивать процессору, чтобы понять, какое именно из этих устройств вызвало прерывание).

Замечание: на рисунке маппинг PCI device -> PIR изображён абстрактно, потому что на самом деле он несколько сложнее. В реальности каждый PCI device имеет 4 линии прерываний (INTA, INTB, INTC, INTD). У каждого PCI устройства (device) может быть до 8 функций (functions) и вот каждой функции соответствует уже одно прерывание INTx. Какую именно INTx будет дёргать каждая функция устройства определяется конфигурацией чипсета.

По сути функции это отдельные логические блоки. Например в одном PCI устройстве может быть функция Smbus controller, функция SATA controller, функция LPC bridge. Со стороны ОС каждая функция — это как отдельное устройство со своим конфигурационным пространством PCI Config.

Информацию о роутинге прерываний на PIC контроллере BIOS передавал ОС с помощью таблицы $PIR и с помощью заполнения регистров 3Ch (INT_LN Interrupt Line (R/W)) и 3Dh (INT_PN Interrupt Pin (RO)) конфигурационного пространства PCI для каждой функции. Спецификация о таблице $PIR раньше была на сайте Microsoft, но сейчас её там уже нет. Содержимое строк таблицы $PIR можно понять из PCI BIOS Specification [4.2.2. Get PCI Interrupt Routing Options] или почитать вот тут

APIC

Предыдущий метод работал пока не появились многопроцессорные системы. Дело в том, что по своему устройству PIC может передавать прерывания только на один главный процессор. А хотелось бы, чтобы нагрузка на процессоры от обработки прерываний была сбалансированной. Решением данной задачи стал новый интерфейс APIC (Advanced PIC).

Для каждого процессора добавляется специальный контроллер LAPIC (Local APIC) и для маршрутизации прерываний от устройств добавляется контроллер I/O APIC. Все эти контроллеры объединяются в общую шину с названием APIC (новые системы сейчас уже соединяются по стандартной системной шине).

Когда прерывание от устройства приходит на вывод I/O APIC, контроллер направляет прерывание в LAPIC одного из процессоров. Наличие I/O APIC позволяет сбалансировано распределять прерывания от внешних устройств между процессорами.

Первой микросхемой APIC был 82489DX, это был отдельный чип, соединяющий в себе LAPIC и I/O APIC. Для создания системы из 2 процессоров нужно было 3 таких микросхемы. 2 функционировали бы как LAPIC и одна как I/O APIC. Позднее функциональность LAPIC была напрямую включена в процессоры, а функциональность I/O APIC была оформлена в чип 82093AA.

I/O APIC 82093AA содержала 24 входных вывода, а архитектура APIC могла поддерживать до 16 CPU. Для поддержки совместимости со старыми системами, прерывания 0~15 отвели под старые прерывания ISA. А прерывания от PCI устройств стали выводить на линии IRQ 16-23. Теперь можно было не задумываться о конфликтах прерываний от ISA и PCI устройств. Также благодаря увеличенному количеству свободных линий прерываний возможно стало также увеличить количество линий PIRQx.

Программирование I/O APIC и LAPIC осуществляется через MMIO. Регистры LAPIC расположены обычно по адресу 0xFEE00000, регистры I/O APIC по адресу 0xFEС00000. Хотя в принципе все эти адреса возможно переконфигурировать.

Как и в случае с PIC первоначально отдельные микросхемы позже вошли в состав чипсета.

В дальнейшем архитектура APIC получила модернизацию и новый вариант получил название xAPIC (x — extended). Сохранена обратная совместимость с предыдущим вариантом. Количество возможных CPU в системе увеличилось до 256.

Следующий виток развития архитектуры получил название x2APIC. Количество возможных CPU в системе увеличилось до 2^32. Контроллеры могут работать в режиме совместимости с xAPIC, а могут в новом режиме x2APIC, где программирование LAPIC осуществляется не через MMIO, а через MSR регистры (что гораздо быстрее). Cудя по этой ссылке для работы этого режима необходима поддержка IOMMU.

Следует заметить, что в системе может быть несколько контроллеров I/O APIC. Например один на 24 прерывания в южном мосту, другой на 32 в северном. В контексте I/O APIC прерывания часто обозначаются GSI (Global System Interrupt). Так вот в такой системе будут GSI 0-55.

Есть ли в CPU встроенный LAPIC и какой именно архитектуры можно понять по бит-флагам в CPUID.
Чтобы система могла обнаружить LAPIC и I/O APIC, BIOS должен представить информацию о них системе либо через таблицу MPtable (старый метод), либо через таблицу ACPI (таблицу MADT в данном случае). Помимо общей информации, и в MPtable и в ACPI (на этот раз в таблице DSDT) должна содержаться информация о роутинге прерываний, то есть информация о том, какое устройство сидит на какой линии прерываний (аналог таблицы $PIR).

О таблице MPTable можно почитать в официальной спецификации. Раньше спецификация была на сайте Intel, а сейчас её можно найти только в архиве. Спецификация ACPI сейчас расположена на сайте UEFI (текущая версия 6.2). Следует отметить, что с помощью ACPI можно указать роутинг прерываний и для систем без APIC (вместо использования таблицы $PIR).

MSI

Предыдущий вариант с APIC хорош, но не лишён недостатков. Все эти линии прерываний от устройств усложняют схему, и увеличивают вероятности ошибок. На смену шины PCI пришёл PCI express, в котором линии прерываний решили просто-напросто убрать. Чтобы сохранить совместимость, сигналы о возникновении прерываний (INTx#) эмулируются отдельными видами сообщений. В этой схеме логическое сложение линий прерываний, которое раньше производилось физическим соединением проводов, легло на плечи PCI мостов. Однако поддержка legacy INTx прерываний — это лишь поддержка обратной совместимости с шиной PCI. На деле PCI express предложил новый метод доставки сообщений о прерываниях — MSI (Message Signaled Interrupts). В этом методе для сигнализации о прерывании устройство просто производит запись в MMIO область отведённую под LAPIC процессора.

Если раньше на одно PCI устройство (то есть на все его функции) выделялось всего 4 прерывания, то сейчас сейчас стало возможным адресовать до 32 прерываний.

В случае с MSI нет никакого sharing для линий, каждое прерывание соответствует своему устройству.

Прерывания MSI решают также ещё одну проблему. Допустим устройство проводит memory-write транзакцию, и хочет сообщить о её завершении через прерывание. Но write транзакция может быть задержана на шине в процессе передачи (о чём устройство никак не знает), и сигнал о прерывании придёт до процессора раньше. Таким образом CPU будет читать ещё невалидные данные. В случае если используется MSI, информация об MSI передаётся также как и данные, и раньше прийти просто не сможет.

Следует заметить, что прерывания MSI не могут работать без LAPIC, но использование MSI может заменить нам I/O APIC (упрощение дизайна).

В последствии данный метод получил расширение MSI-X. Теперь каждое устройство может иметь до 2048 прерываний. И стало возможным указывать индивидуально каждому прерыванию на каком процессоре оно должно выполняться. Это может быть очень полезно для высоконагруженных устройств, например сетевых карт.

Для поддержки MSI не требуется никаких дополнительных таблиц BIOS. Но устройство должно сообщить о поддержке MSI в одной из Capability в своём PCI Config, а драйвер устройства должен поддерживать работу с MSI.

Заключение

В данной статье мы рассмотрели эволюцию контроллеров прерываний, и получили общую теоретическую информацию о доставке прерываний от внешних устройств в x86 системе.

В следующей части мы посмотрим как на практике задействовать в Linux каждый из описанных контроллеров.

Ссылки:

Interrupt Controllers (Stuff in the Middle)
What do the different interrupts in PCIe do?
Reducing Interrupt Latency Through the Use of Message Signaled Interrupts
Архитектура обработки прерываний в Intel совместимых системах

Доступно исправление для трех проблем в режиме x2APIC в x64-разрядных версий Windows Server 2008 R2

Это исправление устраняет следующие проблемы на компьютере, на котором выполняется более x64 версии Windows Server 2008 R2.

Проблема 1

Операционная система поддерживает только до 128 процессоров в xAPIC режим.

На некоторых компьютерах может только поддерживает до 128 процессоров в режиме xAPIC , если только 128 процессорами могут иметь APIC идентификаторы меньше чем значение 255.

Проблема 2

Компьютер самопроизвольно перезагружается и возникает неустранимая ошибка во время запуска. Эта проблема возникает после включения x2APIC режим в BIOS.

Проблема 3

Рассмотрим следующий сценарий:

У некоторых устройств, которые требуют большого количества прерывания с выдачей сообщений (MSI) расширенная на компьютере установлено несколько процессоров.
Включить x2APIC режим в операционной системе.
При попытке завершить работу компьютера.

В этом случае сбоев компьютера и появляется сообщение о неустранимой ошибке, подобное приведенному ниже:

Причина

Эти проблемы возникают из-за x2APIC режим отключен на компьютере, на котором выполняется более x64 версии Windows Server 2008 R2.

Решение

После установки данного исправления x2APIC режим может быть включена на компьютере под управлением Windows Server 2008 R2, и компьютер может поддерживать более 255 процессоров.

Сведения об исправлении

Существует исправление от корпорации Майкрософт. Однако данное исправление предназначено для устранения только проблемы, описанной в этой статье. Применяйте это исправление только в тех случаях, когда наблюдается проблема, описанная в данной статье. Это исправление может проходить дополнительное тестирование. Таким образом если вы не подвержены серьезно этой проблеме, рекомендуется дождаться следующего пакета обновления, содержащего это исправление.

Если исправление доступно для скачивания, имеется раздел «Пакет исправлений доступен для скачивания» в верхней части этой статьи базы знаний. Если этот раздел не отображается, обратитесь в службу поддержки для получения исправления.

Примечание. Если наблюдаются другие проблемы или необходимо устранить неполадки, вам может понадобиться создать отдельный запрос на обслуживание. Стандартная оплата за поддержку будет взиматься только за дополнительные вопросы и проблемы, которые не соответствуют требованиям конкретного исправления. Чтобы получить полный список телефонов поддержки и обслуживания клиентов корпорации Майкрософт или создать отдельный запрос на обслуживание, посетите следующий веб-сайт корпорации Майкрософт:

http://support.microsoft.com/contactus/?ws=supportПримечание. В форме «Пакет исправлений доступен для скачивания» отображаются языки, для которых доступно исправление. Если нужный язык не отображается, значит исправление для данного языка отсутствует.

Предварительные условия

Для установки этого исправления необходимо наличие Windows Server 2008 R2.

Инструкции по установке

После установки данного исправления, используйте один из следующих методов для включения x2APIC режим на компьютере, на котором выполняется более x64 версии Windows Server 2008 R2:

x2APIC

Сведения о реестре

Для использования исправления из этого пакета нет необходимости вносить изменения в реестр.

Необходимость перезагрузки

Может потребоваться перезагрузить компьютер после установки данного исправления.

Сведения о замене исправлений

Это исправление не заменяет ранее выпущенные исправления.

Сведения о файлах

Английский (США) версия данного исправления устанавливает файлы с атрибутами, указанными в приведенных ниже таблицах. Дата и время для файлов указаны в формате UTC. Дата и время для файлов на локальном компьютере отображаются в местном времени с вашим текущим смещением летнего времени (DST). Кроме того, при выполнении определенных операций с файлами, даты и время могут изменяться.

Примечания к сведениям о файле Windows Server 2008 R2

Важно. Исправления для Windows Server 2008 R2 и Windows 7 включены в одни и те же пакеты. Однако исправления на странице запроса исправлений перечислены под обеими операционными системами. Чтобы запросить пакет исправления, который применяется к одной или обеим ОС, установите исправление, описанное в разделе «Windows 7/Windows Server 2008 R2» страницы. Всегда смотрите раздел «Информация в данной статье относится к следующим продуктам» статьи для определения фактических операционных систем, к которым применяется каждое исправление.

Файлы, относящиеся к определенному продукту, этапу разработки (RTM, SPn) и направлению (поддержки LDR, GDR) можно определить по номерам версий, как показано в следующей таблице.

Версия Продукт Контрольная точка Направление поддержки

6.1.760
0,20 xxx Windows 7 и Windows Server 2008 R2 RTM LDR
Файлы МАНИФЕСТА (.manifest) и MUM (.mum), устанавливаемые для каждой среды, указаны отдельно в разделе Дополнительные сведения о файлах» для Windows Server 2008 R2». Файлы MUM и MANIFEST, а также связанные файлы каталога безопасности (CAT) чрезвычайно важны для поддержания состояния обновленных компонентов. Файлы каталога безопасности, для которых не перечислены атрибуты, подписаны цифровой подписью корпорации Майкрософт.

Версия	Продукт	Контрольная точка	Направление поддержки
6.1.760 0,20 xxx	Windows 7 и Windows Server 2008 R2	RTM	LDR

На серверах PowerEdge 14-го поколения под управлением Windows Server возникает ошибка «синий экран» при установке драйверов набора микросхем, когда в BIOS включен режим x2APIC

Рекомендации Dell EMC по устранению ошибки «синий экран» на серверах Dell EMC PowerEdge 14-го поколения с адаптерами PCIe при установке автономного драйвера набора микросхем или при развертывании ОС на базе Lifecycle Controller с включенным в BIOS режимом x2APIC. В этом пошаговом руководстве содержатся инструкции по успешному обновлению драйвера набора микросхем для устранения этой проблемы.

Сводка: Рекомендации Dell EMC по устранению ошибки «синий экран» на серверах Dell EMC PowerEdge 14-го поколения с адаптерами PCIe при установке автономного драйвера набора микросхем или при развертывании ОС на базе Lifecycle Controller с включенным в BIOS режимом x2APIC. В этом пошаговом руководстве содержатся инструкции по успешному обновлению драйвера набора микросхем для устранения этой проблемы. . Показать больше Показать меньше

Содержание статьи
Свойства статьи
Оцените эту статью

Возможно, эта статья была переведена автоматически. Если вы хотите поделиться своим мнением о ее качестве, используйте форму обратной связи в нижней части страницы.

Содержание статьи

Симптомы

Затронутые продукты:
Серверы Dell EMC PowerEdge 14-го поколения с адаптерами PCIe (например видеокартой NVIDIA) и операционными системами Windows Server 2012R2, 2016 и 2019, в BIOS включен режим x2APIC.

Резюме:
На серверах Dell EMC PowerEdge 14-го поколения с платами расширения PCIe (например, видеокартой NVIDIA) может возникнуть ошибка «синий экран» при установке автономного драйвера набора микросхем или при развертывании ОС на базе Lifecycle Controller, когда в BIOS включен режим x2APIC.

Windows Server 2012 R2: IRQL
Windows Server 2016: WHEA
Windows Server 2019: IRQL

SLN319965_ru__1icon

Ошибка появляется на системах как с процессорами Intel, так и с процессорами AMD.

Способ устранения
Чтобы восстановить и успешно обновить драйвер набора микросхем, выполните одно из следующих действий:

Вариант 1. Временно отключите режим x2APIC, установите драйвер набора микросхем и включите режим x2APIC
1. Отключите режим x2APIC в BIOS, как показано ниже.
2. Обновите драйверы платы PCIe до последних версий Dell/поставщика.
3. Обновите драйверы набора микросхем с сайта поддержки Dell.
4. Включите режим x2APIC.

Вариант 2. Извлеките драйверы набора микросхем и установите их с помощью командной строки
1. Нажмите правой кнопкой мыши на установщик драйвера набора микросхем и выберите «Запуск от имени администратора». Нажмите «Извлечь» в графическом интерфейсе пользователя, как показано ниже. На рабочем столе создайте временную папку с именем «chipset», чтобы извлечь в нее драйверы. Например: «C:\Users\User_Name\Desktop\Driver\».
2. После успешного извлечения пакет Dell Update оповестит об успешном завершении, а извлеченный каталог будет содержать следующее:
  
  Примечание. Драйверы набора микросхем Windows Server 2019 будут находиться в папке «…\DriverFiles\production\Windows10-x64».
3. Откройте окно командной строки(Запуск от имени администратора) и выполните команду PnPUtil.
  - Для серверов под управлением Windows Server 2019: pnputil.exe /Add-Driver C:\Users\User_Name\Desktop\Chipset\DriverFiles\production\Windows10-x64
  - Драйверы для наборов микросхем Windows Server 2016 будут находиться в папке «…\DriverFiles\production\W2K16-x64», и команда для них следующая:
  - Драйверы для набора микросхем WS2012R2 будут находиться в папке «…\DriverFiles\production\W2K12R2-x64», и команда для них следующая:
  Загрузка драйверов набора микросхем и получение сообщения об успешном выполнении операции занимает несколько минут.
  
  Свойства статьи
  
  Затронутый продукт
  
  Servers, PowerEdge, PowerEdge XR2, Poweredge C4140, PowerEdge C6420, PowerEdge FC640, PowerEdge M640, PowerEdge M640 (for PE VRTX), PowerEdge MX740C, PowerEdge MX840C, PowerEdge R240, PowerEdge R340, PowerEdge R440, PowerEdge R540, PowerEdge R640 , PowerEdge R6415, PowerEdge R6515, PowerEdge R6525, PowerEdge R740, PowerEdge R740XD, PowerEdge R740XD2, PowerEdge R7415, PowerEdge R7425, PowerEdge R7515, PowerEdge R840, PowerEdge R940, PowerEdge R940xa, PowerEdge T140, PowerEdge T340, PowerEdge T440, PowerEdge T640 . Показать больше about warranties Показать меньше about warranties
  Похожие публикации: