58.Комунікаційне середовище: Ethernet та Infiniband

Існує багато варіантів створення та побудови кластерних систем. Всі вони відрізняються між собою комунікаційним середовищем, що використовується для передачі даних між вузлами. Спочатку використовувався стандарт Ethernet зі швидкістю 10Мбіт/с.

В наш час досить поширеною є технологія Fast Ethernet зі швидкістю 10Мбіт/с. Проте великі накладні витрати даної технології при передачі даних не дозволяють створити універсальні обчислювальні кластери. Як альтернативу розробники можуть використовувати технології Gigabit Ethernet, Clan, Myrinet, Servernet та інші.

При передачі даних основні характеристики, що впливають на продуктивність це - латентність та пропускна здатність мережі. Латентність - це час, який потрібен, щоб повідомлення було підготовлене до відправки. Пропускна здатність мережі - це кількість інформації, що може бути передана за одиницю часу. Якщо обмін інформацією між вузлами складається з великої кількості невеликих повідомлень, то визначну роль в обміні даними буде грати латентність. Якщо повідомлення одне і велике, то визначну роль в обміні даними буде грати пропускна здатність.

Коли програмний додаток відправляє дані, вони спочатку проходять декілька шарів програмної та апаратної підтримки. Кожен з цих шарів може вносити власні корективи у процес передачі повідомлення. Наприклад, неякісний мережевий адаптер може з затримкою передавати дані, а неякісно встановлений драйвер може значно спотворити потік бітів.

Розглянемо параметри, які впливають на продуктивність комп’ютерів даного класу:

Наявність фрагментів програми, які можна розпаралелювати. Якщо в програмі досить великі фрагменти послідовного коду, то розраховувати на збільшення продуктивності не варто.

Так як фізична пам’ять є розподіленою між вузлами системи, то для доступу процесора до віддалених фрагментів пам’яті використовується система повідомлень, а отже визначну роль будуть грати або латентність або пропускна здатність. Тому для створення додатків для таких кластерних систем потрібно розробити систему повідомлень та розглянути, як ці повідомлення будуть передаватися мережею, і які чинники будуть основними.

Якщо апаратура і програмне забезпечення не підтримує асинхронної передачі даних, то може виникнути ситуація, що деякі процесори очікують коли решта процесорів закінчить роботу. Така ситуація призводить до невеликих накладних витрат в роботі.

Для досягнення найбільш ефективної роботи потрібно досягнути максимально рівномірної навантаженості кожного вузла. Якщо такої рівномірності не буде, то деякі процесори будуть простоювати, а решта - перенавантажені. Рівномірність навантаження досить легко досягнути на рівномірних однорідних системах (системи, в яких всі вузли однакової конфігурації, що з’єднані однаковою мережею). На неоднорідних системах досить важко досягнути рівномірної навантаженості.

Ще один фактор, що впливає на продуктивність - це реальна продуктивність кожного вузла. Різні моделі процесорів можуть мати різну характеристику, а саме: кількість рівнів кеш пам’яті, різні кількості функціональних пристроїв, тощо.

Ethernet (езернет, від лат. aether — етер) — базова технологія локальних обчислювальних (комп'ютерних) мереж з комутацією пакетів, що використовує протокол CSMA/CD (множинний доступ з контролем несучої та виявленням колізій). Цей протокол дозволяє в кожний момент часу лише один сеанс передачі в логічному сегменті мережі. При появі двох і більше сеансів передачі одночасно виникає колізія, яка фіксується станцією, що ініціює передачу. Станція аварійно зупиняє процес і очікує закінчення поточного сеансу передачі, а потім знову намагається повторити передачу.

Ethernet-мережі функціонують на швидкостях 10Мбіт/с, Fast Ethernet — на швидкостях 100Мбіт/с, Gigabit Ethernet — на швидкостях 1000Мбіт/с, 10 Gigabit Ethernet — на швидкостях 10Гбіт/с. В кінці листопада 2006 року було прийняте рішення про початок розробок наступної версії стандарту з досягненням швидкості 100Гбіт/с (100 Gigabit Ethernet).

Технологія. З самого початку Ethernet базувався на ідеї зв'язку комп'ютерів через єдиний коаксіальний кабель, що виконував роль транзитного середовища. Метод передавання був дещо схожим на методи радіопередавання (хоча й з суттєвими відмінностями, наприклад, те, що в кабелі значно легше виявити колізію, ніж в радіоефірі). Загальний мережний кабель, через який велася передача, був дещо подібним на ефір, і з цієї аналогії походить назва Ethernet (англ. net — «мережа»).

З плином часу з відносно простої початкової специфікації Ethernet розвинувся у складну мережну технологію, яка зараз використовується у більшості комп'ютерних систем. Щоб зменшити ціну та полегшити управління та виявлення помилок в мережі, коаксіальний кабель згодом був замінений зв'язками типу «точка — точка», що з'єднувалися між собою концентраторами/комутаторами (хабами/світчами). Своїм комерційним успіхом технологія Ethernet завдячує появі стандарту з використанням кабелю типу «звита пара» як транзитного середовища.

На фізичному рівні станції Ethernet спілкуються між собою за допомогою передачі одна одній пакетів — невеликих блоків даних, які відправляються та доставляються індивідуально. Кожна Ethernet-станція має свою власну 48-бітну MAC-адресу, яка використовується як кінцевий пункт або джерело для кожного пакету. Мережні картки, як правило, не сприймають пакетів, що адресовані іншим Ethernet-станціям. Унікальна МАС-адреса записується в контролер кожної мережної карти.

Незважаючи на серйозні зміни від 10-Мбітного товстого коаксіалу до 1-Гбітного оптоволоконного зв'язку типу «точка-точка», різні варіанти Ethernetу на найнижчому рівні є майже однаковими з погляду програміста і можуть легко з'єднуватися між собою за допомогою дешевого обладнання. Це є можливим, оскільки формат кадру лишається незмінним, незважаючи на різні процедури доступу до мережі.

Infiniband - високошвидкісна комутована послідовна шина, що застосовується як для внутрішніх (внутрішньосистемних), так і для міжсистемних з'єднань.

Описпми Infiniband специфіковані, підтримкою і розвитком специфікацій займається InfiniBand Trade Association

Короткий опис. Подібно PCI Express , Infiniband використовує двонаправлену послідовну шину. Базова швидкість - 2,5 Гбіт / с у кожному напрямку, застосовуються порти, що складаються з груп в 1x, 4x і 12x базових двонаправлених шин ( англ. lanes). Існують режими Single Data Rate (SDR) - робота з базовою швидкістю, Double Data Rate (DDR) - бітова швидкість дорівнює подвоєною базової і Quad Data Rate (QDR) - відповідно, учетверенной. Режими SDR, DDR і QDR використовують кодування 8B/10B. На даний момент (2011 р.) найчастіше застосовуються порти 4x QDR.

Базова швидкість 1х шини для режиму FDR становить 14.0625 Гбіт / с, а для EDR 25.78125 Гбіт / с. Режими FDR і EDR використовують кодування 64/66B.

Основне призначення Infiniband - межсерверние сполуки, в тому числі і для організації RDMA ( Remote Direct Memory Access ).

Пропускна здатність інтерфейсу Infiniband, raw / data

Іnfiniband використовується наступними протоколами і API:

• RDMA ( англ. Remote Direct Memory Access) - група протоколів віддаленого прямого доступу до пам'яті, при якому передача даних з пам'яті одного комп'ютера в пам'ять іншого комп'ютера відбувається без участі операційної системи, при цьому виключається участь CPU в обробці коду перенесення і необхідність пересилання даних з пам'яті програми в буферну область ОС, то є дані пересилаються безпосередньо на відповідний мережевий контролер.

• uDAPL ( англ. User Direct Access Programming Library) - бібліотека API для абстрактного транспорту прямого доступу ( англ. Direct Access Transport, DAT). uDAPL (та інші API - зокрема kDAPL - kernel DAPL) розробляється та підтримується організацією DAT Collaborative .

• IPoIB (IP over Infiniband) - група протоколів, що описують передачу IP-пакетів поверх Infiniband:

• RFC 4390 Dynamic Host Configuration Protocol (DHCP) over InfiniBand

• RFC 4391 Transmission of IP over InfiniBand (IPoIB)

• RFC 4392 IP over InfiniBand (IPoIB) Architecture

• SRP ( англ. SCSI RDMA Protocol) - протокол обміну даними між SCSI -пристроями з використанням RDMA . Визначено в стандарті ANSI INCITS 365-2002.

• DDP ( англ. Direct Data Placement): RFC 4296 The Architecture of Direct Data Placement (DDP) and Remote Direct Memory Access (RDMA) on Internet Protocols

• SDP ( англ. Socket Direct Protocol) - протокол встановлення віртуальних з'єднань і обміну даними між сокетами поверх Infiniband, передача даних не використовує TCP стек ОС, проте використовує IP-адреси і може використовувати IPoIB для їх вирішення.

Характеристики

• Виробники: найбільш поширені апаратні рішення від компаній Qlogic , Mellanox , Voltaire , Topspin (компанія Topspin була придбана компанією Cisco в 2005-му році).

• Тести виробників показують пропускну здатність на рівні MPI порядку одиниць і десятків сотень МБ / сек і час передачі коротких повідомлень порядку 1-7 мкс.

• Топологія: комутована з використанням Fat Tree для великих конфігурацій, існуючі комутатори підтримують велику кількість (> 256) портів .

• Програмне забезпечення: драйвери від виробників апаратних засобів, різні бібліотеки MPI як комерційні так і відкриті.

• Корпорацією Oracle Corporation був розроблений спеціальний протокол RDS , орієнтований на роботу з цією шиною.