Преимущества проекта на Fast Ethernet

Преимущества проекта на Fast Ethernet Простая технология. Высокая плотность портов при сравнительно небольшой стоимости. Простое подключение серверов по технологии Fast Ethernet. Возможность миграции на технологии Fast EtherChannel и Gigabit Ethernet.

Преимущества проекта на ATM

Быстрое восстановление функционирования ядра системы при возможных сбоях. Поддержка передачи разнородного трафика (голос, видео) на уровне ядра системы. Поддержка линий связи со скоростью передачи 622 Мбит/с Поддержка стандартов LANE и MPOA.

Оба проекта независимо от применяемых

технологий обеспечивают наращиваемость, гибкость и единое управление сетевым оборудованием. Это достигается благодаря разделению сетевой системы на функциональные блоки и объединения коммутации пакетов второго и третьего уровня в одном оборудовании.

Россия, Москва, 1-й Хвостов переулок 11А
Tel: +7 (095) 238-3711, -3777, -3977, -5343
+7 (095) 777-0-111, 777-0-222
Fax: +7 (095) 238-3989
E-mail: info@pluscom.ru

Принципы организации уровня ядра сети

На Рисунок 9 показана текущая (по мере обсуждения в настоящем руководстве) конфигурация нашей сети.

Принципы организации уровня ядра сети

На Рисунок 9 показана текущая (по мере обсуждения в настоящем руководстве) конфигурация нашей сети.

Проектирование кампусных

Расчет количества виртуальных подключений LANE

При построении сетей ATM не самой плохой идеей является предварительный расчет количества возможных коммутируемых виртуальных соединений (Switched Virtual Circuit, SVC), которое может понадобиться для нормальной работы сети. SVC используются для создания логической связи между компонентами активного сетевого оборудования в системе.

Рассмотрим порядок проведения расчетов.

Для каждой ELAN конфигурируются следующие компоненты LEC:

2 клиента LEC на коммутаторах Catalyst 5000; 4 клиента LEC на маршрутизаторах Cisco 7500; 4 (предположительно) клиента LEC на серверах рабочих групп.

Максимальное число виртуальных канальных соединений (Virtual Channel Connection, VCC) определяется формулой (10*9)/2, т.е. равно 45. Сверху на VCC накладываются 20 SVC типа ?точка-точка? и 2 SVC типа ?точка-много точек?.

Так как общее количество VLAN - 80, то общее количество SVC определяется следующим образом:

общее количество SVC типа ?точка-точка? равно 80*(45+20) = 5200 общее количество SVC типа ?точка-много точек? равно 80*2 = 160 общее количество SVC на один маршрутизатор равно 80 + 80 + (80*9) = 880.

Расчет количества виртуальных подключений LANE

Рассмотрим порядок проведения расчетов.

Для каждой ELAN конфигурируются следующие компоненты LEC:

Так как общее количество VLAN - 80, то общее количество SVC определяется следующим образом:

Подключение конечных узлов

Рисунок 1. Подключение конечных узлов

Для этой цели мы выбираем две модели коммутаторов Cisco Systems - Catalyst 5000 или Catalyst 5500. Выбор той или иной модели коммутатора в каждом конкретном случае зависит от числа и типа пользовательских портов, подключенных к данному кабельному узлу. Зная о возможном скором переходе на высокоскоростные сетевые соединения, многие заказчики выбирают в качестве основных порты с разными скоростями передачи ? 10 и 100 Мбит/с (Ethernet и Fast Ethernet). В качестве коммутатора для уровня доступа рекомендуется использовать именно модель Catalyst 5500 (или 550х), способную резервировать коммутирующий процессор (Supervisor Engine Module), что позволит значительно повысить отказоустойчивость системы уже на уровне доступа.

Подключение конечных узлов

Рисунок 1. Подключение конечных узлов

Распределение VLAN по коммутационным узлам

Рисунок 2. Распределение VLAN по коммутационным узлам

Половина всех портов в одном из коммутаторов будет принадлежать, например, VLAN#2, а другая половина ? VLAN#3. Все VLAN будут распределяться также между остальными коммутаторами уровня доступа. Таким образом, мы имеем 80 VLAN. Так как каждая VLAN соответствует одной подсети IP, то сеть 10.0.0.0 получается разделенной на 80 подсетей.

Как будет показано ниже, такое решение по организации VLAN позволит масштабировать соединения устройств уровня доступа с устройствами следующего уровня нашей модели ? уровня распределения. Кроме того, членство каждого коммутатора в двух VLAN обеспечит дополнительную степень отказоустойчивости и облегчит сопровождение каждого коммутатора и VLAN. Напомним, что принадлежность стоящих рядом рабочих станций к одной VLAN не имеет основополагающего значения. Главной целью является обеспечение надежного и эффективного подключения пользователя к ресурсам сети. Каким образом происходит коммутация на втором и третьем уровне модели OSI, будет объяснено дальше по ходу обсуждения проекта.

Распределение VLAN по коммутационным узлам

Рисунок 2. Распределение VLAN по коммутационным узлам

Уровень распределения

Рисунок 3. Уровень распределения

Каждый из 14 коммутаторов Catalyst 5000, образующих уровень распределения, имеет по 12 восходящих портов Fast Ethernet. Наша модель сети состоит из семи функциональных строительных блоков, имеющих сходную структуру и состав оборудования. Каждый из этих блоков обеспечивает работу 12 VLAN и состоит из 12 коммутаторов уровня доступа и двух коммутаторов уровня распределения. Далее по ходу обсуждения проекта, мы рассмотрим, каким образом происходит взаимодействие VLAN внутри блока и как блоки взаимодействуют между собой.

Необходимо отметить, что в большинстве случаев из-за физических ограничений, таких как размеры зданий, корпусов, аппаратных помещений и пр., размер функциональных блоков может быть различным. Однако на общей модели сети это никак не отражается.

Уровень распределения

Рисунок 3. Уровень распределения

Уровень распределения (детали)

Рисунок 4. Уровень распределения (детали)

На Рисунок 4 уровень распределения показан более подробно; здесь отражены разные пути передачи трафика в зависимости от его принадлежности той или иной VLAN, основанные на использовании протокола Spanning Tree.

Рациональное распределение функций основного коммутатора (root) для каждой VLAN позволит наилучшим образом использовать обе связи, обеспечивающие физическое соединение уровней доступа и распределения. Также правильное конфигурирование избыточности повышает отказоустойчивость соединений уровней доступа и распределения ? при обрыве одной из связей трафик обеих VLAN будет автоматически переключен на альтернативный путь передачи. На Рисунок 4 показано состояние всех линий связи при нормальном функционировании всех кабельных соединений. При помощи настроек параметров протокола Spanning Tree также можно обеспечить балансирование нагрузки между параллельными путями.

Для того чтобы установить левый нижний коммутатор в качестве основного для VLAN#2, необходимо при конфигурации коммутатора задать команду

Switch>set spantree priority 500 2,

где 500 ? это значение приоритета, а 2 соответствует VLAN#2.

На другом коммутаторе уровня распределения надо задать команду

Switch>set spantree 1000 2,

где 1000 ? приоритет, больший, чем 500, но меньший, чем значение по умолчанию (32768). Таким образом, второй коммутатор станет основным в том случае, если выйдет из строя первый или случится обрыв линии связи между первым коммутатором и уровнем доступа.

Протокол ISL (Inter-Switch Link) используется для передачи трафика двух VLAN по одному магистральному соединению между коммутаторами уровней доступа и распределения.

Уровень распределения (детали)

Рисунок 4. Уровень распределения (детали)

Switch>set spantree priority 500 2

где 500 ? это значение приоритета, а 2 соответствует VLAN#2.

На другом коммутаторе уровня распределения надо задать команду

Switch>set spantree 1000 2

Анализ избыточности по протоколу Spanning Tree

Рисунок 5. Анализ избыточности по протоколу Spanning Tree

Для того чтобы убедиться, как эта схема будет работать на практике, рассмотрим случай, при котором соединение между левыми коммутаторами в обоих уровнях было удалено или оборвано (см. Рисунок 5). В такой ситуации вторая связь с уровнем распределения становиться путем передачи трафика VLAN#2 и VLAN#3.

Анализ избыточности по протоколу Spanning Tree

Рисунок 5. Анализ избыточности по протоколу Spanning Tree

Масштабирование производительности соединений

Рисунок 6. Масштабирование производительности соединений

В связи с тем, что ранее мы уже разработали для сети гибкую схему распределения VLAN и их соответствия подсетям, в данном примере мы просто организуем новую VLAN (VLAN#100 в данном случае), которая позволит передавать большее количество трафика при взаимодействии двух уровней сети. Фактически исследование трафика на этапе взаимодействия двух уровней может привести к необходимости дополнительного физического соединения между коммутаторами и создания на его основе выделенного соединения для группы пользователей, требующих более широкой полосы пропускания. Этот случай как раз и показан на Рисунок 6.

На практике создать такое соединение не сложно: используя протокол DHCP можно легко и безболезненно присвоить новые адреса клиентам VLAN#100. При этом обслуживающему персоналу даже не потребуется изменеять в конфигурацию конечных пользовательских рабочих станций.

Другим способом увеличения полосы пропускания соединений уровней доступа и распределения является применение технологии Fast EtherChannel. Применение этой технологии показано на Рисунок 7.

Масштабирование производительности соединений

Рисунок 6. Масштабирование производительности соединений

Масштабирование производительности соединений с применением Fast EtherChannel

Рисунок 7. Масштабирование производительности соединений с применением Fast EtherChannel

Объединение двух или четырех параллельных соединений Fast Ethernet позволяет существенно увеличить производительность соединений между коммутаторами в пределах одной VLAN. При взаимодействии двух узлов сети технология Fast EtherChannel предотвращает передачу пакетов по разным физическим каналам путем закрепления адресов источника и приемника пакетов за одной линией связи. В случае ее отключения или выхода из строя весь трафик автоматически переключается на параллельное соединение.

Масштабирование производительности соединений с применением Fast EtherChannel

Рисунок 7. Масштабирование производительности соединений с применением Fast EtherChannel

Расположение серверов рабочих групп

Рисунок 8. Расположение серверов рабочих групп

При использовании сетевых адаптеров, поддерживающих функции ISL, имеется возможность включить один сервер сразу в несколько VLAN. Такое подключение серверов обеспечивает прямое соединение второго уровня с любым местом рассматриваемого строительного блока сети (для VLAN#2 ? VLAN#13), показанного на Рисунок 8. Как правило, на практике нет необходимости предоставлять один сервер только одной рабочей группе. Это связано с тем, что современные серверы по своим аппаратным ресурсам в состоянии обеспечить качественное обслуживание сразу нескольких групп. Такой подход к проблеме организации серверов рабочих групп позволяет снизить затраты на их установку и сопровождение.

Другим решением организации взаимодействия сервера рабочих групп сразу с несколькими VLAN можно считать конфигурирование сетевого адаптера сервера на принадлежность нескольким подсетям. Количество подсетей, поддерживаемое сетевыми адаптерами разных производителей, не ограничивается каким-либо стандартом и зависит от конкретной модели адаптера (особенно в случае с множественными эмулированными сетями (ELAN) при использовании технологии LANE). Следовательно, при выборе какого-то конечного решения по применению данного подхода необходимо обратить внимание на документацию к сетевому адаптеру. На практике конфигурирование сетевого адаптера на принадлежность нескольким VLAN эквивалентно наличию нескольких обычных адаптеров в сервере. На основе этого в применяемых решениях используют от 6 до 10 различных VLAN на одном сетевом интерфейсе.

Расположение серверов рабочих групп

Рисунок 8. Расположение серверов рабочих групп

Уровни доступа и распределения

Рисунок 9. Уровни доступа и распределения

Все 14 коммутаторов уровня распределения образуют семь функциональных строительных блоков сети. В каждом блоке имеются все возможности и реализованы все функции для обеспечения взаимодействия всех узлов и VLAN внутри блока. Уровень ядра должен предоставлять три типа функций по объединению имеющихся блоков в единую сетевую систему:

Взаимодействие VLAN за пределами строительных блоков сети (Inter-VLAN communication). Взаимодействие оборудования из разных строительных блоков, необходимое для определения оптимальных маршрутов следования потоков данных в разных направлениях. Обеспечение связи всех конечных узлов сети с корпоративными серверами и внешними сетями (частные глобальные сети и Интернет).

Для обеспечения всех этих функций ядром системы мы рассмотрим два подхода к построению самого ядра:

Ядро с использованием выделенных маршрутизаторов. Ядро с использованием аппаратуры маршрутизации, встроенной в коммутаторы уровня распределения.

Оба подхода обеспечивают достижение поставленных задач, выбор того или иного решения в каждом конкретном случае зависит от требований заказчика, типа используемого оборудования и от особенностей аппаратных и кабельных помещений.

Уровни доступа и распределения

Рисунок 9. Уровни доступа и распределения

Для обеспечения всех этих функций ядром системы мы рассмотрим два подхода к построению самого ядра:

Ядро системы с отдельно стоящими маршрутизаторами

Рисунок 10. Ядро системы с отдельно стоящими маршрутизаторами

Более подробно принципы связи между ядром системы и уровнями распределения и доступа показаны на Рисунок 11.

Ядро системы с отдельно стоящими маршрутизаторами

Рисунок 10. Ядро системы с отдельно стоящими маршрутизаторами

Более подробно принципы связи между ядром системы и уровнями распределения и доступа показаны на Рисунок 11.

Резервирование InterVLAN маршрутизации

Рисунок 11. Резервирование Inter-VLAN маршрутизации

Для обеспечения избыточности в оборудовании и коммуникациях между уровнями ядра и распределения имеются два пути следования потоков данных. Чтобы эти пути одновременно использовались для передачи трафика, необходимо ввести некоторые соглашения. Разделим условно все VLAN в каждом из строительных блоков на четные и нечетные. Для первого строительного блока, который, как описано выше, необходим для передачи трафика четных VLAN, левый маршрутизатор используется в качестве основного для трафика VLAN#2 - VLAN#12.

При использовании маршрутизатора с протоколом HSRP (Hot Standby Router Protocol) необходимо обратить внимание на назначение его (маршрутизатора) интерфейсов в качестве основных и резервных. В сущности, вся маршрутизация Inter-VLAN для подсетей 2?13 в первом функциональном блоке осуществляется левым маршрутизатором, а маршрутизация подсетей 14?25 - правым. Применение HSRP позволяет маршрутизаторам уровня ядра резервировать друг друга, что дает возможность снизить количество единиц оборудования в системе и соответственно избежать дополнительных расходов.

В заключение добавим, что эффективность маршрутизации IP может быть увеличена за счет использования дополнительных функций распределенной коммутации, встроенных в программное обеспечение маршрутизаторов Cisco 7500 (начиная с Cisco IOS 11.2.(7)F). При использовании этих функций вся маршрутизация IP выполняется одним модулем Cisco 7500 -VIP 2 (Versatile Interface Processor), что обеспечивает снижение нагрузки на центральную шину маршрутизатора и существенно увеличивает его производительность. В нашем проекте мы будем использовать 14 таких модулей для обеспечения всех функций распределенной коммутации.

Резервирование InterVLAN маршрутизации

Рисунок 11. Резервирование Inter-VLAN маршрутизации

Масштабирование соединений с маршрутизаторами

Рисунок 12. Масштабирование соединений с маршрутизаторами

Наиболее простым решением является разбиение одной VLAN на более мелкие подсети и группы и передача их трафика по разным физическим соединениям. Это решение показано на Рисунок 12 в части передачи трафиков четных VLAN#2 ? VLAN#12. Эта группа подсетей разбивается на две (VLAN#2 ? VLAN#6 и VLAN#8 ? VLAN#12), и суммарный трафик передается по двум независимым физическим соединениям. Второй способ увеличения полосы пропускания соединений на уровне ядра - применение технологии Fast EtherChannel является более простым, по сравнению с первым, так как не требует разбиения групп VLAN на подгруппы. Однако применение технологии Fast EtherChannel требует наличия ее поддержки и маршрутизатором уровня ядра, и коммутатором уровня распределения.

Масштабирование соединений с маршрутизаторами

Рисунок 12. Масштабирование соединений с маршрутизаторами

Ядро системы (детали)

Рисунок 13. Ядро системы (детали)

Рассмотрим, какие функции выполняют соединения между различными аппаратными компонентами ядра системы. Между маршрутизаторами и коммутаторами Catalyst на уровне ядра организованы две подсети. Наличие протокола ISL в этих подсетях не обязательно; физические соединения для них выполняются на обычных интерфейсах Fast Ethernet. В частности, VLAN#100 предназначена для передачи трафика левому коммутатору Catalyst, а VLAN#101 - правому. Для передачи трафика между двумя частями сети имеется два возможных маршрута. Каким именно образом будет проходить трафик, определяется используемым протоколом маршрутизации. Чтобы обеспечить наиболее быстрое переключение передачи данных на резервный канал, рекомендуется использовать протокол с минимальным временем сходимости. В IP-сетях обычно применяют протоколы OSPF (Open Shortest Path First) или EIGRP (Enhanced Interior Gateway Routing Protocol).

Показанные на Рисунок 13 корпоративные серверы подключаются к коммутаторам уровня ядра по линиям Fast Ethernet и принадлежат одной VLAN. Серверы, как и рабочие станции, нуждаются в настроенных параметрах IP address, address mask и default gateway. Это необходимо для обеспечения связи на третьем уровне модели OSI для обеспечения функций взаимодействия серверов с остальными участниками сетевой системы. Применение протокола DHCP в этом случае невозможно, поэтому мы рассматриваем два возможных пути решения проблемы: статическая конфигурация серверов и использование протоколов ARP (Address Resolution Protocol) и ICMP (Internet Control Message Protocol), обеспечивающих поддержку корректных таблиц маршрутизации.

Более подробно на функциях корпоративных серверов и проблемах, связанных с их подключением, мы остановимся позднее, а пока рассмотрим альтернативный вариант построения ядра системы.

Ядро системы (детали)

Рисунок 13. Ядро системы (детали)

Уровень ядра с использованием модулей Route Switch Module (RSM)

Рисунок 14. Уровень ядра с использованием модулей Route Switch Module (RSM)

Объединение коммутации второго и третьего уровня в одном устройстве позволяет осуществлять передачу до 2 миллионов пакетов в секунду. Более подробно работа оборудования показана на Рисунок 15.

Уровень ядра с использованием модулей Route Switch Module (RSM)

Рисунок 14. Уровень ядра с использованием модулей Route Switch Module (RSM)

Резервирование ядра на основе RSM

Рисунок 15. Резервирование ядра на основе RSM

Модули RSM имеют внутренние интерфейсы с внутренней шиной коммутаторов, по одному интерфейсу на каждую VLAN. Например, левый коммутатор с модулем RSM имеет внутренние интерфейсы для VLAN#2?VLAN#13 и функционирует как основной HSRP-маршрутизатор для четных VLAN, а правый коммутатор с модулем RSM также имеет внутренние интерфейсы для VLAN#2?VLAN#13, но функционирует как основной HSRP-маршрутизатор для нечетных VLAN. Каждый из коммутаторов в паре выполняет функции резервного маршрутизатора для своего соседа.

Так же как и в случае с выделенными маршрутизаторами, внутренние соединения аппаратуры ядра системы выполнены с применением коммутаторов Catalyst (см. Рисунок 16).

Резервирование ядра на основе RSM

Рисунок 15. Резервирование ядра на основе RSM

Схема соединений ядра на основе RSM

Рисунок 16. Схема соединений ядра на основе RSM

Схема соединений ядра на основе RSM

Рисунок 16. Схема соединений ядра на основе RSM

Поддержка IPmulticasting

Рисунок 17. Поддержка IP-multicasting

Для правильного функционирования приложений многоцелевой рассылки данных необходимо, чтобы протокол CGMP был запущен на устройствах уровней распределения и доступа, обеспечивая оптимальную передачу пакетов. В данном случае коммутаторы Catalyst распространяют мультикастовый трафик только на выходные порты, принадлежащие группе рассылки.

Поддержка IPmulticasting

Рисунок 17. Поддержка IP-multicasting

Соединения с внешними сетями с другой топологией

Рисунок 18. Соединения с внешними сетями с другой топологией

Уровень ядра поддерживает следующие типы подключений:

Доступ в Интернет через маршрутизатор (или через маршрутизаторы, если требуется резервирование) с обеспечением функций трансляции адресов и обеспечения безопасности (firewall). Подключения к глобальным сетям через маршрутизатор уровня ядра включая постоянное подключение, доступ по коммутируемым каналам тональной частоты и по цифровым каналам ISDN. Подключение к сетям, выполненным по другим технологиям передачи данных (Token Ring, AppleTalk) через маршрутизаторы уровня ядра. Необходимо отметить, что при использовании других технологий передачи рабочая группа, например Token Ring, должна быть организована в соответствии со стандартом и иметь возможность подключения к нашей системе.

Для обеспечения работы протокола Token Ring NetBIOS в новой сети Ethernet необходимо обеспечить прозрачную трансляцию (бриджинг) пакетов из Token Ring в Ethernet и наоборот. Эта трансляция выполняется на уровне распределения при помощи либо выделенного маршрутизатора Cisco 4000 или коммутатора Catalyst 1800 через транспортную сеть FDDI (Fiber Distributed Data Interface).

Соединения с внешними сетями с другой топологией

Рисунок 18. Соединения с внешними сетями с другой топологией

Уровень ядра поддерживает следующие типы подключений:

Окончательная топология сети с использованием выделенных маршрутизаторов

Рисунок 19. Окончательная топология сети с использованием выделенных маршрутизаторов

Проект сети с использованием модулей RSM показан на Рисунок 20.

Окончательная топология сети с использованием выделенных маршрутизаторов

Рисунок 19. Окончательная топология сети с использованием выделенных маршрутизаторов

Проект сети с использованием модулей RSM показан на Рисунок 20.

Окончательная топология сети с использованием модулей RSM

Рисунок 20. Окончательная топология сети с использованием модулей RSM

Окончательная топология сети с использованием модулей RSM

Рисунок 20. Окончательная топология сети с использованием модулей RSM

Анализ отказоустойчивости (с использованием выделенных маршрутизаторов)

Рисунок 21. Анализ отказоустойчивости (с использованием выделенных маршрутизаторов)

На Рисунок 22 показан маршрут следования трафика при сбое основного маршрутизатора для соответствующих VLAN.

Анализ отказоустойчивости (с использованием выделенных маршрутизаторов)

Рисунок 21. Анализ отказоустойчивости (с использованием выделенных маршрутизаторов)

На Рисунок 22 показан маршрут следования трафика при сбое основного маршрутизатора для соответствующих VLAN.

Анализ отказоустойчивости

Рисунок 22. Анализ отказоустойчивости (с использованием выделенных маршрутизаторов).
Сбой основного маршрутизатора уровня ядра для маршрутизации VLAN#2 ? VLAN#5

В данном случае механизм HSRP автоматически определит сбой в основном маршрутизаторе и переключит передачу трафика на резервный маршрутизатор с использованием резервных линий связи.

В следующем примере (см. Рисунок 23) рассматривается ситуация, когда выходит из строя коммутатор уровня распределения.

Анализ отказоустойчивости

Рисунок 23. Анализ отказоустойчивости (с использованием выделенных маршрутизаторов).
Сбой одного из коммутаторов уровня распределения для маршрутизации VLAN#2 ? VLAN#5

В данном случае сбой ликвидируется при помощи протокола Spanning Tree, функционирующего на соединениях уровней доступа и распределения, и протокола HSRP, функционирующего между маршрутизаторами уровня ядра. На Рисунок 23 показан один из возможных путей, который маршрутизаторы могут выбрать в качестве основного при выходе из строя коммутатора уровня распределения. Использование параметров конфигурации портов маршрутизаторов (в частности, административная стоимость интерфейсов) позволяет настроить автоматическое перераспределение маршрутов и нагрузки на маршрутизаторы оптимальным образом. Следует отметить, что при использовании модулей RSM эти процессы будут выполняться значительно быстрее за счет использования внутренних шин коммутаторов.

Анализ отказоустойчивости

Уровень доступа и распределение VLAN

Рисунок 24. Уровень доступа и распределение VLAN

Уровень доступа и распределение VLAN

Рисунок 24. Уровень доступа и распределение VLAN

Схема соединений уровня распределения АТМ

Рисунок 25. Схема соединений уровня распределения АТМ

В нашем случае каждый из восьми коммутаторов LightStream 1010 использует 20 интерфейсов OC-3 ATM (максимальное число таких интерфейсов для коммутатора LightStream 1010 - 32). Позднее, когда потребуется соединить эти коммутаторы с другими устройствами, можно воспользоваться незанятыми интерфейсами.

Рассмотрим такую конфигурацию более подробно (см. Рисунок 26) и обсудим расположение компонентов технологии LANE.

Схема соединений уровня распределения АТМ

Рисунок 25. Схема соединений уровня распределения АТМ