
发现工作中可能会用到Linux下网卡绑定相关的知识。找了些文章看,然后一通混剪,各家所长为我所用。
网卡bond,即网卡绑定,也称作网卡捆绑。网卡绑定有多种称谓:Port Trunking, Channel Bonding, Link Aggregation, NIC teaming等等,其实说的是一回事。就是将两个或者更多的物理网卡绑定成一个虚拟网卡。通过绑定可以达到链路冗余、带宽倍增、负载均衡等目的。是生产场景中提高性能和可靠性的一种常用技术。
Linux内置了网卡绑定的驱动程序,可以将多个物理网卡分别捆绑成多个不同的逻辑网卡(例如把eth0、eth1捆绑成bond0,把eth2、eth3捆绑成bond1)。对于每一个bond接口来说,可以分别定义不同的绑定模式和链路监视选项。
对应于不同的负载均衡和容错特性需求,Linux网卡bond的模式共有bond0-bond6共7种。
表示负载分担round-robin,并且是轮询的方式,比如第一个包走eth0,第二个包走eth1,直到数据包发送完毕。
表示主备模式,即同一时间时只有1块网卡在工作。
表示使用MAC地址的XOR Hash负载分担,网络上特定的通信双方会始终经由某一个网卡的链路通信,和交换机的聚合强制不协商方式配合。(需要xmit_hash_policy [1] ,需要交换机配置port channel)
表示所有包从所有绑定的网络接口发出,不考虑均衡流量的分担,只有冗余机制,但过于浪费资源。此模式适用于金融行业,因为他们需要高可靠性的网络,不允许出现任何问题。需要和交换机的聚合强制不协商方式配合。
表示支持802.3ad协议,和交换机的聚合LACP方式配合(需要xmit_hash_policy).标准要求所有设备在聚合 *** 作时,要在同样的速率和双工模式。
是根据每个slave的负载情况选择slave进行发送,接收时使用当前轮到的slave。该模式要求slave接口的网络设备驱动有某种ethtool支持;而且ARP监控不可用。
在5的tlb基础上增加了rlb(接收负载均衡receiveload balance).不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的.
模式1、模式5和模式6不需要交换机端的设置,网卡能自动聚合。模式4需要支持802.3ad。模式0,模式2和模式3理论上需要静态聚合方式。 (据说实测中模式0可以通过mac地址欺骗的方式在交换机不设置的情况下不太均衡地进行接收。)
创建ifcfg-bond0文件,配置IP地址、子网掩码、网关等参数。
修改eth0、eth1、eth2的配置文件,注释或删除IP地址、掩码、网关和MAC地址的配置,添加关于MASTER和SLAVE的设置
根据实际需求,选择合适的bonding模式,为bond0设置bonding kernel module。
在 /etc/modprobe.conf 中添加以下内容
确认模块是否加载成功
重启网络(或重启主机):
查看bond0的状态:
另外还可以使用 ifconfig -a | grep HWaddr 查看bond0接口是否处于活动状态,以及各网卡MAC地址情况。
从上面的确认信息中,我们可以看到3个重要信息:
1.现在的bonding模式是active-backup
2.现在Active状态的网口是eth2
3.bond0,eth0、eth1、的物理地址和处于active状态下的eth2的物理地址相同,这样是为了避免上位交换机发生混乱。
可以ping一个远程地址,然后断开Active状态的eth2口网线,验证主备模式是否能正常切换,业务是否受到影响。
将网口添加到bond中:ifenslave bond eth0 eth1【bond要先up】
将bond中删除网口:ifenslave -d bond eth0
bond中网口主备倒换:ifenslave -c bond eth1
前面只是3个网口绑定成一个bond1的情况,如果我们要设置多个bond口,比如物理网口eth0和eth1组成bond0,eth2和eth3组成bond1应该如何设置呢?
网口设置文件的设置方法和上面第1步讲的方法相同,只是/etc/modprobe.d/bonding.conf的设定就不能像下面这样简单的叠加了:
正确的设置方法有2种:
第一种: 你可以看到,这种方式的话,多个bond口的模式就只能设成相同的了:
第二种: 这种方式,不同的bond口的mode可以设成不一样:
按照上面这2种设置方法,现在如果是要设置3个,4个,甚至更多的bond口,可是可以的。
第一步:创建一个ifcfg-bondX
# touch /etc/sysconfig/network-scripts/ifcfg-bond0 新建一个bond0配置文件
# cat /etc/sysconfig/network-scripts/ifcfg-bond0 DEVICE=bond0 BOOTPROTO=static IPADDR=1.1.1.2
NETMASK=255.255.255.0
BROADCAST=1.1.1.255
NETWORK=1.1.1.0
GATEWAY=1.1.1.1
ONBOOT=yes
TYPE=Ethernet
编辑ifcfg-bond0如上
第二步:修改/etc/sysconfig/network-scripts/ifcfg-ethX
这个实验中把网卡1和2绑定,修改/etc/sysconfig/network-scripts/ifcfg-ethX相应网卡配置如下:
# cat /etc/sysconfig/network-scripts/ifcfg-eth1
TYPE=Ethernet
DEVICE=eth1
HWADDR=00:d0:f8:40:f1:a0 网卡1mac
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
MASTER=bond0
SLAVE=yes
# cat /etc/sysconfig/network-scripts/ifcfg-eth2
TYPE=Ethernet DEVICE=eth2
HWADDR=00:d0:f8:00:0c:0c 网卡2mac
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
MASTER=bond0
SLAVE=yes
第三步:配置/etc/modprobe.conf,添加alias bond0 bonding
# cat /etc/modprobe.conf alias eth0 e100
alias snd-card-0 snd-intel8x0
options snd-card-0 index=0
options snd-intel8x0 index=0
remove snd-intel8x0 { /usr/sbin/alsactl store 0 >/dev/null 2>&1 || : }/sbin/modprobe -r --ignore-remove snd-intel8x0 alias eth1 8139too
options 3c501 irq=3
alias eth2 tulip
上面是三网卡本身的配置如果要绑定和做lacp只要再加上下面两条配置
alias bond0 bonding 绑定
options bond0 miimon=100 mode=4 mode=4是lacp
第四步:配置/etc/rc.d/rc.local,添加需要绑定的网卡
# cat /etc/rc.d/rc.local
touch /var/lock/subsys/local 配置本身就有这条命令
ifenslave bond0 eth1 eth2 这条命令是添加需要绑定的网卡1和2
到这里就完成bonding的配置了可以查看一下
第五步:重启网络服务和重启pc
#service network restart 重启网络服务
# shutdown -r now 重启pc
重启后可以查看bonding情况:网卡1和2 都绑定上了,模式为802.3ad
# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.0.3 (March 23, 2006)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0) MII Status: up
MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0
802.3ad info
LACP rate: slow
Active Aggregator Info:
Aggregator ID: 1
Number of ports: 2
Actor Key: 9
Partner Key: 1
Partner Mac Address: 00:d0:f8:22:33:ba Slave Interface: eth1
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:d0:f8:40:f1:a0
Aggregator ID: 1
Slave Interface: eth2
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:d0:f8:00:0c:0c
Aggregator ID: 1
接口配置信息:新增了bond0的配置信息,接口bond0和eth1,eth2,绑定后三个接口使用的mac都是同一个:00:D0:F8:40:F1:A0 # ifconfig
bond0 Link encap:Ethernet HWaddr 00:D0:F8:40:F1:A0
inet addr:1.1.1.2 Bcast:1.1.1.255 Mask:255.255.255.0
inet6 addr: fe80::2d0:f8ff:fe40:f1a0/64 Scope:Link
UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1
RX packets:128 errors:0 dropped:0 overruns:0 frame:0
TX packets:259 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:15466 (15.1 KiB) TX bytes:39679 (38.7 KiB)
eth0 Link encap:Ethernet HWaddr 00:11:11:EB:71:E2
inet addr:192.168.180.8 Bcast:192.168.180.15 Mask:255.255.255.240
inet6 addr: fe80::211:11ff:feeb:71e2/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:311 errors:0 dropped:0 overruns:0 frame:0
TX packets:228 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:30565 (29.8 KiB) TX bytes:35958 (35.1 KiB) eth1
Link encap:Ethernet HWaddr 00:D0:F8:40:F1:A0
inet6 addr: fe80::2d0:f8ff:fe40:f1a0/64 Scope:Link
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:54 errors:0 dropped:0 overruns:0 frame:0
TX packets:97 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:6696 (6.5 KiB) TX bytes:13821 (13.4 KiB)
Interrupt:209 Base address:0x2e00
eth2 Link encap:Ethernet HWaddr 00:D0:F8:40:F1:A0
inet6 addr: fe80::2d0:f8ff:fe40:f1a0/64 Scope:Link
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:74 errors:0 dropped:0 overruns:0 frame:0
TX packets:162 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:8770 (8.5 KiB) TX bytes:25858 (25.2 KiB)
Interrupt:201 Base address:0x2f00
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:6283 errors:0 dropped:0 overruns:0 frame:0
TX packets:6283 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:9783674 (9.3 MiB) TX bytes:9783674 (9.3 MiB)
(二)锐捷交换机配置:
lacp system-priority 100 全局配置lacp优先级
interface GigabitEthernet 0/23
no switchport
lacp port-priority 100 接口的lacp优先级
port-group 1 mode active 接口下开启lacp 主动模式
interface GigabitEthernet 0/24
no switchport
lacp port-priority 100
port-group 1 mode active
interface AggregatePort 1
no switchport no ip proxy-arp
ip address 1.1.1.1 255.255.255.0
和linux成功建立lacp后状态信息如下:
Show lacp summary
System Id:100, 00d0.f822.33ba
Flags: S - Device is requesting Slow LACPDUs F - Device is requesting Fast LACPDUs. A - Device is in active mode. P - Device is in passive mode. Aggregate port 1:
Local information:
LACP port Oper Port Port
Port Flags State Priority Key Number State ----------------------------------------------------------------------
Gi0/23 SA bndl 100 0x1 0x17 0x3d
Gi0/24 SA bndl 100 0x1 0x18 0x3d
Partner information:
LACP port Oper Port Port
Port Flags Priority Dev ID Key Number State ---------------------------------------------------------------------
Gi0/23 SA 255 00d0.f840.f1a0 0x9 0x2 0x3d
Gi0/24 SA 255 00d0.f840.f1a0 0x9 0x1 0x3d
State表示状态信息:bndl表示lacp建立成功,sup表示不成功。
建立成功后在交换机上去ping linux 1.1.1.2
Ruijie#ping 1.1.1.2
Sending 5, 100-byte ICMP Echoes to 1.1.1.2, timeout is 2 seconds: <press Ctrl+C to break >!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms 在linux上ping交换机
[root@localhost ~]# ping 1.1.1.1
PING 1.1.1.1 (1.1.1.1) 56(84) bytes of data.
64 bytes from 1.1.1.1: icmp_seq=1 ttl=64 time=0.601 ms
64 bytes from 1.1.1.1: icmp_seq=2 ttl=64 time=0.606 ms
64 bytes from 1.1.1.1: icmp_seq=3 ttl=64 time=0.608 ms
64 bytes from 1.1.1.1: icmp_seq=4 ttl=64 time=0.607 ms
--- 1.1.1.1 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3002ms rtt min/avg/max/mdev = 0.601/0.605/0.608/0.024 ms
[root@localhost ~]#
可以ping通,lacp建立正常。
把原传输数据的那个网卡shut down异常测试时,需要等到lacp状态超时才能切换到另一条链路。
Ruijie#sh lacp summary
System Id:100, 00d0.f822.33ba
Flags: S - Device is requesting Slow LACPDUs F - Device is requesting Fast LACPDUs. A - Device is in active mode. P - Device is in passive mode. Aggregate port 1:
Local information:
LACP port Oper Port Port
Port Flags State Priority Key Number State ----------------------------------------------------------------------
Gi0/23 SA sups 100 0x1 0x17 0x45
Gi0/24 SA bndl 100 0x1 0x18 0x3d
Partner information:
LACP port Oper Port Port
Port Flags Priority Dev ID Key Number State ---------------------------------------------------------------------
Gi0/23 SP 0 0000.0000.0000 0x0 0x0 0x0
Gi0/24 SA 255 00d0.f840.f1a0 0x9 0x1 0x3d
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)