?壞壞熊?

十一假期期间，大家都已经休假，我们管理员必须有一个人值班，也够郁闷的，第二天就出现有6栋楼网络故障，我一个人呀，这样大的网络故障我还是第一次遇见。当时第一预感就是先稳一稳，自己先理清思路，制定查看故障的方案。我就拿起我们当初的一手布线网络拓朴资料，查看网络拓朴结构，首先从最低层用户着手，采用走访性质查看网络故障现象，在去接入层查看交换网络设备配置，在去汇聚层查看配置（去汇聚层又出现了一个小小的插曲，因为设备配线间钥匙管理不善，找不到汇聚层机房钥匙，翻箱倒柜的找到了钥匙。这一点作为我们网络管理者也是不能忽视的问题之一！）。问题是发现了，原来汇聚层的网络设备华为LS-3026FM光交换机挂了。直接是电源指示灯都不亮。我手边又没有备用替换网络设备。就是有也都在库房，我也取不出来。无奈之下就向我们正在休假中的领导打电话催他们支援。
    他们来了，我们立马在库房找了个新的替换交换机，带过去，将坏交换的光模块取下，插到替换交换机上，将交换配置配好，测试还是不通。还有问题！还是交换机的问题？无奈之下，又去库房重拿了一个LS-3026FM和同型号的光模块，替换掉光模块，经过设备调试，走访用户端测试，问题算是解决了。整整用了4天时间，想想只有7天假，4天都在忙那个。
    无疑对用户是造成了一定的损失，也影响了我们部门的形象。但是我们要清楚，这个故障不仅仅是技术问题呀！作为一个合格的网络管理者，保障网络的畅通，快速的解决网络故障，是我们的职责，不仅仅需要技术的支持，同时也需要一点点必要的管理经验！比如配线间钥匙的管理，外界的因素也不容忽视哦！
随着经济的快速增长，一家一端口一台电脑的设计方案，也远远不够部分炒股者的需求，作为学校的03年的网络设计方案的不足也慢慢浮现出水面。网络故障也不可预知的频频发生！
    一些用户因为端口的不足，往往选择自己加设备。谁加了他们也不上报，这样给我们的管理带来许多不便！网络故障也层出不穷。教学区固定ip，不选择mac地址绑定，但在用户申请ip的时候至少有其mac地址的记录，发现某用户流量过高还可以打电话警告，但是部分用户不服从该制度，不登记。挺聪明得，看看隔壁办公室的ip配置，在该ip附近随便找一个用，这样就出现了，ip滥用现象，ip冲突现象时有发生；家属区dhcp，又没有很好的管理方案！许多网管软件也派不上用场。对dhcp用户来说：比如某用户中毒，向设备狂发包，影响网络设备性能，造成网络出口速率低，部分用户上网慢，网络有严重丢包现象，我们也没有什么高级的网络测试工具。只有带个笔记本，一根跳线在接入层的设备配线间内，时时ping网关，拔线，寻找狂发包用户。无疑这样的工作对我们管理员很累！
    　
    也就是在11月初，一个特殊的网络问题出现了，估计大家也应该没出现过的，真的是莫不着头脑了．我们大领导出差，办公室除了我们４个网络管理员，一个技术主管，他掌管我们机房所有的服务器，路由器，核心交换机．还有一个接故障电话的女孩．近来１，２，３，４，５号家属院分别有用户反映，近来网络特慢，时通时不通．我们也没留意！都是强调他们查毒，杀毒．可是没过多久，这几栋楼都上不了网了．有用户电话反映获取IP地址是169.92.2.115，我们院里正确的DHCP获取的IP地址是100.100.X.X．根据我以前的经验总结很可能是的网络光链路故障，具体看连接http://bbs.chinaitlab.com/thread-325421-1-1.html．我们就去看主机房到汇聚交换及接入层交换光路，一切正常．将主交换设备重起还是无济于事，到接入层设备机房查看，设备状态正常．笔记本接到consol口，查看交换配置一切正常，接入普通端口获取ip地址还是169.X.X.X．将交换机重新启动，马上获取ip地址，突然获取正常，但是不能浏览网页．将网卡禁用启用，又获取的是那个169.X.X.X．
    起初断定可能是上层主机房问题，回去检查核心交换，一切都是原来的配置，一切正常，没办法，去研究已前的网络拓扑和一手的网络配置信息资料．有一个不小的发现，故障所在区的１＃，２＃，３＃，４＃．５＃，这５栋楼属于同一个Vlan125.当时我们几个人一起坐在会议室研究解决方案．一直到晚上9:00．最后决定将尝试的将Vlan125改划分到Vlan126上，主负责有我的一个同事处理．第二天常识的改了vlan后当时是好了，我不时有个疑问，我问领导为什么Vlan125不行呢？以前Vlan125不是也可以的呀！而且是正常了好多年的呀！我领导也说不上来什么！他就带我去了汇聚交换机房，核心交换机房查看Vlan125的信息．分析故障原因．设备配置Vlan125一切正常．正当我和领导思索，其他人狂欢的时候，电话响了．用户反映故障又出现了，我们百思不得其解．我们冷静的想想，换Vlan后可以了一会．说明问题是在用户端！可能有用户中毒或者架接了DHCP服务．最后决议将这５栋楼分割开来，转接到不同的Vlan内．
    我于是带了本子，网络设备远程控制密码，来到汇聚机房，汇聚交换也是LS-3026FM．我的处理办法是：汇聚交换LS-3026FM配置不变，将它的下边连接的设备通过LS-3026FM远程控制访问，更改下层交换设备配置信息．我起先定了所需的配置规则：１＃划到vlan120；2#划到vlan121；3#划到vlan122；4#划到vlan123；5#划到vlan124．在汇聚机房找一台网络设备也同样更改，将它的更改和我远程控制楼号的更改相一致．这样我可以不用下楼到其他楼层看效果．直接拿跟跳线连接到这个设备上，查看获取到的ip地址，尝试上网，测试网络连通性．直接在汇聚机房找到有问题的楼．这个方法不错，当我调试到第３号楼的时候，测试获取的ip地址是169.X.X.X，问题就出在这个楼上，但是我还是耐着性子继续更改其它楼的配置．测试完后，其它楼都正常，我欣喜万千，一想这样找到了，主要对３号楼单独处理，就用我们以前最原始的隔离用户的方法处理．于是我
就远程将所更改的设备配置恢复（因为是测试，我就没有保存我当时更改的配置信息，重起交换机配置自动恢复，我就远程重起．这样和耗时间，每远程重起一设备都需要3~５分钟．我没有那么好的性子，要想想如果远程控制重起设备．设备的数量有18个之多！于是就想起到个单元楼道，将楼道电源断掉再打开就可以实现设备重起了．
    就那样做过之后，这５栋楼的Vlan又回到了Vlan125．（我当时的想法是，既然已经确定了３#楼有问题，我直接用用户隔离法，将用户一个一个隔离，知道找到有问题用户！）但是出人意料的事又发生了．当我恢复其他楼的配置之后，来到3#将笔记本接到交换机普通端口上，测试获得ip地址还是169.X.X.X，无奈之下将所有的接入用户拔掉．只留一个我自己笔记本那个端口，将设备重起，问题依旧！进入交换机控制端，查看配置，设备不停的警告２fun shutdown　交换机上第二个风扇坏了！个人感觉应该与这个警告没关系．即使是它的原因也不至于影响其他４栋楼的网络．我有些恼火了，既然是这栋楼的问题，就先将它断掉，随即我就断掉了3#楼的交换机电源．其他楼网络应该没问题！到了晚上，我电话回访用户，他们反映说是下午好了时间不长，问题又出现了！
    晚上我躺在床上一直在想，这个问题应该与设备本身的性能有关，该类型的网络设备有华为S2403,E026.可以说在市场上都看不到的设备，设备陈旧，设备性能下降，是一个原因；最主要的问题可以追究到存放设备的环境中，我们都知道，灰尘是网络设备的无形杀手！我们的接入层设备都是壁挂于单元楼顶阳台内的铁箱子．设备都是立放的！久而久之灰尘就弥漫了整个箱子．我们没次排除故障都不关清理里边的灰尘！再就是有用户私设DHCP服务！同事们都灰心了，说这问题没办法处理！我不管那么多，申请自己去尝试下！第二天我争的领导同意，将我以前所做的配置保存到网络设备中．一大早我就去了故障地点．还是按以前的操作更改设备所在的Vlan，改好后保存退出！我更改一个办公室就打电话报信说1#故障消失......．当听到这话我不知道有多高兴！继续更改，当到3#时网络是通了，只有一个用户反映它那不行．尾巴终于露出来了！我按办公室给我的电话找到那个用户，进去后查看他们的布局使我大吃一惊．它是三室一厅，每个房间一台台式机，还有好几台笔记本．无语真是有钱人！查看它家布局，门外网络端口引进，接入一６口路由器，通过路由接入一台式机．
    查看网络，一切正常，不能浏览网页．Ping网关也正常，起初以为是浏览器问题，不过带我笔记本后故障依旧！随后断掉他们的路由，直接接到笔记本，一切正常．问题就在这个路由器上！就是因为它造成一大片网络故障；就是因为它折磨的我吃不饱，睡不好！至今那样的问题再也没出现过！哎，问题算是解决了．但是还是有点模糊！
    估计大家对这个处理问题过程不感兴趣，但是那种将大网络划分为小网络处理的方法值得大家学习！