我看了”电信IP网络如何防范异常流量”的感动
我看了庄一嵘先生发表一篇”有关电信网络IP如何防范异常流量”文章之后深受感动,在现今中国大陆也有人如此关心在资料安全领域认真的探讨。以下先声明我写这篇文章是看了庄一嵘的文章才写,绝无批评庄一嵘的文章之意。
而以下文章内容是针对Netflow对异常流量的侦测心得,因为此方案吾人已研究5年(自2000年起),其它像计算机病毒及 IDP设备不是我的专长,就不作任何建议。
一、 我的名字叫Blue在台湾南部高雄还有一些名声,最大规划大型网络建置案有A、台湾教育网ADSL建置,11年前台湾还没有ADSL网络联机,当时中华电信(运营商)在高雄福康国小设置HDSL实验线路,我跟我的团队以小型Routhing Switch连接HDSL实验线路来模拟ADSL线路建置的可行性,然后再将实验结果写成报告透过中正高工网络组组长陈重华先生,呈给教育部。B、以6台大型Routhing Switch搭配Spanning Tree(802.1d)方式建置高雄市政府内部网络及ADSL对下行单位联机建置案。上述写这些背景不是在自夸而是想要告诉各位”实际经验很重要”,以下要发表的内容都是实际经验累积的心得。
二、 庄一嵘先生的文章把中国大陆发生的信息安全现象,做了非常好的描述,然而此现象并不是只发生在中国大陆,同样台湾及美国也面临同样问题。我认为庄一嵘先生的文章并没有把”实际解决方案的经验”提出或许他认为有提出,只是我本质学能太差看不出来,在此提供我的一些见解。
三、 要提到网络异常流量一定要提到Netflow对异常流量的侦测心得,在1996年CISCO公司提出Netflow可以针对网络异常流量的侦测,在2000年美国信息安全协会也提出NBAD(Network Behavior Anomaly Detection)技术理论,我认为跟CISCO公司提出Netflow可以针对网络异常流量的侦测是不谋而合,而NBAD设备是被放置在高流量的网络交叉口(也就是Gateway端),它并不是被放置在网络端点之间所以不会造成网络传输的延迟。然而NBAD的技术就是在解决IDP的盲点,当网络蠕虫攻击每个IP时,IDP设备要有Patten(特征码)才能过滤防阻蠕虫,NBAD的技术就是不需要Patten(特征码)就可以侦测到蠕虫,它采用对Netflow或S-Flow的流量收集,来侦测产生异常流量的IP,因为只要有Patten(特征码)设备都是先被蠕虫攻击,设备厂商再研发”过滤程序”所以它永远都是被动式,例;在2006年9月到2007年1月僵尸蠕虫及其变种蠕虫,所有IDP设备都没有Patten(特征码)过滤程序,这大概跟SNORT协会有关,因为SNORT协会并没有真正解决程序(这是我的见解)。此时NBAD的设备就可以发挥效用,就是运用侦测异常流量把被感染蠕虫的IP、Session数、Port Number(埠服务)找出来,知道这些数据就可以做急救处理,以下是发生的实际案例。
例一︰在2006年11月高雄的义守大学发生校园网络被蠕虫攻击到Core Switch(为了避免批评Core Switch厂牌就不提是甚么厂牌)的CPU运转效能高达98%,也就是几乎要使Core Switch当机而瘫痪整个校园网络,因为使用者林老师只有一个人负责信息安全部份,所以在孤军奋斗情况下林老师想到他曾经采购一台具备有NBAD技术侦测蠕虫的设备,于是他从设备中发现有14个IP感染蠕虫,而且都是攻击ICMP的埠服务所以他马上将Core Switch设备的ICMP埠服务关闭,故Core Switch的CPU运转效能马上从98%下降到30%,才避免整个校园网络瘫痪。各位看倌一定有疑问,林老师买了此设备而此设备是否有E-Mail告知感染蠕虫报表功能,且是否有自动启动Core Switch的ACL指令来阻断被感染蠕虫的IP呢?我在此回答各位,设备是我Blue卖给义守大学林老师的当然我最清楚此设备,在此告诉各位此设备是实际到使用单位测试机器,并通过测试所以林老师才采购,而此设备是击败4家厂牌(包括美国及台湾产品),故此设备具有(1)﹒ 具备E-Mail通知使用者感染蠕虫的报表(2)﹒具备ACL阻断指令所以可以自动阻断(非过滤,因为没有Patten功能)被感染蠕虫之IP,但是为何林老师不用呢?原因,义守大学不同于其它大学,在此单位学生及老师的权益优先,就算IP感染蠕虫也不能自动阻断故林老师只能使用此设备手动来解决问题。
四、 高流量牵动整个设备的效能︰
上述在第三项有提到NBAD的设备都是放置在高流量的网络交叉口(也就是Gsteway端),但是那些厂牌的设备可以承受在高流量,首先,我们将流量先定义︰A﹒高流量︰也就是Throughtput在MRTG流量图中450Mbps以上。B﹒中流量在MRTG流量图中450 ~ 230Mbps。C﹒低流量在MRTG流量图中230 ~ 100Mbps。D﹒低低流量在MRTG流量图中100Mbps以下。等四级。以义守大学的等级是属于高流量,因为此学校的在MRTG流量图中800 ~ 500Mbps,此环境某知名”F”开头厂牌最高等级IDP设备,放置在Gateway端实际测试机器是当机,不然就是流量速度非常慢,而此设备厂牌还强调以ASIC单芯片开发的Throughtput,但是实际测试机器还是当机并没有通过测试。所以我卖给义守大学的信息安全报表设备Flowview是以Listen Mode方式放置在Core Switch后面,然后接收Netflow流量以1:1的抽样值导入在Flowview设备中做报表监控分析,义守大学的一天流量平均从Netflow接收到的Low Data二进码数据是10G,如此高的流量请问各位在中国大陆有那些单位有如此惊人的的流量,我想大概只有在电信运营商,从10月7日到10月23日义守大学从Core Switch的Netflow所收集到的Low Data数据量为180G的硬盘容量。
PS:高流量的内部网络不是一般设备在文件上写效能有多好就可以通过测试,所以从上述例子的观念告诉我们实际测试机器是对使用者最佳的保障,请不要相信销售员的”唬烂嘴”。
五、 揭弊某些设备在Netflow或S-Flow的抽样比值的花招︰
1、 在台湾地区某些信息安全的监视安全报表设备厂商,都会在收集Netflow或S-Flow的抽样比值动手脚,例;以1︰256;1︰128;1︰32等不同方式来导入收集Low Data,为了掩饰设备性能差还会告诉使用者设定1︰1抽样比值会造成Core Switch的效能变差,各位千万不要被销售员的”唬烂嘴”骗了,在上述第三项我曾提出NBAD设备不是放置在网络端点之间所以不会造成网络传输的延迟。
2、 实际案例一:发生在嘉义县(阿里山的所在地)吴凤技术学院,电算中心在采购此设备时有一家厂商将抽样比值设为1︰32还是当机,在使用者单位的MRTG流量图中150 ~100Mbps,使用者给这家厂商回去修改软件并给第二次机会来测机,结果竟然通过测试没有当机,电算中心詹主任告诉我他很怀疑才相隔一个月竟然通过没有当机,所以他想出从他的计算机下载某特定大容量的档案,然后再查询此报表软件设备,结果发现下载档案与报表所查询的数据相差50%,詹主任最后从别的厂商(此厂商是建置校园网络,所以不敢得罪詹主任才讲实话)知道这家厂商为了通过测试,偷偷写了一支小程序在设备上来避免当机。
PS:又教各位运用个人计算机下载80M的档案,并查询此报表数据是否跟下载档案相同,就可验证此设备的准确度。千万不要被不诚实的厂商欺骗。
3、 实际案例二:这家在台湾开发信息安全设备厂商,在中国大陆也有设销售点且以美国厂商的名义,这家厂商遇到低低流量也就是在MRTG流量图中100Mbps以下到50Mbps之间就当机,为了要解决流量问题不检讨产品更用心开发软件,竟然使出花招来解决流量问题,此设备厂商写了一支小程序当每一个IP接收到3000个Session时就自动将封包丢弃,固定每小时报表的每一个IP最高Session数为3000笔,那么刚刚好都不会超过3000笔Session数,而且接收Netflow的抽样比值为1︰32。
PS:上述这两家厂牌都有一个共同特点,收集Netflow或S-Flow的数据库不是My SQL就是SQL,所以各为使用者在采购信息安全监控设备时,如果在MRTG流量图中5Mbps以下者,采购信息安全监控设备具备My SQL或SQL应该不影响准确度,但是如果是高流量的使用单位奉劝各位建议购买有自行开发的算法。抽样比1︰1就是1个封包取1个封包,也就是Core Switch的Netflow数据全部收集来分析报表,抽样比1︰32就是32个封包取1个封包来做分析报表,故1个封包取1个封包来做分析报表是最准确的数据。
六、 为何收集Netflow或S-Flow的抽样值一定要设定为1︰1
1、 设定为1︰1的抽样比值好处是每个IP的流量及Session数据是最准确。
2、 在1︰1的抽样比值使用在NBAD的技术产品,可获得正确的Session数,来判断蠕虫的正确性,比较不会误判。
七、 结论︰有心想要从事开发此产品的专业人士请注意下列原则
1、 自行要写一套算法来分析Netflow的数据,而且要以C语言程序或C++语言来开发,因为C语言程序的效能较好,至于使用My SQL或SQL来当收集Netflow或S-Flow的数据库,在高流量时会产生封包遗失现象,如此数据只是欺骗消费者,但是如果在MRTG流量图中5Mbps以下者,或许可以接受。
2、 设备使用者执行报表查询时,显示报表时间需要在2秒或30秒秒内显示完毕,因为一般人坐在计算机前执行一个程序30秒都已嫌太慢。
3、 收集Netflow或S-Flow的抽样值一定要设定为1︰1,否则都没有达到水平之内。
4、 自行开发算法的厂牌有(1)﹒Arbor Network的Peak Flow X产品(美国厂商)。(2)﹒Lancope的Stealth Watch产品(美国厂商)。(3)﹒Mazu networks的Mazu Profiler产品(美国厂商)。(4)﹒CureLan公司的Flowview产品(台湾厂商)。其中我曾拿Arbor Network的Peak Flow X产品到高雄海洋科技大学,实际测试机器,其固定报表查询时间为16秒,而高雄海洋科技大学的MRTG流量图为200 ~ 120Mbps。
5、 CureLan公司的Flowview产品(台湾厂商),实际已采购的使用单位有高雄海洋科技大学、义守大学、屏东科技大学、台南大学、吴凤技术学院、台中教育大学、高雄市政府信息中心(对外监控GSN出口)、台糖公司量贩部等都是实际到使用单位测试设备才采购此产品。
6、 为了保障消费者的权益采购此类型产品,一定要实际测试设备效能,不要浪费金钱又达不到需求。
7、 切记!切记!不要相信纸上规格,要实际测试设计性能以免被欺骗。
附注:上述都是我的亲身经历所累积的经验,转成我的知识或许有人看了不赞同,因为每个人立场不同所以会有不同见解,写这篇文章的目的是庄一嵘先生在他的文章指出希望电信运营商要提高网络防范能力,所以才写这篇文章供各位参考。