垃圾邮件综合举报关键技术

报告人:王兴伟所在单位:东北大学主要内容电子邮件垃圾邮件传统反垃圾邮件技术垃圾邮件综合举报关键技术系统实现电子邮件电子邮件是互联网的基础应用和关键应用之一SenderReceiverMailRelay邮件中继MailRelay:转发邮件到下一站点传输路径包括多个中继一些SMTP命令:MAILFROM:RCPTTO:RCPTTO:Ifunknownrecipient:response"550Failurereply"DATAemailheadersandcontents.
RepeatedforeachrecipientSMTP:SimpleMessageTransferProtocol简单邮件传输协议,,基于RFC524发展而来,RFC524是在1973年提出的VRFYusername250(userexists)or550(nosuchuser)SMTPSMTPSMTP协议的天生缺陷9设计时考虑在可信环境下使用9MAILFROM字段的数据完全由发送者控制,缺少验证机制9对于接收者所在的电子邮件服务器仅仅能看到和它直连的传输服务器的IP地址,缺少发送服务器真伪的辨别能力SMTPReceived字段和From字段的不可信Fromsomeone@mail.
neu.
edu.
cn(202.
118.
1.
83).
.
.
Received:fromcs-smtp-1.
tsinghua.
edu.
cnReceived:fromsmtp3.
tsinghua.
edu.
cnReceived:fromanothernone.
tsinghua.
edu.
cn9Received字段由邮件中继写入——不可信赖9From字段由接收者所在邮件服务器写入——缺少认证Fromrelays电子邮件小结9SMTP基于1973年提出的RFC5249SMTP协议安全性存在不足9垃圾邮件泛滥根本原因垃圾邮件垃圾邮件的出现91985年8月一封通过电子邮件发送的链锁信,一直持续到1993年,这是首次关于垃圾邮件的记录91993年6月在Internet上出现了名为"MakeMoneyFast"的电子邮件91994年4月Canter&Siegel的法律事务所把一封移民顾问服务广告邮件发到6000多个新闻组,一时间群情激奋——首次用spam称呼垃圾邮件91995年5月出现第一个专门的垃圾邮件群发软件Floodgate垃圾邮件的演化92001年1月8%(全美国电子邮件流量中垃圾邮件的比例)92003年1月42%92003年底超过50%92008年底超过80%9部分企业甚至占到每天接收邮件总数的95%数据来源SymantecBrightmail垃圾邮件9商业9政治9色情9病毒常见垃圾邮件类型垃圾邮件垃圾邮件的危害9调查显示,垃圾邮件已成为互联网用户的最大烦恼,垃圾邮件的病毒率高达47%9统计表明,垃圾邮件给美国企业造成的损失落实到每位职员身上折合约为874美元92003年我国处理垃圾邮件浪费的GDP高达48亿元人民币92008年,中国网民平均每周收到垃圾邮件的数量为17.
64封垃圾邮件9国家层面:政治、经济、文化9用户层面:学习、工作、生活9还包括:网络安全性、稳定性、高效性占用带宽、存储空间被列入各种黑名单声誉、国际影响垃圾邮件垃圾邮件的危害垃圾邮件的危害垃圾邮件9浪费时间9传播病毒9浪费资源9影响心情9影响对邮箱的兴趣9上当、受骗9传播非法信息内容9造成信息丢失等垃圾邮件垃圾邮件的定义目前为止,垃圾邮件还没有一个准确的定义,一般认为垃圾邮件是:9没有意义的电子邮件9未经同意的大量邮件(UBE,UnsolicitedBulkE-mail)9未经同意的商业邮件(UCE,UnsolicitedCommercialE-mail)垃圾邮件垃圾邮件的定义《中国互联网协会反垃圾邮件规范》里的定义(一)收件人事先没有提出要求或者同意接收的广告、电子刊物、各种形式的宣传品等宣传性的电子邮件(二)收件人无法拒收的电子邮件(三)隐藏发件人身份、地址、标题等信息的电子邮件(四)含有虚假的信息源、发件人、路由等信息的电子邮件垃圾邮件小结垃圾邮件的演化垃圾邮件的危害垃圾邮件的定义反垃圾邮件技术已经成为网络与信息安全领域的重要研究内容之一垃圾邮件发送技术9利用SMTP协议使用中继方式传输邮件1.
群发工具建立和中继间的SMTP连接(25端口)2.
传送收件人列表信息(通过RCPTTO命令)3.
传送邮件体——一次给所有收件人4.
开放中继不加验证地中继这些邮件9正常中继在邮件头中添加Received字段信息以标识其IP地址,非法中继则不这么做利用开放中继(OpenRelay)一个发送垃圾邮件的例子:bobax蠕虫9通过网络干扰计算机利用微软的LSASS.
exe的缓冲区溢出漏洞攻击9慢速扩散通过被感染机器执行自我复制程序随机扫描有漏洞的计算机9一旦主机被感染(执行垃圾邮件僵尸程序spamzombie)在该主机上安装OpenRelay程序,用来发送垃圾邮件如果该主机被加入了RBL(实时黑名单),则蠕虫将感染其他主机继续发送垃圾邮件垃圾邮件发送技术利用开放代理(OpenProxies)9网页缓存代理程序(基于HTTP/HTTPS的代理)--如squidSquidWebCacheCONNECTxyz.
com443ClientHelloWebServerxyz.
comURL:HTTPS://xyz.
comClientHelloServerHelloServerHello垃圾邮件发送技术9垃圾邮件发送者可以通过连接该代理的25端口执行SMTP命令,这时的Squid被变成了一个邮件转发代理搜索开放中继和开放代理9已经存在这类提供开放中继和开放代理列表的服务:http://www.
multiproxy.
org/http://www.
stayinvisible.
com/http://www.
blackcode.
com/proxy/http://www.
openproxies.
com/(每月20美元)垃圾邮件发送技术垃圾邮件群发工具(spamware)9获取大量邮件发送目标地址列表推销目标关键字搜索广泛的网络搜索以发现合法的电子邮件地址目录获取攻击(DirectoryHarvestAttacks)压力攻击(Bruteforcesequenceattacks)字典粉碎攻击(Dictionarymashingattacks)9采用匿名方式批量发送邮件垃圾邮件发送技术垃圾邮件发送方式的演化9Onetomany-利用垃圾邮件群发工具-购买邮件地址列表229Manytomany-基于僵尸网络(Zombies-networks)发送-同病毒(Virus)、钓鱼(Phishing)、间谍(Spyware)等程序结合垃圾邮件发送技术垃圾邮件发送技术小结9早期——利用协议漏洞利用开发中继或开放代理发送9发展——智能化发送技术发件人地址随机变化、邮件主题随机变化、伪造邮件头干扰信息、信体内容随机变化、正文以图片方式显示、使用垃圾邮件群发工具9恶化——对抗反垃圾邮件技术,多层次,更加智能化信体加入干扰内容识别算法的文字,利用人的视觉反差干扰内容分析,结合动态IP技术低速群发垃圾邮件传统的反垃圾邮件技术99预防预防增强邮件服务器安全性提高邮件系统防病毒能力提供邮件服务安全身份认证RBL黑/白/灰名单连接频度反向域名验证关键词过滤贝叶斯过滤基于规则评分的过滤电子邮票Challenge-ResponseDomainKeysSPF、DMP、RMX99检测检测小结垃圾邮件综合举报传统松散的、"烟囱林立"式的反垃圾邮件方式越来越不能满足日益增长的网络与信息安全管理需求通过构建垃圾邮件综合举报系统模型与功能框架,开展关键技术研究,进而实现具有自主知识产权的垃圾邮件综合举报系统是一项重要任务国家242信息安全计划资助垃圾邮件综合举报建立垃圾邮件综合举报系统三层模型层1:负责垃圾邮件过滤工作层2:负责垃圾邮件整理工作层3:负责垃圾邮件处理响应工作Internet垃圾邮件过滤垃圾邮件整理垃圾邮件响应层1层2层3"初审-复审-学习反馈"一体化协作式垃圾邮件综合举报系统架构邮件传输代理邮件存储系统邮件分发代理收件箱邮件传输代理邮件内容分析系统基于领域知识和内容分析的垃圾邮件识别用户举报用户举报接口标准垃圾邮件特征库生成垃圾邮件举报行为处理编程接口API垃圾邮件工具特征库生成垃圾邮件处理响应器垃圾邮件过滤检测系统垃圾邮件阻断规则分发接口标准垃圾邮件库协同监控Agent系统垃圾邮件综合举报关键技术协同监控Agent技术主要解决"初审、复审、学习反馈"三者之间的相互协同问题基于内容分析的垃圾邮件识别技术对邮件正文进行内容分析基于最大熵模型统计过滤关键技术基于快速扫描算法的垃圾邮件过滤技术采用Wu-Manber算法来实现垃圾邮件属性特征和特征串自动发现技术引入N-gram串特征和领域特征识别技术,从不同层次上表示邮件内容通过统计模型融合不同层次的特征,采用基于AdaBoost的特征发现技术关键技术基于反馈学习的自适应技术采用基于反馈学习的boosting自适应技术基于垃圾邮件分类子集路径跟踪的热区发现技术通过分析垃圾邮件分类子集,进行路径跟踪,确定垃圾邮件发生热区实施网络层阻断,乃至进行反制关键技术客户端垃圾邮件过滤技术垃圾邮件特征库与垃圾邮件发生工具特征库建立技术关键技术垃圾邮件样本分析技术样本收集与存储技术大规模样本收集样本库消重技术基于内容分析的深层消重关键技术垃圾邮件样本分析技术样本语料库建立技术适用于训练改进分类器提供统一的评测语料平台提高反垃圾邮件产品的效率促进反垃圾邮件产品的规范化垃圾邮件举报接口标准和垃圾邮件阻断规则分发接口标准建议草案对上述关键技术进行实现与性能评价,并进行适当改进集成上述关键技术,实现垃圾邮件综合举报软件系统系统实现系统结构系统实现基于如下目标初审快速复审精确支持学习反馈系统包括主控机邮件网关服务器系统实现9通用模块子系统9邮件入库子系统9特征发现子系统9邮件初审子系统9邮件复审子系统9协同监控Agent子系统9用户举报接口9主流群发工具特征库建立子系统9垃圾邮件分析子系统主要子系统系统实现通用模块子系统9邮件解析解析RFC822邮件格式,提取正文、主题等信息9邮件预处理主要是处理邮件文本,得到字元串和分段信息系统实现邮件入库子系统将邮件样本按照特征发现、复审分类器的训练需求收集到主控机数据库中去,流程如下:系统实现特征发现子系统9由样本库消重、样本读取、Ngram统计、Ngram过滤、特征选择等组成9处理流程调用消重模块对样本库中的垃圾邮件进行消重处理调用正语料准备模块更新正语料(垃圾邮件)调用负语料准备模块更新负语料(正常邮件)系统实现特征发现子系统示意图系统实现垃圾邮件属性特征和特征串发现技术9基于Ngram的特征选择方法9应用领域知识改善特征表示9邮件特征区域识别9垃圾邮件隐藏特征的发现与使用9增量式学习与特征自动发现的结合系统实现邮件初审子系统9SMTP特征检测—邮件传输阶段行为特征检测9基于规则判分,目前系统使用规则近1700条9具备开放式模块接口系统实现邮件复审子系统9分层过滤"疑似"垃圾邮件:快速/二级内容过滤9特征匹配9分类器判定9建立与更新垃圾邮件特征库和规则库垃圾邮件垃圾邮件疑似垃圾邮件疑似垃圾邮件系统实现邮件复审分类器K最临近(KNN)分类器9自适应性能好,对训练实例敏感9对二类分类问题,不需要负语料(正常邮件)9主要用于二级内容过滤9改进并实现了一种1NN算法,用于复审模块对用户举报邮件的自适应过滤系统实现邮件复审分类器最大熵模型9具有融合不同层次特征的能力9Boosting学习框架与最大熵模型相结合来弱化"训练语料和测试语料服从相同分布"的假设,因为在实际应用中,相对于需要检验的邮件,训练语料总是不充分的9取得了优于贝叶斯分类器的性能系统实现协同监控Agent子系统主要解决"初审-复审-学习反馈"三者之间的协同,协调垃圾邮件过滤、内容分析识别和举报等功能,达到低误报率和低漏报率,实现快速响应MTA采用Postfix病毒扫描模块集成ClamAV系统实现用户举报接口用户举报是一种获得垃圾邮件样本的好方式,流程如下:系统实现主流群发工具特征库建立子系统群发工具泛滥,比如使用谷歌(Google)或百度以关键字"邮件群发软件"或者"邮件群发工具"搜索,可以找到数千种这类软件.
如果愿意付费,则可得到的垃圾邮件群发工具更多.
立足发现垃圾邮件携带的群发工具特征,通过归纳,建立主流群发工具特征库.
系统实现主流群发工具特征库建立子系统系统实现垃圾邮件综合举报系统系统网络拓扑结构试用情况目前系统已经在东北大学网络中心和中国教育和科研计算机网CERNET东北地区网络中心试用.
结果表明:该系统处理速度快,可以有效拦截垃圾邮件,平均处理邮件的速度为307Mb/秒(XeonMP3.
0G*4/8G/SCSIUltra320/Raid5),漏报率低于5%,误报率低于2%,效果良好.
谢谢!