爬虫无法定位序数325于动态链接库

Fr1day@0keeTeam动态分析在安全检测中的应用ABOUTME微博:@吃群众-Fr1dayWeb安全、安全开发Python*前端安全0keeTeam:360信息安全部Skywolf护镜天相扫描系统….
.
为啥别人能扫到的洞我扫不到AJAX请求无法抓取到DOMXSS无法自动检测任意URL跳转只能检查302跳转还在用复杂的正则匹配特性长得不够帅目录动态分析是什么PhantomJS应用爬虫XSS任意URL跳转总结WEB2.
0给安全检测带来的挑战如何抓取更多的HTTP请求扫描的基础是HTTP请求爬虫要抓取到尽可能全面的请求如何保证扫描的有效率http://xxx.
com/index.
phpid=1http://xxx.
com/index.
phpid=2http://xxx.
com/index.
phpid=3…如何保证扫描的准确率精准判断,是否存在漏洞(XSS、URL跳转等)动态分析-PhantomJsPhantomJS是无界面的Webkit解析器,提供了JavaScriptAPI其他的解析器基于Webkit内核的QtWebkit、Ghost.
py基于的FirefoxGecko内核的SlimerJS基于PhantomJS、SlimerJS封装的CasperJSChromeHeadlessWEB2.
0爬虫静态分析获取页面所有链接:结果:空WEB2.
0爬虫动态分析获取页面所有链接:结果:.
mine/cmd2/controls/signin/cmd2/controls/getcode/download.
html/.
blog/.
mine/.
at/~发现推荐.
findbbs/help.
html/江南水乡.
bbs/7313348/摄情男女.
bbs/7313242/欢乐一家亲.
bbs/7313356/深夜食堂.
bbs/7313168/家有熊孩子.
bbs/7313321/乐淘亲子营.
bbs/7313320.
.
.
/*省略*/.
.
.
/婚礼记.
bbs/7277165/不知道的事情.
bbs/7277164/不知道的事情.
bbs/7277162/婚礼记.
bbs/7277160/不知道的事情.
bbs/7277016http://www.
miitbeian.
gov.
cn//cmd2/controls/mailpost/内容举报download.
htmlWEB2.
0爬虫场景1滚动到页面尾部后自动加载下一页场景2点击了某个按钮后弹出相关数据场景3写文章自动保存草稿WEB2.
0爬虫事件-如何执行-执行过程-结果滚动触发onscroll事件发送AJAX请求动态更新页面点击触发onclick事件发送AJAX请求动态更新页面定时保存定时器执行(setInterval)获取表单内容发送AJAX请求动态更新页面爬虫–如何执行直接通过行内绑定直接通过addEventListener绑定事件用了封装的JS库,如jQuery、Vue等爬虫–如何执行遍历dom节点,筛选出onxxxx的属性值,执行JS代码爬虫–如何执行HookaddEventListener函数,获取function函数的内容,直接执行爬虫–如何执行HookaddEventListener函数仍然能解决问题爬虫–如何执行JavaScriptdispatchEvent,可以触发节点的绑定事件如何获取节点和节点的绑定事件呢遍历节点HookaddEventListener=爬虫–捕获AJAX请求HookXMLHttpRequest(示例代码在下一页)缺点:无法准确捕获Headers优点:捕获到的所有请求都是有效请求PhantomjsonResourceRequested(示例代码在下一页)优点:准确捕获Headers缺点:会抓取到静态资源的请求(otherframe)=爬虫–捕获AJAX请求HookXMLHttpRequestPhantomjsonResourceRequested=爬虫–分析结果Html5特性–MutationObserver事件–DOMNodeInserted爬虫动态解析-流程页面加载前页面加载完成触发事件阶段结束HookaddEventListener、XMLHttpRequestHookalert、prompt、confirm等获取当前所有、、监听DOMNodeInserted禁止页面跳转自动填写表单触发inline事件&绑定事件去除静态资源输出结果爬虫–去重/index.
phpm=home&c=shop&a=show&id=2逻辑参数:m、c、a变量参数:id/index.
phpm=home&c=shop&a=show&id={{int}}爬虫–去重第一遍处理预处理去除非抓取目标的URL、静态资源等将中文、Hash、URL编码、纯数字等替换为占位符解析URL,分析Param和Path参数名相同的URL,归到一类Path类似的URL,归到一类第二遍处理处理之前归类的URL,数量超过一定值,强制去重对含占位符的URL进行去重爬虫–对比基本抓取功能(AiSec)抓取效率(tieba)KSpiderTime:33Result:18RequestCount:23有效抓取率:100%Time:339Result:535RequestCount:410有效抓取率:100%(相对)WVSSpiderTime:23Result:11RequestCount:31有效抓取率:100%Time:220Result:101RequestCount:201有效抓取率:38%爬虫–>XSS动态分析–XSS判断是否存在XSS[静态]是否存在特定关键字:[动态]是否执行了指定的代码[动态]是否有特定的DOM节点添加动态分析–XSS是否执行了指定的代码:alert(1)动态分析–XSS是否有新的DOM节点添加:动态分析–XSS流程页面加载前页面加载完成触发事件阶段结束HookaddEventListenerHookalert、prompt、confirm等禁止页面跳转触发inline事件&绑定事件是否有特定JS代码执行是否有特定DOM节点新增动态分析–URL跳转服务器端302跳转Header("Location:xxx")浏览器端跳转Window.
location.
href=xxxPhantomJSPayload:http://xx.
com/url={{target_url}}优劣动态分析爬虫单次解析耗时:3s–20sCPU和内存占用率较高爬虫、漏洞扫描:覆盖率高&漏报率低静态分析爬虫(PyQuery)单次解析耗时:0.
5s–10s开发成本低,资源消耗少网络IO是主要瓶颈覆盖率低&漏报率高ChromeHeadless优点官方正版支持各种新功能缺点实验性接口太多,有可能去掉或者改动参数,不太稳定部分实验性接口用不起来:拦截请求、控制页面大小无法锁定页面没有办法拦截掉资源请求….
总结未来爬虫智能化存储型XSS更多应用自动登录复杂加密的场景浏览器漏洞FuzzXSSbotQ&A