0x01 前言
一转眼2019就到四月份了，一个Q过去了，接着要定下个Q的OKR，生活总是杂乱无章地进行着。负能量还蛮多的，不过迎来了阳光明媚的四月，心情还是变好了。以前总听这样一句话，我还是喜欢你，像四月的阳光明媚而不忧伤。有段时间没更博客了，就把之前搭建的内部漏洞信息监控系统写一下，毕竟在处理反爬等等一些内容时还是费了一些时间的。
0x02 结构
利用 Flask 写的简单Web展示，前端使用了部分layui的样式等。考虑到Flask在用装饰器定义路径时比较方便，如果使用Django或者Tornado显得更有条理一些。
Web 展示和爬虫部分是分开的。Spider模块里是一些爬虫的脚本，将爬虫得到的数据存储到Mongo，然后Web展示则是从Mongo里面读取数据。
界面
简单的界面如下：
爬虫目前抓取了这几个数据源，后期可根据需要进行维护，添加自定义抓取的数据源。
数据展示分了两个 Tab，按照时间顺序分今日和历史存储的数据进行展示，另外配合搜索框进行检索。
爬虫
其实爬虫的数据是沿用了之前的一些，这里做了一些修改进行数据存储然后Web展示而已。
Seebug 涉及到一些反爬，在搜索一些前人经验时，发现利用execjs执行整个js代码块时随着反爬升级总是会出现一些问题。于是想起去年先知白帽大会猪猪侠讲的Web 2.0启发式爬虫，其实有用到Pyppeteer这个库。其实这是node.js的Puppeteer库对Python的支持，使用这种方法暂时不会被反爬拦截，但是这个库要求Python3.6+。
另外WeChat的爬虫是调用了搜狗微信的接口，但是也会遇到一些反爬的拦截，在前面的文章中补充了绕过反爬的方法，调用打码平台解封IP，生成Cookie。还有暗网的爬虫会涉敏，就不公布了。
总结
对于Web的书写也是初探，尤其是前端的一些内容，也是在一点点中积累。没办法，菜就得多学习，多学习一些框架，多尝试写一些Demo，才会有提高吧，更博的频率挺低的，而且发现好久没有更一些关于安全或者漏洞的内容了，最近再沉淀下吧，四月来了，愿你的心情像四月的阳光一样明媚。
