最近由于ADSL代理总出问题,导致爬虫服务器总被目标网站封,由于请求内容总是空,前端APP获取不到想要的内容就一直刷新,导致爬虫服务器请求更加繁忙。
爬虫服务器每执行完一个流程,都会给统计服务器Post一条数据,这不统计服务器访问量突然倍增,导致响应慢,部分统计页面也打不开。
遂分析一下IIS 日志:
下载安装 Log Parser ,
1, 查看命令:
C:\Program Files\Log Parser 2.2\LogParser.exe -i:IISW3C -o:DATAGRID "SELECT c-ip,cs-method,s-port,cs-uri-stem,sc-
status,sc-win32-status,sc-bytes,cs-bytes,time-taken FROM 170109.log"
其中,170109.log 为日志名称。
上面方式不太方便。
2,导入数据库:
"SELECT * FROM 'C:\Users\Administrator\Downloads\170109.log' to MyMVC_WebLog" -i:IISW3C -o:SQL -oConnString:"Driver={SQL Server};server=localhost\sqlexpress;database=test;Integrated Security=SSPI" -createtable:ON
其中:C:\Users\Administrator\Downloads\170109.log 为日志地址 ;需要在localhost\sqlexpress 实例中创建test数据库。
然后就可以根据sql语句进行分析了。
下篇: asp.net mvc 网站优化