golang如何实现抓取IP地址的蜘蛛程序详解

时间：2021-09-07 16:21:43

背景

要做IP地址归属地查询，量比较大，所以想先从网上找到大部分的分配数据，写个蜘蛛程序来抓取入库，以后在程序的运行中不断进行维护、更新、完善。

一些关键点

  • goroutine的使用，让程序并行运行。
  • 正则表达式分组信息提取的使用，正确的提取我们关注的信息。
  • 数据库批量插入操作。
  • 数据库批量更新操作。

代码解析

按功能模块对核心代码进行说明

ip.go

主进程，实现goroutine的调用。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
func main() {
 //利用go基本库封装的网页抓取函数，后面有说明
 ctx := common.HttpGet("http://ips.chacuo.net/")
 //正则表达式，有两个分组（两组小括号），分别取城市信息与url，具体分析代码后面有说明
 reg := regexp.MustCompile(`<li><a id="codetool">

正则表达式说明

主进程针对所有省有入口页面，取得每省的入口分配给一个协程去处理，每一个入口是这个样子

?
1
<a title="北京最新IP地址段" href="http://ips.chacuo.net/view/s_BJ" rel="external nofollow" >北京</a>
  • 请注意，这里面变化只有三个部分（title内容，href内容，链接显示内容），其中两个部分是我们需要的
  • title内容对应正则为 [\S]+ ，非空白符
  • href内容对应的正则为 ([^']+?) ，第一次遇到单引号结束，问号表示非贪婪匹配，括号是分组，能方便取出所匹配信息
  • 链接显示内容对应的正则为 ([^<]+?) ， 第一次遇到<时结束，第二个分组
  • FindAllStringSubmatch函数可以取出所有子分组，子分组从下标1开始，0为正则整体匹配的字符串

goroutine 流程

  • 建立一个无缓冲字符串通道，作为所有协程与主进程通信通道
  • 循环正则匹配结果，为每一个省的页面分配一个协程
  • 协程获取数据成功并批量写数据库，返回成功信息到通道
  • 协程处理失败，反回失败信息到通道
  • 主进程阻塞等所有协程成功或失败返回，并打印成功或失败信息

获取ip地址信息

与主进程类似，注意无信息时处理。

IpSpider.go

?
1
2
3
4
5
6
7
8
9
10
11
12
13
//获取页面数据
ctx := common.HttpGet(url)
//reg := regexp.MustCompile(`<li><a id="codetool">

数据库表结构生成语句

?
1
2
3
4
5
6
7
8
9
CREATE TABLE `ip_addr_info` (
 `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '索引，自动增长',
 `ip_addr_begin` varchar(32) NOT NULL DEFAULT '' COMMENT 'ip地址段开始',
 `ip_addr_end` varchar(32) DEFAULT '' COMMENT 'ip地址段结束',
 `province` varchar(32) DEFAULT '' COMMENT '所属省',
 `ip_comp` varchar(32) DEFAULT '' COMMENT '运营商',
 PRIMARY KEY (`id`),
 UNIQUE KEY `ip_addr` (`ip_addr_begin`,`ip_addr_end`)
) ENGINE=InnoDB AUTO_INCREMENT=7268 DEFAULT CHARSET=utf8 COMMENT='表';

批量写入数据库

循环处理抓取数据，生成批量写入语句及输入参数，请签到出到afc9ebd版本。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
var vs [] interface{}  //存储输入参数的接口数组
var vss string    //待拼接的输入参数占位符字符串
for _, el := range ip {  //处理所有的数据
 vs = append(vs, el[1], el[2], province) //每一列包括开始地址、结束地址与省份
 vss += "(?,?,?),"  //占位符
}
vss = vss[0:len(vss) -1]  //去掉最后的逗号
var configs interface{}  //从配置文件取数据库信息
fr, err := os.Open("./configs.json") //配置文件内容请参照上篇文章《golang实现mysql数据库备份》
if err != nil {
 ch <- err.Error()
 return err
}
decoder := json.NewDecoder(fr)
err = decoder.Decode(&configs)
 
confs := configs.(map[string]interface{})
dialect := confs["database_dialect"].(string)
 
dbConf := confs["db_"+dialect+"_config"].(map[string]interface{})
dbHost := dbConf["db_host"].(string)
dbPort := strconv.FormatFloat(dbConf["db_port"].(float64), 'f', -1, 32)
dbUser := dbConf["db_user"].(string)
dbPass := dbConf["db_pass"].(string)
dbName := dbConf["db_name"].(string)
dbCharset := dbConf["db_charset"].(string)
 
dao, err := mysql.Open(dialect, dbUser + ":"+dbPass+"@tcp("+dbHost+":"+dbPort+")/"+dbName+"?charset="+dbCharset)
defer dao.Close()
if err != nil {
 ch <- err.Error()
 return err
}
//批量插入语句拼接
sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,province) values " + vss
stmt, err := dao.Prepare(sqlstr) //预处理带参数的sql语句
rs, err := stmt.Exec(vs...)   //带参数执行sql语句
if err != nil {     //出错，返回错误信息
 ch <- err.Error()
 return err
}else {       //成功，返回成功信息
 affect, _ := rs.RowsAffected()
 ch <- "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
 return nil
}

批量修改数据库

数据库中的ip_comp字段，是代表运营商信息，需要从运营商页面进入进行数据获取，只需改一下入口url重新运行程序就能正确抓取，但这时入库就不是新增了，而是更新，请签出到4729e66版本。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
//前提数据库表定义要设定唯一索引，主键或其它定义的unique索引
...
 
sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,ip_comp) values " + vss +
 //提供更新（唯一索引冲突时）时要对应原字段与值
 " ON DUPLICATE KEY UPDATE ip_addr_begin = values(ip_addr_begin), ip_addr_end = values(ip_addr_end), ip_comp = values(ip_comp)"
stmt, err := dao.Prepare(sqlstr)
rs, err := stmt.Exec(vs...)
if err != nil {
 ch <- err.Error()
 return err
}else {
 affect, _ := rs.RowsAffected()
 ch <- "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
 return nil
}

待改进的方面

把入口url提到配置中，使用策略模式，让匹配规则抽象成策略，目标是不改程序，调整配置文件就可以抓取不同的网页。

项目地址

https://github.com/zhoutk/goTools

使用方法

?
1
2
3
4
5
6
7
git clone https://github.com/zhoutk/goTools
cd goTools
go get
go run ip.go
 
go buid ip.go
./ip

小结

熟悉了golang语言，了解了一种全新的并发编程模式，熟悉了具体的数据库操作方法，给自己生成了一个方便的工具。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对服务器之家的支持。

原文链接：https://segmentfault.com/a/1190000015418170

  • golang
  • ip地址
  • 蜘蛛程序

    • 延伸 · 阅读

    精彩推荐
    • Golanggolang如何实现抓取IP地址的蜘蛛程序详解

      golang两种调用rpc的方法

      这篇文章主要介绍了golang两种调用rpc的方法,结合实例形式分析了Go语言调用rpc的原理与实现方法,需要的朋友可以参考下 ...

      轩脉刃2992020-04-30
    • Golanggolang如何实现抓取IP地址的蜘蛛程序详解

      Golang slice切片操作之切片的追加、删除、插入等

      这篇文章主要介绍了Golang slice切片操作之切片的追加、删除、插入等，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧...

      dajianshi3582020-05-11
    • Golanggolang如何实现抓取IP地址的蜘蛛程序详解

      go grpc安装使用教程

      gRPC是由Google主导开发的RPC框架，使用HTTP/2协议并用ProtoBuf作为序列化工具。这篇文章主要介绍了go grpc安装使用教程,需要的朋友可以参考下 ...

      hncscwc3582020-05-14
    • Golanggolang如何实现抓取IP地址的蜘蛛程序详解

      Go语言的管道Channel用法实例

      这篇文章主要介绍了Go语言的管道Channel用法,实例分析了Go语言中管道的原理与使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下 ...

      go语言入门指南4582020-04-17
    • Golanggolang如何实现抓取IP地址的蜘蛛程序详解

      Go语言字典(map)用法实例分析【创建,填充,遍历,查找,修改,删除】

      这篇文章主要介绍了Go语言字典(map)用法,结合实例形式较为详细的分析了Go语言字典的创建、填充、遍历、查找、修改、删除等操作相关实现技巧,需要的朋...

      52PHP4192020-05-05
    • Golanggolang如何实现抓取IP地址的蜘蛛程序详解

      Go语言排序算法之插入排序与生成随机数详解

      从这篇文章开始将带领大家学习Go语言的经典排序算法，比如插入排序、选择排序、冒泡排序、希尔排序、归并排序、堆排序和快排，二分搜索，外部排序...

      Corwien3712020-05-10
    • Golanggolang如何实现抓取IP地址的蜘蛛程序详解

      Golang极简入门教程（一）：基本概念

      这篇文章主要介绍了Golang极简入门教程（一）：基本概念,本文讲解了Golang的基本知识、基础语法、相关术语等,需要的朋友可以参考下 ...

      junjie5052019-11-17
    • Golanggolang如何实现抓取IP地址的蜘蛛程序详解

      golang之log rotate详解

      下面小编就为大家带来一篇golang之log rotate详解。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧 ...

      jingxian4282020-05-07
    最近更新
    编辑推荐
    阅读排行
    热门标签
    异步任务 　 指针类型 　 new() 　 make() 　 并发模型 　 切片 　 静态WEB服务器 　 端口扫描器 　 Go语言入门教程 　 基础语 　 Slices 　 Maps 　 Golang编程 　 panic 　 接受者类型 　 嵌入类型 　 Slice 　 Golang教程 　 Golang项目 　 内存模型 　 开发环境搭建 　 大小端判断 　 代码组织结构 　 复合类型 　 GOPATH 　 工作目录 　 实例 　 struct类型 　 并发技术 　 buffered 　
    © 2019-2020 脚本之家 | 服务器之家(www.zzvips.com)旗下站点 版权所有关于我们联系我们版权申明网站地图
    标签：

    相关文章