Golang并发读取文件数据并写入数据库

Golang并发读取文件数据并写入数据库

• 需求
• 项目结构
• 获取data目录下的文件
• 按行读取文本数据
• 数据类型定义
• 并发读取文件
• 将数据写入数据库
• 完整代码
• 测试运行

需求

最近接到一个任务，要把一批文件中的十几万条JSON格式数据写入到Oracle数据库中，Oracle是企业级别的数据库向来以高性能著称，所以尽可能地利用这一特性。当时第一时间想到的就是用多线程并发读文件并操作数据库，而Golang是为并发而生的，用Golang进行并发编程非常方便，因此这里选用Golang并发读取文件并用Gorm操作数据库。然而Gorm官方并不支持Oraclc，所以要借助第三方驱动，之前写了篇文章来记录Gorm操作Oracle的踩坑，详见使用Gorm操作Oracle数据库踩坑

项目结构

data文件夹中包含数十个.out结尾的数据文件，声明数据类型，中编写并发逻辑和数据库操作代码

|——db_test
|    |——data
|        |——
|        |——
|    |——model
|        |——
|    |——
|    |——

获取data目录下的文件

Golang自带的os库就可以对文件、目录进行各种丰富的操作，OpenFile函数第一个参数是目录的路径，第二个参数表示只读，第三个参数表示以文件夹模式打开。ReadDir传入负数表示读取目录下所有文件信息，传入n表示读取前n个文件信息。最后将所有文件名保存到字符串数组并返回。

func loadFile(path string) []string {
   
        // 打开指定文件夹
	f, err := os.OpenFile(path, os.O_RDONLY, os.ModeDir)
	if err != nil {
   
		log.Fatalln(err.Error())
		os.Exit(0)
	}
	defer f.Close()
        // 读取目录下所有文件
	fileInfo, _ := f.ReadDir(-1)

	files := make([]string, 0)
	for _, info := range fileInfo {
   
		files = append(files, info.Name())
	}
	return files
}

按行读取文本数据

这里使用来一行一行读取JSON格式的数据，也能实现按行读取，但是go1.1后开发的模块操作起来更简单一点。

func readRecord(filename string) {
   
	log.Println(filename)
	f, err := os.Open(filename)
	if err != nil {
   
		log.Println(filename + " error")
		return
	}
	defer f.Close()
	scanner := bufio.NewScanner(f)
	for scanner.Scan() {
   
		line := scanner.Text() // line就是每行文本
                // 对line进行处理
	}
}

数据类型定义

还是假设数据库中有一个SHOPS表，结构体方法TableName指定该类型对应的数据表，编写如下文件

package model

type ShopInfo struct {
   
	ShopId   string `gorm:"column:SHOPID;not null"`
	ShopName string `gorm:"column:SHOPNAME;not null"`
        // 省略剩余的字段
}