python定时重跑获取数据

时间：2023-12-20 10:53:08

做大数据的童鞋经常会写定时任务跑数据，由于任务之间的依赖（一般都是下游依赖上游的数据产出），所以经常会导致数据获取失败，因为很多人发现数据失败后

都会去查看日志，然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数，如果失败后自动重新去获取，直到把数据获取到。

建数据表：

 CREATE TABLE `testtable` (

   `id` int(11) unsigned NOT NULL AUTO_INCREMENT,

   `name` varchar(20) NOT NULL,

   PRIMARY KEY (`id`)

 ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

开始的时候数据表是空的，等到脚本重试第3秒的时候向数据库插入数据。以下是python代码的实现

 #!/usr/bin/env python

 #-*- coning:utf-8 -*-

 import MySQLdb

 from time import sleep

 class GetData(object):

     def __init__(self):

         self.conn = ''

         self.host = '127.0.0.1'

         self.port = 3306

         self.user = 'root'

         self.passwd = ''

         self.db = 'test'

         self.cnum = 5 #set retry number

     def init_connect(self):

         self.conn = MySQLdb.connect(host=self.host, user=self.user, passwd=self.passwd, db=self.db, port=self.port,

 charset='utf8')

     def get_data(self):

         self.init_connect()

         cur = self.conn.cursor()

         sql = "select * from testtable"

         cur.execute(sql)

         rs = cur.fetchall()

         cur.close()

         self.conn.close()

         return rs

     def run(self):

         count = 1

         while (count <= self.cnum):

             rs = self.get_data()

             if len(rs) > 0:

                 print len(rs)

                 break

             print count

             sleep(10)

             count += 1

 if __name__ == '__main__':

     gd = GetData()

     gd.run()

python定时重跑获取数据

自己可以手动执行，在代码执行到第3秒的时候，执行下面的sql

insert into testtable(`name`) values (''),(''),(''),(''),(''),('');

下面是定时的任务的脚本

00 08 * * * cd /home/python/lsh_sync; python getdata.py >> getdata.log 2>&1

OVER!

相关文章