【文件属性】:
文件名称:migbq:读取rdbms表数据并上传到bigquery
文件大小:145KB
文件格式:ZIP
更新时间:2021-05-08 16:52:02
Python
米格比克
rdbms到bigquery-data-loader
要求
Python
CPython 2.7.x
RDBMS(以下,DB)
Microsoft SQL服务器
MySQL(开发)
表规格
所有表必须具有数字主键字段
数据库用户授予
选择,插入,更新,创建
可以访问数据库的元数据([INFORMATION_SCHEMA]数据库)
在源RDBMS中创建一些元数据表
(如果您不想在源代码中创建表,则可以使用sqlite。派生此项目并编辑源代码)
Google Cloud SDK
必须安装Google Cloud SDK
Pymssql freetds
安装
export PYMSSQL_BUILD_WITH_BUNDLED_FREETDS=1
pip install migbq
用法
写入配置文件
像是栓子( )
例子
通用congif文件
配置文件
in :
【文件预览】:
migbq-master
----tools()
--------tablelist.py(371B)
--------migbqchan320.png(75KB)
----README.kr.md(8KB)
----tests()
--------TestSync.py(2KB)
--------TestMigbq.py(2KB)
--------TestMigbqSubCmd.py(3KB)
--------TestMeta.py(11KB)
--------TestPostgres.py(4KB)
--------TestBigqueryCost.py(3KB)
--------__init__.py(0B)
--------TestMssql.py(7KB)
--------TestMigUtils.py(1KB)
--------.gitignore(9B)
--------TestQueue.py(2KB)
--------TestBigquery.py(3KB)
--------TestRoot.py(4KB)
----migbq()
--------peewee_mssql_custom.py(5KB)
--------MigrationConfig.py(2KB)
--------BigQueryForwarder.py(27KB)
--------MigrationSet.py(2KB)
--------DummyForwarder.py(2KB)
--------MsSqlDatasource.py(20KB)
--------config-example.yml(320B)
--------MigrationRoot.py(144B)
--------migutils.py(7KB)
--------migration.v0.0.68.sql(470B)
--------BigQueryJobChecker.py(5KB)
--------__init__.py(0B)
--------MySqlDatasource.py(20KB)
--------BQMig.py(33KB)
--------MigrationMetadataManager.py(64KB)
--------Forwarder.py(6KB)
----setup.cfg(25B)
----setup.py(901B)
----.gitignore(304B)
----README.md(7KB)
----LICENSE.txt(1KB)