reliant-scrape:将我的能源使用数据简单地存储到AWS数据库中

时间:2024-04-30 23:49:44
【文件属性】:

文件名称:reliant-scrape:将我的能源使用数据简单地存储到AWS数据库中

文件大小:187.62MB

文件格式:ZIP

更新时间:2024-04-30 23:49:44

Python

依赖刮 python中日常使用数据的简单webscrape。 这个怎么运作 登录到相关站点 导航到帐户页面 遍历数天,清理并将数据保存到数据框 将数据帧写入.csv和绘图 将抓取的数据上传/追加到aws rds表 设置它 可以创建conda环境 conda create -f reliant-37.yml 编辑config.yaml以指向相关位置 creds_web.json是带有user和password字段的简单文件 db_creds.json是具有host , port , user , password等的类似文件。 通过vscode,命令行等运行python文件 使用jupyter notebook进行调试等 自动化Docker运行 您可以将cron作业配置为每晚晚上10点(或您选择的任何时间)运行reliant-scrape.sh脚本。


网友评论