AO3FanworkStatistics:从AO3收集数据以创建有关所用标签,风扇长度等的数据图形

时间:2021-03-21 09:19:54
【文件属性】:
文件名称:AO3FanworkStatistics:从AO3收集数据以创建有关所用标签,风扇长度等的数据图形
文件大小:2.85MB
文件格式:ZIP
更新时间:2021-03-21 09:19:54
JavaScript AO3粉丝统计 创建该文件是因为我最初想在上进行一些有关Dragon Age标签的。到现在,它已发展成Haikyuu统计数据。 我创建了一个脚本来遍历标签,并将标签中每个风扇工作的数据保存到Postgresql数据库中。 早在2018年,这也是我第一次与d3合作使用收集的数据创建数据图形。在2021年,我重做了可视化的部分内容。 结果可以在看到。 局限性:这些统计信息仅统计每个人都能看到的同人作品。必须登录的工作将被忽略。 我做了什么/项目的结构 刮刀 我用来抓取AO3的脚本位于/scripts/FandomStatisticsScraper.py 。为了使其正常运行,需要并且需要将凭据输入到/database.ini (存储库中已经有一个示例文件)。 现在,尤其是对于大型AO3标签,此刮板将花费HOURS,因为它在页面之间停留7秒。每次等待时间都比此时间短,可能会触发429 - Too
【文件预览】:
AO3FanworkStatistics-master
----.gitignore(48B)
----components()
--------shippingovertime.js(3KB)
--------shipchart.js(3KB)
--------timegraph.js(2KB)
--------mainchars.js(4KB)
--------tagchart.js(3KB)
--------charchart.js(3KB)
----data()
--------haikyuu()
----past version()
--------dragon age data()
--------lengthandchapters.js(7KB)
--------index_dragonage.html(8KB)
--------ratingschart.js(3KB)
----LICENSE(1KB)
----static()
--------style.css(2KB)
--------fixed-positioning.css(860B)
----database.ini.example(83B)
----scripts()
--------FandomStatisticsScraper.py(8KB)
--------skrollr.js(51KB)
----README.md(2KB)
----index.html(12KB)
----favicon.ico(4KB)
----app.py(4KB)

网友评论