文件名称:Node.Js_puppeteer_scrapping
文件大小:45KB
文件格式:ZIP
更新时间:2024-06-14 22:07:07
JavaScript
伪造网刮 项目说明 该项目的目的是借助网络刮板收集尽可能多的工作机会。 使用了Node.js框架“ Puppeteer”。 WebScrapper会遍历3个选定的页面(Indeed,Stepstone,Glassdoor)并转换作业广告(Dirty API)并将其保存在MySQL数据库中。 项目动机 自从提出该想法时(2019年底),我一直在慢慢寻找有趣的专业领域(BI,数据科学等)和有吸引力的雇主,因此我对搜索页面的经验很少。 根据我的经验,网站的搜索算法效率不高,并受到的著名数据挖掘视频,我决定从中构建我的第一个。 结果 网站:“独立”,“台阶石”,“玻璃门” 城市:“法兰克福”,“威斯巴登”,“美因茨”,“维也纳”,“慕尼黑”,“波鸿”,“斯图加特”,“汉堡”,“科隆”,“柏林” 关键字:“ IT Junior”,“ IT Trainee”,“ Data Junior”,“ Da
【文件预览】:
Node.Js_puppeteer_scrapping-master
----main.js(726B)
----db()
--------DBQueries.js(6KB)
--------SafeDataDB.js(5KB)
----.vscode()
--------launch.json(532B)
--------settings.json(37B)
----ScrappingPages()
--------Indeed.js(8KB)
--------ScrapperBundle.js(4KB)
--------Stepstone.js(8KB)
--------Glassdoor.js(9KB)
----README.md(2KB)
----.gitignore(28B)
----readme.md(16B)
----package-lock.json(98KB)
----package.json(777B)