content-crawler:将CMS和文章从Mendeley爬到ElasticSearch索引中

时间:2024-04-29 17:19:08
【文件属性】:

文件名称:content-crawler:将CMS和文章从Mendeley爬到ElasticSearch索引中

文件大小:63KB

文件格式:ZIP

更新时间:2024-04-29 17:19:08

Java

内容抓取 该项目包含用于访问Mendeley API和Contentful API并在Elastic Search索引中对其进行索引的搜寻器代码。 门德利爬网 Mendeley API需要通过以下方式创建的应用程序密钥和机密: 在上创建一个帐户 点击“我的应用”标签 创建一个应用程序,在重定向URL中放入 生成机密(请注意,此时您需要复制它,之后便无法查看) 将机密和应用程序ID(例如4108是应用程序ID)复制到属性文件中 Mendeley API使用OAUTH2,通常将用户重定向到页面以确认详细信息。 我们使用了 和Apache Oltu库中所述的匿名访问。 这就是为什么将用作应用程序重定向(我们不使用它)的原因。 要运行它并索引到ES中,假设ES在本地主机上运行并回答 : // edit configuration to set cluster_name to your


【文件预览】:
content-crawler-master
----pom.xml(10KB)
----LICENSE(11KB)
----src()
--------main()
----.gitignore(250B)
----README.md(5KB)

网友评论