文件名称：cached-http-fetcher:缓存图像优化器
文件大小：19KB
文件格式：ZIP
更新时间：2024-04-25 09:11:21
Python
缓存的http提取程序 该库通过HTTP（S）提取数据，并将其存储到可从Internet访问的某些存储中。 安装 pip install cached-http-fetcher 用法 使用此库的标准方法是将元数据存储在Redis中，并将图像本身存储在S3中。 S3中的图像可以通过互联网访问。 您必须实现自己的元存储，并通过Redis扩展MetaStorageBase ，而内容存储通过S3扩展ContentStorageBase 。 整个示例代码如下。 import boto3 from redis import Redis import cached_http_fetcher from urllib . parse import urlsplit , quote from typing import Optional , Iterable from botocore . excep
【文件预览】：
cached-http-fetcher-main
----.gitignore(216B)
----setup.cfg(605B)
----README.md(3KB)
----.github()
--------workflows()
----tests()
--------conftest.py(2KB)
--------test_url_list.py(904B)
--------test_meta.py(1KB)
--------test_request.py(3KB)
--------test_entrypoint.py(2KB)
--------__init__.py(0B)
--------test_rate_limit_fetcher.py(1003B)
--------test_content.py(5KB)
--------storage()
----LICENSE(1KB)
----pyproject.toml(175B)
----setup.py(38B)
----.editorconfig(207B)
----Makefile(167B)
----cached_http_fetcher()
--------entrypoint.py(6KB)
--------content.py(3KB)
--------meta.py(1KB)
--------url_list.py(486B)
--------request.py(2KB)
--------model.py(387B)
--------__init__.py(256B)
--------rate_limit_fetcher.py(2KB)
--------storage()