需求按优先级顺序如下：
1）存放3TB以上中小型文件，图片为主，平均在500~700k，一般在1M以内。
2）要集群化，支持负载均衡，高可用高性能。有大企业使用背书最好。
3）提供Java程序上传文件的手段。Java代码可以在Windows环境下调试。
4）必须开源，作者能保持更新。
5）有运维监控手段，能快速定位出问题的服务器。
6）（加分项）新增存储服务器时，不需要更改Nginx负载均衡和Java程序的配置。
看了一大堆资料，没完美的解决方案，稍为符合的候选者只有3个：
| 框架 | 简介 | 文件存放方式 | 支持高可用 | 容量扩展手段 | 浏览器 gzip 支持 | 浏览器端缓存 | 程序访问 |
| FastDFS |
我知道国内很多创业公司都在用，自己也用了一段时间，比较稳定，网友写了不少中文资料，但官方几乎没有文档。建议用fastdfs-nginx-module吐流，而不是反向代理直接访问某个storage服务器。 运维方面：出现不能访问时，要查分布在多个地方的日志（nginx > nginx fastdfs module >storage > tracker），不熟悉的人不太好查原因。 主页：https://github.com/happyfish100/fastdfs 部署方式说明：http://blog.****.net/xifeijian/article/details/38567839 Docker：https://hub.docker.com/r/hhland/fastdfs/ ，https://hub.docker.com/r/season/fastdfs/ |
key-value 方式存放。 没有上传目录的概念，研发/测试环境需要独立部署自用的文件服务器。 不支持文件列表，不支持FUSE |
集群可由多台Tracker与多台Storage服务器组成。 多台tracker之间没有集群，由客户端解决failover问题。 storage服务器以group为单位组织，同一group下的不同storage服务器文件完全相同，主要用于负载均衡和容错，类似硬盘RAID10的方案。 不支持多机房。 |
TB级存储方案 1.同一storage服务器可以在配置中指定多个store_path来增加硬盘。 2.支持以group为单位增加服务器来扩展容量。 3.总容量为所有group加起来 |
由反向代理临时压缩 | 支持If-Modified-Since |
语言SDK：通过专用SDK，支持Java。 REST接口：无 http读文件：可通过storage服务器的http服务，也可以通过装了fastdfs-nginx-module的nginx提供。建议使用后者。 |
| 百度BFS （待研究） |
功能强大，但网上文档非常少，百度搜索未发现使用经验文章。介绍说百度整个公司都在用。 主页：https://github.com/baidu/bfs Docker：提供Dockerfile，但没放到Docker Hub。 |
目录方式存放。 支持文件列表，支持FUSE |
集群由NameServer，MetaServer，ChunkServer组成。 NameServer使用raft算法，依赖Neuxs或Zookeeper选出Leader，失效时自动重选Leader ChuckServer的高可用：待分析 对多机房，多服务器支持最好。 |
PB级存储方案 |
待分析 | 待分析 |
语言SDK：通过专用SDK访问，不支持Java，但可以通过FUSE桥接实现，Windows下估计需要用Cygwin才能访问。 REST接口：无 http读文件：NameServer提供访问。 |
| seaweedfs |
功能强大，似乎非常有潜力，中文资料少。Doc中说"中通快递"在用。 由于没用过，运维不好说是否方便。 主页：https://github.com/chrislusf/seaweedfs 部署与使用说明：http://blog.chinaunix.net/uid-25057421-id-5676348.html |
key-value 方式存放。 可以上传到指定目录。所以研发/测试环境可以共用同一台文件服务器。 filer支持文件列表，但不支持FUSE |
集群由多台master与多台volume服务器组成。volume之间的复制行为由复制策略所决定。 支持多机房，多种复制策略。 |
PB级存储方案 增加volume服务器能增加容量，但有效增加多少与复制策略有关。 |
支持预压缩成gzip格式文件，直接吐流成gzip | 支持etag，If-Modified-Since等 |
语言SDK：实际所有SDK上都是通过REST接口访问。有Java版本。 REST接口：volume与filer服务器提供不同层级的接口，volume是key-value方式的，filer是类似目录的方式。 http读文件：filer服务器提供 |
综合来说，想简单易上手，seaweedfs的生态圈比较齐全，而且作者一直在更新。FastDFS也是不错的选择。