开源最前线(ID:OpenSourceTop) 猿妹 整编
链接:https://www.itcodemonkey.com/article/827.html
作为一个文艺公司,豆瓣的开源项目却不少。豆瓣的主基因是 Python。其中有一个基于 Python 的 分布式计算框架 DPark。下面就是豆瓣最受欢迎的开源项目汇总:
https://github.com/douban/DOUAudioStreamer Stars 2348
DOUAudioStreamer 是 iOS 和 Mac 的基于核心音频的流媒体音频播放器。
https://github.com/douban/dpark Stars 2166
DPark 是 Spark 的 Python 克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规模数据处理和迭代计算。 DPark 由豆瓣实现,目前豆瓣内部的绝大多数数据分析都使用DPark 完成,正日趋完善。
https://github.com/MasteringOpenCV/code Stars 1732
Douban CODE 是豆瓣开发的一个基于 git 版本控制系统的协作平台。目前 CODE 仅开放了一个框架,支持:clone & push project、create project、create user。
https://github.com/dexteryy/CardKit Stars 724
CardKit 是来自豆瓣的一个移动 UI 框架,使用 CardUnitComponent 概念快速构建移动 Web 应用。应用外观跟原生应用无异。
https://github.com/douban/beansdb Stars 715
BeansDB 是一个主要针对大数据量、高可用性的分布式KeyValue存储系统,采用HashTree和简化的版本号来快速同步保证最终一致性(弱),一个简化版的 Dynamo。
它采用类似memcached的去中心化结构,在客户端实现数据路由。目前只提供了 Python版本的客户端,其它语言的客户端可以由memcached的客户端稍加改造得到。
https://github.com/douban/libmc Stars 373
libmc 是一个高效轻便的 C++/Python Memcached 客户端库,可用来替代 libmemcached 和 python-libmemcached。
https://github.com/douban/greenify Stars 311
Greenify 可以让 Python 扩展模块通过在 C 代码中进行网络操作使之与 gevent 兼容。Greenify 使用动态功能重定向技术,就像 ELF-Hook 那样在运行时进行修补阻塞网络操作,而不需要修改原始模块。目前 Greenify 只支持 ELF 格式模块,并且正在 Linux 上测试。
https://github.com/douban/paracel Stars 285
Paracel 是一个分布式计算框架,用于解决机器学习的问题:逻辑回归、SVD、矩阵分解(BFGS,sgd,als,cg),LDA,Lasso...首先,Paracel 拆分成大规模数据集和大量的参数空间。不像类 Mapreduce 系统,Paracel 提供一个简单的沟通模型,可以让你使用全局的,分布式的**值存储,这就是所谓的参数服务器。
https://github.com/douban/Kenshin Stars 153
Kenshin 是一个高性能的指标存储系统,用于替换 Graphite 的存储组件「Whisper」,由于 Whisper 对于磁盘的消耗比较大,Kenshin 的主要目标就是降低 IOPS,在豆瓣的线上环境中,IOPS 降低了 97.5 %。
https://github.com/douban/tfmesos Stars 153
TFMesos 是一个轻量级框架,用于帮助在 Apache Mesos 上通过 Docker 和 Nvidia-Docker 运行分布式 Tensorflow 机器学习任务。TFMesos 通过 Mesos 集群动态分配资源,为 Tensorflow 构建分布式训练集群,并在 Docker 的帮助下,使得共享的 Mesos 集群中的不同训练任务能够被管理和隔离。
●本文编号2666,以后想阅读这篇文章直接输入2666即可
●输入m获取文章目录