漫谈分布式系统：三种通信范型
0x00 前言通信 是分布式系统中至关重要的一环！虽说我们在日常编写MapReduce和Spark程序的时候不需要考虑进程间之间的通信、搭建Zookeeper和Cassandra集群的时候也不用考虑节点之间的通信。但这只是因为有人已经帮我做好了这些工作，比如Hadoop定制的RPC协议、Zookee...
分布式文件系统之创建 DFS 命名空间
有两种类型的DFS命名空间：基于域的命名空间独立命名空间 创建DFS命名空间1、打开“服务器管理器”，选择“工具”—“DFS Management”； 2、右击“命名空间”选择“新建命名空间”； 3、在“命名空间服务器”界面，选择“浏览”，添加服务器； 4、在“选择计算机”界面，输入服务器...
随笔 | 分布式版本控制系统Git的安装与使用
作业要求来自https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2097GitHub远程仓库的地址https://github.com/Wzh1997/Software-Engineering.git第一步：下载安装配置用户名和邮箱。修改用...
Windows 2008 R2 DFS分布式文件系统配置
Windows 2008 R2 DFS分布式文件系统配置在我们实际工作中我们会经常用到负载均衡，就是一个服务器当掉，另一个服务器迅速接管服务，以保持同步，但是用到负载均衡的时候，DFS负责两个服务器间的同步却尤为重要，下面我们看看windows server 2008 R2两个服务器怎么做到DFS实...
rsync+inotify实时同步 和 GFS分布式文件系统概述
目录 一、rsync+inotify实时同步 1.1.实时同步的优点 1.2.Linux内核的inotify机制 1.3.发起端配置rsync+Inotify 1.4.配置远程登陆 1.4.1.修改rsync源服务器配置192.168.190.101 编辑 1.4.2.配置server 192....
分布式持久内存文件系统Octopus（ATC-17 ）分析（一）
清华课题 Octopus 源码分析一前言论文摘要设计框架源码分析清华课题 Octopus 源码分析（一）前言由于项目工作的需要，我们团队阅读了清华在文件系统方面的一个比较新颖的工作：Octopus。Octopus是一个基于持久内存 NVM 和远程直接内存访问 RDMA 技术的分布式内存文件系统。清华...
使用python客户端上传文件到fastdfs分布式文件存储系统
1. 进入Python虚拟环境：workon django_py32. 进入fdfs_client-py-master.zip所在目录3. pip install fdfs_client-py-master.zip第3步如果报错：fdfs_client/sendfilemodule.c:43:20...
分布式文件系统(GFS和HDFS)概述
前言背景意义分布式存储相关概念 分布式存储系统的数据可以分为以下三类 CAP理论 复制副本 一致性 GFS架构 租约（lease）和变更顺序 容错机制前言因为我有一门分布式的课，老师要求我们选择一个课题...
分布式系统
去中心化，Internet、企业内部网、移动和无处不在的计算，这些都是典型的分布式系统。资源共享是形成分布式系统的主要动力。分布式操作系统的特点1、具有干预互连的各处理机之间交互关系的责任。2、分布式操作系统的控制结构是分布式的。分布式操作系统一般由内核和实用程序组成。内核主要负责处理各种中断、通信...
分布式系统回滚机制
事务回滚发布回滚发布版本化增量发布灰度发布架构升级并行发布静态资源版本回滚回滚是指当程序或者数据出错时，恢复到最近的一个正确版本的行为。最常见的如事务回滚、代码库回滚、部署版本回滚、数据版本回滚、静态资源版本回滚等。通过回滚机制，可以在发布系统出现故障时，保证系统的可用性。事务回滚提到事务回滚，单库...
基于java的TimingWheel(时间轮算法)分布式任务调度系统
关于TimingWheel(时间轮)算法的任务定时器网上有很多文章，但是却找不到基于java成系统的文章，所以今天把我在公司做的且稳定运行半年多的TimingWheel系统分享给大家。1 TimingWheel基本原理: 众所周知寻常的定时器大概有两种，一种是开阻塞线程，另一种是开一个...
02 _ 分布式系统的指标：啥是分布式的三围
你好，我是聂鹏程。 在上一篇文章中，通过对分布式发展历程的学习，我们对分布式技术有了一个整体印象。接下来，我们就再来看看可以用哪些指标去具体地衡量一个分布式系统。如果你已经对分布式系统的指标了解得很清楚了，可以直接跳过这篇文章，学习下一讲的内容。 分布式系统的指标 从分布式技术的起源可以看出，分布...
Kafka——分布式消息系统
Kafka——分布式消息系统架构Apache Kafka是2010年12月份开源的项目，采用scala语言编写，使用了多种效率优化机制，整体架构比较新颖（push/pull），更适合异构集群。设计目标：(1) 数据在磁盘上的存取代价为O(1)(2)高吞吐率，在普通的服务器上每秒也能处理几十万条消息(...
分布式系统——The Google File System论文
1.简单介绍The Google File System发表于2003年，是分布式文件系统的奠基性文章，之后很多实际的系统以此为基础进行了实现。文章可以在网上免费获得。这篇博客的内容是本人对文章的简要分享，参考了清华大学大数据系统的分布式文件的课程。Google设计GFS（谷歌文件系统）的出发点是为...
分布式ID生成系统 UUID与雪花（snowflake）算法
Leaf——美团点评分布式ID生成系统 -https://tech.meituan.com/MT_Leaf.html网游服务器中的GUID(唯一标识码)实现-基于snowflake算法-云栖社区-阿里云https://yq.aliyun.com/articles/229420UUID_STRING ...
大规模分布式系统的跟踪系统：Dapper设计给我们的启示
在2010年，google发表了一篇名为“Dapper, a Large-Scale Distributed Systems Tracing Infrastructure”的论文，在文中介绍了google生产环境中大规模分布式系统下的跟踪系统Dapper的设计和使用经验。而zipkin/pinpoi...
Linux（centos6.5）系统网络ip配置及hadoop完全分布式集群部署详细步骤
Hadoop集群搭建及网络ip配置@TOC1、hadoop运行环境配置此处需要三台虚拟机，以为HDFS的NameNode、SecondaryNameNode和Yarn的ResourceManager比较耗费资源，现实开发中也是不会配置在同一台服务器，电脑内存最好8G或以上，不然就算虚拟机开启的是命令...
快速了解分布式能源管理系统
目前，分布式能源管理系统(DERMS)已成为电力领域的最新流行语。虽然很多电厂都表示有计划引入，且大量供应商也表示自己有能力提供分布式能源管理系统，但并不是所有人都明白这种技术到底是什么或有什么作用。总体来说，分布式能源管理系统是一种软件平台，可协助配电公司监视、管理及调度并网及户用的分布式能源(D...
rhel6.5-MFS(moosefs)分布式文件系统、MFS高可用
一.MFS分布式文件系统 MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。通用文件系统,不需要修改上层应用就可以使用，通过附加新的计算机或者硬盘可以实现容量的动态扩展，体系架构可伸缩性极强，删除的文件可以根据配置...
在分布式系统中使用ffmpeg -- python
ffmpeg是常用的用来处理视频的工具，它的功能非常强大，包含了丰富的音视频处理接口，如视频格式转换，音视频分离、添加水印等。出于效率上的考虑，ffmpeg是基于c编写的，所以在使用之前通常需要编译安装。想要在分布式集群上面用ffmpeg，需要在每台机器上安装ffmpeg或者用预先编译好的包。本文将...