微服务架构上篇：etcd技术介绍
1. 微服务架构上篇
3. etcd技术介绍
1. etcd是什么
Etcd是一种强一致性的分布式键值存储系统，它提供了一种可靠的方法来存储需要被分布式系统或机器集群访问的数据。它可以在网络分区期间优雅地处理leader选举，并且可以容忍机器故障，即使是leader节点。
2. etcd具备的功能
2.1 提供http api接口
使用标准的HTTP工具(如curl)读取和写入
2.2 键值队存储
将数据存储在分层组织的目录中，就像在标准文件系统中一样。
2.3 监控变化
观察特定键或目录的变化，并对值的变化作出反应。
还有常见的一些功能，比如SSL客户端认证证书， 基准测试为每个实例1000次写操作/秒，密钥过期的可选ttl，Raft协议等。
3. etcd被k8s使用
etcd是k8s集群管理状态的标配，它存储集群内所有与状态相关数据，比如服务发现与注册，共享配置等，它通过Raft一致性算法以保证强一致性。
分布式系统中的数据分为控制数据和应用数据，etcd处理的数据类型为控制数据，对于很少量的应用数据也可以进行处理。
目前etcd已经被CNCF(Cloud Native Computing Foundtion)收录。
4. etcd原理介绍
4.1 流程分析
通常一个用户的请求发送过来，会经过HTTP Server转发给Store进行具体的事务处理，如果涉及到节点的修改，则需要交给Raft模块进行状态的变更，日志的记录。
然后再同步给别的etcd节点确认数据提交，最后进行数据提交，再次同步。
4.2 工作原理
Etcd使用Raft协议来维护集群内各个节点状态的一致性。简单说，ETCD集群是一个分布式系统，由多个节点相互通信构成整体对外服务，每个节点都存储了完整的数据，并且通过Raft协议保证每个节点维护的数据是一致的。
4.3 Etcd主要分为四个部分
HTTP Server：用于处理用户发送的API请求以及其他etcd节点的同步与心跳信息请求
Store: 用于处理 etcd 支持的各类功能的事务，包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等，是 etcd 对用户提供的大多数 API 功能的具体实现。
Raft：Raft 强一致性算法的具体实现，是 etcd 的核心。
WAL：Write Ahead Log（预写式日志/日志先行），是 etcd 的数据存储方式，也是一种实现事务日志的标准方法。etcd通过 WAL 进行持久化存储，所有的数据提交前都会事先记录日志。Snapshot 是为了防止数据过多而进行的状态快照；Entry 表示存储的具体日志内容。
4.4 服务发现
服务发现要解决的也是分布式系统中最常见的问题之一，即在同一个分布式集群中的进程或服务，要如何才能找到对方并建立连接。本质上来说，服务发现就是想要了解集群中是否有进程在监听 udp 或 tcp 端口，并且通过名字就可以查找和连接。要解决服务发现的问题，需要具备以下三点：
一个强一致性、高可用的服务存储目录。基于 Raft 算法的 etcd 天生就是这样一个强一致性高可用的服务存储目录。
一种注册服务和监控服务健康状态的机制。用户可以在 etcd 中注册服务，并且对注册的服务设置key TTL，定时保持服务的心跳以达到监控健康状态的效果。
一种查找和连接服务的机制。通过在 etcd 指定的主题下注册的服务也能在对应的主题下查找到。为了确保连接，我们可以在每个服务机器上都部署一个 Proxy 模式的 etcd，这样就可以确保能访问 etcd 集群的服务都能互相连接。例如随着 Docker 容器的流行，多种微服务共同协作，构成一个相对功能强大的架构的案例越来越多。透明化的动态添加这些服务的需求也日益强烈。通过服务发现机制，在 etcd 中注册某个服务名字的目录，在该目录下存储可用的服务节点的 IP。在使用服务的过程中，只要从服务目录下查找可用的服务节点去使用即可。
5. Raft协议介绍
Raft 是一种为了管理复制日志的一致性算法。它提供了和 Paxos 算法相同的功能和性能，但是它的算法结构和 Paxos 不同，使得 Raft 算法更加容易理解并且更容易构建实际的系统。一致性算法允许一组机器像一个整体一样工作，即使其中一些机器出现故障也能够继续工作下去。正因为如此，一致性算法在构建可信赖的大规模软件系统中扮演着重要的角色。
5.1 Raft算法分为三步
Leader选举、日志复制和安全性
这个Raft动图演示非常好的说明了Leader是如何被选择和数据如何被存储和获取的，当然我这里只是截图一部分，具体演示细节请参考下面连接地址。Raft动图参考：http://thesecretlivesofdata.com/raft/
5.2 算法特性
强领导者: 和其他一致性算法相比，Raft 使用一种更强的领导能力形式。比如，日志条目只从领导者发送给其他的服务器。这种方式简化了对复制日志的管理并且使得 Raft 算法更加易于理解。 领导选举：Raft 算法使用一个随机计时器来选举领导者。这种方式只是在任何一致性算法都必须实现的心跳机制上增加了一点机制。在解决冲突的时候会更加简单快捷。 成员关系调整：Raft 使用一种共同一致的方法来处理集群成员变换的问题，在这种方法下，处于调整过程中的两种不同的配置集群中大多数机器会有重叠，这就使得集群在成员变换的时候依然可以继续工作。
参考连接
关于etcd和raft其他细节请参考以下链接：etcd: 官网 https://etcd.io/ etcd和Raft详解：https://www.cnblogs.com/centos-python/articles/11044019.html
6. etcd使用
首先安装etcd，参考：https://etcd.io/docs/v3.5/quickstart/
安装结束之后，可以通过etcdctl来操作key/value键值队。用法和redis大同小异，可以参照官网试试，watch机制也有(如果想监听某个key的变化来操作的话)，可以利用此特性做配置更新等。
7. 小结
etcd技术非常复杂，想要深入理解其原理就得看源码，但是作为实战系列课程过多的涉及到很多源码是不可取的，只要理解这个组件是干什么的，大致原理是啥，为什么需要被大家使用以及如何应用就行了。好了，今天就到这里，下篇文章重点讲解基于etcd的服务发现与注册技术，欢迎大家关注，分享和点赞。