Introduction
AWS合作伙伴动手训练营–ClickHouse On AWS
嗨，您好！欢迎来到中国区AWS APN动手训练营 ClickHouse On AWS
要完成标准训练营内容，大约需要2小时。
workshop 目标
ClickHouse On AWS Cloudformation内嵌了27个shell脚本及部署代码，能帮助用户快速交付满足最佳实践的ClickHouse On AWS 架构，包括以下功能：
-
集群自动部署：通过自定义的参数选择自动交付clickhouse集群环境，用户可避免复杂交错的配置文件定义
-
S3分层存储：为用户自动配置并交付S3分层存储，定义clickhouse热数据在本地盘，海量数据已定到S3，实现低成本的海联数据仓库
-
最佳实践调参：模板在参数页面集成常用的14个调优参数进行解释和描述，每个重要的调优参数定义默认值以覆盖常见场景，用户可直接在模板中自定义，这将按自定义参数快速交付
-
立即可用：模板将依据用户所选择的
demo data size创建示例表并完成数据加载。并提供若干SQL 示范方便用户进行测试 （ontime 数据集 500m / 10g / 100g）
-
原生监控：模板将自动部署 Grafana 和 Prometheus，自动进行集群所以节点的配置、Prometheus的箭筒配置，并通过Grafana 实现 查询数量、慢查询、队列、缓存等DW业务维度可视化监控。
-
实现读写分离，可以自定义读分布式表，写副本表，从而减少数据再副本和分片之间移动，占用集群资源。是社区流行的最佳实践
users:
- name: "distributed"
to_cluster: "distributed"
- name: "replica-write"
to_cluster: "replica-write"
.......
clusters:
- name: "distributed"
nodes: [
"$CH_Cluster_shard1_replica1:8123",
"$CH_Cluster_shard1_replica2:8123",
"$CH_Cluster_shard2_replica1:8123",
"$CH_Cluster_shard2_replica2:8123"
]
.......
- name: "replica-write"
replicas:
- name: "replica1"
nodes: ["$CH_Cluster_shard1_replica1:8123", "$CH_Cluster_shard2_replica1:8123"]
- name: "replica2"
nodes: ["$CH_Cluster_shard1_replica2:8123", "$CH_Cluster_shard2_replica2:8123"]
.......
实验架构特点
我们将使用cloudformation模板配置以下资源：
- 新建VPC，包含两个公有子网、两个私有子网，Internet网关和安全组以对外提供服务并支持安全访问控制。
- 新建安全组，包括堡垒机/clickhouse/zookeeper/DWadmin4个安全组，用户整套环境的最小访问权限控制。
- Amazon S3存储桶，用于clickhouse
分层存储。 - IAM角色，堡垒机/clickhouse/zookeeper/DWadmin.4个role用于管理整套环境服务权限
- 新建您所选择的clickhouse集群，可供选择的规模有：
单节点，2分片2副本，4分片2副本，10分片2副本。如果您选择单节点，将会在1个节点上部署所以内容，如果您选择2分片2副本，将创建4台clickhouse节点+3台zookeeper节点+1台DW admin实例+1台堡垒机实例 - 一台数据仓库管理实例，创建将被放置在公有子网，是整套环境对外提供服务的的唯一入口，在该实例中运行以下工具：
chproxy（实现clickhouse读写分离，负载路由，查询缓存）Prometheus（实现clickhouse集群监控，他将监听并存储clickhouse各节点clickhouse_exporter和node_exporter的实时状态数据）Grafana（3000端口对外服务，用于clickhouse SQL Tools和Prometheus监控可视化）
- 一台堡垒机EC2实例（包含在ASG内），创建将被放置在公有子网，是整套环境ssh的唯一入口对下游组件它将向架构前后端进行配置管理，对公网您可以配置只有您的本地IP地址可以与之通讯
- 加载演示数据，Cloudformation将以Ontime为样本，通过您选择的
demosize参数创建表并加载数据，demosize：大 中 小 分别对应 500m/5g/50g - 您通过多达20种参数的自定义在集群创建之初即完成优化配置，这些参数都有默认值，是我们推荐的通过情况最佳实践。（您可以在Cloudformation参数页面查看每个参数的解释）
- 您通过不同实例类型和不同EBS类型及空间的自定义以满足业务性能需求。
- 为方便内部测试，模板将为您的每台实例自动加载
AmazonSSMManagedInstanceCore权限以满足PVRE合规要求，请放心食用
目标受众
训练营目标受众是AWS用户解决方案架构师、运维工程师，合作伙伴架构师、售前工程师。
预期费用
您需要在您的AWS账户中运行此动手训练营时所使用的AWS服务的成本支付费用。截至发布之日，按计划中的实验基准成本应为：
- S3 ：< 0.1 $
- EC2：< 20 $
- VPC < 1 $
支持区域
ap-northeast-1:
ap-northeast-2:
ap-southeast-1:
ap-southeast-2:
eu-central-1:
sa-east-1:
us-east-1:
us-east-2:
us-west-1:
us-west-2:
成本管理标签：我们建议您无论何时创建云资源，都对其进行标记。请您尝试在实验期间为实验资源设置统一的标记字段，例如项目：awschinaworkshop