clickhouse日常管理
一 变量相关
1 查看变量
system.setting相关表
2 设置变量
set variables= 请注意这里是session级别,如果想永久生效,必须修改配置文件
3 变量文件分类
config.xml
说明 config.xml针对的是server级别的限制,包括不仅限于内存,复制集,分布式,数据目录等设置
user.xml
说明 user.xml针对的是用户级别的限制,主要包括用户增删查改的内存控制参数
4 配置文件操作便利
clickhouse会自动扫描,可以在配置文件中操作完进行查询.不用重启服务
5 配置变量优化
user变量优化
1 内存相关
max_memory_usage ck整体会话限制,包括全部链接的全部会话内存使用量上限 默认10G
max_bytes_before_external_group_by group by占用内存->针对查询 (如果需要使用max_bytes_before_external_group_by，建议将max_memory_usage设置为max_bytes_before_external_group_by大小的两倍)
min_insert_block_size_rows, min_insert_block_size_bytes 当插入导致内存溢出时,可尝试调小
config相关
1 bind本地IP,调整datadir
2 allow_experimental_multiple_joins_emulation 最新版本支持多表join参数
二 系列问题
数据同步分为两种场景
1 实时同步mysql数据
方案 : canal+kafka 实时消费binlog进行插入,在kafka进行批量操作封装
2 异步同步mysql数据
方案1 利用ck官方mysql driver进行同步
方案2 直接读取hdfs文件进行同步
总结:尽量避免单条插入而选择批量操作,提高ck整体效率
3 关于 update/delete操作
clickhouse关于update/delete操作是异步后台进行,而且成本很高,所以尽量减少和避免进行update/delete操作
通过 select * from system.mutations 可以判断后台操作进行是否完成
语法eg alter table update table column='' where 条件
4 ck关于DDL操作的一些限制
尽量不要进行 modify column,更改列的操作代价是非常高昂的
5 程序如何调用clickhouse
使用jdbc调用 ClickHouse驱动包,最后编写测试类,可参考
https://blog.csdn.net/zwq_zwq_zwq/article/details/80871518 样例
三 code相关错误
1 Code: 32, e.displayText() = DB::Exception: Attempt to read after eof: while receiving packet from 127.0.0.1:9000, Stack trace: