跨集群ETL方案咨询 #6738
Unanswered
13671653088
asked this question in
Q&A
跨集群ETL方案咨询
#6738
Replies: 1 comment
-
补充 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
公司规划升级新的数仓,DW层与ODS层分置在两个Doris集群。
Doris版本:palo-0.14.12.4
集群配置:
bigdata-doris-ods-fe
Centos *3 8c 32G 数据盘500G hdd
bigdata-doris-ods-be
Centos *6 16c 64G 数据盘2TB ssd
bigdata-doris-dw-fe
Centos *3 16c 64G 数据盘500G hdd
bigdata-doris-dw-be
Centos *13 16c 128G 数据盘1TB ssd
ODS整个数据库大概1.5TB大小
目前有两个ETL的方案:
想了解下,这两个方案,建议用哪个?
或者说在什么情况下用1合适,什么情况下,用2。
今天测试1,发现执行ETL的时候,DW集群只有一个BE节点内存飙高,ODS集群所有节点内存上升。
Beta Was this translation helpful? Give feedback.
All reactions