前提條件
- 翼MR集群中已安裝Flink組件。
- 集群正常運行,已安裝集群客戶端,例如安裝目錄為“/usr/local/flink”。以下操作的客戶端目錄只是舉例,請根據實際安裝目錄修改。
使用Flink客戶端
-
安裝客戶端,具體請參考安裝客戶端章節。
-
登錄安裝客戶端的節點。
-
執行以下命令,切換到客戶端安裝目錄。
cd /opt/hadoopclient -
執行如下命令初始化環境變量。
source /opt/hadoopclient/bigdata_env source ~/.bash_profile -
若集群開啟Kerberos認證,需要執行以下命令以完成認證,若集群未開啟Kerberos認證請跳過該步驟。
klist -kt /etc/security/keytabs/hdfs.keytab kinit -kt /etc/security/keytabs/hdfs.keytab XXXX同時,應配置安全認證。在“/usr/local/flink/conf/flink-conf.yaml”配置文件中的對應配置添加keytab路徑以及用戶名。
security.kerberos.login.use-ticket-cache: true security.kerberos.login.keytab: <user.keytab?文件路徑?> security.kerberos.login.principal: user security.kerberossecurity.login.contexts: Client,KafkaClient例如:
security.kerberos.login.keytab: /etc/security/keytabs/hdfs.keytab security.kerberos.login.principal: hdfs -
運行wordcount作業。
-
普通集群(未開啟Kerberos認證)
首先啟動Flink集群。
/usr/local/flink/bin/start-cluster.sh
Session模式執行如下命令在session中提交作業。
yarn-session.sh -nm "session-name" --detachedflink run /usr/local/flink/examples/streaming/WordCount.jar
提交成功后,會返回已提交的Flink作業的YARN Application ID以及Web地址,訪問Web地址以通過Web UI的方式查看作業狀態。
Per-Job模式
執行如下命令以Per-Job方式提交作業。
flink run -t yarn-per-job --detached /usr/local/flink/examples/streaming/WordCount.jar
提交成功后,會返回已提交的Flink作業的YARN Application ID以及Web地址,訪問Web地址以通過Web UI的方式查看作業狀態。
Application模式
執行如下命令以Application方式提交作業。
flink run-application -t yarn-application/usr/local/flink/examples/streaming/WordCount.jar
提交成功后,會返回已提交的Flink作業的YARN Application ID以及Web地址,訪問Web地址以通過Web UI的方式查看作業狀態。 -
安全集群(開啟Kerberos認證)
首先執行5中的認證操作,再進行和普通集群相同的操作以運行作業。
-