虛擬私有云
虛擬私有云(Virtual Private Cloud,以下簡稱VPC)為Kafka實例提供一個隔離的、用戶自主配置和管理的虛擬網絡環境。
步驟 1 在創建Kafka實例前,確保已存在可用的虛擬私有云和子網。
創建方法,請參考《虛擬私有云用戶指南》的“創建虛擬私有云和子網”。如果您已有虛擬私有云和子網,可重復使用,不需要多次創建。
在創建VPC和子網時應注意如下要求:
- 創建的VPC與使用的Kafka服務應在相同的區域。
- 創建VPC和子網時,配置參數建議使用默認配置。
步驟 2 在創建Kafka實例前,確保已存在可用的安全組。
創建方法,請參考《虛擬私有云用戶指南》的“創建安全組”。如果您已有安全組,可重復使用,不需要多次創建。
在創建安全組時應注意如下要求:
- 創建安全組時,“模板”選擇“自定義”。
- 使用Kafka實例必須添加下表所示安全組規則,其他規則請根據實際需要添加。
表 安全組規則
| 方向 | 協議 | 端口 | 源地址 | 說明 |
|---|---|---|---|---|
| 入方向 | TCP | 9094 | 0.0.0.0/0 | 通過公網訪問Kafka實例(關閉SSL加密)。 |
| 入方向 | TCP | 9092 | 0.0.0.0/0 | 使用內網通過同一個VPC訪問Kafka實例(關閉SSL加密)。 |
| 入方向 | TCP | 9095 | 0.0.0.0/0 | 通過公網訪問Kafka實例(開啟SSL加密)。 |
| 入方向 | TCP | 9093 | 0.0.0.0/0 | 使用內網通過同一個VPC訪問Kafka實例(開啟SSL加密)。 |
| 入方向 | TCP | 9999 | 0.0.0.0/0 | 訪問Kafka Manager。 |
| 入方向 | TCP | 9011 | 0.0.0.0/0 | 使用DNAT訪問Kafka實例(開啟SSL加密和關閉SSL加密都適用)。 |
說明安全組創建后,系統默認添加入方向“允許安全組內的彈性云主機彼此通信”規則和出方向“放通全部流量”規則。此時使用內網通過同一個VPC訪問Kafka實例,無需添加上表的規則。
(可選)彈性IP地址
如果需要通過公網訪問Kafka實例,請提前準備彈性IP地址。
創建方法,請參考申請彈性公網IP。
在創建彈性IP地址時應注意如下要求:
- 創建的彈性IP地址與Kafka實例在相同的區域。
- 彈性IP地址的數量必須與Kafka實例的代理個數相同。
彈性云主機
在連接Kafka實例之前,需要先創建彈性云主機(Elastic Cloud Server,以下簡稱ECS),JDK安裝、環境變量配置以及Kafka開源客戶端下載。本文以Linux系統的ECS為例,Windows系統ECS的JDK安裝與環境變量配置可自行在互聯網查找相關幫助。
步驟 1 登錄管理控制臺,在左上角單擊
,選擇“計算 > 彈性云主機”,創建一個ECS實例。
具體創建操作,請參考《彈性云主機用戶指南》的“創建彈性云主機”章節。如果您已有可用的ECS,可重復使用,不需要再次創建。
步驟 2 登錄彈性云主機。
步驟 3 安裝Java JDK或JRE,并配置JAVA_HOME與PATH環境變量,使用執行用戶在用戶家目錄下修改“.bash_profile”,添加如下行。其中“/opt/java/jdk1.8.0_151”為JDK的安裝路徑,請根據實際情況修改。
export JAVA_HOME=/opt/java/jdk1.8.0_151 ?
export PATH=$?JAVA_HOME/bin:JAVAH?OME/bin:?$PATH
執行source .bash_profile命令使修改生效。
說明ECS默認自帶的JDK可能不符合要求,例如OpenJDK,需要配置為Oracle的JDK,可至Oracle官方下載頁面
步驟 4 下載開源的Kafka客戶端。
對應1.1.0版本實例的下載地址:
wget //archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz
對應2.3.0版本實例的下載地址:
wget //archive.apache.org/dist/kafka/2.3.0/kafka_2.11-2.3.0.tgz
對應2.7版本實例的下載地址:
wget //archive.apache.org/dist/kafka/2.7.2/kafka_2.12-2.7.2.tgz
步驟 5 解壓Kafka客戶端文件。
tar -zxf ${kafka_tar}
“ kafka_tar ” 表示客戶端的壓縮包名稱。例如:
tar -zxf kafka_2.12-2.7.2.tgz