1. 引言

在當(dāng)今的在線數(shù)據(jù)處理與交易處理（OLTP）業(yè)務(wù)場景中，數(shù)據(jù)庫的高可用性與橫向擴(kuò)展能力是保障業(yè)務(wù)連續(xù)性與性能的關(guān)鍵。MyCat作為一個(gè)開源的分布式數(shù)據(jù)庫中間件，通過實(shí)現(xiàn)MySQL協(xié)議的代理，提供了數(shù)據(jù)分片、讀寫分離、故障切換等核心功能，是構(gòu)建高可用、可擴(kuò)展數(shù)據(jù)庫集群的重要組件。本文檔（工作筆記0030）旨在記錄基于MyCat構(gòu)建高可用集群架構(gòu)的設(shè)計(jì)要點(diǎn)，并闡述在模擬在線交易業(yè)務(wù)場景下進(jìn)行高可用性驗(yàn)證的具體實(shí)踐。

2. MyCat高可用集群架構(gòu)設(shè)計(jì)

一個(gè)典型的、面向高可用的MyCat分布式數(shù)據(jù)庫集群架構(gòu)通常包含以下幾個(gè)層次：

2.1 應(yīng)用接入層
業(yè)務(wù)應(yīng)用程序通過標(biāo)準(zhǔn)MySQL驅(qū)動(dòng)連接MyCat服務(wù)。為實(shí)現(xiàn)高可用，應(yīng)用端需配置多個(gè)MyCat節(jié)點(diǎn)地址，并具備連接失敗重試機(jī)制，或使用VIP（虛擬IP）結(jié)合Keepalived等工具實(shí)現(xiàn)訪問入口的自動(dòng)漂移。

2.2 MyCat中間件層（核心）
這是架構(gòu)的核心。高可用設(shè)計(jì)主要在此層實(shí)現(xiàn)：

• 多節(jié)點(diǎn)部署：至少部署兩個(gè)或以上的MyCat服務(wù)節(jié)點(diǎn)，避免單點(diǎn)故障。
• 狀態(tài)同步：確保所有MyCat節(jié)點(diǎn)共享相同的配置文件（如schema.xml, rule.xml, server.xml），可通過分布式配置中心（如ZooKeeper、Nacos）或自動(dòng)化同步工具管理。
• 故障檢測與切換：借助Keepalived或HAProxy實(shí)現(xiàn)。常用方案是MyCat + Keepalived：
• 為多個(gè)MyCat節(jié)點(diǎn)分配一個(gè)虛擬IP（VIP）。

• Keepalived運(yùn)行在主備MyCat節(jié)點(diǎn)上，通過心跳機(jī)制監(jiān)控MyCat進(jìn)程健康狀態(tài)。

• 當(dāng)主節(jié)點(diǎn)MyCat服務(wù)失效，Keepalived將VIP自動(dòng)漂移到健康的備用節(jié)點(diǎn)，實(shí)現(xiàn)客戶端的無感知切換。

2.3 后端數(shù)據(jù)庫層
- 數(shù)據(jù)分片集群：數(shù)據(jù)被水平拆分到多個(gè)MySQL分片（Shard）中，每個(gè)分片本身也需要高可用。
- 分片高可用：每個(gè)分片采用MySQL主從復(fù)制（或基于Group Replication的MGR集群）構(gòu)成一組。MyCat可配置讀寫分離，寫操作發(fā)往主庫，讀操作可分發(fā)到從庫。
- 故障感知：MyCat需要能夠檢測后端MySQL節(jié)點(diǎn)的狀態(tài)。通過heartbeat標(biāo)簽在配置中定義心跳SQL，MyCat定期執(zhí)行以判斷節(jié)點(diǎn)是否存活。

3. 高可用性驗(yàn)證方案（模擬OLTP業(yè)務(wù)場景）

驗(yàn)證目標(biāo)是確保在MyCat節(jié)點(diǎn)或后端數(shù)據(jù)庫節(jié)點(diǎn)發(fā)生故障時(shí)，整個(gè)數(shù)據(jù)庫服務(wù)對(duì)前端OLTP業(yè)務(wù)的影響最小，數(shù)據(jù)一致性與業(yè)務(wù)連續(xù)性得到保障。

3.1 驗(yàn)證環(huán)境準(zhǔn)備
- 部署架構(gòu)：兩個(gè)MyCat節(jié)點(diǎn)（MyCat-01, MyCat-02）+ Keepalived，后端為兩組MySQL主從集群（分片db01group, db02group）。
- 模擬業(yè)務(wù)：開發(fā)簡單的模擬OLTP應(yīng)用，持續(xù)執(zhí)行典型操作：用戶登錄驗(yàn)證（SELECT）、下單（INSERT）、支付更新（UPDATE）、查詢訂單（JOIN查詢）等。
- 監(jiān)控工具：監(jiān)控MyCat日志、MySQL狀態(tài)、網(wǎng)絡(luò)連接及業(yè)務(wù)應(yīng)用錯(cuò)誤率。

3.2 驗(yàn)證場景與步驟

場景一：MyCat中間件節(jié)點(diǎn)故障
1. 初始狀態(tài)：VIP位于MyCat-01（主），模擬業(yè)務(wù)穩(wěn)定運(yùn)行，所有請(qǐng)求通過MyCat-01處理。
2. 故障注入：手動(dòng)停止MyCat-01的服務(wù)進(jìn)程。
3. 觀察與驗(yàn)證：
- Keepalived應(yīng)檢測到MyCat-01失效，并在數(shù)秒內(nèi)將VIP漂移至MyCat-02。

• 模擬業(yè)務(wù)可能會(huì)出現(xiàn)短暫的連接異常（取決于客戶端連接池設(shè)置），但應(yīng)能在超時(shí)重試后自動(dòng)連接到新的VIP（即MyCat-02），業(yè)務(wù)逐漸恢復(fù)。

• 驗(yàn)證所有業(yè)務(wù)操作（增刪改查）在恢復(fù)后均能正常執(zhí)行，且數(shù)據(jù)一致性無誤（如剛提交的訂單不丟失）。

1. 恢復(fù)操作：重啟MyCat-01，它應(yīng)作為備用節(jié)點(diǎn)加入，不影響當(dāng)前流量。

場景二：后端MySQL主庫故障（某個(gè)分片）
1. 初始狀態(tài)：業(yè)務(wù)正常運(yùn)行，例如訂單表數(shù)據(jù)分布在兩個(gè)分片。
2. 故障注入：停止db01_group的主庫（寫庫）。
3. 觀察與驗(yàn)證：
- MyCat通過心跳檢測應(yīng)能快速（取決于心跳間隔）標(biāo)記該主庫為down。

• 對(duì)于路由到該故障分片的寫操作，MyCat應(yīng)能根據(jù)配置的switchType（如切換至備庫寫）進(jìn)行響應(yīng)。本例中，若配置了主從切換且從庫可寫（需配合半同步等確保數(shù)據(jù)安全），寫請(qǐng)求應(yīng)被路由至提升后的新主庫。

• 模擬業(yè)務(wù)中涉及該分片的操作，在短暫失敗后應(yīng)能繼續(xù)。需重點(diǎn)關(guān)注數(shù)據(jù)一致性，確保故障前已確認(rèn)的交易在從庫升級(jí)后可見。

• 對(duì)于其他健康分片的業(yè)務(wù)應(yīng)完全無影響。

1. 恢復(fù)操作：修復(fù)原主庫，以從庫身份重新同步后加入集群。

場景三：網(wǎng)絡(luò)分區(qū)或腦裂情況
測試Keepalived的優(yōu)先級(jí)、搶占機(jī)制及心跳線配置，確保VIP不會(huì)出現(xiàn)腦裂。可斷開主節(jié)點(diǎn)網(wǎng)絡(luò)，觀察VIP切換及恢復(fù)后的搶占行為是否符合預(yù)期。

4. 關(guān)鍵注意事項(xiàng)與優(yōu)化點(diǎn)

• 心跳配置：合理設(shè)置heartbeat語句與間隔，在故障檢測速度和數(shù)據(jù)庫壓力間取得平衡。
• 超時(shí)與重試：業(yè)務(wù)客戶端和連接池（如Druid, HikariCP）必須配置合理的連接超時(shí)、查詢超時(shí)和失敗重試邏輯。
• 數(shù)據(jù)一致性：在MySQL主從切換時(shí)，是強(qiáng)一致性方案（如使用MGR）還是最終一致性方案（異步復(fù)制），需根據(jù)業(yè)務(wù)容忍度選擇，并制定相應(yīng)的數(shù)據(jù)核對(duì)與補(bǔ)償流程。
• 監(jiān)控告警：建立完善的監(jiān)控，覆蓋MyCat節(jié)點(diǎn)狀態(tài)、后端數(shù)據(jù)庫狀態(tài)、VIP歸屬、業(yè)務(wù)關(guān)鍵指標(biāo)（TPS、響應(yīng)時(shí)間、錯(cuò)誤率）等。
• 定期演練：高可用架構(gòu)不應(yīng)只停留在設(shè)計(jì)，需定期進(jìn)行故障演練，確保自動(dòng)切換流程可靠，團(tuán)隊(duì)?wèi)?yīng)對(duì)熟練。

5.

通過構(gòu)建MyCat（多節(jié)點(diǎn)+Keepalived） + MySQL（分片+主從）的集群架構(gòu)，并針對(duì)在線交易業(yè)務(wù)特點(diǎn)設(shè)計(jì)全面的故障注入驗(yàn)證方案，可以建立起一個(gè)具備較高可用性的分布式數(shù)據(jù)庫解決方案。驗(yàn)證的核心在于證明故障發(fā)生時(shí)，服務(wù)的恢復(fù)是自動(dòng)、快速且數(shù)據(jù)一致的，從而為核心OLTP業(yè)務(wù)提供穩(wěn)定可靠的數(shù)據(jù)支撐。后續(xù)工作應(yīng)聚焦于性能壓測、更復(fù)雜的故障場景模擬（如雙節(jié)點(diǎn)同時(shí)故障）以及自動(dòng)化運(yùn)維工具的集成。