一、Eureka簡介

本文中所有代碼都會上傳到git上，請放心瀏覽
項目git地址：https://github.com/839022478/Spring-Cloud

在傳統應用中，組件之間的調用，通過有規範的約束的接口來實現，從而實現不同模塊間良好的協作。但是被拆分成微服務后，每個微服務實例的網絡地址都可能動態變化，數量也會變化，使得原來硬編碼的地址失去了作用。需要一个中心化的組件來進行服務的登記和管理，為了解決上面的問題，於是出現了服務治理，就是管理所有的服務信息和狀態，也就是我們所說的註冊中心

1.1 註冊中心

比如我們去做火車或者汽車，需要去買票乘車，只看我們有沒有票（有沒有服務），有就去買票（獲取註冊列表），然後乘車（調用），不用關心到底有多少車在運行

流程圖：

使用註冊中心，我們不需要關心有多少提供方，只管去調用就可以了，那麼註冊中心有哪些呢？

註冊中心：Eureka，Nacos，Consul，Zookeeper

本文中講解的是比較火熱的Spring Cloud微服務下的Eureka，Eureka是Netflix開發的服務發現框架，是一個RESTful風格的服務，是一個用於服務發現和註冊的基礎組件，是搭建Spring Cloud微服務的前提之一，它屏蔽了Server和client的交互細節，使得開發者將精力放到業務上。

服務註冊與發現主要包括兩個部分：服務端（Eureka Server）和客戶端（Eureka Client）

• 服務端(Eureka Server)： 一個公共服務，為Client提供服務註冊和發現的功能，維護註冊到自身的Client的相關信息，同時提供接口給Client獲取註冊表中其他服務的信息，使得動態變化的Client能夠進行服務間的相互調用。

• 客戶端(Eureka Client)： Client將自己的服務信息通過一定的方式登記到Server上，並在正常範圍內維護自己信息一致性，方便其他服務發現自己，同時可以通過Server獲取到自己依賴的其他服務信息，完成服務調用，還內置了負載均衡器，用來進行基本的負載均衡

Eureka GIt官網：https://github.com/Netflix/Eureka

1.3 服務註冊與發現

服務註冊與發現關係圖：

1.2 client功能和server功能

1.2.1 client功能

1. 註冊：每個微服務啟動時，將自己的網絡地址等信息註冊到註冊中心，註冊中心會存儲（內存中）這些信息。
2. 獲取服務註冊表：服務消費者從註冊中心，查詢服務提供者的網絡地址，並使用該地址調用服務提供者，為了避免每次都查註冊表信息，所以client會定時去server拉取註冊表信息到緩存到client本地。
3. 心跳：各個微服務與註冊中心通過某種機制（心跳）通信，若註冊中心長時間和服務間沒有通信，就會註銷該實例。
4. 調用：實際的服務調用，通過註冊表，解析服務名和具體地址的對應關係，找到具體服務的地址，進行實際調用。

1.2.2 server註冊中心功能

1. 服務註冊表：記錄各個微服務信息，例如服務名稱，ip，端口等。
   註冊表提供 查詢API（查詢可用的微服務實例）和管理API（用於服務的註冊和註銷）。
2. 服務註冊與發現：註冊：將微服務信息註冊到註冊中心。發現：查詢可用微服務列表及其網絡地址。
3. 服務檢查：定時檢測已註冊的服務，如發現某實例長時間無法訪問，就從註冊表中移除。

二、Eureka單節點搭建

2.1 pom.xml

在有的教程中，會引入spring-boot-starter-web，這個依賴其實不用，因為spring-cloud-starter-netflix-eureka-server的依賴已經包含了它，在pom依賴進去，就可以了

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-netflix-eureka-server</artifactId>
</dependency>

2.2 application.yml

server:
  port: 8500
eureka:
  client:
    #是否將自己註冊到Eureka Server,默認為true，由於當前就是server，故而設置成false，表明該服務不會向eureka註冊自己的信息
    register-with-eureka: false
    #是否從eureka server獲取註冊信息，由於單節點，不需要同步其他節點數據，用false
    fetch-registry: false
    #設置服務註冊中心的URL，用於client和server端交流
    service-url:
      defaultZone: http://localhost:8080/eureka/

2.3 服務端啟動類

啟動類上添加此註解標識該服務為配置中心
@EnableEurekaServer

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.netflix.eureka.server.EnableEurekaServer;

@EnableEurekaServer
@SpringBootApplication
public class EurekaServerApplication {

    public static void main(String[] args) {
        SpringApplication.run(EurekaServerApplication.class, args);
    }

}

2.4 啟動

我們啟動EurekaDemoApplication ，然後在瀏覽器中輸入地址 http://localhost:8500/，就可以啟動我們的 Eureka 了，我們來看下效果，出現了這個畫面，就說明我們已經成功啟動~，只是此時我們的服務中是還沒有客戶端進行註冊

三、服務註冊

注意：在客戶端pom裏面我們需要加上spring-boot-starter-web，否則服務是無法正常啟動的

3.1 pom.xml

       <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
        </dependency>     

3.2 application.yml

#註冊中心
eureka:
  client:
    #設置服務註冊中心的URL
    service-url:
      defaultZone: http://localhost:8500/eureka/
  #服務名
  instance:
    appname: mxn

3.3 客戶端啟動類

在客戶端啟動類中我們需要加上 @EnableDiscoveryClient註解

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;

@EnableDiscoveryClient
@SpringBootApplication
public class EurekaClientApplication {

    public static void main(String[] args) {
        SpringApplication.run(EurekaClientApplication.class, args);
    }
}

3.4 查看效果

工程啟動后，刷新http://localhost:8500/頁面，我們可以發現服務註冊成功了

並且我們可以在idea日誌打印中看到DiscoveryClient_MXN/DESKTOP-5BQ3UK8 - registration status: 204,說明就是註冊成功了
Eureka Server與Eureka Client之間的聯繫主要通過心跳的方式實現。心跳(Heartbeat)即Eureka Client定時向Eureka Server彙報本服務實例當前的狀態，維護本服務實例在註冊表中租約的有效性。

Eureka Client將定時從Eureka Server中拉取註冊表中的信息，並將這些信息緩存到本地，用於服務發現

四、Eureka 端點

官網地址：https://github.com/Netflix/eureka/wiki/Eureka-REST-operations

Eureka服務器還提供了一個端點（eureka/apps/{applicaitonName}）可以查看所註冊的服務詳細信息 。applicaitonName就是微服務的名稱，比如這裏我們訪問 http://localhost:8500/eureka/apps/mxn

五、Eureka 原理

5.1 本質

存儲了每個客戶端的註冊信息。EurekaClient從EurekaServer同步獲取服務註冊列表。通過一定的規則選擇一個服務進行調用

5.2 Eureka架構圖

• 服務提供者： 是一個eureka client，向Eureka Server註冊和更新自己的信息，同時能從Eureka Server註冊表中獲取到其他服務的信息。
• 服務註冊中心： 提供服務註冊和發現的功能。每個Eureka Cient向Eureka Server註冊自己的信息，也可以通過Eureka Server獲取到其他服務的信息達到發現和調用其他服務的目的。
• 服務消費者： 是一個eureka client，通過Eureka Server獲取註冊到其上其他服務的信息，從而根據信息找到所需的服務發起遠程調用。
• 同步複製： Eureka Server之間註冊表信息的同步複製，使Eureka Server集群中不同註冊表中服務實例信息保持一致。
• 遠程調用： 服務客戶端之間的遠程調用。
• 註冊： Client端向Server端註冊自身的元數據以供服務發現。
• 續約： 通過發送心跳到Server以維持和更新註冊表中服務實例元數據的有效性。當在一定時長內，Server沒有收到Client的心跳信息，將默認服務下線，會把服務實例的信息從註冊表中刪除。
• 下線： Client在關閉時主動向Server註銷服務實例元數據，這時Client的服務實例數據將從Server的註冊表中刪除。
• 獲取註冊表： Client向Server請求註冊表信息，用於服務發現，從而發起服務間遠程調用。

5.3 Eureka自我保護

有時候我們會看到這樣的提示信息：EMERGENCY! EUREKA MAY BE INCORRECTLY CLAIMING INSTANCES ARE UP WHEN THEY'RE NOT. RENEWALS ARE LESSER THAN THRESHOLD AND HENCE THE INSTANCES ARE NOT BEING EXPIRED JUST TO BE SAFE.，這是因為默認情況下，Eureka Server在一定時間內，沒有接收到某個微服務心跳，會將某個微服務註銷（90S）。但是當網絡故障時，微服務與Server之間無法正常通信，上述行為就非常危險，因為微服務正常，不應該註銷，它的指導思想就是 寧可保留健康的和不健康的，也不盲目註銷任何健康的服務
我們也可以通過命令去關閉自我保護的功能：

eureka:
  server: 
    enable-self-preservation: false

那麼自我保護是如何觸發的呢？
自我保護機制的觸發條件是，當每分鐘心跳次數( renewsLastMin) 小於 numberOfRenewsPerMinThreshold時，並且開啟自動保護模式開關( eureka.server.enable-self-preservation = true) 時，觸發自我保護機制，不再自動過期租約
上面我們所有的小於 numberOfRenewsPerMinThreshold，到底是怎麼計算的呢，我們在eureka源碼中可以得知

numberOfRenewsPerMinThreshold = expectedNumberOfRenewsPerMin * 續租百分比（默認為0.85）
expectedNumberOfRenewsPerMin = 當前註冊的應用實例數 x 2
當前註冊的應用實例數 x 2 是因為，在默認情況下，註冊的應用實例每半分鐘續租一次，那麼一分鐘心跳兩次，因此 x 2

例如：我們有10個服務，期望每分鐘續約數：10 * 2=20，期望閾值：20*0.85=17，當少於17時，就會觸發自我保護機制

5.4 健康檢查

由於server和client通過心跳保持 服務狀態，而只有狀態為UP的服務才能被訪問。看eureka界面中的status。

比如心跳一直正常，服務一直UP，但是此服務DB(數據庫)連不上了，無法正常提供服務。

此時，我們需要將 微服務的健康狀態也同步到server。只需要啟動eureka的健康檢查就行。這樣微服務就會將自己的健康狀態同步到eureka。配置如下即可。

在client端配置：將自己的健康狀態傳播到server。

eureka:
  client:
    healthcheck:
      enabled: true

5.5 Eureka監聽事件

import com.netflix.appinfo.InstanceInfo;
import org.springframework.cloud.netflix.eureka.server.event.*;
import org.springframework.context.event.EventListener;
import org.springframework.stereotype.Component;

import java.time.LocalDateTime;

@Component
public class CustomEvent {

    @EventListener
    public void listen(EurekaInstanceCanceledEvent event ) {
        System.out.println(LocalDateTime.now()+"服務下線事件:"+event.getAppName()+"---"+event.getServerId());
//發釘釘
    }

    @EventListener
    public void listen(EurekaInstanceRegisteredEvent event) {
        InstanceInfo instanceInfo = event.getInstanceInfo();
        System.out.println(LocalDateTime.now()+"服務上線事件:"+instanceInfo.getAppName()+"---"+instanceInfo.getInstanceId());
    }

    @EventListener
    public void listen(EurekaInstanceRenewedEvent event) {
        System.out.println(LocalDateTime.now()+"服務續約/心跳上報事件:"+event.getAppName()+"---"+event.getServerId());

    }

    @EventListener
    public void listen(EurekaRegistryAvailableEvent event) {
        System.out.println(LocalDateTime.now()+"註冊中心可用事件");
    }

    @EventListener
    public void listen(EurekaServerStartedEvent event) {
        System.out.println(LocalDateTime.now()+"註冊中心啟動事件");

    }
}

5.6 Renew: 服務續約

Eureka Client 會每隔 30 秒發送一次心跳來續約。 通過續約來告知 Eureka Server 該 Eureka Client 運行正常，沒有出現問題。 默認情況下，如果 Eureka Server 在 90 秒內沒有收到 Eureka Client 的續約，Server 端會將實例從其註冊表中刪除，此時間可配置，一般情況不建議更改。

5.6 服務剔除

如果Eureka Client在註冊后，既沒有續約，也沒有下線(服務崩潰或者網絡異常等原因)，那麼服務的狀態就處於不可知的狀態，不能保證能夠從該服務實例中獲取到回饋，所以需要服務剔除此方法定時清理這些不穩定的服務，該方法會批量將註冊表中所有過期租約剔除，剔除是定時任務，默認60秒執行一次。延時60秒，間隔60秒

剔除的限制：
1.自我保護期間不清除。
2.分批次清除。

六、Eureka缺陷

由於集群間的同步複製是通過HTTP的方式進行，基於網絡的不可靠性，集群中的Eureka Server間的註冊表信息難免存在不同步的時間節點，不滿足CAP中的C(數據一致性)

七、總結

中間我們講解了eureka的節點搭建，以及原理，對於現在很火熱的微服務，我們對Eureka是非常有必要進行了解的，如果覺得文章對你有幫助，來個點贊支持吧，如果對文章有疑問或建議，歡迎討論留言，謝謝大家~

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※台北網頁設計公司這麼多該如何選擇?

※智慧手機時代的來臨，RWD網頁設計為架站首選

※評比南投搬家公司費用收費行情懶人包大公開

※回頭車貨運收費標準

前言

　　本文主要是結合源碼去線程池執行任務的過程，基於JDK 11，整個過程基本與JDK 8相同。

　　個人水平有限，文中若有表達有誤的，歡迎大夥留言指出，謝謝了！

一、線程池簡介

　　1.1 使用線程池的優點

　　　　1）通過復用已創建的線程，降低資源的消耗（線程的創建/銷毀是要消耗資源的）、提高響應速度；

　　　　2）管理線程的個數，線程的個數在初始化線程池的時候指定；

　　　　3）統一管理線程，比如停止，stop()方法；

　　1.2 線程池執行任務過程

　　　　線程池執行任務的過程如下圖所示，主要分為以下4步，其中參數的含義會在後面詳細講解：

　　　　1）判斷工作的線程是否小於核心線程數據（workerCountOf(c) < corePoolSize），若小於則會新建一個線程去執行任務，這一步僅僅的是根據線程個數決定；

　　　　2）若核心線程池滿了，就會判斷線程池的狀態，若是running狀態，則嘗試加入任務隊列，若加入成功后還會做一些事情，後面詳細說；

　　　　3）若任務隊列滿了，則加入失敗，此時會判斷整個線程池線程是否滿，若沒有則創建非核心線程執行任務；

　　　　4）若線程池滿了，則根據拒絕測試處理無法執行的任務；

　　　　整體過程如下圖：

二、ThreadPoolExecutor類解析

　　2.1 ThreadPoolExecutor的構造函數

　　　　ThreadPoolExecutor類一共提供了4個構造函數，涉及5~7個參數，下面就5個必備參數的構造函數進行說明：

public ThreadPoolExecutor(int corePoolSize,
                              int maximumPoolSize,
                              long keepAliveTime,
                              TimeUnit unit,
                              BlockingQueue<Runnable> workQueue) {
        this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
             Executors.defaultThreadFactory(), defaultHandler);
    }

　　　　1）corePoolSize ：初始化核心線程池中線程個數的大小；

　　　　2）maxmumPoolSize：線程池中線程大小；

　　　　3）keepAliveTime：非核心線程的超時時長；

　　　　　　非核心線程空閑時常大於該值就會被終止。

　　　　4）unit ：keepAliveTime的單位，類型可以參見TimeUnit類；

　　　　5）BlockingQueue workQueue：阻塞隊列，維護等待執行的任務；

　　2.2  私有類Worker

　　　　在ThreadPoolExecutor類中有兩個集合類型比較重要，一個是用於放置等待任務的workQueue，其類型是阻塞對列；一個是用於用於存放工作線程的works，其是Set類型，其中存放的類型是Worker。

　　　　進一步簡化線程池執行過程，可以理解為works中的工作線程不停的去阻塞對列中取任務，執行結束，線程重新加入大works中。

　　　　為此，有必要簡單了解一下Work類型的組成。

private final class Worker
        extends AbstractQueuedSynchronizer
        implements Runnable
    {
        /** Thread this worker is running in.  Null if factory fails. */
        //工作線程，由線程的工廠類初始化
        final Thread thread;
        /** Initial task to run.  Possibly null. */
        Runnable firstTask;
        /** Per-thread task counter */
        volatile long completedTasks;
        //不可重入的鎖
        protected boolean tryAcquire(int unused) {
            if (compareAndSetState(0, 1)) {
                setExclusiveOwnerThread(Thread.currentThread());
                return true;
            }
            return false;
        }

        .......
    }

　　　　Worker類繼承於隊列同步器（AbstractQueueSynchronizer），隊列同步器是採取鎖或其他同步組件的基礎框架，其主要結構是自旋獲取鎖的同步隊列和等待喚醒的等待隊列，其方法因此可以分為兩類：對state改變的方法 和 入、出隊列的方法，即獲取獲取鎖的資格的變化（可能描述的不準確）。關於隊列同步器後續博客會詳細分析，此處不展開討論。

　　　　Work類中通過CAS設置狀態失敗后直接返回false，而不是判斷當前線程是否已獲取鎖來實現不可重入的鎖，源碼註釋中解釋這樣做的原因是因為避免work tash重新獲取到控制線程池全局的方法，如setCorePoolSize。

　　2.3  拒絕策略類

　　　　ThreadPoolExecutor的拒絕策略類是以私有類的方式實現的，有四種策略：

　　　　1）AbortPolicy：丟棄任務並拋出RejectedExecutionException異常（默認拒絕處理策略）。

　　　　  2）DiscardPolicy：拋棄新來的任務，但是不拋出異常。

　　　　  3）DiscardOldestPolicy：拋棄等待隊列頭部（最舊的）的任務，然後重新嘗試執行程序（失敗則會重複此過程）。

　　　　  4）CallerRunsPolicy：由調用線程處理該任務。

　　　　其代碼相對簡單，可以參考源碼。

三、任務執行過程分析

　　3.1 execute(Runnable)方法

　　　　execute(Runnable)方法的整體過程如上文1.2所述，其實現方式如下：

public void execute(Runnable command) {
        //執行的任務為空，直接拋出異常
        if (command == null)
            throw new NullPointerException();
        //ctl是ThreadPoolExecutor中很關鍵的一個AtomicInteger,主線程池的控制狀態
        int c = ctl.get();
        //1、判斷是否小於核心線程池的大小，若是則直接嘗試新建一個work線程
        if (workerCountOf(c) < corePoolSize) {
            if (addWorker(command, true))
                return;
            c = ctl.get();
        }
        //2、大於核心線程池的大小或新建work失敗（如創建thread失敗），會先判斷線程池是否是running狀態，若是則加入阻塞對列
        if (isRunning(c) && workQueue.offer(command)) {
            int recheck = ctl.get();
            //重新驗證線程池是否為running，若否，則嘗試從對列中刪除，成功后執行拒絕策略
            if (! isRunning(recheck) && remove(command))
                reject(command);
            //若線程池的狀態為shutdown則，嘗試去執行完阻塞對列中的任務
            else if (workerCountOf(recheck) == 0)
                addWorker(null, false);
        }
        //3、新建非核心線程去執行任務，若失敗，則採取拒絕策略
        else if (!addWorker(command, false))
            reject(command);
    }

　　3.2 addWorker(Runnable,boole)方法

　　　　execute(Runnable)方法中，新建（非）核心線程執行任務主要是通過addWorker方法實現的，其執行過程如下：

private boolean addWorker(Runnable firstTask, boolean core) {
        //此處反覆檢查線程池的狀態以及工作線程是否超過給定的值
        retry:
        for (int c = ctl.get();;) {
            // Check if queue empty only if necessary.
            if (runStateAtLeast(c, SHUTDOWN)
                && (runStateAtLeast(c, STOP)
                    || firstTask != null
                    || workQueue.isEmpty()))
                return false;

            for (;;) {
            //核心和非核心線程的區別
                if (workerCountOf(c)
                    >= ((core ? corePoolSize : maximumPoolSize) & COUNT_MASK))
                    return false;
                if (compareAndIncrementWorkerCount(c))
                    break retry;
                c = ctl.get();  // Re-read ctl
                if (runStateAtLeast(c, SHUTDOWN))
                    continue retry;
                // else CAS failed due to workerCount change; retry inner loop
            }
        }

        boolean workerStarted = false;
        boolean workerAdded = false;
        Worker w = null;
        try {
            w = new Worker(firstTask);
            //通過工廠方法初始化，可能失敗，即可能為null
            final Thread t = w.thread;
            if (t != null) {
            //獲取全局鎖
                final ReentrantLock mainLock = this.mainLock;
                mainLock.lock();
                try {
                    // Recheck while holding lock.
                    // Back out on ThreadFactory failure or if
                    // shut down before lock acquired.
                    int c = ctl.get();
                    //線程池處於running狀態
                    //或shutdown狀態但無需要執行的task，個人理解為用於去阻塞隊列中取任務執行
                    if (isRunning(c) ||
                        (runStateLessThan(c, STOP) && firstTask == null)) {
                        if (t.isAlive()) // precheck that t is startable
                            throw new IllegalThreadStateException();
                        workers.add(w);
                        int s = workers.size();
                        if (s > largestPoolSize)
                            largestPoolSize = s;
                        workerAdded = true;
                    }
                } finally {
                    mainLock.unlock();
                }
                if (workerAdded) {
                    //執行任務，這裡會執行thread的firstTask獲取阻塞對列中取任務
                    t.start();
                    workerStarted = true;
                }
            }
        } finally {
            if (! workerStarted)
            //開始失敗，則會從workers中刪除新建的work,work數量減1，嘗試關閉線程池，這些過程會獲取全局鎖
                addWorkerFailed(w);
        }
        return workerStarted;
    }

　　3.3  runWorker(this) 方法

 　　　　在3.2 中當新建的worker線程加入在workers中成功后，就會啟動對應任務，其調用的是Worker類中的run()方法，即調用runWorker(this)方法，其過程如下：

final void runWorker(Worker w) {
        Thread wt = Thread.currentThread();
        Runnable task = w.firstTask;
        w.firstTask = null;
        w.unlock(); // allow interrupts
        boolean completedAbruptly = true;
        try {
        //while()循環中，前者是新建線程執行firstTask，對應線程個數小於核心線程和阻塞隊列滿的情況，
        //getTask()則是從阻塞對列中取任務執行
            while (task != null || (task = getTask()) != null) {
                w.lock();
                // If pool is stopping, ensure thread is interrupted;
                // if not, ensure thread is not interrupted.  This
                // requires a recheck in second case to deal with
                // shutdownNow race while clearing interrupt
                //僅線程池狀態為stop時，線程響應中斷，這裏也就解釋了調用shutdown時，正在工作的線程會繼續工作
                if ((runStateAtLeast(ctl.get(), STOP) ||
                     (Thread.interrupted() &&
                      runStateAtLeast(ctl.get(), STOP))) &&
                    !wt.isInterrupted())
                    wt.interrupt();
                try {
                    beforeExecute(wt, task);
                    try {
                    //執行任務
                        task.run();
                        afterExecute(task, null);
                    } catch (Throwable ex) {
                        afterExecute(task, ex);
                        throw ex;
                    }
                } finally {
                    task = null;
                    //完成的個數+1
                    w.completedTasks++;
                    w.unlock();
                }
            }
            completedAbruptly = false;
        } finally {
            //處理後續工作
            processWorkerExit(w, completedAbruptly);
        }
    }

 　　3.4 processWorkerExit（Worker,boole）方法

　　　　當任務執行結果后，在滿足一定條件下會新增一個worker線程，代碼如下：

private void processWorkerExit(Worker w, boolean completedAbruptly) {
        if (completedAbruptly) // If abrupt, then workerCount wasn't adjusted
            decrementWorkerCount();

        final ReentrantLock mainLock = this.mainLock;
        mainLock.lock();
        try {
            completedTaskCount += w.completedTasks;
            //對工作線程的增減需要加全局鎖
            workers.remove(w);
        } finally {
            mainLock.unlock();
        }
        //嘗試終止線程池
        tryTerminate();

        int c = ctl.get();
        if (runStateLessThan(c, STOP)) {
        //線程不是中斷，會維持最小的個數
            if (!completedAbruptly) {
                int min = allowCoreThreadTimeOut ? 0 : corePoolSize;
                if (min == 0 && ! workQueue.isEmpty())
                    min = 1;
                if (workerCountOf(c) >= min)
                    return; // replacement not needed
            }
            //執行完任務后，線程重新加入workers中
            addWorker(null, false);
        }
    }

　　至此，線程池執行任務的過程分析結束，其他方法的實現過程可以參考源碼。

 

Ref：

[1]http://concurrent.redspider.group/article/03/12.html

[2]《Java併發編程的藝術》

 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※台北網頁設計公司這麼多該如何選擇?

※智慧手機時代的來臨，RWD網頁設計為架站首選

※評比南投搬家公司費用收費行情懶人包大公開

※回頭車貨運收費標準

上篇文章準備了離線安裝 OCP 所需要的離線資源，包括安裝鏡像、所有樣例 Image Stream 和 OperatorHub 中的所有 RedHat Operators。本文就開始正式安裝 OCP（Openshift Container Platform） 集群，包括 DNS 解析、負載均衡配置、ignition 配置文件生成和集群部署。

OCP 安裝期間需要用到多個文件：安裝配置文件、Kubernetes 部署清單、Ignition 配置文件（包含了 machine types）。安裝配置文件將被轉換為 Kubernetes 部署清單，然後將清單包裝到 Ignition 配置文件中。 安裝程序使用這些 Ignition 配置文件來創建 Openshift 集群。運行安裝程序時，所有原始安裝配置文件都會修改，因此在安裝之前應該先備份文件。

1. 安裝過程

在安裝 OCP 時，我們需要有一台引導主機（Bootstrap）。這個主機可以訪問所有的 OCP 節點。引導主機啟動一個臨時控制平面，它啟動 OCP 集群的其餘部分然後被銷毀。引導主機使用 Ignition 配置文件進行集群安裝引導，該文件描述了如何創建 OCP 集群。安裝程序生成的 Ignition 配置文件包含 24 小時後過期的證書，所以必須在證書過期之前完成集群安裝。

引導集群安裝包括如下步驟：

• 引導主機啟動並開始託管 Master 節點啟動所需的資源。
• Master 節點從引導主機遠程獲取資源並完成引導。
• Master 節點通過引導主機構建 Etcd 集群。
• 引導主機使用新的 Etcd 集群啟動臨時 Kubernetes 控制平面。
• 臨時控制平面在 Master 節點啟動生成控制平面。
• 臨時控制平面關閉並將控制權傳遞給生產控制平面。
• 引導主機將 OCP 組件注入生成控制平面。
• 安裝程序關閉引導主機。

引導安裝過程完成以後，OCP 集群部署完畢。然後集群開始下載並配置日常操作所需的其餘組件，包括創建計算節點、通過 Operator 安裝其他服務等。

2. 準備服務器資源

服務器規劃如下：

• 三個控制平面節點，安裝 Etcd、控制平面組件和 Infras 基礎組件。
• 兩個計算節點，運行實際負載。
• 一個引導主機，執行安裝任務，集群部署完成后可刪除。
• 一個基礎節點，用於準備上節提到的離線資源，同時用來部署 DNS 和負載均衡。
• 一個鏡像節點，用來部署私有鏡像倉庫 Quay。

主機類型	操作系統	Hostname	vCPU	內存	存儲	IP	FQDN
鏡像節點	RHEL 7.6	registry	4	8GB	150GB	192.168.57.70	registry.openshift4.example.com
基礎節點	RHEL 7.6	bastion	4	16GB	120GB	192.168.57.60	bastion.openshift4.example.com
引導主機	RHCOS	bootstrap	4	16GB	120GB	192.168.57.61	bootstrap.openshift4.example.com
控制平面	RHCOS	master1	4	16GB	120GB	192.168.57.62	master1.openshift4.example.com
控制平面	RHCOS	master2	4	16GB	120GB	192.168.57.63	master2.openshift4.example.com
控制平面	RHCOS	master3	4	16GB	120GB	192.168.57.64	master3.openshift4.example.com
計算節點	RHCOS 或 RHEL 7.6	worker1	2	8GB	120GB	192.168.57.65	worker1.openshift4.example.com
計算節點	RHCOS 或 RHEL 7.6	worker2	2	8GB	120GB	192.168.57.66	worke2.openshift4.example.com

3. 防火牆配置

接下來看一下每個節點的端口號分配。

所有節點（計算節點和控制平面）之間需要開放的端口：

協議	端口	作用
ICMP	N/A	測試網絡連通性
TCP	9000-9999	節點的服務端口，包括 node exporter 使用的 9100-9101 端口和 Cluster Version Operator 使用的 9099 端口
	10250–10259	Kubernetes 預留的默認端口
	10256	openshift-sdn
UDP	4789	VXLAN 協議或 GENEVE 協議的通信端口
	6081	VXLAN 協議或 GENEVE 協議的通信端口
	9000–9999	節點的服務端口，包括 node exporter 使用的 9100-9101 端口
	30000–32767	Kubernetes NodePort

控制平面需要向其他節點開放的端口：

協議	端口	作用
TCP	2379–2380	Etcd 服務端口
	6443	Kubernetes API

除此之外，還要配置兩個四層負載均衡器，一個用來暴露集群 API，一個用來暴露 Ingress：

端口	作用	內部	外部	描述
6443	引導主機和控制平面使用。在引導主機初始化集群控制平面后，需從負載均衡器中手動刪除引導主機	x	x	Kubernetes API server
22623	引導主機和控制平面使用。在引導主機初始化集群控制平面后，需從負載均衡器中手動刪除引導主機		x	Machine Config server
443	Ingress Controller 或 Router 使用	x	x	HTTPS 流量
80	Ingress Controller 或 Router 使用	x	x	HTTP 流量

4. 配置 DNS

按照官方文檔，使用 UPI 基礎架構的 OCP 集群需要以下的 DNS 記錄。在每條記錄中，<cluster_name> 是集群名稱，<base_domain> 是在 install-config.yaml 文件中指定的集群基本域，如下錶所示：

組件	DNS記錄	描述
Kubernetes API	api.<cluster_name>.<base_domain>.	此 DNS 記錄必須指向控制平面節點的負載均衡器。此記錄必須可由集群外部的客戶端和集群中的所有節點解析。
	api-int.<cluster_name>.<base_domain>.	此 DNS 記錄必須指向控制平面節點的負載均衡器。此記錄必須可由集群外部的客戶端和集群中的所有節點解析。
Routes	*.apps.<cluster_name>.<base_domain>.	DNS 通配符記錄，指向負載均衡器。這個負載均衡器的後端是 Ingress router 所在的節點，默認是計算節點。此記錄必須可由集群外部的客戶端和集群中的所有節點解析。
etcd	etcd-<index>.<cluster_name>.<base_domain>.	OCP 要求每個 etcd 實例的 DNS 記錄指向運行實例的控制平面節點。etcd 實例由 值區分，它們以 0 開頭，以 n-1 結束，其中 n 是集群中控制平面節點的數量。集群中的所有節點必須都可以解析此記錄。
	_etcd-server-ssl._tcp.<cluster_name>.<base_domain>.	因為 etcd 使用端口 2380 對外服務，因此需要建立對應每台 etcd 節點的 SRV DNS 記錄，優先級 0，權重 10 和端口 2380

DNS 服務的部署方法由很多種，我當然推薦使用 CoreDNS，畢竟雲原生標配。由於這裏需要添加 SRV 記錄，所以需要 CoreDNS 結合 etcd 插件使用。以下所有操作在基礎節點上執行。

首先通過 yum 安裝並啟動 etcd：

$ yum install -y etcd
$ systemctl enable etcd --now

然後下載 CoreDNS 二進制文件：

$ wget https://github.com/coredns/coredns/releases/download/v1.6.9/coredns_1.6.9_linux_amd64.tgz
$ tar zxvf coredns_1.6.9_linux_amd64.tgz
$ mv coredns /usr/local/bin

創建 Systemd Unit 文件：

$ cat > /etc/systemd/system/coredns.service <<EOF
[Unit]
Description=CoreDNS DNS server
Documentation=https://coredns.io
After=network.target

[Service]
PermissionsStartOnly=true
LimitNOFILE=1048576
LimitNPROC=512
CapabilityBoundingSet=CAP_NET_BIND_SERVICE
AmbientCapabilities=CAP_NET_BIND_SERVICE
NoNewPrivileges=true
User=coredns
WorkingDirectory=~
ExecStart=/usr/local/bin/coredns -conf=/etc/coredns/Corefile
ExecReload=/bin/kill -SIGUSR1 $MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

新建 coredns 用戶：

$ useradd coredns -s /sbin/nologin

新建 CoreDNS 配置文件：

$ cat > /etc/coredns/Corefile <<EOF
.:53 {  # 監聽 TCP 和 UDP 的 53 端口
    template IN A apps.openshift4.example.com {
    match .*apps\.openshift4\.example\.com # 匹配請求 DNS 名稱的正則表達式
    answer "{{ .Name }} 60 IN A 192.168.57.60" # DNS 應答
    fallthrough
    }
    etcd {   # 配置啟用 etcd 插件,後面可以指定域名,例如 etcd test.com {
        path /skydns # etcd 裏面的路徑 默認為 /skydns，以後所有的 dns 記錄都存儲在該路徑下
        endpoint http://localhost:2379 # etcd 訪問地址，多個空格分開
        fallthrough # 如果區域匹配但不能生成記錄，則將請求傳遞給下一個插件
        # tls CERT KEY CACERT # 可選參數，etcd 認證證書設置
    }
    prometheus  # 監控插件
    cache 160
    loadbalance   # 負載均衡，開啟 DNS 記錄輪詢策略
    forward . 192.168.57.1
    log # 打印日誌
}
EOF

其中 template 插件用來實現泛域名解析。

啟動 CoreDNS 並設置開機自啟：

$ systemctl enable coredns --now

驗證泛域名解析：

$ dig +short apps.openshift4.example.com @127.0.0.1
192.168.57.60

$ dig +short x.apps.openshift4.example.com @127.0.0.1
192.168.57.60

添加其餘 DNS 記錄：

$ alias etcdctlv3='ETCDCTL_API=3 etcdctl'
$ etcdctlv3 put /skydns/com/example/openshift4/api '{"host":"192.168.57.60","ttl":60}'
$ etcdctlv3 put /skydns/com/example/openshift4/api-int '{"host":"192.168.57.60","ttl":60}'

$ etcdctlv3 put /skydns/com/example/openshift4/etcd-0 '{"host":"192.168.57.62","ttl":60}'
$ etcdctlv3 put /skydns/com/example/openshift4/etcd-1 '{"host":"192.168.57.63","ttl":60}'
$ etcdctlv3 put /skydns/com/example/openshift4/etcd-2 '{"host":"192.168.57.64","ttl":60}'

$ etcdctlv3 put /skydns/com/example/openshift4/_tcp/_etcd-server-ssl/x1 '{"host":"etcd-0.openshift4.example.com","ttl":60,"priority":0,"weight":10,"port":2380}'
$ etcdctlv3 put /skydns/com/example/openshift4/_tcp/_etcd-server-ssl/x2 '{"host":"etcd-1.openshift4.example.com","ttl":60,"priority":0,"weight":10,"port":2380}'
$ etcdctlv3 put /skydns/com/example/openshift4/_tcp/_etcd-server-ssl/x3 '{"host":"etcd-2.openshift4.example.com","ttl":60,"priority":0,"weight":10,"port":2380}'

# 除此之外再添加各節點主機名記錄
$ etcdctlv3 put /skydns/com/example/openshift4/bootstrap '{"host":"192.168.57.61","ttl":60}'
$ etcdctlv3 put /skydns/com/example/openshift4/master1 '{"host":"192.168.57.62","ttl":60}'
$ etcdctlv3 put /skydns/com/example/openshift4/master2 '{"host":"192.168.57.63","ttl":60}'
$ etcdctlv3 put /skydns/com/example/openshift4/master3 '{"host":"192.168.57.64","ttl":60}'
$ etcdctlv3 put /skydns/com/example/openshift4/worker1 '{"host":"192.168.57.65","ttl":60}'
$ etcdctlv3 put /skydns/com/example/openshift4/worker2 '{"host":"192.168.57.66","ttl":60}'
$ etcdctlv3 put /skydns/com/example/openshift4/registry '{"host":"192.168.57.70","ttl":60}'

驗證 DNS 解析：

$ yum install -y bind-utils
$ dig +short api.openshift4.example.com @127.0.0.1
192.168.57.60

$ dig +short api-int.openshift4.example.com @127.0.0.1
192.168.57.60

$ dig +short etcd-0.openshift4.example.com @127.0.0.1
192.168.57.62
$ dig +short etcd-1.openshift4.example.com @127.0.0.1
192.168.57.63
$ dig +short etcd-2.openshift4.example.com @127.0.0.1
192.168.57.64

$ dig +short -t SRV _etcd-server-ssl._tcp.openshift4.example.com @127.0.0.1
10 33 2380 etcd-0.openshift4.example.com.
10 33 2380 etcd-1.openshift4.example.com.
10 33 2380 etcd-2.openshift4.example.com.

$ dig +short bootstrap.openshift4.example.com @127.0.0.1
192.168.57.61
$ dig +short master1.openshift4.example.com @127.0.0.1
192.168.57.62
$ dig +short master2.openshift4.example.com @127.0.0.1
192.168.57.63
$ dig +short master3.openshift4.example.com @127.0.0.1
192.168.57.64
$ dig +short worker1.openshift4.example.com @127.0.0.1
192.168.57.65
$ dig +short worker2.openshift4.example.com @127.0.0.1
192.168.57.66

5. 配置負載均衡

負載均衡我選擇使用 Envoy，先準備配置文件：

Bootstrap

# /etc/envoy/envoy.yaml
node:
  id: node0
  cluster: cluster0
dynamic_resources:
  lds_config:
    path: /etc/envoy/lds.yaml
  cds_config:
    path: /etc/envoy/cds.yaml
admin:
  access_log_path: "/dev/stdout"
  address:
    socket_address:
      address: "0.0.0.0"
      port_value: 15001

LDS

# /etc/envoy/lds.yaml
version_info: "0"
resources:
- "@type": type.googleapis.com/envoy.config.listener.v3.Listener
  name: listener_openshift-api-server
  address:
    socket_address:
      address: 0.0.0.0
      port_value: 6443
  filter_chains:
  - filters:
    - name: envoy.tcp_proxy
      typed_config:
        "@type": type.googleapis.com/envoy.extensions.filters.network.tcp_proxy.v3.TcpProxy
        stat_prefix: openshift-api-server
        cluster: openshift-api-server
        access_log:
          name: envoy.access_loggers.file
          typed_config:
            "@type": type.googleapis.com/envoy.extensions.access_loggers.file.v3.FileAccessLog
            path: /dev/stdout
- "@type": type.googleapis.com/envoy.config.listener.v3.Listener
  name: listener_machine-config-server
  address:
    socket_address:
      address: "::"
      ipv4_compat: true
      port_value: 22623
  filter_chains:
  - filters:
    - name: envoy.tcp_proxy
      typed_config:
        "@type": type.googleapis.com/envoy.extensions.filters.network.tcp_proxy.v3.TcpProxy
        stat_prefix: machine-config-server
        cluster: machine-config-server
        access_log:
          name: envoy.access_loggers.file
          typed_config:
            "@type": type.googleapis.com/envoy.extensions.access_loggers.file.v3.FileAccessLog
            path: /dev/stdout
- "@type": type.googleapis.com/envoy.config.listener.v3.Listener
  name: listener_ingress-http
  address:
    socket_address:
      address: "::"
      ipv4_compat: true
      port_value: 80
  filter_chains:
  - filters:
    - name: envoy.tcp_proxy
      typed_config:
        "@type": type.googleapis.com/envoy.extensions.filters.network.tcp_proxy.v3.TcpProxy
        stat_prefix: ingress-http
        cluster: ingress-http
        access_log:
          name: envoy.access_loggers.file
          typed_config:
            "@type": type.googleapis.com/envoy.extensions.access_loggers.file.v3.FileAccessLog
            path: /dev/stdout
- "@type": type.googleapis.com/envoy.config.listener.v3.Listener
  name: listener_ingress-https
  address:
    socket_address:
      address: "::"
      ipv4_compat: true
      port_value: 443
  filter_chains:
  - filters:
    - name: envoy.tcp_proxy
      typed_config:
        "@type": type.googleapis.com/envoy.extensions.filters.network.tcp_proxy.v3.TcpProxy
        stat_prefix: ingress-https
        cluster: ingress-https
        access_log:
          name: envoy.access_loggers.file
          typed_config:
            "@type": type.googleapis.com/envoy.extensions.access_loggers.file.v3.FileAccessLog
            path: /dev/stdout

CDS

# /etc/envoy/cds.yaml
version_info: "0"
resources:
- "@type": type.googleapis.com/envoy.config.cluster.v3.Cluster
  name: openshift-api-server
  connect_timeout: 1s
  type: strict_dns
  dns_lookup_family: V4_ONLY
  lb_policy: ROUND_ROBIN
  load_assignment:
    cluster_name: openshift-api-server
    endpoints:
    - lb_endpoints:
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.61
              port_value: 6443
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.62
              port_value: 6443
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.63
              port_value: 6443
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.64
              port_value: 6443
- "@type": type.googleapis.com/envoy.config.cluster.v3.Cluster
  name: machine-config-server
  connect_timeout: 1s
  type: strict_dns
  dns_lookup_family: V4_ONLY
  lb_policy: ROUND_ROBIN
  load_assignment:
    cluster_name: machine-config-server
    endpoints:
    - lb_endpoints:
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.61
              port_value: 22623
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.62
              port_value: 22623
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.63
              port_value: 22623
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.64
              port_value: 22623
- "@type": type.googleapis.com/envoy.config.cluster.v3.Cluster
  name: ingress-http
  connect_timeout: 1s
  type: strict_dns
  dns_lookup_family: V4_ONLY
  lb_policy: ROUND_ROBIN
  load_assignment:
    cluster_name: ingress-http
    endpoints:
    - lb_endpoints:
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.65
              port_value: 80
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.66
              port_value: 80
- "@type": type.googleapis.com/envoy.config.cluster.v3.Cluster
  name: ingress-https
  connect_timeout: 1s
  type: strict_dns
  dns_lookup_family: V4_ONLY
  lb_policy: ROUND_ROBIN
  load_assignment:
    cluster_name: ingress-https
    endpoints:
    - lb_endpoints:
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.65
              port_value: 443
      - endpoint:
          address:
            socket_address:
              address: 192.168.57.66
              port_value: 443

配置看不懂的去看我的电子書：Envoy 中文指南

啟動 Envoy：

$ podman run -d --restart=always --name envoy --net host -v /etc/envoy:/etc/envoy envoyproxy/envoy

6. 安裝準備

生成 SSH 私鑰並將其添加到 agent

在安裝過程中，我們會在基礎節點上執行 OCP 安裝調試和災難恢復，因此必須在基礎節點上配置 SSH key，ssh-agent 將會用它來執行安裝程序。

基礎節點上的 core 用戶可以使用該私鑰登錄到 Master 節點。部署集群時，該私鑰會被添加到 core 用戶的 ~/.ssh/authorized_keys 列表中。

密鑰創建步驟如下：

① 創建無密碼驗證的 SSH key：

$ ssh-keygen -t rsa -b 4096 -N '' -f ~/.ssh/new_rsa

② 啟動 ssh-agent 進程作為後台任務：

$ eval "$(ssh-agent -s)"

③ 將 SSH 私鑰添加到 ssh-agent：

$ ssh-add ~/.ssh/new_rsa

後續集群安裝過程中，有一步會提示輸入 SSH public key，屆時使用前面創建的公鑰 new_rsa.pub 就可以了。

獲取安裝程序

如果是在線安裝，還需要在基礎節點上下載安裝程序。但這裡是離線安裝，安裝程序在上篇文章中已經被提取出來了，所以不需要再下載。

創建安裝配置文件

首先創建一個安裝目錄，用來存儲安裝所需要的文件：

$ mkdir /ocpinstall

自定義 install-config.yaml 並將其保存在 /ocpinstall 目錄中。配置文件必須命名為 install-config.yaml。配置文件內容：

apiVersion: v1
baseDomain: example.com
compute:
- hyperthreading: Enabled
  name: worker
  replicas: 0
controlPlane:
  hyperthreading: Enabled
  name: master
  replicas: 3
metadata:
  name: openshift4
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14
    hostPrefix: 23
  networkType: OpenShiftSDN
  serviceNetwork:
  - 172.30.0.0/16
platform:
  none: {}
fips: false
pullSecret: '{"auths": ...}'
sshKey: 'ssh-rsa ...'
additionalTrustBundle: |
  -----BEGIN CERTIFICATE-----
  省略，注意這裏要前面空兩格
  -----END CERTIFICATE-----
imageContentSources:
- mirrors:
  - registry.openshift4.example.com/ocp4/openshift4
  source: quay.io/openshift-release-dev/ocp-release
- mirrors:
  - registry.openshift4.example.com/ocp4/openshift4
  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev

• baseDomain : 所有 Openshift 內部的 DNS 記錄必須是此基礎的子域，並包含集群名稱。
• compute : 計算節點配置。這是一個數組，每一個元素必須以連字符 - 開頭。
• hyperthreading : Enabled 表示啟用同步多線程或超線程。默認啟用同步多線程，可以提高機器內核的性能。如果要禁用，則控制平面和計算節點都要禁用。
• compute.replicas : 計算節點數量。因為我們要手動創建計算節點，所以這裏要設置為 0。
• controlPlane.replicas : 控制平面節點數量。控制平面節點數量必須和 etcd 節點數量一致，為了實現高可用，本文設置為 3。
• metadata.name : 集群名稱。即前面 DNS 記錄中的 <cluster_name>。
• cidr : 定義了分配 Pod IP 的 IP 地址段，不能和物理網絡重疊。
• hostPrefix : 分配給每個節點的子網前綴長度。例如，如果將 hostPrefix 設置為 23，則為每一個節點分配一個給定 cidr 的 /23 子網，允許 \(510 (2^{32 – 23} – 2)\) 個 Pod IP 地址。
• serviceNetwork : Service IP 的地址池，只能設置一個。
• pullSecret : 上篇文章使用的 pull secret，可通過命令 cat /root/pull-secret.json|jq -c 來壓縮成一行。
• sshKey : 上面創建的公鑰，可通過命令 cat ~/.ssh/new_rsa.pub 查看。
• additionalTrustBundle : 私有鏡像倉庫 Quay 的信任證書，可在鏡像節點上通過命令 cat /data/quay/config/ssl.cert 查看。
• imageContentSources : 來自前面 oc adm release mirror 的輸出結果。

備份安裝配置文件，便於以後重複使用：

$ cd /ocpinstall
$ cp install-config.yaml  install-config.yaml.20200604

創建 Kubernetes 部署清單

創建 Kubernetes 部署清單后 install-config.yaml 將被刪除，請務必先備份此文件！

創建 Kubernetes 部署清單文件：

$ openshift-install create manifests --dir=/ocpinstall

修改 manifests/cluster-scheduler-02-config.yml 文件，將 mastersSchedulable 的值設為 flase，以防止 Pod 調度到控制節點。

創建 Ignition 配置文件

創建 Ignition 配置文件后 install-config.yaml 將被刪除，請務必先備份此文件！

$ cp install-config.yaml.20200604 install-config.yaml
$ openshift-install create ignition-configs --dir=/ocpinstall

生成的文件：

├── auth
│   ├── kubeadmin-password
│   └── kubeconfig
├── bootstrap.ign
├── master.ign
├── metadata.json
└── worker.ign

準備一個 HTTP 服務，這裏選擇使用 Nginx：

$ yum install -y nginx

修改 Nginx 的配置文件 /etc/nginx/nginx/.conf，將端口改為 8080（因為負載均衡器已經佔用了 80 端口）。然後啟動 Nginx 服務：

$ systemctl enable nginx --now

將 Ignition 配置文件拷貝到 HTTP 服務的 ignition 目錄：

$ mkdir /usr/share/nginx/html/ignition
$ cp -r *.ign /usr/share/nginx/html/ignition/

獲取 RHCOS 的 BIOS 文件

下載用於裸機安裝的 BIOS 文件，並上傳到 Nginx 的目錄：

$ mkdir /usr/share/nginx/html/install
$ wget https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.4/latest/rhcos-4.4.3-x86_64-metal.x86_64.raw.gz -O /usr/share/nginx/html/install/rhcos-4.4.3-x86_64-metal.x86_64.raw.gz

獲取 RHCOS 的 ISO 文件

本地下載 RHCOS 的 ISO 文件：https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.4/latest/rhcos-4.4.3-x86_64-installer.x86_64.iso，然後上傳到 vSphere。步驟如下：

① 首先登陸 vSphere，然後點擊『存儲』。

② 選擇一個『數據存儲』，然後在右邊的窗口中選擇『上載文件』。

③ 選擇剛剛下載的 ISO 文件，上傳到 ESXI 主機。

7. 安裝集群

Bootstrap

最後開始正式安裝集群，先創建 bootstrap 節點虛擬機，操作系統選擇『Red Hat Enterprise Linux 7 (64-Bit)』，並掛載之前上傳的 ISO，按照之前的表格設置 CPU 、內存和硬盤，打開電源，然後按照下面的步驟操作：

① 在 RHCOS Installer 安裝界面按 Tab 鍵進入引導參數配置選項。

② 在默認選項 coreos.inst = yes 之後添加（由於無法拷貝粘貼，請輸入仔細核對后再回車進行）：

ip=192.168.57.61::192.168.57.1:255.255.255.0:bootstrap.openshift4.example.com:ens192:none nameserver=192.168.57.60 coreos.inst.install_dev=sda coreos.inst.image_url=http://192.168.57.60:8080/install/rhcos-4.4.3-x86_64-metal.x86_64.raw.gz coreos.inst.ignition_url=http://192.168.57.60:8080/ignition/bootstrap.ign 

其中 ip=... 的含義為 ip=$IPADDRESS::$DEFAULTGW:$NETMASK:$HOSTNAMEFQDN:$IFACE:none。

如圖所示：

③ 如果安裝有問題會進入 emergency shell，檢查網絡、域名解析是否正常，如果正常一般是以上參數輸入有誤，reboot 退出 shell 回到第一步重新開始。

安裝成功后從基礎節點通過命令 ssh -i ~/.ssh/new_rsa core@192.168.57.61 登錄 bootstrap 節點，然後驗證：

• 網絡配置是否符合自己的設定：
  • hostname
  • ip route
  • cat /etc/resolv.conf
• 驗證是否成功啟動 bootstrap 相應服務：
  • podman ps 查看服務是否以容器方式運行
  • 使用 ss -tulnp 查看 6443 和 22623 端口是否啟用。

這裏簡單介紹一下 bootstrap 節點的啟動流程，它會先通過 podman 跑一些容器，然後在容器裏面啟動臨時控制平面，這個臨時控制平面是通過 CRIO 跑在容器里的，有點繞。。直接看命令：

$ podman ps -a --no-trunc --sort created --format "{{.Command}}"

start --tear-down-early=false --asset-dir=/assets --required-pods=openshift-kube-apiserver/kube-apiserver,openshift-kube-scheduler/openshift-kube-scheduler,openshift-kube-controller-manager/kube-controller-manager,openshift-cluster-version/cluster-version-operator
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml
render --dest-dir=/assets/cco-bootstrap --cloud-credential-operator-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:244ab9d0fcf7315eb5c399bd3fa7c2e662cf23f87f625757b13f415d484621c3
bootstrap --etcd-ca=/assets/tls/etcd-ca-bundle.crt --etcd-metric-ca=/assets/tls/etcd-metric-ca-bundle.crt --root-ca=/assets/tls/root-ca.crt --kube-ca=/assets/tls/kube-apiserver-complete-client-ca-bundle.crt --config-file=/assets/manifests/cluster-config.yaml --dest-dir=/assets/mco-bootstrap --pull-secret=/assets/manifests/openshift-config-secret-pull-secret.yaml --etcd-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:aba3c59eb6d088d61b268f83b034230b3396ce67da4f6f6d49201e55efebc6b2 --kube-client-agent-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:8eb481214103d8e0b5fe982ffd682f838b969c8ff7d4f3ed4f83d4a444fb841b --machine-config-operator-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:31dfdca3584982ed5a82d3017322b7d65a491ab25080c427f3f07d9ce93c52e2 --machine-config-oscontent-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:b397960b7cc14c2e2603111b7385c6e8e4b0f683f9873cd9252a789175e5c4e1 --infra-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:d7862a735f492a18cb127742b5c2252281aa8f3bd92189176dd46ae9620ee68a --keepalived-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:a882a11b55b2fc41b538b59bf5db8e4cfc47c537890e4906fe6bf22f9da75575 --coredns-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:b25b8b2219e8c247c088af93e833c9ac390bc63459955e131d89b77c485d144d --mdns-publisher-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:dea1fcb456eae4aabdf5d2d5c537a968a2dafc3da52fe20e8d99a176fccaabce --haproxy-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:7064737dd9d0a43de7a87a094487ab4d7b9e666675c53cf4806d1c9279bd6c2e --baremetal-runtimecfg-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:715bc48eda04afc06827189883451958d8940ed8ab6dd491f602611fe98a6fba --cloud-config-file=/assets/manifests/cloud-provider-config.yaml --cluster-etcd-operator-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:9f7a02df3a5d91326d95e444e2e249f8205632ae986d6dccc7f007ec65c8af77
render --prefix=cluster-ingress- --output-dir=/assets/ingress-operator-manifests
/usr/bin/cluster-kube-scheduler-operator render --manifest-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:187b9d29fea1bde9f1785584b4a7bbf9a0b9f93e1323d92d138e61c861b6286c --asset-input-dir=/assets/tls --asset-output-dir=/assets/kube-scheduler-bootstrap --config-output-file=/assets/kube-scheduler-bootstrap/config
/usr/bin/cluster-kube-controller-manager-operator render --manifest-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:187b9d29fea1bde9f1785584b4a7bbf9a0b9f93e1323d92d138e61c861b6286c --asset-input-dir=/assets/tls --asset-output-dir=/assets/kube-controller-manager-bootstrap --config-output-file=/assets/kube-controller-manager-bootstrap/config --cluster-config-file=/assets/manifests/cluster-network-02-config.yml
/usr/bin/cluster-kube-apiserver-operator render --manifest-etcd-serving-ca=etcd-ca-bundle.crt --manifest-etcd-server-urls=https://localhost:2379 --manifest-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:187b9d29fea1bde9f1785584b4a7bbf9a0b9f93e1323d92d138e61c861b6286c --manifest-operator-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:718ca346d5499cccb4de98c1f858c9a9a13bbf429624226f466c3ee2c14ebf40 --asset-input-dir=/assets/tls --asset-output-dir=/assets/kube-apiserver-bootstrap --config-output-file=/assets/kube-apiserver-bootstrap/config --cluster-config-file=/assets/manifests/cluster-network-02-config.yml
/usr/bin/cluster-config-operator render --config-output-file=/assets/config-bootstrap/config --asset-input-dir=/assets/tls --asset-output-dir=/assets/config-bootstrap
/usr/bin/cluster-etcd-operator render --etcd-ca=/assets/tls/etcd-ca-bundle.crt --etcd-metric-ca=/assets/tls/etcd-metric-ca-bundle.crt --manifest-etcd-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:aba3c59eb6d088d61b268f83b034230b3396ce67da4f6f6d49201e55efebc6b2 --etcd-discovery-domain=test.example.com --manifest-cluster-etcd-operator-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:9f7a02df3a5d91326d95e444e2e249f8205632ae986d6dccc7f007ec65c8af77 --manifest-setup-etcd-env-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:31dfdca3584982ed5a82d3017322b7d65a491ab25080c427f3f07d9ce93c52e2 --manifest-kube-client-agent-image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:8eb481214103d8e0b5fe982ffd682f838b969c8ff7d4f3ed4f83d4a444fb841b --asset-input-dir=/assets/tls --asset-output-dir=/assets/etcd-bootstrap --config-output-file=/assets/etcd-bootstrap/config --cluster-config-file=/assets/manifests/cluster-network-02-config.yml
render --output-dir=/assets/cvo-bootstrap --release-image=registry.openshift4.example.com/ocp4/openshift4@sha256:4a461dc23a9d323c8bd7a8631bed078a9e5eec690ce073f78b645c83fb4cdf74
/usr/bin/grep -oP Managed /manifests/0000_12_etcd-operator_01_operator.cr.yaml

$ crictl pods

POD ID              CREATED             STATE               NAME                                                                  NAMESPACE                             ATTEMPT
17a978b9e7b1e       3 minutes ago       Ready               bootstrap-kube-apiserver-bootstrap.openshift4.example.com             kube-system                           24
8a0f79f38787a       3 minutes ago       Ready               bootstrap-kube-scheduler-bootstrap.openshift4.example.com             kube-system                           4
1a707da797173       3 minutes ago       Ready               bootstrap-kube-controller-manager-bootstrap.openshift4.example.com    kube-system                           4
0461d2caa2753       3 minutes ago       Ready               cloud-credential-operator-bootstrap.openshift4.example.com            openshift-cloud-credential-operator   4
ab6519286f65a       3 minutes ago       Ready               bootstrap-cluster-version-operator-bootstrap.openshift4.example.com   openshift-cluster-version             2
457a7a46ec486       8 hours ago         Ready               bootstrap-machine-config-operator-bootstrap.openshift4.example.com    default                               0
e4df49b4d36a1       8 hours ago         Ready               etcd-bootstrap-member-bootstrap.openshift4.example.com                openshift-etcd                        0

如果驗證無問題，則可以一邊繼續下面的步驟一邊觀察日誌：journalctl -b -f -u bootkube.service

RHCOS 的默認用戶是 core，如果想獲取 root 權限，可以執行命令 sudo su（不需要輸入密碼）。

Master

控制節點和之前類似，先創建虛擬機，然後修改引導參數，引導參數調整為：

ip=192.168.57.62::192.168.57.1:255.255.255.0:master1.openshift4.example.com:ens192:none nameserver=192.168.57.60 coreos.inst.install_dev=sda coreos.inst.image_url=http://192.168.57.60:8080/install/rhcos-4.4.3-x86_64-metal.x86_64.raw.gz coreos.inst.ignition_url=http://192.168.57.60:8080/ignition/master.ign 

控制節點安裝成功後會重啟一次，之後同樣可以從基礎節點通過 SSH 密鑰登錄。

然後重複相同的步驟創建其他兩台控制節點，注意修改引導參數（IP 和主機名）。先不急着創建計算節點，先在基礎節點執行以下命令完成生產控制平面的創建：

$ openshift-install --dir=/ocpinstall wait-for bootstrap-complete --log-level=debug

DEBUG OpenShift Installer 4.4.5
DEBUG Built from commit 15eac3785998a5bc250c9f72101a4a9cb767e494
INFO Waiting up to 20m0s for the Kubernetes API at https://api.openshift4.example.com:6443...
INFO API v1.17.1 up
INFO Waiting up to 40m0s for bootstrapping to complete...
DEBUG Bootstrap status: complete
INFO It is now safe to remove the bootstrap resources

待出現 It is now safe to remove the bootstrap resources 提示之後，從負載均衡器中刪除引導主機，本文使用的是 Envoy，只需從 cds.yaml 中刪除引導主機的 endpoint，然後重新加載就好了。

觀察引導節點的日誌：

$ journalctl -b -f -u bootkube.service

...
Jun 05 00:24:12 bootstrap.openshift4.example.com bootkube.sh[12571]: I0605 00:24:12.108179       1 waitforceo.go:67] waiting on condition EtcdRunningInCluster in etcd CR /cluster to be True.
Jun 05 00:24:21 bootstrap.openshift4.example.com bootkube.sh[12571]: I0605 00:24:21.595680       1 waitforceo.go:67] waiting on condition EtcdRunningInCluster in etcd CR /cluster to be True.
Jun 05 00:24:26 bootstrap.openshift4.example.com bootkube.sh[12571]: I0605 00:24:26.250214       1 waitforceo.go:67] waiting on condition EtcdRunningInCluster in etcd CR /cluster to be True.
Jun 05 00:24:26 bootstrap.openshift4.example.com bootkube.sh[12571]: I0605 00:24:26.306421       1 waitforceo.go:67] waiting on condition EtcdRunningInCluster in etcd CR /cluster to be True.
Jun 05 00:24:29 bootstrap.openshift4.example.com bootkube.sh[12571]: I0605 00:24:29.097072       1 waitforceo.go:64] Cluster etcd operator bootstrapped successfully
Jun 05 00:24:29 bootstrap.openshift4.example.com bootkube.sh[12571]: I0605 00:24:29.097306       1 waitforceo.go:58] cluster-etcd-operator bootstrap etcd
Jun 05 00:24:29 bootstrap.openshift4.example.com podman[16531]: 2020-06-05 00:24:29.120864426 +0000 UTC m=+17.965364064 container died 77971b6ca31755a89b279fab6f9c04828c4614161c2e678c7cba48348e684517 (image=quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:9f7a02df3a5d91326d95e444e2e249f8205632ae986d6dccc7f007ec65c8af77, name=recursing_cerf)
Jun 05 00:24:29 bootstrap.openshift4.example.com bootkube.sh[12571]: bootkube.service complete

Worker

計算節點和之前類似，先創建虛擬機，然後修改引導參數，引導參數調整為：

ip=192.168.57.65::192.168.57.1:255.255.255.0:worker1.openshift4.example.com:ens192:none nameserver=192.168.57.60 coreos.inst.install_dev=sda coreos.inst.image_url=http://192.168.57.60:8080/install/rhcos-4.4.3-x86_64-metal.x86_64.raw.gz coreos.inst.ignition_url=http://192.168.57.60:8080/ignition/worker.ign 

計算節點安裝成功后也會重啟一次，之後同樣可以從基礎節點通過 SSH 密鑰登錄。

然後重複相同的步驟創建其他計算節點，注意修改引導參數（IP 和主機名）。

登錄集群

可以通過導出集群 kubeconfig 文件以默認系統用戶身份登錄到集群。kubeconfig 文件包含有關 CLI 用於將客戶端連接到正確的集群和 API Server 的集群信息，該文件在 OCP 安裝期間被創建。

$ mkdir ~/.kube
$ cp /ocpinstall/auth/kubeconfig ~/.kube/config
$ oc whoami
system:admin

批准 CSR

將節點添加到集群時，會為添加的每台節點生成兩個待處理證書籤名請求（CSR）。必須確認這些 CSR 已獲得批准，或者在必要時自行批准。

$ oc get node

NAME                             STATUS   ROLES           AGE     VERSION
master1.openshift4.example.com   Ready    master,worker   6h25m   v1.17.1
master2.openshift4.example.com   Ready    master,worker   6h39m   v1.17.1
master3.openshift4.example.com   Ready    master,worker   6h15m   v1.17.1
worker1.openshift4.example.com   NotReady worker          5h8m    v1.17.1
worker2.openshift4.example.com   NotReady worker          5h9m    v1.17.1

輸出列出了創建的所有節點。查看掛起的證書籤名請求（CSR），並確保添加到集群的每台節點都能看到具有 Pending 或 Approved 狀態的客戶端和服務端請求。針對 Pending 狀態的 CSR 批准請求：

$ oc adm certificate approve xxx

或者執行以下命令批准所有 CSR：

$ oc get csr -ojson | jq -r '.items[] | select(.status == {} ) | .metadata.name' | xargs oc adm certificate approve

Operator 自動初始化

控制平面初始化后，需要確認所有的 Operator 都處於可用的狀態，即確認所有 Operator 的 Available 字段值皆為 True：

$ oc get clusteroperators

NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
authentication                             4.4.5     True        False         False      150m
cloud-credential                           4.4.5     True        False         False      7h7m
cluster-autoscaler                         4.4.5     True        False         False      6h12m
console                                    4.4.5     True        False         False      150m
csi-snapshot-controller                    4.4.5     True        False         False      6h13m
dns                                        4.4.5     True        False         False      6h37m
etcd                                       4.4.5     True        False         False      6h19m
image-registry                             4.4.5     True        False         False      6h12m
ingress                                    4.4.5     True        False         False      150m
insights                                   4.4.5     True        False         False      6h13m
kube-apiserver                             4.4.5     True        False         False      6h15m
kube-controller-manager                    4.4.5     True        False         False      6h36m
kube-scheduler                             4.4.5     True        False         False      6h36m
kube-storage-version-migrator              4.4.5     True        False         False      6h36m
machine-api                                4.4.5     True        False         False      6h37m
machine-config                             4.4.5     True        False         False      6h36m
marketplace                                4.4.5     True        False         False      6h12m
monitoring                                 4.4.5     True        False         False      6h6m
network                                    4.4.5     True        False         False      6h39m
node-tuning                                4.4.5     True        False         False      6h38m
openshift-apiserver                        4.4.5     True        False         False      6h14m
openshift-controller-manager               4.4.5     True        False         False      6h12m
openshift-samples                          4.4.5     True        False         False      6h11m
operator-lifecycle-manager                 4.4.5     True        False         False      6h37m
operator-lifecycle-manager-catalog         4.4.5     True        False         False      6h37m
operator-lifecycle-manager-packageserver   4.4.5     True        False         False      6h15m
service-ca                                 4.4.5     True        False         False      6h38m
service-catalog-apiserver                  4.4.5     True        False         False      6h38m
service-catalog-controller-manager         4.4.5     True        False         False      6h39m
storage                                    4.4.5     True        False         False      6h12m

如果 Operator 不正常，需要進行問題診斷和修復。

完成安裝

最後一步，完成集群的安裝，執行以下命令：

$ openshift-install --dir=/ocpinstall wait-for install-complete --log-level=debug

注意最後提示訪問 Web Console 的網址及用戶密碼。如果密碼忘了也沒關係，可以查看文件 /ocpinstall/auth/kubeadmin-password 來獲得密碼。

本地訪問 Web Console，需要添加 hosts：

192.168.57.60 console-openshift-console.apps.openshift4.example.com
192.168.57.60 oauth-openshift.apps.openshift4.example.com

瀏覽器訪問 https://console-openshift-console.apps.openshift4.example.com，輸入上面輸出的用戶名密碼登錄。首次登錄後會提示：

You are logged in as a temporary administrative user. Update the Cluster OAuth configuration to allow others to log in.

我們可以通過 htpasswd 自定義管理員賬號，步驟如下：

① htpasswd -c -B -b users.htpasswd admin xxxxx

② 將 users.htpasswd 文件下載到本地。

③ 在 Web Console 頁面打開 Global Configuration：

然後找到 OAuth，點擊進入，然後添加 HTPasswd 類型的 Identity Providers，並上傳 users.htpasswd 文件。

④ 退出當前用戶，注意要退出到如下界面：

選擇 htpasswd，然後輸入之前創建的用戶名密碼登錄。

如果退出后出現的就是用戶密碼輸入窗口，實際還是 kube:admin 的校驗，如果未出現如上提示，可以手動輸入 Web Console 地址來自動跳轉。

⑤ 登錄后貌似能看到 Administrator 菜單項，但訪問如 OAuth Details 仍然提示：

oauths.config.openshift.io "cluster" is forbidden: User "admin" cannot get resource "oauths" in API group "config.openshift.io" at the cluster scope

因此需要授予集群管理員權限：

$ oc adm policy add-cluster-role-to-user cluster-admin admin

Web Console 部分截圖：

如果想刪除默認賬號，可以執行以下命令：

$ oc -n kube-system delete secrets kubeadmin

8. 參考資料

• OpenShift 4.2 vSphere Install with Static IPs
• OpenShift Container Platform 4.3部署實錄
• Chapter 1. Installing on bare metal

Kubernetes 1.18.2 1.17.5 1.16.9 1.15.12離線安裝包發布地址http://store.lameleg.com ，歡迎體驗。 使用了最新的sealos v3.3.6版本。 作了主機名解析配置優化，lvscare 掛載/lib/module解決開機啟動ipvs加載問題， 修復lvscare社區netlink與3.10內核不兼容問題,sealos生成百年證書等特性。更多特性 https://github.com/fanux/sealos 。歡迎掃描下方的二維碼加入釘釘群 ，釘釘群已經集成sealos的機器人實時可以看到sealos的動態。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※台北網頁設計公司這麼多該如何選擇?

※智慧手機時代的來臨，RWD網頁設計為架站首選

※評比南投搬家公司費用收費行情懶人包大公開

※回頭車貨運收費標準

聽瑪莎拉蒂堅持與寶華韋健合作隨車打造的音響系統可以帶給你在聽覺上殿堂級的享受，甚至可以調整側重地方，比如往後排照顧，就可以向後排調節，能輕易分出前排後排的區別。最神奇的是，經過無數次調校之後，發動機艙傳來的聲浪並不會影響音響效果，甚至會相互加成，帶給你獨特的聽覺享受。

瑪莎拉蒂，一個最喜愛的超豪華品牌，沒有之一。在有的人眼裡，瑪莎拉蒂是個跑車裡的異類，沒有讓人驚艷的百公里加速成績，沒有讓人眼前一亮的高科技配置，更沒有跑車具有的戰鬥姿態，但是，可以告訴你，瑪莎拉蒂具有的是其他品牌所沒有的一種浪漫，把豪華、運動、享受都融合在一起的意式浪漫。

在這次北京車展專門跑去瑪莎拉蒂展台個性化配置專區感受一番這種浪漫情懷，並通過看、聽、聞、觸、味全方位體驗。

看

看瑪莎拉蒂全系車型就是一種享受，造型不僅獨特個性，且在不經意間會發現瑪莎拉蒂融入車裡的品牌造型，比如，你會發現在輪轂的形狀就是圍繞瑪莎拉蒂的標誌（海神三叉戟）而設計。並且全系車型都接受定製，從車身顏色、車漆種類、輪轂、制動卡鉗到內飾材料、多功能方向盤、豪華還是運動座椅、座椅面料等等，無不體現屬於自己的個性訂製。

聽

瑪莎拉蒂堅持與寶華韋健合作隨車打造的音響系統可以帶給你在聽覺上殿堂級的享受，甚至可以調整側重地方，比如往後排照顧，就可以向後排調節，能輕易分出前排後排的區別。最神奇的是，經過無數次調校之後，發動機艙傳來的聲浪並不會影響音響效果，甚至會相互加成，帶給你獨特的聽覺享受。

聞

意大利頂級皮革帶給車內獨特的芳香，讓駕駛者更覺舒適，展台專門聘請的咖啡師調出香濃的意式咖啡，帶來極致的享受。

觸

意大利頂級皮革以及精緻的手工縫製，無一不在體現瑪莎拉蒂在工藝方面的水平以及造車的誠意。

味

最後，在瑪莎拉蒂個性化配置專區還提供了頂級廚師烹飪的意大利美食，開啟味覺享受的同時也結束了本次瑪莎拉蒂的體驗之旅。

瑪莎拉蒂，一個百年來始終堅持做自己的個性品牌，這是喜歡它的原因，有人說，瑪莎拉蒂是一個“全靠浪（聲浪）”的品牌，這個說法對也不對，不可否認，瑪莎拉蒂在聲浪方面所下的功夫確實無人能敵，但是其在豪華體驗上也是讓人不得不翹起個大拇指說“Good”！本站聲明:網站內容來源於http://www.auto6s.com/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※台北網頁設計公司這麼多該如何選擇?

※智慧手機時代的來臨，RWD網頁設計為架站首選

※評比南投搬家公司費用收費行情懶人包大公開

※回頭車貨運收費標準