環境篇：嘔心瀝血@CDH線上調優

• 為什麼出這篇文章？

近期有很多公司開始引入大數據，由於各方資源有限，並不能合理分配服務器資源，和服務器選型，小恭弘=叶 恭弘這裏將工作中的總結出來，給新入行的小夥伴帶個方向，不敢說一定對，但是本人親自測試，發現集群使用率穩定提高了3分之1，最高可達到2分之1，有不對的地方歡迎留言指出。

注：可能有些服務沒有設計，使用到的小夥伴可以參照這種方式去規劃。

0 資源：集群服務安排

1 優化：Cloudera Management

1.1 Cloudera Management Service

這些服務主要是提供監控功能，目前的調整主要集中在內存放，以便有足夠的資源 完成集群管理。

2 優化：Zookeeper

3 優化：HDFS

3.1 磁盤測試

3.1.1 讀測試

hdparm 用於查看硬盤的相關信息或對硬盤進行測速、優化、修改硬盤相關參數設定

#安裝hdparm
yum install hdparm
#獲取硬盤符
fdisk -l
#讀測試(讀取上一步獲取硬盤符)
hdparm -t /dev/vda

三次測試結果：

Timing buffered disk reads: 500 MB in 0.84 seconds = 593.64 MB/sec

Timing buffered disk reads: 500 MB in 0.93 seconds = 538.80 MB/sec

Timing buffered disk reads: 500 MB in 0.74 seconds = 672.95 MB/sec

說明：接近1s秒讀取了500MB磁盤，讀速度約 500 MB/秒

3.1.2 寫測試

dd 這裏使用 time + dd 簡單測試寫速度，不要求很精確

查看內存緩存情況
free -m
 
清除緩存
sync; echo 3 > /proc/sys/vm/drop_caches
 
查block size
blockdev --getbsz /dev/vda
 
寫測試
echo 3 > /proc/sys/vm/drop_caches; time dd if=/dev/zero of=/testdd bs=4k count=100000

三次測試結果：

記錄了100000+0 的讀入
記錄了100000+0 的寫出

409600000 bytes (410 MB) copied, 0.574066 s, 714 MB/s –410MB複製，用時0.57秒，評估714M/s

409600000 bytes (410 MB) copied, 1.84421 s, 222 MB/s –410MB複製，用時1.84秒，評估222 M/s

409600000 bytes (410 MB) copied, 1.06969 s, 383 MB/s –410MB複製，用時1.06秒，評估383M/s

3.1.3 網絡帶寬

iperf3測量一個網絡最大帶寬

#安裝iperf3
yum -y install iperf3
 
#服務端
iperf3 -s
 
#客戶端
iperf3 -c 上調命令執行的服務機器IP

測試結果：

3.2 官方壓測

3.2.1 用戶準備

由於只能使用yarn配置了允許用戶，故這裏選擇hive用戶，如果su hive不能進入，則需要配置該步驟

usermod -s /bin/bash  hive
su hive

3.2.2 HDFS 寫性能測試

• 測試內容：HDFS集群寫入10個128M文件(-D指定文件存儲目錄)

hadoop  jar /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hadoop-mapreduce-client-jobclient-3.0.0-cdh6.2.0-tests.jar  TestDFSIO  -D test.build.data=/test/benchmark -write -nrFiles 10 -fileSize 128

INFO fs.TestDFSIO: —– TestDFSIO —– : write
INFO fs.TestDFSIO: Date & time: Thu Jun 11 10:30:36 CST 2020
INFO fs.TestDFSIO: Number of files: 10 –十個文件
INFO fs.TestDFSIO: Total MBytes processed: 1280 –總大小1280M
INFO fs.TestDFSIO: Throughput mb/sec: 16.96 –吞吐量 每秒16.96M
INFO fs.TestDFSIO: Average IO rate mb/sec: 17.89 –平均IO情況17.89M
INFO fs.TestDFSIO: IO rate std deviation: 4.74 –IO速率標準偏差
INFO fs.TestDFSIO: Test exec time sec: 46.33 –總運行時間

3.2.3 HDFS 讀性能測試

• 測試內容：HDFS集群讀取10個128M文件

hadoop jar /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hadoop-mapreduce-client-jobclient-3.0.0-cdh6.2.0-tests.jar TestDFSIO  -D test.build.data=/test/benchmark -read -nrFiles 10 -fileSize 128

INFO fs.TestDFSIO: —– TestDFSIO —– : read
INFO fs.TestDFSIO: Date & time: Thu Jun 11 10:41:19 CST 2020
INFO fs.TestDFSIO: Number of files: 10 –文件數
INFO fs.TestDFSIO: Total MBytes processed: 1280 –總大小
INFO fs.TestDFSIO: Throughput mb/sec: 321.53 –吞吐量 每秒321.53M
INFO fs.TestDFSIO: Average IO rate mb/sec: 385.43 –平均IO情況385.43M
INFO fs.TestDFSIO: IO rate std deviation: 107.67 –IO速率標準偏差
INFO fs.TestDFSIO: Test exec time sec: 20.81 –總運行時間

3.2.4 刪除測試數據

hadoop jar /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hadoop-mapreduce-client-jobclient-3.0.0-cdh6.2.0-tests.jar TestDFSIO  -D test.build.data=/test/benchmark -clean

3.3 參數調優

3.3.1 數據塊優化

dfs.blocksize = 128M

• 文件以塊為單位進行切分存儲，塊通常設置的比較大（最小6M，默認128M）,根據網絡帶寬計算最佳值。
• 塊越大，尋址越快，讀取效率越高，但同時由於MapReduce任務也是以塊為最小單位來處理，所以太大的塊不利於於對數據的并行處理。
• 一個文件至少佔用一個塊（如果一個1KB文件，佔用一個塊，但是佔用空間還是1KB）
• 我們在讀取HDFS上文件的時候，NameNode會去尋找block地址，尋址時間為傳輸時間的1%時，則為最佳狀態。
  • 目前磁盤的傳輸速度普遍為100MB/S
  • 如果尋址時間約為10ms，則傳輸時間=10ms/0.01=1000ms=1s
  • 如果傳輸時間為1S，傳輸速度為100MB/S，那麼一秒鐘我們就可以向HDFS傳送100MB文件，設置塊大小128M比較合適。
  • 如果帶寬為200MB/S，那麼可以將block塊大小設置為256M比較合適。

3.3.2 NameNode 的服務器線程的數量

• dfs.namenode.handler.count=20*log2(Cluster Size)，比如集群規模為16 ，8以2為底的對數是4，故此參數設置為80
• dfs.namenode.service.handler.count=20*log2(Cluster Size)，比如集群規模為16 ，8以2為底的對數是4，故此參數設置為80

NameNode有一個工作線程池，用來處理不同DataNode的併發心跳以及客戶端併發的元數據操作。該值需要設置為集群大小的自然對數乘以20,。

3.3.3 DataNode 停止提供服務前允許失敗的卷的數量

DN多少塊盤損壞后停止服務，默認為0，即一旦任何磁盤故障DN即關閉。 對盤較多的集群（例如DN有超過2塊盤），磁盤故障是常態，通常可以將該值設置為1或2，避免頻繁有DN下線。

4 優化：YARN + MapReduce

5 優化：Impala

6 優化：Kafka

6.1 官方壓測

6.1.1 Kafka Producer 壓力測試

• record-size 是一條信息有多大，單位是字節。
• num-records 是總共發送多少條信息。
• throughput 是每秒多少條信息，設成-1，表示不限流，可測出生產者最大吞吐量。

bash /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/kafka//bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput -1 --producer-props bootstrap.servers=cdh01.cm:9092,cdh02.cm:9092,cdh03.cm:9092

100000 records sent, 225733.634312 records/sec (21.53 MB/sec),

8.20 ms avg latency, 66.00 ms max latency,

3 ms 50th, 28 ms 95th, 30 ms 99th, 30 ms 99.9th.

參數解析：一共寫入 10w 條消息，吞吐量為 21.53 MB/sec，每次寫入的平均延遲

為 8.20 毫秒，最大的延遲為 66.00 毫秒。

6.1.2 Kafka Consumer 壓力測試

• zookeeper 指定 zookeeper 的鏈接信息
• topic 指定 topic 的名稱
• fetch-size 指定每次 fetch 的數據的大小
• messages 總共要消費的消息個數

bash /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/kafka//bin/kafka-consumer-perf-test.sh --broker-list cdh01.cm:9092,cdh02.cm:9092,cdh03.cm:9092 --topic test --fetch-size 10000 --messages 10000000 --threads 1

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec

2020-06-11 17:53:48:179, 2020-06-11 17:54:04:525, 57.2205, 3.5006, 600000, 36706.2278, 3051, 13295, 4.3039, 45129.7480

start.time：2020-06-11 17:53:48:179 開始時間

end.time：2020-06-11 17:54:04:525 結束時間（用時16秒）

data.consumed.in.MB：57.2205 消費57M數據

MB.sec：3.5006 3.5M/S

data.consumed.in.nMsg：600000 消費60萬消息

nMsg.sec：36706.2278 36706條消息/S

rebalance.time.ms：3051 平衡時間3S

fetch.time.ms：13295 抓取時間13S

fetch.MB.sec：4.3039 一秒抓取4.3M

fetch.nMsg.sec：45129.7480 一秒抓取45129條消息

開始測試時間，測試結束數據，共消費數據57.2205MB，吞吐量 3.5M/S，共消費600000條，平均每秒消費36706.2278條。

6.1.3 Kafka 機器數量計算

Kafka 機器數量（經驗公式）= 2 X（峰值生產速度 X 副本數 /100）+ 1

先拿到峰值生產速度，再根據設定的副本數，就能預估出需要部署 Kafka 的數量。

比如我們的峰值生產速度是 50M/s。副本數為 2。

Kafka 機器數量 = 2 X（ 50 X 2 / 100 ）+ 1 = 3 台

6.2 參數調優

7 優化：HBase

8 優化：Hive

9 優化：Oozie、Hue

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※網頁設計公司推薦不同的風格，搶佔消費者視覺第一線

※Google地圖已可更新顯示潭子電動車充電站設置地點!!

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※別再煩惱如何寫文案,掌握八大原則!

※網頁設計最專業,超強功能平台可客製化

ps：本文需要先把abp的源碼下載一份來下，跟着一起找實現，更容易懂

在abp中，對於權限和菜單使用靜態來管理，菜單的加載是在登陸頁面的地方（具體是怎麼知道的，瀏覽器按F12，然後去sources中去找）

這個/AbpScripts/GetScripts是獲取需要初始化的script，源自AbpScriptsController，GetScripts方法包括

頁面加載時的鏈接是：http://localhost:62114/AbpScripts/GetScripts?v=637274153555501055

_multiTenancyScriptManager  //當前租戶初始化  對應報文的 abp.multiTenancy

_sessionScriptManager //當前session初始化 對應報文的 abp.session

_localizationScriptManager  //本地化的初始化 對應報文的 abp.localization

_featuresScriptManager  //對應報文的 abp.features

_authorizationScriptManager  //權限初始化  對應報文的 abp.auth

_navigationScriptManager  //導航菜單初始化  對應報文的 abp.nav

_settingScriptManager  //設置初始化  對應報文的 abp.setting

_timingScriptManager  //對應報文的 abp.clock

_customConfigScriptManager  //對應報文的 abp.custom

 好了，現在基本算是找到菜單和權限js獲取的地方了，一般系統裏面，權限是依賴於菜單和菜單按鈕的，所以我們先不管權限，先把菜單做成動態加載的

從await _navigationScriptManager.GetScriptAsync()開始，一路F12，大概流程是

(接口)INavigationScriptManager=>(接口實現)NavigationScriptManager=>(方法)GetScriptAsync=>(調用)await _userNavigationManager.GetMenusAsync=>

(接口)IUserNavigationManager=>(接口實現)UserNavigationManager=>(方法)GetMenuAsync=>(調用)navigationManager.Menus=>

(接口)INavigationManager=>(接口實現)NavigationManager=>(非靜態構造函數為Menus屬性賦值)NavigationManager

 到這裏之後基本就到底了，我們看看NavigationManager的內容

    internal class NavigationManager : INavigationManager, ISingletonDependency
    {
        public IDictionary<string, MenuDefinition> Menus { get; private set; }  //屬性

        public MenuDefinition MainMenu //屬性
        {
            get { return Menus["MainMenu"]; }
        }

        private readonly IIocResolver _iocResolver;  
        private readonly INavigationConfiguration _configuration;

        public NavigationManager(IIocResolver iocResolver, INavigationConfiguration configuration) //非靜態構造函數
        {
            _iocResolver = iocResolver;
            _configuration = configuration;

            Menus = new Dictionary<string, MenuDefinition>
                    {
                        {"MainMenu", new MenuDefinition("MainMenu", new LocalizableString("MainMenu", AbpConsts.LocalizationSourceName))}
                    };
        }

        public void Initialize()  //初始化方法
        {
            var context = new NavigationProviderContext(this);

            foreach (var providerType in _configuration.Providers)
            {
                using (var provider = _iocResolver.ResolveAsDisposable<NavigationProvider>(providerType))
                {
                    provider.Object.SetNavigation(context);  //中式英語翻譯一下，應該是設置導航
                }
            }
        }
    }

這個類裏面就只有屬性、需要注入的接口聲明、非靜態構造函數、初始化方法，我們到這裏需要關注的是Menus這個屬性，這個屬性似乎將會包含我們需要生成的菜單內容

Menus = new Dictionary<string, MenuDefinition>
                    {
                        {"MainMenu", new MenuDefinition("MainMenu", new LocalizableString("MainMenu", AbpConsts.LocalizationSourceName))}
                    };

這裡是對Menus的賦值，實例化了一個Dictionary，前面的不用看，主要是看標紅的這句話，從new LocalizableString(“MainMenu”, AbpConsts.LocalizationSourceName)裏面獲取到值

好了現在基本找到地方了，我們不知道LocalizableString是什麼意思，但是我們可以百度一波

ILocalizableString/LocalizableString:封裝需要被本地化的string的信息，並提供Localize方法（調用ILocalizationManager的GetString方法）返回本地化的string. SourceName指定其從那個本地化資源讀取本地化文本。

  LocalizableString(“Questions”, “”) 如果本地找不到資源,會報300

大概的意思是通過new LocalizableString，我們可以在本地化來源為AbpConsts.LocalizationSourceName的string裏面尋找到Key為MainMenu的value（理解不對請噴）

現在需要去找到那個地方對MainMenu進行了本地化操作，一般來說這個事情都是在程序加載的時候進行的，先對MainMenu進行讀取，保存到本地，然後在_navigationScriptManager讀取，傳輸給前台

似乎不好找了，但是我們發現有一個類型MenuDefinition，F12一下，可以發現寶藏

namespace Abp.Application.Navigation
{
    /// <summary>
    /// Represents a navigation menu for an application.  //表示應用程序的導航菜單

/// </summary>
    public class MenuDefinition : IHasMenuItemDefinitions
    {
        /// <summary>
        /// Unique name of the menu in the application. Required.  //應用程序中菜單的唯一名稱。 必須
        /// </summary>
        public string Name { get; private set; }

        /// <summary>
        /// Display name of the menu. Required.  //菜單显示名稱 必須

/// </summary>
        public ILocalizableString DisplayName { get; set; }

        /// <summary>
        /// Can be used to store a custom object related to this menu. Optional.  //可用於存儲與此菜單相關的自定義對象

/// </summary>
        public object CustomData { get; set; }

        /// <summary>
        /// Menu items (first level).   //菜單項（第一級）

/// </summary>
        public List<MenuItemDefinition> Items { get; set; }

        /// <summary>
        /// Creates a new <see cref="MenuDefinition"/> object.
        /// </summary>
        /// <param name="name">Unique name of the menu</param>
        /// <param name="displayName">Display name of the menu</param>
        /// <param name="customData">Can be used to store a custom object related to this menu.</param>
        public MenuDefinition(string name, ILocalizableString displayName, object customData = null)
        {
            if (string.IsNullOrEmpty(name))
            {
                throw new ArgumentNullException("name", "Menu name can not be empty or null.");
            }

            if (displayName == null)
            {
                throw new ArgumentNullException("displayName", "Display name of the menu can not be null.");
            }

            Name = name;
            DisplayName = displayName;
            CustomData = customData;

            Items = new List<MenuItemDefinition>();
        }

        /// <summary>
        /// Adds a <see cref="MenuItemDefinition"/> to <see cref="Items"/>.
        /// </summary>
        /// <param name="menuItem"><see cref="MenuItemDefinition"/> to be added</param>
        /// <returns>This <see cref="MenuDefinition"/> object</returns>
        public MenuDefinition AddItem(MenuItemDefinition menuItem)
        {
            Items.Add(menuItem);
            return this;
        }

        /// <summary>
        /// Remove menu item with given name
        /// </summary>
        /// <param name="name"></param>
        public void RemoveItem(string name)
        {
            Items.RemoveAll(m => m.Name == name);
        }
    }
}

找到了菜單的類型了，那麼我們去找保存的地方就好找了，我們其實可以根據AddItem這個方法去找，去查看哪個地方引用了

AddItem方法添加的是MenuItemDefinition類型的變量，那我們現在退出abp源碼，去我們的AbpLearn項目中去全局搜索一下

看來是同一個AbpLearnNavigationProvider類裏面，雙擊過去看一下

    /// <summary>
    /// This class defines menus for the application.
    /// </summary>
    public class AbpLearnNavigationProvider : NavigationProvider
    {
        public override void SetNavigation(INavigationProviderContext context)
        {
            context.Manager.MainMenu
                .AddItem(
                    new MenuItemDefinition(
                        PageNames.Home,
                        L("HomePage"),
                        url: "",
                        icon: "fas fa-home",
                        requiresAuthentication: true
                    )
                ).AddItem(
                    new MenuItemDefinition(
                        PageNames.Tenants,
                        L("Tenants"),
                        url: "Tenants",
                        icon: "fas fa-building",
                        permissionDependency: new SimplePermissionDependency(PermissionNames.Pages_Tenants)
                    )
                ).AddItem(
                    new MenuItemDefinition(
                        PageNames.Users,
                        L("Users"),
                        url: "Users",
                        icon: "fas fa-users",
                        permissionDependency: new SimplePermissionDependency(PermissionNames.Pages_Users)
                    )
                ).AddItem(
                    new MenuItemDefinition(
                        PageNames.Roles,
                        L("Roles"),
                        url: "Roles",
                        icon: "fas fa-theater-masks",
                        permissionDependency: new SimplePermissionDependency(PermissionNames.Pages_Roles)
                            )
                )
                .AddItem(
                    new MenuItemDefinition(
                        PageNames.About,
                        L("About"),
                        url: "About",
                        icon: "fas fa-info-circle"
                    )
                ).AddItem( // Menu items below is just for demonstration!
                    new MenuItemDefinition(
                        "MultiLevelMenu",
                        L("MultiLevelMenu"),
                        icon: "fas fa-circle"
                    ).AddItem(
                        new MenuItemDefinition(
                            "AspNetBoilerplate",
                            new FixedLocalizableString("ASP.NET Boilerplate"),
                            icon: "far fa-circle"
                        ).AddItem(
                            new MenuItemDefinition(
                                "AspNetBoilerplateHome",
                                new FixedLocalizableString("Home"),
                                url: "https://aspnetboilerplate.com?ref=abptmpl",
                                icon: "far fa-dot-circle"
                            )
                        ).AddItem(
                            new MenuItemDefinition(
                                "AspNetBoilerplateTemplates",
                                new FixedLocalizableString("Templates"),
                                url: "https://aspnetboilerplate.com/Templates?ref=abptmpl",
                                icon: "far fa-dot-circle"
                            )
                        ).AddItem(
                            new MenuItemDefinition(
                                "AspNetBoilerplateSamples",
                                new FixedLocalizableString("Samples"),
                                url: "https://aspnetboilerplate.com/Samples?ref=abptmpl",
                                icon: "far fa-dot-circle"
                            )
                        ).AddItem(
                            new MenuItemDefinition(
                                "AspNetBoilerplateDocuments",
                                new FixedLocalizableString("Documents"),
                                url: "https://aspnetboilerplate.com/Pages/Documents?ref=abptmpl",
                                icon: "far fa-dot-circle"
                            )
                        )
                    ).AddItem(
                        new MenuItemDefinition(
                            "AspNetZero",
                            new FixedLocalizableString("ASP.NET Zero"),
                            icon: "far fa-circle"
                        ).AddItem(
                            new MenuItemDefinition(
                                "AspNetZeroHome",
                                new FixedLocalizableString("Home"),
                                url: "https://aspnetzero.com?ref=abptmpl",
                                icon: "far fa-dot-circle"
                            )
                        ).AddItem(
                            new MenuItemDefinition(
                                "AspNetZeroFeatures",
                                new FixedLocalizableString("Features"),
                                url: "https://aspnetzero.com/Features?ref=abptmpl",
                                icon: "far fa-dot-circle"
                            )
                        ).AddItem(
                            new MenuItemDefinition(
                                "AspNetZeroPricing",
                                new FixedLocalizableString("Pricing"),
                                url: "https://aspnetzero.com/Pricing?ref=abptmpl#pricing",
                                icon: "far fa-dot-circle"
                            )
                        ).AddItem(
                            new MenuItemDefinition(
                                "AspNetZeroFaq",
                                new FixedLocalizableString("Faq"),
                                url: "https://aspnetzero.com/Faq?ref=abptmpl",
                                icon: "far fa-dot-circle"
                            )
                        ).AddItem(
                            new MenuItemDefinition(
                                "AspNetZeroDocuments",
                                new FixedLocalizableString("Documents"),
                                url: "https://aspnetzero.com/Documents?ref=abptmpl",
                                icon: "far fa-dot-circle"
                            )
                        )
                    )
                );
        }

        private static ILocalizableString L(string name)
        {
            return new LocalizableString(name, AbpLearnConsts.LocalizationSourceName);
        }
    }

好了，現在我們找到菜單定義的地方了，那麼我們如何去做動態菜單哪？

首先我們想一下需要什麼樣的動態菜單？

1.從數據庫加載，不從數據庫加載怎麼叫動態

2.可以根據不同Host（管理者）和Tenant（租戶）加載不同的菜單，不可能管理者和租戶看到的菜單全是一個樣子的吧！

3.可以根據不同的角色或者用戶加載不同的菜單（這個就牽扯到權限了，比如誰可以看到什麼，不可以看到什麼）

4.權限、按鈕最好和菜單相綁定，這樣便於控制

……

根據以上幾點，我們可以確定

1.必須要在用戶登錄之後加載出來的菜單才能符合條件

2.菜單需要建一個表（因為abp默認沒有單獨的菜單表），來進行存放

3.字段需要包含：菜單名，菜單與權限對應的名稱（用於動態權限），菜單對應的Url，Icon，級聯父Id，是否啟用，排序，租戶Id

4.需要對菜單進行編輯時，因為牽扯到多租戶，我們需要對多租戶定義一個標準的菜單，在添加租戶時，自動將標準菜單複製保存一份到新租戶中，所以我們需要對於菜單的進行區分，一般來說Host對應的數據行TenantId（int）都為null，我們可以將標準菜單的TenantId標為-1，已經分配保存的菜單TenantId為當前租戶Id，這樣便於區分和查詢

好了，讓我們開始寫動態菜單吧

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※想知道最厲害的網頁設計公司"嚨底家"!

※別再煩惱如何寫文案,掌握八大原則!

※產品缺大量曝光嗎?你需要的是一流包裝設計!

前言

    一直以來對內部服務間使用RPC的方式調用都比較贊同,因為內部間沒有這麼多限制，最簡單明了的方式就是最合適的方式。個人比較喜歡類似Dubbo的那種使用方式，採用和本地方法相同的方式，把接口層獨立出來作為服務契約，為服務端提供服務，客戶端也通過此契約調用服務。.Net平台上類似Dubbo這種相對比較完善的RPC框架還是比較少的，GRPC確實是一款非常優秀的RPC框架，能跨語言調用，但是每次還得編寫proto文件，個人感覺還是比較麻煩的。如今服務拆分，微服務架構比較盛行的潮流下，一個簡單實用的RPC框架確實可以提升很多開發效率。

簡介

    隨着.Net Core逐漸成熟穩定，為我一直以來想實現的這個目標提供了便利的方式。於是利用閑暇時間本人手寫了一套基於Asp.Net Core的RPC框架，算是實現了一個自己的小目標。大致的實現方式，Server端依賴Asp.Net Core，採用的是中間件的方式攔截處理請求比較方便。Client端可以是任何可承載.Net Core的宿主程序。通信方式是HTTP協議，使用的是HttpClientFactory。至於為什麼使用HttpClientFactory，因為HttpClientFactory可以更輕鬆的實現服務發現，而且可以很好的集成Polly，很方便的實現，超時重試，熔斷降級這些，給開發過程中提供了很多便利。由於本人能力有限，基於這些便利，站在巨人的肩膀上，簡單的實現了一個RPC框架,項目託管在GitHub上https://github.com/softlgl/DotNetCoreRpc有興趣的可以自行查閱。

開發環境

• Visual Studio 2019
• .Net Standard 2.1
• Asp.Net Core 3.1.x

使用方式

    打開Visual Studio先新建一個RPC契約接口層，這裏我起的名字叫IRpcService。然後新建一個Client層(可以是任何可承載.Net Core的宿主程序)叫ClientDemo,然後建立一個Server層(必須是Asp.Net Core項目)叫WebDemo,文末附本文Demo連接,建完這些之後項目結構如下:

Client端配置

Client端引入DotNetCoreRpc.Client包，並引入自定義的契約接口層

<PackageReference Include="DotNetCoreRpc.Client" Version="1.0.2" />

然後可以愉快的編碼了，大致編碼如下

class Program
{
    static void Main(string[] args)
    {
        IServiceCollection services = new ServiceCollection();
        //*註冊DotNetCoreRpcClient核心服務
        services.AddDotNetCoreRpcClient()
        //*通信是基於HTTP的,內部使用的HttpClientFactory,自行註冊即可
        .AddHttpClient("WebDemo", client => { client.BaseAddress = new Uri("http://localhost:13285/"); });

        IServiceProvider serviceProvider = services.BuildServiceProvider();
        //*獲取RpcClient使用這個類創建具體服務代理對象
        RpcClient rpcClient = serviceProvider.GetRequiredService<RpcClient>();

        //IPersonService是我引入的服務包interface，需要提供ServiceName,即AddHttpClient的名稱
        IPersonService personService = rpcClient.CreateClient<IPersonService>("WebDemo");

        PersonDto personDto = new PersonDto
        {
            Id = 1,
            Name = "yi念之間",
            Address = "中國",
            BirthDay = new DateTime(2000,12,12),
            IsMarried = true,
            Tel = 88888888888
        };

        bool addFlag = personService.Add(personDto);
        Console.WriteLine($"添加結果=[{addFlag}]");

        var person = personService.Get(personDto.Id);
        Console.WriteLine($"獲取person結果=[{person.ToJson()}]");

        var persons = personService.GetAll();
        Console.WriteLine($"獲取persons結果=[{persons.ToList().ToJson()}]");

        personService.Delete(person.Id);
        Console.WriteLine($"刪除完成");

        Console.ReadLine();
    }
}

到這裏Client端的代碼就編寫完成了

Server端配置

Client端引入DotNetCoreRpc.Client包，並引入自定義的契約接口層

<PackageReference Include="DotNetCoreRpc.Server" Version="1.0.2" />

然後編寫契約接口實現類，比如我的叫PersonService

//實現契約接口IPersonService
public class PersonService:IPersonService
{
    private readonly ConcurrentDictionary<int, PersonDto> persons = new ConcurrentDictionary<int, PersonDto>();
    public bool Add(PersonDto person)
    {
        return persons.TryAdd(person.Id, person);
    }

    public void Delete(int id)
    {
        persons.Remove(id,out PersonDto person);
    }

    //自定義Filter
    [CacheFilter(CacheTime = 500)]
    public PersonDto Get(int id)
    {
        return persons.GetValueOrDefault(id);
    }

    //自定義Filter
    [CacheFilter(CacheTime = 300)]
    public IEnumerable<PersonDto> GetAll()
    {
        foreach (var item in persons)
        {
            yield return item.Value;
        }
    }
}

通過上面的代碼可以看出，我自定義了Filter，這裏的Filter並非Asp.Net Core框架定義的Filter，而是DotNetCoreRpc框架定義的Filter,自定義Filter的方式如下

//*要繼承自抽象類RpcFilterAttribute
public class CacheFilterAttribute: RpcFilterAttribute
{
    public int CacheTime { get; set; }

    //*支持屬性注入,可以是public或者private
    //*這裏的FromServices並非Asp.Net Core命名空間下的,而是來自DotNetCoreRpc.Core命名空間
    [FromServices]
    private RedisConfigOptions RedisConfig { get; set; }

    [FromServices]
    public ILogger<CacheFilterAttribute> Logger { get; set; }

    public override async Task InvokeAsync(RpcContext context, RpcRequestDelegate next)
    {
        Logger.LogInformation($"CacheFilterAttribute Begin,CacheTime=[{CacheTime}],Class=[{context.TargetType.FullName}],Method=[{context.Method.Name}],Params=[{JsonConvert.SerializeObject(context.Parameters)}]");
        await next(context);
        Logger.LogInformation($"CacheFilterAttribute End,ReturnValue=[{JsonConvert.SerializeObject(context.ReturnValue)}]");
    }
}

以上代碼基本上完成了對服務端業務代碼的操作,接下來我們來看如何在Asp.Net Core中配置使用DotNetCoreRpc。打開Startup,配置如下代碼既可

public class Startup
{
    public void ConfigureServices(IServiceCollection services)
    {
        services.AddSingleton<IPersonService, PersonService>()
        .AddSingleton(new RedisConfigOptions { Address = "127.0.0.1:6379", Db = 10 })
        //*註冊DotNetCoreRpcServer
        .AddDotNetCoreRpcServer(options => {
            //*確保添加的契約服務接口事先已經被註冊到DI容器中

            //添加契約接口
            //options.AddService<IPersonService>();

            //或添加契約接口名稱以xxx為結尾的
            //options.AddService("*Service");

            //或添加具體名稱為xxx的契約接口
            //options.AddService("IPersonService");

            //或掃描具體命名空間下的契約接口
            options.AddNameSpace("IRpcService");

            //可以添加全局過濾器,實現方式和CacheFilterAttribute一致
            options.AddFilter<LoggerFilterAttribute>();
        });
    }

    public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
    {
        //這一堆可以不要+1
        if (env.IsDevelopment())
        {
            app.UseDeveloperExceptionPage();
        }

        //添加DotNetCoreRpc中間件既可
        app.UseDotNetCoreRpc();

        //這一堆可以不要+2
        app.UseRouting();

        //這一堆可以不要+3
        app.UseEndpoints(endpoints =>
        {
            endpoints.MapGet("/", async context =>
            {
                await context.Response.WriteAsync("Server Start!");
            });
        });
    }
}

以上就是Server端簡單的使用和配置,是不是感覺非常的Easy。附上可運行的Demo地址，具體編碼可查看Demo.

總結

    能自己實現一套RPC框架是我近期以來的一個願望,現在可以說實現了。雖然看起來沒這麼高大上，但是整體還是符合RPC的思想。主要還是想自身實地的實踐一下，順便也希望能給大家提供一些簡單的思路。不是說我說得一定是對的，我講得可能很多是不對的，但是我說的東西都是我自身的體驗和思考，也許能給你帶來一秒鐘、半秒鐘的思考，亦或是哪怕你覺得我哪一句話說的有點道理，能引發你內心的感觸，這就是我做這件事的意義。最後，歡迎大家評論區或本項目GitHub下批評指導。

歡迎掃碼關注 本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※別再煩惱如何寫文案,掌握八大原則!

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※超省錢租車方案

※教你寫出一流的銷售文案?

※網頁設計最專業,超強功能平台可客製化

※產品缺大量曝光嗎?你需要的是一流包裝設計!