七個生產案例告訴你BATJ為何選擇ElasticSearch!應用場景和優勢!_貨運

※智慧手機時代的來臨,RWD網頁設計為架站首選

網動結合了許多網際網路業界的菁英共同研發簡單易操作的架站工具,及時性的更新,為客戶創造出更多的網路商機。

本文來源於公眾號【胖滾豬學編程】,轉載請註明出處。

從今天開始,想和你一起死磕ElasticSearch,學習分佈式搜索引擎,跟着胖滾豬就對了!

既然是ES的第一課,那麼最重要的是讓你愛上它!不想說那些單純的優勢、概念了,直接上大廠的生產案例,才是最能吸引你的!跟着大廠走,沒問題的!

為啥選擇ES?

一個技術服務組件,首先需要了解全面它的使用場景,才能更針對性的去研究及推廣。因此第一要務是搞懂為什麼要學習ElasticSearch,開頭po先一張排行圖,大哥的地位可不是瞎搞來的,沒點實力能上位?憑這排名就是你要學習它的理由!

憑啥排這麼前呢?不就是個搜索引擎嗎。額,也許提到Elasticseach,你第一反應就是”搜索引擎”。類似百度搜索、淘寶搜索那種。而我寫這篇文章就是為了糾正你這個”錯誤”的觀點。

Elasticseach 確實是做搜索引擎出家的,但是到現在已經進化成了一個全能型的數據產品。因此你的思維決不能限制在搜索引擎上。

本文通過一線大廠的八個案例,全方位讓你了解ElasticSearch的應用場景和優勢,包括:

  • 日誌實時分析
  • 搜索服務
  • 數據分析
  • 數據監控
  • 查詢服務
  • 後端存儲

ElasticSearch在騰訊的應用

ElasticSearch在騰訊的應用非常廣泛,主要有三:日誌實時分析場景、搜索服務、時序數據分析。

  • 搜索服務: 例如像騰訊文檔基於 ES 做全文檢索,電商客戶拼多多、蘑菇街等大量的商品搜索都是基於 ES。
  • 日誌分析: 這個是 ES 應用最廣泛的領域,支持全棧的日誌分析,包括各種應用日誌、數據庫日誌、用戶行為日誌、網絡數據、安全數據等等。ES 擁有一套完整的日誌解決方案,可以秒級實現從採集到展示。
  • 時序分析: 典型的場景是監控數據分析,比如雲監控,整個騰訊雲的監控都是基於 ES 的。此外還包括物聯網場景,也有大量的時序數據。時序數據的特點是寫入吞吐量特別高,ES 支持的同時也提供了豐富的多維統計分析算子。

日誌實時分析

典型日誌如下:

  • 運營日誌,比如慢日誌、異常日誌,用來定位業務問題;
  • 業務日誌,比如用戶的點擊、訪問日誌,可以用來分析用戶行為;
  • 審計日誌,可以用於安全分析。ES 很完美的解決了日誌實時分析的需求,它具有如下特點:

Elastic 生態提供了完整的日誌解決方案,任何一個開發、運維同學使用成熟組件,通過簡單部署,即可搭建起一個完整的日誌實時分析服務。

  • 在 Elastic 生態中,日誌從產生到可訪問一般在 10s 級。相比於傳統大數據解決方案的幾十分鐘、小時級,時效性非常高。ES 擁有一套完整的日誌解決方案(ELK),可以秒級實現從採集到展示。

  • 由於支持倒排索引、列存儲等數據結構,ES 提供非常靈活的搜索分析能力。

  • 支持交互式分析,即使在萬億級日誌的情況下,ES 搜索響應時間也是秒級。

日誌是互聯網行業最基礎、最廣泛的數據形式,ES 非常完美的解決了日誌實時分析場景,這也是近幾年 ES 快速發展的一個重要原因

搜索服務

搜索服務,典型場景包含:商品搜索,類似京東、淘寶、拼多多中的商品搜索;APP 搜索,支持應用商店裡的應用搜索;站內搜索,支持論壇、在線文檔等搜索功能。我們支持了大量搜索服務,它們主要有以下特點:

  • 高性能:單個服務最大達到 10w+ QPS,平響 20ms~,P95 延時小於 100ms。
  • 強相關:搜索體驗主要取決於搜索結果是否高度匹配用戶意圖,需要通過正確率、召回率等指標進行評估。
  • 高可用:搜索場景通常要求高可用性,支持單機房故障容災。任何一個電商服務,如淘寶、京東、拼多多,只要故障一個小時就可以上頭條。

時序數據分析

時序數據分析,典型的時序數據包含:Metrics,即傳統的服務器監控;整個騰訊雲的監控都是基於 ES 的。APM,應用性能監控;物聯網數據,智能硬件、工業物聯網等產生的傳感器數據。時序數據的特點是寫入吞吐量特別高,ES 支持的同時也提供了豐富的多維統計分析算子。這類場景具有以下特點:

  • 高併發寫入:線上單集群最大規模達到 600+節點、1000w/s 的寫入吞吐。

  • 高查詢性能:要求單條曲線 或者單個時間線的查詢延時在 10ms~。

  • 多維分析:要求靈活、多維度的統計分析能力,比如我們在查看監控的時候,可以按照地域、業務模塊等靈活的進行統計分析。

上面通過騰訊的案例我們了解了三大應用場景,

  • 日誌實時分析場景

  • 搜索服務

  • 時序數據分析

另外從這三大應用場景我們也可以歸納出ES的幾大優勢:

1、具有高可用性、高擴展性;

2、查詢速度快,性能佳;

3、搜索功能強大,高度匹配用戶意圖。

因此,可以看出,ES在日誌實時分析和搜索方面的應用優勢簡直是無敵的!起碼目前,在這兩方面,還沒有強勁的對手!

ElasticSearch在京東的應用

通過京東的案例,聊一聊ES在查詢、檢索、數據分析方面的應用場景

※回頭車貨運收費標準

宇安交通關係企業,自成立迄今,即秉持著「以誠待人」、「以實處事」的企業信念

由於較高的性能和較低的使用門檻,京東內部有很多的場景都在使用 Elasticsearch。覆蓋了京東多條業務線,同時也覆蓋了很多應用場景:

補充關係型數據庫的結構化數據查詢

主要應用的業務是商品、促銷、優惠券、訂單、收銀台、物流、對賬、評論等大數據量查詢。此場景的核心訴求是高性能、穩定性和高可用性,部分場景會有檢索要求,通常用於加速關係型數據庫,業務系統通過 binlog 同步或業務雙寫完成數據同步。

全文檢索功能

主要的應用場景是應用、安全、風控、交易等操作日誌,以及京東部分品類商品搜索。此類日誌化場景對寫要求很高,查詢性能及高可用等要求相對較低,大的業務寫會達到數千萬 / 秒,存儲以 PB 為單位來計算。
這些場景對磁盤、內存有比較高的要求,因此,京東也做了相應優化,用於減少內存消耗,提升磁盤整體使用率,使用更廉價的磁盤來降低成本等等。

實時數據分析引擎,形成統計報表

主要應用的業務是物流單的各種分析、訂單數據分析、用戶畫像等。因為業務數據分析緯度較多,flink、storm 等流式分析對於某些報表場景不太適用,批處理實時性又成為問題,所以近實時分析的 Elasticsearch 就成為了這些業務的選擇。

從京東的案例中,我們似乎看到了,可以利用ES在某些場景下代替關係型數據庫哦!不僅如此,ES在實時數據分析領域,居然也有一席之地!

ElasticSearch在去哪兒的應用

通過去哪兒的案例,聊一聊ES在查詢方面的應用場景,可以簡單的理解為”代替”mysql。注意代替加了引號,閉着眼睛想都不可能完全代替。比如事務性。

15年去哪兒網酒店日均訂單量達到30w+,隨着多平台訂單的聚合日均訂單能達到100w左右。

原來採用的熱表分庫方式,即將最近6個月的訂單的放置在一張表中,將歷史訂單放在在history表中。history表存儲全量的數據,當用戶查詢的下單時間跨度超過6個月即查詢歷史訂單表,此分表方式熱表的數據量為4000w左右,當時能解決的問題。但是顯然不能滿足攜程藝龍訂單接入的需求。

如果繼續按照熱表方式,數據量將超過1億條。全量數據表保存2年的可能就超過4億的數據量。所以尋找有效途徑解決此問題迫在眉睫。由於對這預計4億的數據量還需按照預定日期、入住日期、離店日期、訂單號、聯繫人姓名、電話、酒店名稱、訂單狀態……等多個條件查詢。所以簡單按照某一個維度進行分表操作沒有意義。

顯然只通過DB來支撐大量的查詢是不可取的,同時對於一些複雜的查詢,Mysql支持得不夠友好,所以Elasticsearch分佈式搜索儲存集群的引入,就是為了解決訂單數據的存儲與搜索的問題。

對訂單模型進行抽象和分類,將常用搜索字段和基礎屬性字段剝離。DB做分庫分表,存儲訂單詳情;Elasticsearch存儲搜素字段。

訂單複雜查詢直接走Elasticsearch,基於OrderNo的簡單查詢走DB,如下圖所示。

從去哪兒的案例中,我們似乎看到了,關係型數據庫撐不起的複雜查詢,ES可以勝任

總結

什麼時候應該用ElasticSearch?

1、典型搜索場景:閉着眼用它!

2、典型日誌分析場景:閉着眼用它!

3、關係型數據庫查詢有瓶頸:考慮下用它!為啥是考慮?ES的優點在於查詢,然而實踐證明,在被作為數據庫來使用,即寫完馬上查詢會有延遲。

4、數據分析場景:考慮下用它!為啥是考慮?簡單通用的場景需求可以大規模使用,但在特定業務場景領域,還是要選擇更加專業的數據產品,如複雜聚合,ClickHouse相比 Elasticserach 做億級別數據深度聚合需求會更加合適。

ElasticSearch有什麼優勢呢?

1、很簡便的橫向擴容,分佈式的架構,可以輕鬆地對資源進行橫向縱向擴縮容,可以滿足不同數據量級及查詢場景對硬件資源的需求。能由數百台到萬台機器搭建滿足PB級的快速搜索,也能搭建單機版服務小公司。

2、查詢速度快:ES底層採用Lucene作為搜索引擎,並在此之上做了多重優化,保證了用戶對數據查詢數據的需求。可”代替”傳統關係型數據庫,也可用於複雜數據分析,海量數據的近實時處理等。

3、相關性高:ES內部提供了完善的評分機制,會根據分詞出現的頻次等信息對文檔進行相關性排序,保證相關性越高的文檔排序越靠前。另外還提供了包括模糊查詢,前綴查詢,通配符查詢等在內的多種查詢手段,幫助用戶快速高效地進行檢索。

4、功能點多但使用比較簡便,開箱即用,性能優化比較簡單

5、生態圈豐富,社區活躍,適配多種工具。如下圖,處理日誌和輸出到Elasticsearch,您可以使用日誌記錄工具,如Logstash(www.elastic.co/products/logstash),搜索和可視化界面分析這些日誌,你可以使用Kibana(www.elastic.co/產品/ kibana),即傳說中的ELK技術棧。另外當前主流的大數據框架也幾乎都支持ES,比如Flink和ES就是個完美搭檔。

本文參考:

騰訊萬億級 Elasticsearch 技術解密

搜索引擎怎麼選?攜程酒店訂單Elasticsearch實戰

Elasticsearch在京東的使用場景

本文來源於公眾號:【胖滾豬學編程】。一枚集顏值與才華於一身,不算聰明卻足夠努力的女程序媛。用漫畫形式讓編程so easy and interesting!求關注!

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

※評比南投搬家公司費用收費行情懶人包大公開

搬家價格與搬家費用透明合理,不亂收費。本公司提供下列三種搬家計費方案,由資深專業組長到府估價,替客戶量身規劃選擇最經濟節省的計費方式

基於 abp vNext 和 .NET Core 開發博客項目 – 定時任務最佳實戰(三)_網頁設計公司

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!

以設計的實用美學觀點,規劃出舒適、美觀的視覺畫面,有效提昇使用者的心理期待,營造出輕鬆、愉悅的網站瀏覽體驗。

系列文章

  1. 基於 abp vNext 和 .NET Core 開發博客項目 – 使用 abp cli 搭建項目
  2. 基於 abp vNext 和 .NET Core 開發博客項目 – 給項目瘦身,讓它跑起來
  3. 基於 abp vNext 和 .NET Core 開發博客項目 – 完善與美化,Swagger登場
  4. 基於 abp vNext 和 .NET Core 開發博客項目 – 數據訪問和代碼優先
  5. 基於 abp vNext 和 .NET Core 開發博客項目 – 自定義倉儲之增刪改查
  6. 基於 abp vNext 和 .NET Core 開發博客項目 – 統一規範API,包裝返回模型
  7. 基於 abp vNext 和 .NET Core 開發博客項目 – 再說Swagger,分組、描述、小綠鎖
  8. 基於 abp vNext 和 .NET Core 開發博客項目 – 接入GitHub,用JWT保護你的API
  9. 基於 abp vNext 和 .NET Core 開發博客項目 – 異常處理和日誌記錄
  10. 基於 abp vNext 和 .NET Core 開發博客項目 – 使用Redis緩存數據
  11. 基於 abp vNext 和 .NET Core 開發博客項目 – 集成Hangfire實現定時任務處理
  12. 基於 abp vNext 和 .NET Core 開發博客項目 – 用AutoMapper搞定對象映射
  13. 基於 abp vNext 和 .NET Core 開發博客項目 – 定時任務最佳實戰(一)
  14. 基於 abp vNext 和 .NET Core 開發博客項目 – 定時任務最佳實戰(二)
  15. 基於 abp vNext 和 .NET Core 開發博客項目 – 定時任務最佳實戰(三)
  16. 基於 abp vNext 和 .NET Core 開發博客項目 – 博客接口實戰篇(一)
  17. 基於 abp vNext 和 .NET Core 開發博客項目 – 博客接口實戰篇(二)
  18. 基於 abp vNext 和 .NET Core 開發博客項目 – 博客接口實戰篇(三)
  19. 基於 abp vNext 和 .NET Core 開發博客項目 – 博客接口實戰篇(四)
  20. 基於 abp vNext 和 .NET Core 開發博客項目 – 博客接口實戰篇(五)
  21. 基於 abp vNext 和 .NET Core 開發博客項目 – Blazor 實戰系列(一)
  22. 基於 abp vNext 和 .NET Core 開發博客項目 – Blazor 實戰系列(二)
  23. 基於 abp vNext 和 .NET Core 開發博客項目 – Blazor 實戰系列(三)
  24. 基於 abp vNext 和 .NET Core 開發博客項目 – Blazor 實戰系列(四)
  25. 基於 abp vNext 和 .NET Core 開發博客項目 – Blazor 實戰系列(五)
  26. 基於 abp vNext 和 .NET Core 開發博客項目 – Blazor 實戰系列(六)
  27. 基於 abp vNext 和 .NET Core 開發博客項目 – Blazor 實戰系列(七)
  28. 基於 abp vNext 和 .NET Core 開發博客項目 – Blazor 實戰系列(八)
  29. 基於 abp vNext 和 .NET Core 開發博客項目 – Blazor 實戰系列(九)
  30. 基於 abp vNext 和 .NET Core 開發博客項目 – 終結篇之發布項目

上一篇(https://www.cnblogs.com/meowv/p/12974439.html)完成了全網各大平台的熱點新聞數據的抓取,本篇繼續圍繞抓取完成后的操作做一個提醒。當每次抓取完數據后,自動發送郵件進行提醒。

在開始正題之前還是先玩一玩之前的說到卻沒有用到的一個庫PuppeteerSharp

PuppeteerSharp:Headless Chrome .NET API ,它運用最多的應該是自動化測試和抓取異步加載的網頁數據,更多介紹可以看GitHub:https://github.com/hardkoded/puppeteer-sharp 。

我這裏主要來試試它的異步抓取功能,同時它還能幫我們生成網頁截圖或者PDF。

如果沒有安裝可以先安裝一下,在.BackgroundJobs層安裝PuppeteerSharpInstall-Package PuppeteerSharp

在Jobs文件夾下新建一個PuppeteerTestJob.cs,繼承IBackgroundJob,同樣是在ExecuteAsync()方法中執行操作。

//PuppeteerTestJob.cs
using System;
using System.Threading.Tasks;

namespace Meowv.Blog.BackgroundJobs.Jobs.PuppeteerTest
{
    public class PuppeteerTestJob : IBackgroundJob
    {
        public async Task ExecuteAsync()
        {
            throw new NotImplementedException();
        }
    }
}

使用 await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision); 第一次檢測到沒有瀏覽器文件會默認幫我們下載 chromium 瀏覽器。

DownloadAsync(...)可以指定 Chromium 版本,BrowserFetcher.DefaultRevision 下載當前默認最穩定的版本。

然後配置瀏覽器啟動的方式。

using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
    Headless = true,
    Args = new string[] { "--no-sandbox" }
});

感興趣的可以自己看看LaunchOptions有哪些參數,我這裏指定了Headless = true 以無頭模式運行瀏覽器,然後加了一個啟動參數 “–no-sandbox”。針對Linux環境下,如果是運行在 root 權限下,在啟動 Puppeteer 時要添加 “–no-sandbox” 參數,否則 Chromium 會啟動失敗。

我們打開一個異步加載的網頁,然後獲取到頁面加載完后的HTML,以我個人博客中的某個單頁為例:https://meowv.com/wallpaper 。

//PuppeteerTestJob.cs
using PuppeteerSharp;
using System.Threading.Tasks;

namespace Meowv.Blog.BackgroundJobs.Jobs.PuppeteerTest
{
    public class PuppeteerTestJob : IBackgroundJob
    {
        public async Task ExecuteAsync()
        {
            await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision);

            using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
            {
                Headless = true,
                Args = new string[] { "--no-sandbox" }
            });

            using var page = await browser.NewPageAsync();

            await page.SetViewportAsync(new ViewPortOptions
            {
                Width = 1920,
                Height = 1080
            });

            var url = "https://meowv.com/wallpaper";
            await page.GoToAsync(url, WaitUntilNavigation.Networkidle0);

            var content = await page.GetContentAsync();
        }
    }
}

page.SetViewportAsync()設置網頁預覽大小,page.GoToAsync()語法打開網頁,WaitUntilNavigation.Networkidle0等待網頁加載完畢,使用page.GetContentAsync()獲取到HTML。

新建擴展方法,調用這個PuppeteerTestJobExecuteAsync()方法,調試看看效果。

HTML已經出來了,此時該幹嘛就幹嘛就可以了。

第一次運行可能會很慢,因為如果你本地不存在 Chromium 是會去幫我們下載的,因為網絡原因可能會下載的很慢,所以推薦大家手動下載。

可以使用淘寶的源:https://npm.taobao.org/mirrors/chromium-browser-snapshots/ 。

要注意的是,下載完成后的解壓的路徑不能出錯,默認下載地址是在啟動目錄下面。

Windows:..\.local-chromium\Win64-706915\chrome-win 、 Linux:../.local-chromium/Linux-706915/chrome-linux

接下來試試生成PDF和保存圖片功能,使用方式也很簡單。

await page.PdfAsync("meowv.pdf",new PdfOptions { });
await page.ScreenshotAsync("meowv.png", new ScreenshotOptions
{
    FullPage = true,
    Type = ScreenshotType.Png
});

這裏只做簡單的展示,page.PdfAsync()直接生成PDF文件,同時還有很多方法可以自己調用page.試試,PdfOptions選項中可以設置各種參數。

page.ScreenshotAsync()保存圖片,ScreenshotOptions中FullPage可以設置保存圖片為全屏模式,圖片格式為Png類型。

※綠能、環保無空污,成為電動車最新代名詞,目前市場使用率逐漸普及化

台中景泰電動車行只是一個單純的理由,將來台灣的環境,出門可以自由放心的深呼吸,讓空氣回歸自然的乾淨,減少污染,留給我們下一代有好品質無空污的優質環境

可以看到項目根目錄已經生成了圖片和PDF,感覺去試試吧。

接下里來實現發送郵件的功能。

我這裏發郵件的賬號是用的騰訊企業郵箱,也可以用普通郵箱開通SMTP服務即可。

appsettings.json配置收發郵件的賬號等信息。

//appsettings.json
  "Email": {
    "Host": "smtp.exmail.qq.com",
    "Port": 465,
    "UseSsl": true,
    "From": {
      "Username": "123@meowv.com",
      "Password": "[Password]",
      "Name": "MEOWV.COM",
      "Address": "123@meowv.com"
    },
    "To": [
      {
        "Name": "test1",
        "Address": "test1@meowv.com"
      },
      {
        "Name": "test2",
        "Address": "test2@meowv.com"
      }
    ]
  }

然後再AppSettings中讀取配置的項。

//AppSettings.cs
public static class Email
{
    /// <summary>
    /// Host
    /// </summary>
    public static string Host => _config["Email:Host"];

    /// <summary>
    /// Port
    /// </summary>
    public static int Port => Convert.ToInt32(_config["Email:Port"]);

    /// <summary>
    /// UseSsl
    /// </summary>
    public static bool UseSsl => Convert.ToBoolean(_config["Email:UseSsl"]);

    /// <summary>
    /// From
    /// </summary>
    public static class From
    {
        /// <summary>
        /// Username
        /// </summary>
        public static string Username => _config["Email:From:Username"];

        /// <summary>
        /// Password
        /// </summary>
        public static string Password => _config["Email:From:Password"];

        /// <summary>
        /// Name
        /// </summary>
        public static string Name => _config["Email:From:Name"];

        /// <summary>
        /// Address
        /// </summary>
        public static string Address => _config["Email:From:Address"];
    }

    /// <summary>
    /// To
    /// </summary>
    public static IDictionary<string, string> To
    {
        get
        {
            var dic = new Dictionary<string, string>();

            var emails = _config.GetSection("Email:To");
            foreach (IConfigurationSection section in emails.GetChildren())
            {
                var name = section["Name"];
                var address = section["Address"];

                dic.Add(name, address);
            }
            return dic;
        }
    }
}

分別介紹下每項的含義:

  • Host:發送郵件服務器地址。
  • Port:服務器地址端口號。
  • UseSsl:是否使用SSL方式。
  • From:發件人的賬號密碼,名稱及郵箱地址,一般郵箱地址和賬號是相同的。
  • To:收件人郵箱列表,也包含名稱和郵箱地址。

收件人郵箱列表我將其讀取為IDictionary<string, string>了,key是名稱,value是郵箱地址。

接着在.ToolKits層添加一個EmailHelper.cs,收發郵件我選擇了MailKitMailKit兩個庫,沒有安裝的先安裝一下,Install-Package MailKitInstall-Package MimeKit

直接新建一個發送郵件的方法SendAsync(),按照要求將基本的配置信息填進去,然後直接調用即可。

//EmailHelper.cs
using MailKit.Net.Smtp;
using Meowv.Blog.Domain.Configurations;
using MimeKit;
using System.Linq;
using System.Threading.Tasks;

namespace Meowv.Blog.ToolKits.Helper
{
    public static class EmailHelper
    {
        /// <summary>
        /// 發送Email
        /// </summary>
        /// <param name="message"></param>
        /// <returns></returns>
        public static async Task SendAsync(MimeMessage message)
        {
            if (!message.From.Any())
            {
                message.From.Add(new MailboxAddress(AppSettings.Email.From.Name, AppSettings.Email.From.Address));
            }
            if (!message.To.Any())
            {
                var address = AppSettings.Email.To.Select(x => new MailboxAddress(x.Key, x.Value));
                message.To.AddRange(address);
            }

            using var client = new SmtpClient
            {
                ServerCertificateValidationCallback = (s, c, h, e) => true
            };
            client.AuthenticationMechanisms.Remove("XOAUTH2");

            await client.ConnectAsync(AppSettings.Email.Host, AppSettings.Email.Port, AppSettings.Email.UseSsl);
            await client.AuthenticateAsync(AppSettings.Email.From.Username, AppSettings.Email.From.Password);
            await client.SendAsync(message);
            await client.DisconnectAsync(true);
        }
    }
}

SendAsync(...)接收一個參數MimeMessage對象,這樣就完成了一個通用的發郵件方法,接着我們去需要發郵件的地方構造MimeMessage,調用SendAsync()

//WallpaperJob.cs
...
    // 發送Email
    var message = new MimeMessage
    {
        Subject = "【定時任務】壁紙數據抓取任務推送",
        Body = new BodyBuilder
        {
            HtmlBody = $"本次抓取到{wallpapers.Count()}條數據,時間:{DateTime.Now:yyyy-MM-dd HH:mm:ss}"
        }.ToMessageBody()
    };
    await EmailHelper.SendAsync(message);
...
//HotNewsJob.cs
...
    // 發送Email
    var message = new MimeMessage
    {
        Subject = "【定時任務】每日熱點數據抓取任務推送",
        Body = new BodyBuilder
        {
            HtmlBody = $"本次抓取到{hotNews.Count()}條數據,時間:{DateTime.Now:yyyy-MM-dd HH:mm:ss}"
        }.ToMessageBody()
    };
    await EmailHelper.SendAsync(message);
...

分別在兩個爬蟲腳本中添加發送Email,MimeMessage中設置了郵件主題Subject,正文Body,最後調用await EmailHelper.SendAsync(message)執行發送郵件操作。

編譯運行執行兩個定時任務,看看能否收到郵件提醒。

成功了,郵箱收到了兩條提醒。

還有一種比較特殊的用法,也介紹一下,如果想要發送帶圖片的郵件怎麼操作呢?注意不是附件,是將圖片內嵌在郵箱中。

一般常規都是有郵件模板的,將圖片的具體地址插入到img標籤中,這就不說了,這裏選擇另外一種方式。以前面添加的PuppeteerTestJob為例,正好我們生成了一張圖片的。將這種圖片以郵件的形式發出去。

public class PuppeteerTestJob : IBackgroundJob
{
    public async Task ExecuteAsync()
    {
        var path = Path.Combine(Path.GetTempPath(), "meowv.png");
        
        ...
        
        await page.ScreenshotAsync(path, new ScreenshotOptions
        {
            FullPage = true,
            Type = ScreenshotType.Png
        });

        // 發送帶圖片的Email
        var builder = new BodyBuilder();

        var image = builder.LinkedResources.Add(path);
        image.ContentId = MimeUtils.GenerateMessageId();

        builder.HtmlBody = "當前時間:{0}.<img src=\"cid:{1}\"/>".FormatWith(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss"), image.ContentId);

        var message = new MimeMessage
        {
            Subject = "【定時任務】每日熱點數據抓取任務推送",
            Body = builder.ToMessageBody()
        };
        await EmailHelper.SendAsync(message);
    }
}

先確定我們生成圖片的路徑 path ,將圖片生成Message-Id,然後賦值給ContentId,給模板中<img src=\"cid:{1}\"/>圖片標籤cid賦上值在調用發送郵件方法即可。

成功收到郵件,搞定了,你學會了嗎?

開源地址:https://github.com/Meowv/Blog/tree/blog_tutorial

基於 abp vNext 和 .NET Core 開發博客項目,截止到本篇所用到的基礎模塊算是寫完了,如果對您有些許幫助請多多分享,我的所有原創文章都首發於我發個人公眾號:阿星Plus 。

下面有二維碼可以直接掃一掃,如果你不想關注也沒有關係,博客園我也會同步過來的。

不管因為什麼,如果你在學習這個項目或者跟着我一起做這個項目,裏面肯定還是有瑕疵的,大家可以根據自己的需求自行修改。

接下來應該還會更新博客所用到的接口,這個純屬於CRUD,可以自己先行開發,我這邊目前也不知道以什麼樣的方式展現給大家是最好的選擇。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

網站的第一印象網頁設計,決定了客戶是否繼續瀏覽的意願。台北網動廣告製作的RWD網頁設計,採用精簡與質感的CSS語法,提升企業的專業形象與簡約舒適的瀏覽體驗,讓瀏覽者第一眼就愛上它。

Redis詳解(十一)—— 過期刪除策略和內存淘汰策略_網頁設計公司

網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

當全世界的人們隨著網路時代而改變向上時您還停留在『網站美醜不重要』的舊有思維嗎?機會是留給努力改變現況的人們,別再浪費一分一秒可以接觸商機的寶貴時間!

  在介紹這篇文章之前,我們先來看如下幾個問題:

  ①、如何設置Redis鍵的過期時間?

  ②、設置完一個鍵的過期時間后,到了這個時間,這個鍵還能獲取到么?假如獲取不到那這個鍵還佔據着內存嗎?

  ③、如何設置Redis的內存大小?當內存滿了之後,Redis有哪些內存淘汰策略?我們又該如何選擇?

  如果上面的幾個問題你都懂,那麼下面的內容你就不用看了;如果你不是很懂,那就帶着這些問題往下看。

1、設置Redis鍵過期時間

  Redis提供了四個命令來設置過期時間(生存時間)。

  ①、EXPIRE <key> <ttl> :表示將鍵 key 的生存時間設置為 ttl 秒。

  ②、PEXPIRE <key> <ttl> :表示將鍵 key 的生存時間設置為 ttl 毫秒。

  ③、EXPIREAT <key> <timestamp> :表示將鍵 key 的生存時間設置為 timestamp 所指定的秒數時間戳。

  ④、PEXPIREAT <key> <timestamp> :表示將鍵 key 的生存時間設置為 timestamp 所指定的毫秒數時間戳。

  PS:在Redis內部實現中,前面三個設置過期時間的命令最後都會轉換成最後一個PEXPIREAT 命令來完成。

  另外補充兩個知識點:

  一、移除鍵的過期時間

  PERSIST <key> :表示將key的過期時間移除。

  二、返回鍵的剩餘生存時間

  TTL <key> :以秒的單位返回鍵 key 的剩餘生存時間。

  PTTL <key> :以毫秒的單位返回鍵 key 的剩餘生存時間。

2、Redis過期時間的判定

  在Redis內部,每當我們設置一個鍵的過期時間時,Redis就會將該鍵帶上過期時間存放到一個過期字典中。當我們查詢一個鍵時,Redis便首先檢查該鍵是否存在過期字典中,如果存在,那就獲取其過期時間。然後將過期時間和當前系統時間進行比對,比系統時間大,那就沒有過期;反之判定該鍵過期。

3、過期刪除策略

  通常刪除某個key,我們有如下三種方式進行處理。

①、定時刪除

  在設置某個key 的過期時間同時,我們創建一個定時器,讓定時器在該過期時間到來時,立即執行對其進行刪除的操作。

  優點:定時刪除對內存是最友好的,能夠保存內存的key一旦過期就能立即從內存中刪除。

  缺點:對CPU最不友好,在過期鍵比較多的時候,刪除過期鍵會佔用一部分 CPU 時間,對服務器的響應時間和吞吐量造成影響。

②、惰性刪除

  設置該key 過期時間后,我們不去管它,當需要該key時,我們在檢查其是否過期,如果過期,我們就刪掉它,反之返回該key。

  優點:對 CPU友好,我們只會在使用該鍵時才會進行過期檢查,對於很多用不到的key不用浪費時間進行過期檢查。

  缺點:對內存不友好,如果一個鍵已經過期,但是一直沒有使用,那麼該鍵就會一直存在內存中,如果數據庫中有很多這種使用不到的過期鍵,這些鍵便永遠不會被刪除,內存永遠不會釋放。從而造成內存泄漏。

③、定期刪除

  每隔一段時間,我們就對一些key進行檢查,刪除裏面過期的key。

  優點:可以通過限制刪除操作執行的時長和頻率來減少刪除操作對 CPU 的影響。另外定期刪除,也能有效釋放過期鍵佔用的內存。

  缺點:難以確定刪除操作執行的時長和頻率。

※想知道最厲害的網頁設計公司嚨底家"!

RWD(響應式網頁設計)是透過瀏覽器的解析度來判斷要給使用者看到的樣貌

     如果執行的太頻繁,定期刪除策略變得和定時刪除策略一樣,對CPU不友好。

     如果執行的太少,那又和惰性刪除一樣了,過期鍵佔用的內存不會及時得到釋放。

     另外最重要的是,在獲取某個鍵時,如果某個鍵的過期時間已經到了,但是還沒執行定期刪除,那麼就會返回這個鍵的值,這是業務不能忍受的錯誤。

4、Redis過期刪除策略

  前面討論了刪除過期鍵的三種策略,發現單一使用某一策略都不能滿足實際需求,聰明的你可能想到了,既然單一策略不能滿足,那就組合來使用吧。

  沒錯,Redis的過期刪除策略就是:惰性刪除和定期刪除兩種策略配合使用。

  惰性刪除:Redis的惰性刪除策略由 db.c/expireIfNeeded 函數實現,所有鍵讀寫命令執行之前都會調用 expireIfNeeded 函數對其進行檢查,如果過期,則刪除該鍵,然後執行鍵不存在的操作;未過期則不作操作,繼續執行原有的命令。

  定期刪除:由redis.c/activeExpireCycle 函數實現,函數以一定的頻率運行,每次運行時,都從一定數量的數據庫中取出一定數量的隨機鍵進行檢查,並刪除其中的過期鍵。

  注意:並不是一次運行就檢查所有的庫,所有的鍵,而是隨機檢查一定數量的鍵。

  定期刪除函數的運行頻率,在Redis2.6版本中,規定每秒運行10次,大概100ms運行一次。在Redis2.8版本后,可以通過修改配置文件redis.conf 的 hz 選項來調整這個次數。

  

 

  看上面對這個參數的解釋,建議不要將這個值設置超過 100,否則會對CPU造成比較大的壓力。

  我們看到,通過過期刪除策略,對於某些永遠使用不到的鍵,並且多次定期刪除也沒選定到並刪除,那麼這些鍵同樣會一直駐留在內存中,又或者在Redis中存入了大量的鍵,這些操作可能會導致Redis內存不夠用,這時候就需要Redis的內存淘汰策略了。

5、內存淘汰策略

①、設置Redis最大內存

  在配置文件redis.conf 中,可以通過參數 maxmemory <bytes> 來設定最大內存:

  

  不設定該參數默認是無限制的,但是通常會設定其為物理內存的四分之三。(這裡有個疑惑:為啥作者不考慮將此參數設定為百分比呢?)

②、設置內存淘汰方式

  當現有內存大於 maxmemory 時,便會觸發redis主動淘汰內存方式,通過設置 maxmemory-policy ,有如下幾種淘汰方式:

  1)volatile-lru   利用LRU算法移除設置過過期時間的key (LRU:最近使用 Least Recently Used ) 。

  2)allkeys-lru   利用LRU算法移除任何key (和上一個相比,刪除的key包括設置過期時間和不設置過期時間的)。通常使用該方式

  3)volatile-random 移除設置過過期時間的隨機key 。

  4)allkeys-random  無差別的隨機移除。

  5)volatile-ttl   移除即將過期的key(minor TTL) 

  6)noeviction 不移除任何key,只是返回一個寫錯誤 ,默認選項,一般不會選用。

  在redis.conf 配置文件中,可以設置淘汰方式:

  

6、總結

  通過上面的介紹,相信大家對Redis的過期數據刪除策略和內存淘汰策略有一定的了解了。這裏總結一下:

  Redis過期刪除策略是採用惰性刪除和定期刪除這兩種方式組合進行的,惰性刪除能夠保證過期的數據我們在獲取時一定獲取不到,而定期刪除設置合適的頻率,則可以保證無效的數據及時得到釋放,而不會一直佔用內存數據。

  但是我們說Redis是部署在物理機上的,內存不可能無限擴充的,當內存達到我們設定的界限后,便自動觸發Redis內存淘汰策略,而具體的策略方式要根據實際業務情況進行選取。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

透過資料庫的網站架設建置,建立公司的形象或購物系統,並提供最人性化的使用介面,讓使用者能即時接收到相關的資訊

春節假期第四天全國主要道路交通安全順暢_包裝設計

※產品缺大量曝光嗎?你需要的是一流包裝設計!

窩窩觸角包含自媒體、自有平台及其他國家營銷業務等,多角化經營並具有國際觀的永續理念。

新華社北京1月27日電 公安部交管局27日發布信息,春節假期第四天,各主要高速公路、國省道幹線公路交通安全順暢,根據全國35條高速公路200個重要通道監測節點流量監測情況,交通總流量與去年同期相比下降39.9%。截至17時,未發生長時間長距離交通擁堵,未接報一次死亡5人以上較大交通事故。

南投搬家公司費用需注意的眉眉角角,別等搬了再說!

上新台中搬家公司提供您一套專業有效率且人性化的辦公室搬遷、公司行號搬家及工廠遷廠的搬家服務

全國公安交管部門根據公安部統一部署,在當地黨委政府和公安機關的統一指揮下,主動擔當、积極作為,統籌春節假日交通安保和交通應急管理,會同和配合有關部門嚴密重點路段管控、嚴密重點部位防護、嚴密重點車輛查控,全力投入疫情防控工作,全力保障道路交通安全暢通。據統計,各地公安交管部門共出動警力18萬餘人次,出動警車7萬餘輛次,啟動交警執法站4100餘個,設立臨時執勤點1.2萬餘個。

根據中央氣象台預報,27日至28日,西南部局地有大雪或暴雪。27日夜間至28日早晨,湖北東部、湖南北部、江西東北部、山東中部、江蘇北部等地部分地區將有大霧天氣,局部有濃霧或強濃霧。公安部交管局提示廣大駕駛人朋友:霧天行車要打開霧燈,控制車速、保持安全車距;在冰雪路面行車時,要做到“緩加油、輕減速、慢轉彎”;請牢記“安全帶——生命帶”,駕車一定系好安全帶,莫忘為兒童選用適合其年齡、體重的兒童安全座椅。特別是請按照各地疫情防控工作的要求,盡量減少交通出行。

本站聲明:網站內容來http://www.societynews.cn/html/wh/fq/,如有侵權,請聯繫我們,我們將及時處理

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

網動廣告出品的網頁設計,採用精簡與質感的CSS語法,提升企業的專業形象與簡約舒適的瀏覽體驗,讓瀏覽者第一眼就愛上她。

WWDC2022登場?下代Mac Pro規格曝光 最高內建64核ARM處理器_網頁設計

※推薦評價好的iphone維修中心

擁有專業的維修技術團隊,同時聘請資深iphone手機維修專家,現場說明手機問題,快速修理,沒修好不收錢

就在蘋果分手Intel,推出首款專為Mac設計的M1晶片,取得巨大的成功之時。蘋果爆料大神LeaksApplePro就在推特上表示,蘋果目前正在著手研發下一代的Mac Pro,新一代的Mac Pro預計在WWDC 2022正式問世,將會內建16、32、64核處理器。

根據蘋果官網資料顯示,目前Mac Pro最高可以搭載Intel Xeon W 2.5GHz 28核心處理器,記憶體最高可安裝1.5TB(12條128GB DIMM)、儲存裝置為8TB SSD,而顯示部分最高可採用兩張Radeon Pro Vega II Duo 32GB顯示卡。

而下一代的Mac Pro規格,根據爆料大神LeaksApplePro的內容,除了會在 WWDC 2022公布之外,處理器部分會有16、32、64核三種處理器,記憶體則是維持原有的最高可安裝至 1.5TB,但最高儲存空間則翻倍成為16TB SSD。

台北網頁設計公司這麼多該如何選擇?

網動是一群專業、熱情、向前行的工作團隊,我們擁有靈活的組織與溝通的能力,能傾聽客戶聲音,激發創意的火花,呈現完美的作品

雖然顯示卡部分並沒有透漏,但根據先前《彭博社》的報導指出,蘋果正在開發128核心GPU所組成的SoC,希望能藉此擺脫對Intel處理器與AMD顯示卡的依賴。除此之外,蘋果另外還會推出由8、12、16核心 CPU,配合16、32、64核心GPU,來組成各種SoC產品進行販售,而《彭博社》相信128核心GPU所組成的SoC將會優先使用在蘋果的頂級電腦機種Mac Pro上面,但其餘產品會先在2021年的MacBook Pro上登場。

您也許會喜歡:

【推爆】終身$0月租 打電話只要1元/分

立達合法徵信社-讓您安心的選擇

網頁設計最專業,超強功能平台可客製化

窩窩以「數位行銷」「品牌經營」「網站與應用程式」「印刷品設計」等四大主軸,為每一位客戶客製建立行銷脈絡及洞燭市場先機。

小米 POCO 官方 Facebook 粉專成立、官網上線,即將以 POCO 品牌「重返」台灣市場_貨運

※評比南投搬家公司費用收費行情懶人包大公開

搬家價格與搬家費用透明合理,不亂收費。本公司提供下列三種搬家計費方案,由資深專業組長到府估價,替客戶量身規劃選擇最經濟節省的計費方式

 之所以說 POCO 即將「重返」台灣市場,也是因為這已經不是 POCO 第一次有產品在台灣推出。回顧 2018 年,當時還是小米旗下品牌的 POCOPHONE(POCO)在台灣推出萬元價位的旗艦手機 POCOPHONE F1 ,不僅當年成為許多追求性價比旗艦手機的消費者的首選之一,該款手機也獲得 MKBHD 評選為 2018 年最佳平價手機。然而,即便在那之後 POCO 仍有在印度推出新機,不過在台灣就沒有再推出新產品。

▲圖片來源:POCO Taiwan(Facebook)

小米 POCO 官方 Facebook 粉專成立、官網上線,即將以 POCO 品牌「重返」台灣市場

2020 年初, POCO 在印度與小米拆分、成為獨立的品牌後,在去年 11 月底也宣布 POCO 全球成為獨立品牌並成為 POCO Global 。稍早小米台灣 Xiaomi Taiwan 粉絲專頁分享了 POCO Taiwan 的粉絲專頁開張,暗示著 POCO 即將「重返」台灣市場。

POCO Taiwan 粉絲專頁在近期才剛成立:

▲圖片來源:POCO Taiwan(Facebook)

今(4)日稍早, POCO Taiwan 也張貼第一則貼文:

▲圖片來源:POCO Taiwan(Facebook)

檢視 POCO Taiwan 粉絲專頁是在 2020 年 12 月 24 日成立,並於 12 月 30 日與全球 POCO 全球的粉絲專頁進行合併:

▲圖片來源:POCO Taiwan(Facebook)

除了 Facebook 粉絲專頁,筆者稍早也查到了 POCO Taiwan 獨立的官方網站也已經悄悄上線,不再像當年 POCOPHONE F1 是小米台灣官網內的一款機型。
雖然,目前尚未公開任何關於 POCO 的消息、銷售的產品、會員制度也尚未開放註冊,不過種種跡象也很明顯代表接下來 POCO 將會以獨立品牌的方式回歸台灣市場。

▲圖片來源:POCO Taiwan (官網)

在購買管道部分,從 POCO Taiwan 官網可以看到線上官方線上合作通路有小米台灣,而其他通路則有小米之家、小米專賣店、PChome24h 購物以及聯強國際。

▲圖片來源:POCO Taiwan (官網)

※回頭車貨運收費標準

宇安交通關係企業,自成立迄今,即秉持著「以誠待人」、「以實處事」的企業信念

自從 POCO 成為獨立品牌至今陸續推出包括 POCO F2 Pro、 POCO X2、POCO X3 NFC 、 POCO M2 Pro 以及 POCO M3 等多款手機。
想必大家最關心的還是回歸台灣市場的 POCO 手機會是哪一款?日前有消息指出 POCO M3 可能會最快在台灣上市,這款擁有 6000mAh 大電量中階手機搭載高通 Snapdragon 662 處理器、配備 6.53 吋 FHD+ 水滴全螢幕、 4800 萬像素三鏡頭主相機,傳聞預計將引進 4GB+64GB 與 4GB+128GB 兩個版本,至於確切的消息還是得靜候台灣官方公佈為準。

▲圖片來源:POCO Global (官網)

去年 POCO 推出搭載高通 Snapdragon 865 處理器的 F2 Pro 旗艦手機,其實就是 Redmi K30 Pro 針對國際市場的更名版本機型。日前,我們也曾報導過 POCO 印度預告將在近期推出更平價的 POCO F2 ,從目前洩漏的消息傳聞 POCO F2 搭載和 POCO X3 NFC 相同的高通 S732G 處理器、120Hz 更新率 AMOLED 顯示螢幕、四鏡頭主相機,不過電池容量較小僅有 4250mAh 電池容量,確切規格仍得等待 POCO 官方正式發佈為準。

POCO Taiwan:
Facebook 粉絲專頁(點我前往)|官方網站(點我前往)

延伸閱讀:
realme V15 真機曝光:6400 萬像素三鏡頭主相機長續航中階新機,將於 1 月 7 日發表

小米有品推出 Lydsto 手持吸塵打氣機,眾籌價約 860 元

您也許會喜歡:

【推爆】終身$0月租 打電話只要1元/分

立達合法徵信社-讓您安心的選擇

※智慧手機時代的來臨,RWD網頁設計為架站首選

網動結合了許多網際網路業界的菁英共同研發簡單易操作的架站工具,及時性的更新,為客戶創造出更多的網路商機。

數據結構 9 基礎數據結構 二叉堆 了解二叉堆的元素插入、刪除、構建二叉堆的代碼方式_網頁設計公司

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!

以設計的實用美學觀點,規劃出舒適、美觀的視覺畫面,有效提昇使用者的心理期待,營造出輕鬆、愉悅的網站瀏覽體驗。

是否記得我們在之前的學習中有學習到二叉樹 忘記的小夥伴們請查看:完全二叉樹的定義。

https://blogs.chaobei.xyz/archives/shuju2

二叉堆

二叉堆其實就是一個完全二叉樹 一起複習一下吧:關於二叉樹和滿二叉樹以及完全二叉樹的基本概念。

二叉樹

  • 每個節點下掛元素不超過2
  • 並且元素都是按照一定規律排列的

二叉樹規律

按照前人的總結,我們可以得出以下結論。

  • 一個深度為K 的二叉樹,最多包含節點數 2的k次方-1
  • 二叉樹指定n 層級所包含的節點數為 2的n-1次方

滿二叉樹

從字面意思我們可以理解到:這個二叉樹它是一種飽和的狀態,顧名思義稱作是滿二叉樹。

完全二叉樹

除去二叉樹的恭弘=叶 恭弘子節點,所有節點都包含有兩個節點,並且節點都是按照一定順序排列的,這樣的二叉樹被稱作是完全二叉樹

二叉堆類型

在上面我們已經提到過。二叉堆就是一種完全二叉樹、二叉樹的概念也已經了解到了。當然,現在應該分析二叉堆有有哪些性質

  • 最大堆
  • 最小堆

最大堆

最大堆的父節點元素的值都大於等於其兩個子元素的值

最小堆

反之,最小堆父節點元素的值,都小於等於其兩個子元素的值

二叉堆的堆頂部 則是這個堆序列最大或者最小的元素。

二叉堆的自我調整

二叉堆的自我調整,有以下幾種情況:

  • 新元素的插入
  • 元素的刪除
  • 構建二叉堆

我們以最上面的最小堆為例,講述如何將一個元素插入二叉堆、如何刪除一個元素、如何來構建一個二叉堆。

插入一個節點

按照上面最小堆的順序,我這裏再插入幾個其他元素方便觀察。假設這裏我插入一個元素1

元素1<元素6 進行上浮。子節點與父節點進行調換位置

元素1<元素3 進行上浮。子節點與父節點進行調換位置

元素1<元素2 進行上浮。到達堆頂部。

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

網站的第一印象網頁設計,決定了客戶是否繼續瀏覽的意願。台北網動廣告製作的RWD網頁設計,採用精簡與質感的CSS語法,提升企業的專業形象與簡約舒適的瀏覽體驗,讓瀏覽者第一眼就愛上它。

刪除一個元素

當前元素與子節點中最小元素進行比較、大於則交換位置下沉

假設我們刪除最頂層的元素1

二叉堆為了保證樹的結構、將二叉堆裏面尾部元素6填充到被刪除的位置。

當前元素6 與兩個子元素裏面最小元素 進行比較。大於則下沉

當前元素6 > 3 進行調換位置。元素6到達尾部。

規律:二叉堆的刪除元素和新增元素剛好是相反的

構建一個二叉堆

構建二叉堆、其實就是將一個原有的、無序的、完全二叉樹給他構建成有序的二叉堆。

假設我們來構建一個最小堆 我們這裏拿到一個無序的完全二叉樹如圖:

划重點:構建最小堆就是將非恭弘=叶 恭弘子節點進行下沉

1、操作元素5 元素5小於元素8 不進行移動

2、操作元素1 元素1小於元素5 不進行移動

3、操作元素7 省略步驟。最終結果如下:

4、操作元素3 省略步驟。最終結果如下:

至此,我們的無序完全二叉樹已經變成了一個有序的二叉最小堆

代碼實現

二叉堆雖然是一顆完全二叉樹,但是其存儲方式是順序存儲,使用的是數組、而不是鏈式指針。

我們可以發現如下規律:

  • 父元素左邊子元素位置 = 2*父元素下標 + 1
  • 父元素右邊子元素位置 = 2*父元素下標 + 2
public static void main(String[] args) {
        int[] array = {7, 1, 3, 5, 6, 4, 2, 8, 9};
        buildBinaryHeap(array);
        System.out.println(Arrays.toString(array));
    }

    public static void buildBinaryHeap(int[] array) {
        //除去恭弘=叶 恭弘子節點、將每個節點進行下沉操作
        for (int i = (array.length - 2) / 2; i >= 0; i--) {
            sinking(array, i);
        }
    }

    /**
     * 構建二叉堆、讓當前元素下沉
     *
     * @param array     被操作的數組
     * @param itemIndex 當前元素下標
     */
    public static void sinking(int[] array, int itemIndex) {
        //數組長度
        int length = array.length - 1;
        //父節點值
        int parent = array[itemIndex];

        //默認操作的是左孩子
        int childIndex = 2 * itemIndex + 1;

        while (childIndex < length) {

            //存在右邊子元素、並且右邊子元素值小於左邊
            if (childIndex + 1 < length && array[childIndex + 1] < array[childIndex]) {
                //切換到右邊元素
                childIndex++;
            }

            //小於等於則無需交換
            if (parent <= array[childIndex]) break;

            //無需交換、只需要將子元素移動到父元素位置即可
            array[itemIndex] = array[childIndex];
            itemIndex = childIndex;

            //改變左右子元素的下標
            childIndex = 2 * itemIndex + 1;
        }
        //最終將父元素移動到指定位置即可。
        array[itemIndex] = parent;
    }

代碼示例

https://gitee.com/mrc1999/Data-structure

小結

通過本節的學習,應該需要掌握二叉堆這個重要的數據結構、如何將一個完全二叉樹構建成一個二叉堆、並且二叉堆在插入元素、和刪除元素時候如何將原來的結構保持不變的。這該是我們學習的。
下一節將繼續學習二叉堆的堆排序、我們一起加油!

參考

https://mp.weixin.qq.com/s/cq2EhVtOTzTVpNpLDXfeJg

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

※綠能、環保無空污,成為電動車最新代名詞,目前市場使用率逐漸普及化

台中景泰電動車行只是一個單純的理由,將來台灣的環境,出門可以自由放心的深呼吸,讓空氣回歸自然的乾淨,減少污染,留給我們下一代有好品質無空污的優質環境

我天!xx.equals(null) 是什麼騷操作??_網頁設計公司

網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

當全世界的人們隨著網路時代而改變向上時您還停留在『網站美醜不重要』的舊有思維嗎?機會是留給努力改變現況的人們,別再浪費一分一秒可以接觸商機的寶貴時間!

問題背景

我的天,最近做 Code Review 看到一個同事的騷操作,他寫了一個工具類,大概是這樣的:

public static boolean isNull(Object object){
    return null == object || object.equals(null);
}

判斷空,一般不是 null == object 就夠了,object.equals(null) 是什麼騷操作?

寫程序這麼多年,第一次看這樣的寫法,當時我就提出質疑了,同事拍着胸脯和我說,有個銀行的請求參數必須得這麼寫,不然就驗證不了。

我當時還在想,這是 JDK 出的什麼新類型么,覺得還是不科學,考慮去跟下同事寫的代碼,然後用他所說的情況我親自去驗證一下。

看了下,這是個老業務系統,同事用了 json-lib 這個包,歷史的江湖確實有這個包的存在,棧長之前也用過,不過後來這玩意就沒怎麼用了,現在都是 GsonJackson 的天下了。

如下面 json-lib 例子所示:

public static void main(String[] args) {
    String jsonString = "{\"name\": \"hi\",\"sex\": \"boy\", \"age\": null}";

    JSONObject jsonObject = net.sf.json.JSONObject.fromObject(jsonString);
    Object age = jsonObject.get("age");
    
    // 輸出:null
    System.out.println("age: " + age);

    // 輸出:false
    System.out.println("age == null: " + (age == null));
    
    // 輸出:true
    System.out.println("age.equals(null): " + (age.equals(null)));
}

我天!大家看到結果了吧,問題確實也如同事所說,一定要用 object.equals(null) 寫法才行,不相信結果的大家也可以親自驗證一下。

納了悶了,這樣寫,我傳一個 null 值過去不是報空指針了么?這樣寫肯定有問題,繼續深挖!

問題分析

fromObject 方法加載 JSON 串開始源碼深入分析,找到了這個神奇解析 null 值的源碼:

原來,JSON 串中的 null 值被解析成了它內部的 JSONNull 對象,然後再看下這個 JSONNull 的 equals 方法源碼:

public boolean equals(Object object) {
    return object == null || 
           object == this || 
           object == instance || 
           object instanceof JSONObject &&
           ((JSONObject)object).isNullObject() ||
           "null".equals(object);
}

問題就出在他所用的 JSON 工具類了!!!

equals 方法被重寫了……終於揭開了 object.equals(null) 的神秘面紗……

再來看下是否有新的更新包:

網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

透過資料庫的網站架設建置,建立公司的形象或購物系統,並提供最人性化的使用介面,讓使用者能即時接收到相關的資訊

最新的版本停留在 2010 年 12 月,已經是被淘汰的東西了。

另外,json-lib 在 JDK 1.7+ 有性能影響。
推薦閱讀:請不要在 JDK 7+ 中使用這個 JSON 包了

解決方案

方法1:

換掉 object.equals(null),用 JSONNull 的實例去判斷:

public static boolean isNull(Object object){
    return null == object || JSONNull.getInstance().equals(object);
}

方法2:

換掉 json-lib 庫,用主流的 GsonJackson

具體看下這篇:Java常用的幾個Json庫,性能強勢對比,另外 FastJson 也不建議用了,漏洞比較多。

這個由於是老系統,太多業務使用了這個庫,換掉的開發、測試成本和風險比較大,暫時考慮先用方案1先解決這個問題。

關注Java技術棧微信公眾號,棧長將繼續分享好玩的 Java 技術,公眾號第一時間推送,在公眾號後台回復:Java,可以獲取歷史 Java 教程,都是乾貨。

推薦去我的博客閱讀更多:

1.Java JVM、集合、多線程、新特性系列教程

2.Spring MVC、Spring Boot、Spring Cloud 系列教程

3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程

4.Java、後端、架構、阿里巴巴等大廠最新面試題

覺得不錯,別忘了點贊+轉發哦!

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

※想知道最厲害的網頁設計公司嚨底家"!

RWD(響應式網頁設計)是透過瀏覽器的解析度來判斷要給使用者看到的樣貌

手把手教你學numpy,從此數據處理不再慌【三】_網頁設計

網頁設計最專業,超強功能平台可客製化

窩窩以「數位行銷」「品牌經營」「網站與應用程式」「印刷品設計」等四大主軸,為每一位客戶客製建立行銷脈絡及洞燭市場先機。

本文始發於個人公眾號:TechFlow,原創不易,求個關注

今天是numpy專題的第三篇,我們來聊聊numpy當中的索引。

上篇的末尾其實我們簡單地提到了索引,但是沒有過多深入。沒有過多深入的原因也很簡單,因為numpy當中關於索引的用法實在是很多,並不是我們想的那樣用一個下標去獲取數據就完事了。

所以我整理了一下相關的用法,把關於索引的使用簡單分成了幾類,我們一個一個來看。

切片索引

切片我們都熟悉,用冒號將兩個數隔開,表示一個區間的上界和下界。通過這種方式訪問這個區間內的所有元素。

這一點我們之前介紹過,我們簡單回顧一下。

這是一維數組的切片,既然一維數組可以切片,那麼同樣高維數組也可以切片。我們來看一個二維的數組的切片:

我們生成了一個3 x 4的二維數組,然後通過切片獲取了它的1-2數據。由於我們是對行切片,默認保留這一行的所有數據。

如果我們並不需要所有數據,而是只需要某一列的固定數據,可以寫成這樣:

這一行代碼的意思是對於行我們獲取1-3行固定第二列的數據,我們用表格表示的話大概是下面這個樣子:

我們也可以對兩個維度同時切片,這樣可以得到更加複雜的數據:

這樣切片獲得的數據大概是這樣的:

也就是說在numpy的數組當中各個維度是分開的,每一個維度都支持切片。我們可以根據我們的需要切片或者是固定下標來獲取我們想要的切片。

bool型索引

numpy當中還有一個非常好用的索引方式叫做bool型索引。前文介紹廣播的時候曾經介紹過,當我們將兩個大小不一致的數組進行計算的時候,numpy會自動幫我們將它們廣播成大小一致的情況再進行運算。

而邏輯判斷其實也是一種運算,所以如果我們將邏輯運算應用在numpy數組上的話同樣會得到一個numpy數組,只不過是bool類型的numpy數組。

我們來看一個例子:

※推薦評價好的iphone維修中心

擁有專業的維修技術團隊,同時聘請資深iphone手機維修專家,現場說明手機問題,快速修理,沒修好不收錢

我們創建了一個numpy的數組,然後將它和整數4進行比較,numpy會將這個運算廣播到其中每一個元素當中,然後返回得到一個bool類型的numpy數組。

這個bool類型的數組可以作為索引,傳入另外一個數組當中,只有bool值為true的行才會被保留。

我們發現只有第4行和第6行的數據被保留了,也就是bool值為true的行號被保留了。這是非常有用的數據獲取方式,我們可以直接將判斷條件放入索引當中進行數據的過濾,如果應用熟練了會非常方便。

再舉個例子,假如我們要根據二維數據的第一列的數據進行過濾,僅僅保留第一列數據大於0.5的。如果按照傳統的方法我們需要用一個循環去過濾,但是使用bool類型索引,我們可以只需要一行搞定:

arr[arr[:, 0] > 0.5]

如果有多個條件,我們可以用位運算的與或非進行連接。在Python當中位運算的與或非分別用符號&, |, ~表示。

舉個例子,比如我們想要篩選出arr數組當中第1列大於0.5,並且第二列小於0.5的數據,我們可以寫成這樣:

arr[(arr[:, 0] > 0.5) & (arr[:, 1] < 0.5)]

如果我們想求這個條件的相反條件,我們當然可以將判斷條件反過來寫,但是也可以通過~符號直接取反:

arr[~((arr[:, 0] > 0.5) & (arr[:, 1] < 0.5))]

花式索引

除了bool索引之外,numpy當中還支持一種花式索引。

所謂的花式索引,意思是說支持將另外一個數組當做是索引來訪問數據

舉個很簡單的例子:

從上面的例子我們可以看出來,我們把idx這個數組當中的值當做了索引進行了數據的訪問。並且有重複值也沒有關係,numpy不會進行去重。

通過數組訪問數據有什麼用呢?其實非常有用,在我們做機器學習的過程當中,我們經常涉及到一個採樣的問題。我們每次訓練並不是全量的數據,否則非常慢,有時候甚至是不可能完成的,因為數據量太大了。我們往往是抽取出一批數據作為一個batch來訓練的,這個在之前批量梯度下降的文章當中曾經提到過。

那麼一個batch的數據是怎麼抽取的呢?就是這樣抽取的,我們會調用np中的一個函數叫做choice,我們用它來從所有樣本的下標當中抽取我們指定數量的下標。

有了下標數組之後,我們用一下花式索引就可以拿到對應的全部數據了,如果你看過大牛寫的深度學習的代碼,裏面幾乎都是這樣實現的。

總結

今天關於numpy當中索引的使用和介紹就到這裏,僅僅看介紹可能感受並不明顯。但如果上手用numpy做過一次數據處理和實現過機器學習的模型,相信一定可以感受到它的易用性和強大的功能。索引這個功能非常常用,也非常重要,在後序的pandas庫當中同樣沿用了numpy中對於索引的設定和功能。因此這既是重要的基本功,也是為後面的學習打基礎。

如果喜歡本文,可以的話,請點個關注,給我一點鼓勵,也方便獲取更多文章。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

台北網頁設計公司這麼多該如何選擇?

網動是一群專業、熱情、向前行的工作團隊,我們擁有靈活的組織與溝通的能力,能傾聽客戶聲音,激發創意的火花,呈現完美的作品

重學 Java 設計模式:實戰單例模式_貨運

※評比南投搬家公司費用收費行情懶人包大公開

搬家價格與搬家費用透明合理,不亂收費。本公司提供下列三種搬家計費方案,由資深專業組長到府估價,替客戶量身規劃選擇最經濟節省的計費方式

作者:小傅哥
博客:https://bugstack.cn

沉澱、分享、成長,讓自己和他人都能有所收穫!

一、前言

5個創建型模式的最後一個

在設計模式中按照不同的處理方式共包含三大類;創建型模式結構型模式行為模式,其中創建型模式目前已經介紹了其中的四個;工廠方法模式抽象工廠模式生成器模式原型模式,除此之外還有最後一個單例模式

掌握了的知識才是自己的

在本次編寫的重學 Java 設計模式的編寫中盡可能多的用各種場景案例還介紹設計的使用,包括我們已經使用過的場景;各種類型獎品發放多套Redis緩存集群升級裝修公司報價清單百份考卷題目與答案亂序,通過這些場景案例的實踐感受設計模式的思想。但這些場景都是作者通過經驗分離出來的,還並不是讀者的知識,所以你如果希望可以融會貫通的掌握那麼一定要親力親為的操作,事必躬親的完成。

書不是看的是用的

在這裏還是想強調一下學習方法,總有很多小夥伴對學習知識有疑惑,明明看了、看的時候也懂了,但到了實際使用的時候卻用不上。或者有時候在想是不要是有更加生動的漫畫或者什麼對比會好些,當然這些方式可能會加快一個新人對知識的理解速度。但只要你把學習視頻當電影看、學習書籍當故事看,就很難掌握這項技術棧。只有你把它用起來,逐字逐句的深挖,一點點的探求,把各項遇到的盲點全部掃清,才能讓你真的掌握這項技能。

二、開發環境

  1. JDK 1.8
  2. Idea + Maven
  3. 涉及工程1個,可以通過關注公眾號bugstack蟲洞棧,回復源碼下載獲取(打開獲取的鏈接,找到序號18)

三、單例模式介紹

單例模式可以說是整個設計中最簡單的模式之一,而且這種方式即使在沒有看設計模式相關資料也會常用在編碼開發中。

※智慧手機時代的來臨,RWD網頁設計為架站首選

網動結合了許多網際網路業界的菁英共同研發簡單易操作的架站工具,及時性的更新,為客戶創造出更多的網路商機。

因為在編程開發中經常會遇到這樣一種場景,那就是需要保證一個類只有一個實例哪怕多線程同時訪問,並需要提供一個全局訪問此實例的點。

綜上以及我們平常的開發中,可以總結一條經驗,單例模式主要解決的是,一個全局使用的類頻繁的創建和消費,從而提升提升整體的代碼的性能。

四、案例場景

本章節的技術所出現的場景非常簡單也是我們日常開發所能見到的,例如;

  1. 數據庫的連接池不會反覆創建
  2. spring中一個單例模式bean的生成和使用
  3. 在我們平常的代碼中需要設置全局的的一些屬性保存

在我們的日常開發中大致上會出現如上這些場景中使用到單例模式,雖然單例模式並不複雜但是使用面卻比較廣。

五、7種單例模式實現

單例模式的實現方式比較多,主要在實現上是否支持懶漢模式、是否線程安全中運用各項技巧。當然也有一些場景不需要考慮懶加載也就是懶漢模式的情況,會直接使用static靜態類或屬性和方法的方式進行處理,供外部調用。

那麼接下來我們就通過實現不同方式的實現進行講解單例模式。

0. 靜態類使用

public class Singleton_00 {

    public static Map<String,String> cache = new ConcurrentHashMap<String, String>();
    
}
  • 以上這種方式在我們平常的業務開發中非常場常見,這樣靜態類的方式可以在第一次運行的時候直接初始化Map類,同時這裏我們也不需要到延遲加載在使用。
  • 在不需要維持任何狀態下,僅僅用於全局訪問,這個使用使用靜態類的方式更加方便。
  • 但如果需要被繼承以及需要維持一些特定狀態的情況下,就適合使用單例模式。

1. 懶漢模式(線程不安全)

public class Singleton_01 {

    private static Singleton_01 instance;

    private Singleton_01() {
    }

    public static Singleton_01 getInstance(){
        if (null != instance) return instance;
        return new Singleton_01();
    }

}
  • 單例模式有一個特點就是不允許外部直接創建,也就是new Singleton_01(),因此這裡在默認的構造函數上添加了私有屬性 private
  • 目前此種方式的單例確實滿足了懶加載,但是如果有多個訪問者同時去獲取對象實例你可以想象成一堆人在搶廁所,就會造成多個同樣的實例並存,從而沒有達到單例的要求。

2. 懶漢模式(線程安全)

public class Singleton_02 {

    private static Singleton_02 instance;

    private Singleton_02() {
    }

    public static synchronized Singleton_02 getInstance(){
        if (null != instance) return instance;
        return new Singleton_02();
    }

}
  • 此種模式雖然是安全的,但由於把鎖加到方法上后,所有的訪問都因需要鎖佔用導致資源的浪費。如果不是特殊情況下,不建議此種方式實現單例模式。

3. 餓漢模式(線程安全)

public class Singleton_03 {

    private static Singleton_03 instance = new Singleton_03();

    private Singleton_03() {
    }

    public static Singleton_03 getInstance() {
        return instance;
    }

}
  • 此種方式與我們開頭的第一個實例化Map基本一致,在程序啟動的時候直接運行加載,後續有外部需要使用的時候獲取即可。
  • 但此種方式並不是懶加載,也就是說無論你程序中是否用到這樣的類都會在程序啟動之初進行創建。
  • 那麼這種方式導致的問題就像你下載個遊戲軟件,可能你遊戲地圖還沒有打開呢,但是程序已經將這些地圖全部實例化。到你手機上最明顯體驗就一開遊戲內存滿了,手機卡了,需要換了。

4. 使用類的內部類(線程安全)

public class Singleton_04 {

    private static class SingletonHolder {
        private static Singleton_04 instance = new Singleton_04();
    }

    private Singleton_04() {
    }

    public static Singleton_04 getInstance() {
        return SingletonHolder.instance;
    }

}
  • 使用類的靜態內部類實現的單例模式,既保證了線程安全有保證了懶加載,同時不會因為加鎖的方式耗費性能。
  • 這主要是因為JVM虛擬機可以保證多線程併發訪問的正確性,也就是一個類的構造方法在多線程環境下可以被正確的加載。
  • 此種方式也是非常推薦使用的一種單例模式

5. 雙重鎖校驗(線程安全)

public class Singleton_05 {

    private volatile static Singleton_05 instance;

    private Singleton_05() {
    }

    public static Singleton_05 getInstance(){
       if(null != instance) return instance;
       synchronized (Singleton_05.class){
           if (null == instance){
               instance = new Singleton_05();
           }
       }
       return instance;
    }

}
  • 雙重鎖的方式是方法級鎖的優化,減少了部分獲取實例的耗時。
  • 同時這種方式也滿足了懶加載。
  • volatile關鍵字會強制的保證線程的可見性,而不加這個關鍵字,JVM也會儘力去保證可見性,但如果CPU一直處於繁忙狀態就不確定了。

6. CAS「AtomicReference」(線程安全)

public class Singleton_06 {

    private static final AtomicReference<Singleton_06> INSTANCE = new AtomicReference<Singleton_06>();

    private static Singleton_06 instance;

    private Singleton_06() {
    }

    public static final Singleton_06 getInstance() {
        for (; ; ) {
            Singleton_06 instance = INSTANCE.get();
            if (null != instance) return instance;
            INSTANCE.compareAndSet(null, new Singleton_06());
            return INSTANCE.get();
        }
    }

    public static void main(String[] args) {
        System.out.println(Singleton_06.getInstance()); // org.itstack.demo.design.Singleton_06@2b193f2d
        System.out.println(Singleton_06.getInstance()); // org.itstack.demo.design.Singleton_06@2b193f2d
    }

}
  • java併發庫提供了很多原子類來支持併發訪問的數據安全性;AtomicIntegerAtomicBooleanAtomicLongAtomicReference
  • AtomicReference 可以封裝引用一個V實例,支持併發訪問如上的單例方式就是使用了這樣的一個特點。
  • 使用CAS的好處就是不需要使用傳統的加鎖方式保證線程安全,而是依賴於CAS的忙等算法,依賴於底層硬件的實現,來保證線程安全。相對於其他鎖的實現沒有線程的切換和阻塞也就沒有了額外的開銷,並且可以支持較大的併發性。
  • 當然CAS也有一個缺點就是忙等,如果一直沒有獲取到將會處於死循環中。

7. Effective Java作者推薦的枚舉單例(線程安全)

public enum Singleton_07 {

    INSTANCE;
    public void test(){
        System.out.println("hi~");
    }

}

約書亞·布洛克(英語:Joshua J. Bloch,1961年8月28日-),美國著名程序員。他為Java平台設計並實作了許多的功能,曾擔任Google的首席Java架構師(Chief Java Architect)。

  • Effective Java 作者推薦使用枚舉的方式解決單例模式,此種方式可能是平時最少用到的。
  • 這種方式解決了最主要的;線程安全、自由串行化、單一實例。

調用方式

@Test
public void test() {
    Singleton_07.INSTANCE.test();

這種寫法在功能上與共有域方法相近,但是它更簡潔,無償地提供了串行化機制,絕對防止對此實例化,即使是在面對複雜的串行化或者反射攻擊的時候。雖然這中方法還沒有廣泛採用,但是單元素的枚舉類型已經成為實現Singleton的最佳方法。

但也要知道此種方式在存在繼承場景下是不可用的。

六、總結

  • 雖然只是一個很平常的單例模式,但在各種的實現上真的可以看到java的基本功的體現,這裏包括了;懶漢、餓漢、線程是否安全、靜態類、內部類、加鎖、串行化等等。
  • 在平時的開發中如果可以確保此類是全局可用不需要做懶加載,那麼直接創建並給外部調用即可。但如果是很多的類,有些需要在用戶觸發一定的條件后(遊戲關卡)才显示,那麼一定要用懶加載。線程的安全上可以按需選擇。
  • 建議在學習的過程中一定要加以實踐,否則很難完完整整的掌握一整套的知識體系。例如案例中的出現的Effective Java一書也非常建議大家閱讀。另外推薦下這位大神的Github:https://github.com/jbloch

七、推薦閱讀

  • 重學 Java 設計模式:實戰原型模式-模擬考試試卷亂序題目和答案
  • Java開發架構篇:初識領域驅動設計DDD落地
  • Java開發架構篇:DDD模型領域層決策規則樹服務設計
  • Java開發架構篇:領域驅動設計架構基於SpringCloud搭建微服務
  • 源碼分析(面試常問題目) | Mybatis接口沒有實現類為什麼可以執行增刪改查
  • 講道理,只要你是一個愛折騰的程序員,畢業找工作真的不需要再花錢培訓!

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

※回頭車貨運收費標準

宇安交通關係企業,自成立迄今,即秉持著「以誠待人」、「以實處事」的企業信念