七個生產案例告訴你BATJ為何選擇ElasticSearch!應用場景和優勢!_貨運

※智慧手機時代的來臨,RWD網頁設計為架站首選

網動結合了許多網際網路業界的菁英共同研發簡單易操作的架站工具,及時性的更新,為客戶創造出更多的網路商機。

本文來源於公眾號【胖滾豬學編程】,轉載請註明出處。

從今天開始,想和你一起死磕ElasticSearch,學習分佈式搜索引擎,跟着胖滾豬就對了!

既然是ES的第一課,那麼最重要的是讓你愛上它!不想說那些單純的優勢、概念了,直接上大廠的生產案例,才是最能吸引你的!跟着大廠走,沒問題的!

為啥選擇ES?

一個技術服務組件,首先需要了解全面它的使用場景,才能更針對性的去研究及推廣。因此第一要務是搞懂為什麼要學習ElasticSearch,開頭po先一張排行圖,大哥的地位可不是瞎搞來的,沒點實力能上位?憑這排名就是你要學習它的理由!

憑啥排這麼前呢?不就是個搜索引擎嗎。額,也許提到Elasticseach,你第一反應就是”搜索引擎”。類似百度搜索、淘寶搜索那種。而我寫這篇文章就是為了糾正你這個”錯誤”的觀點。

Elasticseach 確實是做搜索引擎出家的,但是到現在已經進化成了一個全能型的數據產品。因此你的思維決不能限制在搜索引擎上。

本文通過一線大廠的八個案例,全方位讓你了解ElasticSearch的應用場景和優勢,包括:

  • 日誌實時分析
  • 搜索服務
  • 數據分析
  • 數據監控
  • 查詢服務
  • 後端存儲

ElasticSearch在騰訊的應用

ElasticSearch在騰訊的應用非常廣泛,主要有三:日誌實時分析場景、搜索服務、時序數據分析。

  • 搜索服務: 例如像騰訊文檔基於 ES 做全文檢索,電商客戶拼多多、蘑菇街等大量的商品搜索都是基於 ES。
  • 日誌分析: 這個是 ES 應用最廣泛的領域,支持全棧的日誌分析,包括各種應用日誌、數據庫日誌、用戶行為日誌、網絡數據、安全數據等等。ES 擁有一套完整的日誌解決方案,可以秒級實現從採集到展示。
  • 時序分析: 典型的場景是監控數據分析,比如雲監控,整個騰訊雲的監控都是基於 ES 的。此外還包括物聯網場景,也有大量的時序數據。時序數據的特點是寫入吞吐量特別高,ES 支持的同時也提供了豐富的多維統計分析算子。

日誌實時分析

典型日誌如下:

  • 運營日誌,比如慢日誌、異常日誌,用來定位業務問題;
  • 業務日誌,比如用戶的點擊、訪問日誌,可以用來分析用戶行為;
  • 審計日誌,可以用於安全分析。ES 很完美的解決了日誌實時分析的需求,它具有如下特點:

Elastic 生態提供了完整的日誌解決方案,任何一個開發、運維同學使用成熟組件,通過簡單部署,即可搭建起一個完整的日誌實時分析服務。

  • 在 Elastic 生態中,日誌從產生到可訪問一般在 10s 級。相比於傳統大數據解決方案的幾十分鐘、小時級,時效性非常高。ES 擁有一套完整的日誌解決方案(ELK),可以秒級實現從採集到展示。

  • 由於支持倒排索引、列存儲等數據結構,ES 提供非常靈活的搜索分析能力。

  • 支持交互式分析,即使在萬億級日誌的情況下,ES 搜索響應時間也是秒級。

日誌是互聯網行業最基礎、最廣泛的數據形式,ES 非常完美的解決了日誌實時分析場景,這也是近幾年 ES 快速發展的一個重要原因

搜索服務

搜索服務,典型場景包含:商品搜索,類似京東、淘寶、拼多多中的商品搜索;APP 搜索,支持應用商店裡的應用搜索;站內搜索,支持論壇、在線文檔等搜索功能。我們支持了大量搜索服務,它們主要有以下特點:

  • 高性能:單個服務最大達到 10w+ QPS,平響 20ms~,P95 延時小於 100ms。
  • 強相關:搜索體驗主要取決於搜索結果是否高度匹配用戶意圖,需要通過正確率、召回率等指標進行評估。
  • 高可用:搜索場景通常要求高可用性,支持單機房故障容災。任何一個電商服務,如淘寶、京東、拼多多,只要故障一個小時就可以上頭條。

時序數據分析

時序數據分析,典型的時序數據包含:Metrics,即傳統的服務器監控;整個騰訊雲的監控都是基於 ES 的。APM,應用性能監控;物聯網數據,智能硬件、工業物聯網等產生的傳感器數據。時序數據的特點是寫入吞吐量特別高,ES 支持的同時也提供了豐富的多維統計分析算子。這類場景具有以下特點:

  • 高併發寫入:線上單集群最大規模達到 600+節點、1000w/s 的寫入吞吐。

  • 高查詢性能:要求單條曲線 或者單個時間線的查詢延時在 10ms~。

  • 多維分析:要求靈活、多維度的統計分析能力,比如我們在查看監控的時候,可以按照地域、業務模塊等靈活的進行統計分析。

上面通過騰訊的案例我們了解了三大應用場景,

  • 日誌實時分析場景

  • 搜索服務

  • 時序數據分析

另外從這三大應用場景我們也可以歸納出ES的幾大優勢:

1、具有高可用性、高擴展性;

2、查詢速度快,性能佳;

3、搜索功能強大,高度匹配用戶意圖。

因此,可以看出,ES在日誌實時分析和搜索方面的應用優勢簡直是無敵的!起碼目前,在這兩方面,還沒有強勁的對手!

ElasticSearch在京東的應用

通過京東的案例,聊一聊ES在查詢、檢索、數據分析方面的應用場景

※回頭車貨運收費標準

宇安交通關係企業,自成立迄今,即秉持著「以誠待人」、「以實處事」的企業信念

由於較高的性能和較低的使用門檻,京東內部有很多的場景都在使用 Elasticsearch。覆蓋了京東多條業務線,同時也覆蓋了很多應用場景:

補充關係型數據庫的結構化數據查詢

主要應用的業務是商品、促銷、優惠券、訂單、收銀台、物流、對賬、評論等大數據量查詢。此場景的核心訴求是高性能、穩定性和高可用性,部分場景會有檢索要求,通常用於加速關係型數據庫,業務系統通過 binlog 同步或業務雙寫完成數據同步。

全文檢索功能

主要的應用場景是應用、安全、風控、交易等操作日誌,以及京東部分品類商品搜索。此類日誌化場景對寫要求很高,查詢性能及高可用等要求相對較低,大的業務寫會達到數千萬 / 秒,存儲以 PB 為單位來計算。
這些場景對磁盤、內存有比較高的要求,因此,京東也做了相應優化,用於減少內存消耗,提升磁盤整體使用率,使用更廉價的磁盤來降低成本等等。

實時數據分析引擎,形成統計報表

主要應用的業務是物流單的各種分析、訂單數據分析、用戶畫像等。因為業務數據分析緯度較多,flink、storm 等流式分析對於某些報表場景不太適用,批處理實時性又成為問題,所以近實時分析的 Elasticsearch 就成為了這些業務的選擇。

從京東的案例中,我們似乎看到了,可以利用ES在某些場景下代替關係型數據庫哦!不僅如此,ES在實時數據分析領域,居然也有一席之地!

ElasticSearch在去哪兒的應用

通過去哪兒的案例,聊一聊ES在查詢方面的應用場景,可以簡單的理解為”代替”mysql。注意代替加了引號,閉着眼睛想都不可能完全代替。比如事務性。

15年去哪兒網酒店日均訂單量達到30w+,隨着多平台訂單的聚合日均訂單能達到100w左右。

原來採用的熱表分庫方式,即將最近6個月的訂單的放置在一張表中,將歷史訂單放在在history表中。history表存儲全量的數據,當用戶查詢的下單時間跨度超過6個月即查詢歷史訂單表,此分表方式熱表的數據量為4000w左右,當時能解決的問題。但是顯然不能滿足攜程藝龍訂單接入的需求。

如果繼續按照熱表方式,數據量將超過1億條。全量數據表保存2年的可能就超過4億的數據量。所以尋找有效途徑解決此問題迫在眉睫。由於對這預計4億的數據量還需按照預定日期、入住日期、離店日期、訂單號、聯繫人姓名、電話、酒店名稱、訂單狀態……等多個條件查詢。所以簡單按照某一個維度進行分表操作沒有意義。

顯然只通過DB來支撐大量的查詢是不可取的,同時對於一些複雜的查詢,Mysql支持得不夠友好,所以Elasticsearch分佈式搜索儲存集群的引入,就是為了解決訂單數據的存儲與搜索的問題。

對訂單模型進行抽象和分類,將常用搜索字段和基礎屬性字段剝離。DB做分庫分表,存儲訂單詳情;Elasticsearch存儲搜素字段。

訂單複雜查詢直接走Elasticsearch,基於OrderNo的簡單查詢走DB,如下圖所示。

從去哪兒的案例中,我們似乎看到了,關係型數據庫撐不起的複雜查詢,ES可以勝任

總結

什麼時候應該用ElasticSearch?

1、典型搜索場景:閉着眼用它!

2、典型日誌分析場景:閉着眼用它!

3、關係型數據庫查詢有瓶頸:考慮下用它!為啥是考慮?ES的優點在於查詢,然而實踐證明,在被作為數據庫來使用,即寫完馬上查詢會有延遲。

4、數據分析場景:考慮下用它!為啥是考慮?簡單通用的場景需求可以大規模使用,但在特定業務場景領域,還是要選擇更加專業的數據產品,如複雜聚合,ClickHouse相比 Elasticserach 做億級別數據深度聚合需求會更加合適。

ElasticSearch有什麼優勢呢?

1、很簡便的橫向擴容,分佈式的架構,可以輕鬆地對資源進行橫向縱向擴縮容,可以滿足不同數據量級及查詢場景對硬件資源的需求。能由數百台到萬台機器搭建滿足PB級的快速搜索,也能搭建單機版服務小公司。

2、查詢速度快:ES底層採用Lucene作為搜索引擎,並在此之上做了多重優化,保證了用戶對數據查詢數據的需求。可”代替”傳統關係型數據庫,也可用於複雜數據分析,海量數據的近實時處理等。

3、相關性高:ES內部提供了完善的評分機制,會根據分詞出現的頻次等信息對文檔進行相關性排序,保證相關性越高的文檔排序越靠前。另外還提供了包括模糊查詢,前綴查詢,通配符查詢等在內的多種查詢手段,幫助用戶快速高效地進行檢索。

4、功能點多但使用比較簡便,開箱即用,性能優化比較簡單

5、生態圈豐富,社區活躍,適配多種工具。如下圖,處理日誌和輸出到Elasticsearch,您可以使用日誌記錄工具,如Logstash(www.elastic.co/products/logstash),搜索和可視化界面分析這些日誌,你可以使用Kibana(www.elastic.co/產品/ kibana),即傳說中的ELK技術棧。另外當前主流的大數據框架也幾乎都支持ES,比如Flink和ES就是個完美搭檔。

本文參考:

騰訊萬億級 Elasticsearch 技術解密

搜索引擎怎麼選?攜程酒店訂單Elasticsearch實戰

Elasticsearch在京東的使用場景

本文來源於公眾號:【胖滾豬學編程】。一枚集顏值與才華於一身,不算聰明卻足夠努力的女程序媛。用漫畫形式讓編程so easy and interesting!求關注!

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

※評比南投搬家公司費用收費行情懶人包大公開

搬家價格與搬家費用透明合理,不亂收費。本公司提供下列三種搬家計費方案,由資深專業組長到府估價,替客戶量身規劃選擇最經濟節省的計費方式