新用戶登錄后自動創建賬號
登錄近期, 途牛旅游網與SequoiaDB巨杉數據庫在大數據應用方面展開了深度的技術合作,并且取得了顯著的成效。為此,我們也專門采訪了途牛旅游網研發總監李曉煒先生, 讓他談一談在線旅游行業的大數據應用及SequoiaDB的實踐情況。
CSDN:介紹下您自己,也介紹一下途牛?能否也談談目前在線旅游行業的主要情況?
李曉煒:你好,我是途牛旅游網的李曉煒,負責途牛后臺系統的開發工作。
途牛想必大家都聽過,途牛旅游網是目前國內最大的在線旅游平臺之一,提供全國75個城市的旅游度假預訂服務,包括跟團、自助、自駕、酒店、景區門票、郵輪以及公司旅游預訂等。
目前,在線旅游平臺發展也漸漸成熟,之前有看過一份旅游行業的統計報告,2014年中國的在線旅游市場交易規模達到了3077.9億元,同比增長了38.9%,預計2015全年,這一規模將達到3500~4000億元,增長規模保持在30%以上。而截至2014年12月,國內在線旅游的用戶已經達到了近1.5億人,用戶的年增長接近195%。
CSDN:在線旅游的發展方向是什么呢?
李曉煒:我認為目前在線旅游正在從向定制化、多樣化、個性化和智能化的方向在發展。
從前可能大家都滿足于通過線上訂票、訂酒店,現在用戶更希望平臺能代替他們做更多的事情,也就是我只要有旅游的想法,最好就能直接的幫我全程安排好,只需要付錢就行了。
而同時,用戶也希望有更多的旅游項目的選擇,滿足個性化的需求。比如從前到一個地方,只安排幾個固定的餐廳給游客們去,現在用戶可能會想要找更地道或者是一些有特色的小店來品嘗,這就要求我們能有更多的餐廳供他們選擇,餐飲是目的地服務的一種,途牛也從今年開始在目的地服務方向發力,希望能徹底改變過去那種上車睡覺,下車拍照的旅游方式,希望大家都能全方位的深度感受當地的各種特色。
CSDN:作為一個資深的架構師、工程師,能否談談在線旅游這一塊目前對于大數據的需求主要有什么呢?
李曉煒:剛剛也提到了未來在線旅游的一個大概發展情況,針對這些個性化、智慧化的需求,需要從用戶的瀏覽,訂購等行為中進行分析,行程主動的推薦,如何從互聯網的海量數據中提煉出這些需求就需要大數據技術來支撐了。對于多樣化的選擇,更多的項目選擇需要更大的存儲,同時也需要能快速的存取、查詢所需要的數據。對于智慧化方面,一個完整的旅游方案提供平臺,需要快速的分析和數據處理。用戶提出了需求,系統就會快速的分析,在龐大的數據量中分析出最適合用戶需求的方案。
簡單說,就是大數據的存儲和大數據的分析。
CSDN:在線旅游的大數據現狀是什么呢?主要的應用有哪些?
李曉煒:在旅游有幾大特點,交易量大,會員量大,產品量大,訂單量大等,不管是哪種數據類型都稱的上是海量。互聯網擁有長尾的特點,覆蓋的客戶群廣,靠傳統的數據庫幾乎無法分析動輒以TB計的數據。舉個例子,我們需要從用戶行為中分析用戶的興趣和消費趨向來反向決定我們推出什么樣的產品,這個看似簡單實則非常的復雜,我們需要對于不同的用戶,根據他的年齡,性別,瀏覽歷史,下單歷史,所在地區等很多個維度去進行分析,進而指導我們在不同地區針對不同類型的人群主推不同的產品;另一個例子,一個用戶有了出游意向,比如預算,意向目的地等信息之后,系統需要能智能的去給他推薦相應的產品套餐,簡化客人的選擇過程,幫他打包好所有的服務,這些也需要我們能在很短的時間內通過多維度的數據整合來給出建議,既要精確又要快,這就離不開對于大數據技術的運用了。當然除此之外還有很多的場景,在此就不一一給出了
CSDN:此次SequoiaDB巨杉數據庫與途牛的合作,主要是在哪些方面?
李曉煒:“價格中心”,是途牛旅游業務的核心模塊之一,負責記錄所有的服務、商品等等的價格,并在用戶需要時對其進行計算和組合。我們的系統每天計算的團期數量達百億次之多,每次計算都會對數據庫發生多次查詢,且會跨多個庫進行查詢,而這些壓力往往是在很短的時間內集中爆發,如我們的供應商進行大批量調價時,價格是對用戶最敏感的信息,需要我們的系統能夠在極大規模數據量和并發的情況下能夠以極快的速度給出響應,了解大規模網站的都知道,基于RESTFUL的設計計算能力可以很容易的實現水平擴展,而數據存取的高可用卻是皇冠上的明珠,想使用傳統的關系性數據庫實現上面的場景,維護和開發的成本非常高昂,有些時候甚至根本無法實現。考慮到我們的應用場景基本是以讀為主,所以非常適合去使用巨杉的NoSQL數據庫去提升性能。
另外,“資源系統”則是途牛的另一個核心業務模塊。其負責存儲和記錄所有的旅游方案相關的資源信息,包括酒店,機票,門票,火車票,汽車票,地接,當地服務等,和價格中心相同,我們的資源也呈海量存儲的特點,同樣在對于靜態資源的讀取上,通過和巨杉的合作也大幅提升了系統的響應能力。
CSDN:能否大概介紹一下“價格中心”“資源中心”中巨杉數據庫的應用情況?
李曉煒:途牛價格中心從架構上來分大致分為計算和存取兩層,前面用應用服務器大量架設實例進行集群運算,中間使用MQ的方式接受來自資源,產品等系統的價格變動,庫存變動,上下架等實時消息來觸發計算,底層采用SequoiaDB巨杉數據庫存儲諸如成本價,采購方式,報價方式,庫存等信息,在一次計算當中需要進行多次的高速查詢。
CSDN:通過使用巨杉數據庫,業務上有了多大的提升呢?
李曉煒:我們去年同期的一天的計算量大概是一個億,今年在沒有增加太多硬件資源的情況下達到了一百億團期/天的計算量,在這個過程中SequoiaDB巨杉數據庫在讀取效率方面的巨大優勢給了我們很強的支撐,使得總體的效率提高了近一倍。
CSDN:為什么選擇SequoiaDB巨杉數據庫
李曉煒:我們的團隊在對比選型的過程中,看到了CSDN上發表的《bankmark NoSQL性能對比測試》一文,其中看到SequoiaDB巨杉數據庫的性能與國際領先的NoSQL產品不分伯仲,部分性能甚至超越硅谷同類產品。驚訝于國內也出現了這樣一款優秀的基礎軟件之余,巨杉數據庫也進入了我們的考察視野。
對于途牛的實際應用場景,選擇SequoiaDB巨杉數據庫主要有4個方面。
水平擴展性:新型分布式數據庫的擴展性幫助在線旅游平臺的數據容量能夠輕松的擴展,不僅擴展非常輕松,成本也比傳統的存儲方案便宜許多。這樣就能更好更省的應對未來繼續擴大的用戶量。
靈活數據模型:靈活的數據模型,幫助存儲復雜多樣化的數據。文檔型的模型,可以存儲任何類型的數據無需重新設計數據模式,調用時也無需做更多的處理。對于處理多種復雜的數據類型十分有效。
更高的數據處理性能:相比于傳統的關系型數據庫,NoSQL的性能更為優秀,對大數據量的應用場景更適合。
國產化:國內完全自主研發的數據庫產品,不僅使用更適合國內開發者,很多的設計上也更考慮了國人的使用習慣。
后來,在與巨杉數據庫的技術團隊有了深入的溝通后,我們的研發團隊確實對巨杉數據庫有了更深的認識,也給了我們更多選擇巨杉的信心。
CSDN:對于在線旅游和大數據的結合的一些看法和建議
李曉煒:在不遠的將來,線上旅游會徹底顛覆傳統的線下旅游,隨著計算能力和存儲能力的飛速提升,我們將有能力實時的從全世界的景點信息中幫助用戶篩選出最最合理的出行方案。當你輸入目的地和預算時就會自動的根據目的地的熱度,不同等級資源的價格等因素綜合計算出最適合你的方案,甚至可以自動的幫游客規劃好路線,實現自動的錯峰出行。系統會越來越了解你,甚至可以自動推薦你最喜歡的酒店,航空公司,你最喜愛的餐館以及你最喜愛的休閑活動,你要做的就是下載一個APP就像是有了一個如影隨形的私人導游和管家。