什么樣的硬件配置在驅(qū)動 Etsy
來源:解決方案 2012-09-13
前言:Etsy.com是家手工藝品拍賣網(wǎng)站,據(jù)其 CEO 查德·迪克森(Chad Dickerson)日前透露,該公司今年截至目前處理的交易總額已經(jīng)突破了5億美元。他們目前擁有超過300名員工,80萬活躍商戶以及超過4000萬月訪問用戶。那這樣一個大網(wǎng)站,其硬件配置如何? Etsy官方技術(shù)博客有文章介紹,@忘美流星編譯如下。
通常來說,討論運(yùn)行一個大網(wǎng)站所需的硬件配置是在私下的圈子中進(jìn)行,并且通常是在說某個牌子做得怎么怎么稀爛,或者某個牌子的硬件支持怎么怎么糟糕。
隨著“云時(shí)代”的到來,這一情況有了些許變化。人們突然之間開始談?wù)撃硞�牌子有多大或多少的實(shí)例,同時(shí)我也相信這是對于了解數(shù)據(jù)中心里物理服務(wù)器的一個很好的實(shí)踐。畢竟這不是競爭,而是在幫助人們擺脫和我們一樣的困境,也是在傳播關(guān)于某些方面某些人還不知道的解決方案,很像我在這個博客上發(fā)表的內(nèi)容。
37signals 的朋友在參加了 Velocity大會(一個可以討論硬件八卦內(nèi)容的地方)后,他們也有這個趨勢,最近發(fā)布了他們的硬件配置。
因此,出于對這個趨勢的興趣,以下就是為我們7月中6950萬美元銷售額供以動力的硬件部分。
數(shù)據(jù)庫部分 | Database Class
正如你或許已經(jīng)了解的那樣,我們有相當(dāng)多的MySQL機(jī)器用來存儲數(shù)據(jù),性能和(相當(dāng)一部分的)可靠性也依賴這些機(jī)器。
為了實(shí)現(xiàn)對高存儲、高處理力、和好的冗余度的四周高性能盒(all round performant box)有要求的作業(yè),我們使用HP DL380服務(wù)器。這些服務(wù)器擁有2U儲存架區(qū)的計(jì)時(shí)器、2個8核的Intel E5630 CPU(2.53 Ghz)、96G的RAM(對全部重要的MySQL高速緩存)和16個15000轉(zhuǎn)速146GB的硬盤。這樣的配置提供了平衡性良好的磁盤空間去存儲用戶數(shù)據(jù),同時(shí)也方便主軸/RAM快速地獲取這些數(shù)據(jù)。服務(wù)器擁有四個1GB的以太網(wǎng)端口,但是我們只使用了其中之一。
為什么不用固態(tài)硬盤(SSDs)?
我們剛開始第一輪測試使用固態(tài)硬盤的數(shù)據(jù)庫。傳統(tǒng)上來說,我們已有其他的問題先需要解決,比如達(dá)到用戶數(shù)據(jù)量(例如某臺機(jī)器上的磁盤空間使用量)和 CPU與內(nèi)存之間的平衡性。然而,正如我們其他的配置信息中所展現(xiàn)的那樣,我們有大量的固態(tài)硬盤遍及和貫穿基礎(chǔ)架構(gòu),所以我們也將同樣為數(shù)據(jù)庫進(jìn)行良好的測試。
我們的多種硬件如圖所示,左邊和中間為HP,右邊為網(wǎng)絡(luò)/Utility 箱
Web/Gearman Worker/Memcache/Utility/Job
這是相當(dāng)廣的一個范圍,但是通常我們嘗試并贊同盡可能少的機(jī)器類別。所以我們在處理會執(zhí)行大量通信或冗余的任務(wù)時(shí),大部分網(wǎng)絡(luò)通信(Apache/PHP)的任務(wù)會在只有一種機(jī)器的應(yīng)用層被處理。通過這種方式,硬件的可重用性得到了提升,并且可以實(shí)現(xiàn)機(jī)器部分的快速便捷轉(zhuǎn)換。話雖如此,仍然有發(fā)生一些組件種類配置的細(xì)微差別,例如內(nèi)存和磁盤的數(shù)量。
這種在機(jī)箱前部允許共享兩個電源和12個3.5英寸磁盤的支持4 節(jié)點(diǎn)的2U超微機(jī)箱(Supermicro chassis),我們相當(dāng)喜歡。
4個簡易可用節(jié)點(diǎn)的超微機(jī)箱(Supermicro chassis)
這個的常規(guī)配置為兩個8核Intel E5620的CPU(2.40GHz),12GB至96GB 的RAM, 和600GB的7200轉(zhuǎn)速硬盤或Intel的160GB固態(tài)硬盤。
注意到這些配置缺乏RAID(獨(dú)立磁盤冗余陣列),我們很大程度上依賴Cobbler和Chef,這表示從零開始重建一個系統(tǒng)只需要10分鐘。在我們看來,當(dāng)數(shù)據(jù)中心的員工可以在20分鐘內(nèi)更換驅(qū)動、重建一個系統(tǒng)并回到生產(chǎn)的情況下,為什么要用兩個驅(qū)動呢?顯然這只在適當(dāng)?shù)那闆r下生效,既機(jī)器集群中每臺獨(dú)立的機(jī)器上的數(shù)據(jù)并不重要。例如,當(dāng)日志不斷發(fā)送至集中日志主機(jī),并且網(wǎng)絡(luò)代碼易于部署回本機(jī)時(shí),網(wǎng)絡(luò)服務(wù)器就可以被認(rèn)為是沒有重要的數(shù)據(jù)了。
我們用Nagios核對(同樣SMART核對也可以)來幫助我們了解文件系統(tǒng)變得不可寫入時(shí)的情況,于是可以得知機(jī)器是否需要新的磁盤了。
每臺機(jī)器擁有兩個1GB的以太網(wǎng)端口,在這種情況下,我們只是用了其中一個。
分布式計(jì)算(Hadoop)
在之前的12個月內(nèi),我們致力于構(gòu)架我們的分布式計(jì)算集群,并一些最終與上述機(jī)箱設(shè)計(jì)相似的硬件配置進(jìn)行了評估。但是,我們使用不是之前描述的12個3.5英寸的設(shè)計(jì),而是采用前端擁有24個2.5英寸軟盤插槽的機(jī)箱。
分布式節(jié)點(diǎn),和大量的磁盤燈
每個節(jié)點(diǎn)(每個2U機(jī)箱中有4個節(jié)點(diǎn))擁有兩個12核Intel E5646的CPU(2.40GHz),96GB的RAM,和6個1TB的2.5英寸7200轉(zhuǎn)速的磁盤。也就是每個存儲架區(qū)有96核,384GB的RAM和24TB的磁盤空間。
我們的分布式計(jì)算作業(yè)在CPU方面任務(wù)繁重,而因?yàn)槊總�節(jié)點(diǎn)的磁盤空間量不大的關(guān)系,在存儲和磁盤吞吐量方面問題不大。如果擁有更多的輸入/輸出和存儲需求,我們會考慮替換成每個節(jié)點(diǎn)12個3.5英寸磁盤的2U超微服務(wù)器。
正如以上機(jī)箱,盡管每個節(jié)點(diǎn)有兩個1GB的以太網(wǎng)端口,我們?nèi)匀幻糠昼娭皇褂闷渲幸粋�。
如圖所示為一系列機(jī)器之間分布式作業(yè)是否運(yùn)行時(shí)電力供給的不同
搜索/Solr
僅僅一個月前,這還未被歸類于上述的通用盒中,但是我們在搜索堆中發(fā)現(xiàn)了很多新的令人興奮的內(nèi)容。使用與我們通用例子相同的機(jī)箱,但這次使用的是超贊的Intel CPU新的Sandy Bridge線路。我們在每個節(jié)點(diǎn)中使用了兩個16核Intel E5-2690的CPU(2.90GHz),使機(jī)器可以處理之前通用例子中節(jié)點(diǎn)的四倍工作量,同時(shí)保持同樣的密度配置和并沒有多太多的電源功率。這可是每個機(jī)箱128核2.9GHz的CPU啊!(算是包括了超線程在內(nèi))
這個結(jié)果很好,因?yàn)樗阉鞔_實(shí)屬于CPU范疇——而我們這些年一般用固態(tài)硬盤去規(guī)避這些機(jī)器的輸入/輸出問題。每個節(jié)點(diǎn)擁有96GB的RAM和一個單程的800GB的索引固態(tài)硬盤。這個遵循了不打擾RAID的同樣的模式——固態(tài)硬盤本身已經(jīng)足夠快,而我們通過BitTorrent索引分布讓獲取機(jī)器索引變得特別快。
更少的機(jī)器,意味著更少的管理,更少的耗電,更少的空間。
32核Sandy Bridge架構(gòu)中“Top”命令的輸出
備份
超微也在這場角逐中獲勝。我們使用了名為6047R-E1R36N的catchily。型號中的36是一個重要的部分——這表示一個擁有36個3.5英寸磁盤的4U機(jī)箱。我們?yōu)檫@些機(jī)箱裝載2TB的7200轉(zhuǎn)速的驅(qū)動,外加一個LSI RAID控制器——擁有1GB電池供電的回寫緩存,提供了猛烈的1.2GB每秒的順序?qū)懭胪掏铝亢涂偣?兩倍于RAID6的)60TB可用磁盤空間。
36磁盤的超微機(jī)箱。注意:機(jī)箱的正面及反面都插滿了磁盤!
為什么是兩倍于RAID6的空間呢?這表示多一點(diǎn)浪費(fèi)(4個同等驅(qū)動取代了2個),但是結(jié)果是你會對失去的驅(qū)動數(shù)量多一點(diǎn)彈性,而且如果你只丟失了一個驅(qū)動,重建的時(shí)間會減少一半。顯然,RAID的監(jiān)控室很重要的,我們需要檢查SMART(單個磁盤機(jī)器)或者使用Nagios檢查我們所有其他機(jī)器的不同的RAID使用。
在這個情況下,我們利用兩個1GB的以太網(wǎng)連接,與帶給我們?nèi)哂嗪退璧念~外帶寬的交換機(jī)粘合在一起。在將來我們甚至可以在這些機(jī)器上運(yùn)用光纖去充分發(fā)揮磁盤的潛力——但是目前我們未能為我們的備份實(shí)現(xiàn)超過1GB每秒的速率。
特殊部分
當(dāng)然規(guī)則總是會有例外。我們的唯一硬件配置例外就是HP DL360服務(wù)器(1U, 4個2.5英寸15000轉(zhuǎn)速146GB SAS的磁盤),這個角色并不需要太強(qiáng)的馬力,但是我們認(rèn)為對于擁有RAID已足夠重要。比如DNS(域名系統(tǒng))服務(wù)器,LDAP(輕量級目錄訪問協(xié)議)服務(wù)器,和我們的分布式計(jì)算名節(jié)點(diǎn)都是對磁盤空間要求不多、但是需要RAID以支持(相對于一般單個磁盤配置來說是屬于)額外的數(shù)據(jù)安全的機(jī)器。
網(wǎng)絡(luò)
在這篇文章里,我并沒有深入探討網(wǎng)絡(luò)方面的內(nèi)容。敬請關(guān)注這個博客,在以后的日子里,會考慮到這個部分,并由我們的網(wǎng)絡(luò)大師帶領(lǐng)大家進(jìn)入packet shuffling 基礎(chǔ)架構(gòu)。
后續(xù)趨勢
如果你在任何方面像我們,我們希望這里是你的硬件熱情的好歸宿。你有什么很酷的東西嗎?
這篇文章發(fā)布者為Laurie Denness (@lozzd),如果你能來幫助我們更好地使用這些硬件,他會很開心。為什么不加入我們呢?
( 譯注:不是這方面專家,在部分專業(yè)名詞上的翻譯可能會有偏差。如果覺得某個詞語看得別扭,可以對照原文查看)
原文:Etsy 編譯:伯樂在線 @忘美流星
文章編輯: 365webcall網(wǎng)站在線客服系統(tǒng)(www.365webcall.com)
我的評論
| 登錄賬號： | 密碼： | 快速注冊 | 找回密碼 |  |
