Googles konteineru datu centri un kāpēc uz serveriem nedrīkst kliegt

Vakar vienā sarunā tika pieminēti pārvietojamie Google datu centri, kas atrodas konteineros. Papildus tam vēl arī LongT piesūtīja pāris saites, kur vienā no tām arī bija pats video. Šodien atradu vienu brīvu brīdi un noskatījos šo video.

Video nāk no interesanta bloga par datu centriem. Es tur vēl pāris interesantas lietiņas atradu, bet par to zemāk. Video ir uzfilmēts kādā prezentācijā, kur Google prezentēja savus pārvietojamos datu centrus.

The Google facility features a “container hanger” filled with 45 containers, with some housed on a second-story balcony. Each shipping container can hold up to 1,160 servers, and uses 250 kilowatts of power, giving the container a power density of more than 780 watts per square foot. Google’s design allows the containers to operate at a temperature of 81 degrees in the cold aisle. Those specs are seen in some advanced designs today, but were rare indeed in 2005 when the facility was built.

Te ir pats video.

Nākamais video ir no tā paša bloga, bet par citu tēmu. Tur tiek demonstrēts tas kāpēc uz serveriem nedrīkst kliegt.

Starp citu, runājot par Googles datu centriem. Tas prieks viņiem izmaksā apaļus ciparus. Googles Capex pa ceturkšņiem.

Tiem, kurus interesē cik Google pagājušajā gadā vispār nopelnīja, kā arī iztērēja var ievērtēt gada sākumā publicēto neauditēto 2008.gada finanšu atskaiti.

Savukārt pārējiem, kuri grib redzēt kādi izskatās datu centri pie mums, var apskatīties uz DEAC datu centru, ko pirms pāris gadiem kolēģis uzfilmēja.

26 komentāri par “Googles konteineru datu centri un kāpēc uz serveriem nedrīkst kliegt

  1. Verdi

    SUN laikam bija pirmais, kurš šādu uztaisīja, esmu tādu dabā redzējis. Nu tā ļoti ērti tur iekšpusē darboties nav, tomēr šauri. Bet savādāk pilnīgi pašpietiekama sistēma, kurai vajadzīgs tikai elektrības un ūdens pieslēgumi.
    Tas ir veids, kā visi lielie tagad dara, gan Google, gan MS, gan jau, ka arī citi. Tas pamatā saistīts ar milzīgo serveru skaitu, kurš viņiem katru mēnesi jāliek no jauna klāt un vecie jāņem nost. MS stāstīja, ka viņi vienkārši fiziski nespēj vairs to paši izdarīt, tb vienkārši nepietiek laika, lai serverus saņemtu kastēs, izpakotu, skrūvētu skapjos, vilktu vadus klāt u.t.t. Tā vietā viņi tagad pērkot gatavus rackus pilnus ar serveriem un visu instalāciju. Vesels konteiners ir nākamais solis šadā pieejā.
    Vēl viena lieta, kas ļauj to darīt ir dzelžaina standartizācija – visi serveri vienādi. Mums līdz tam vēl gabaliņš ejams, vienkārši nav tādu apjomu, lai piepildītu šādu konteineru ar pietiekami unificētu HW. Pat lielākās Latvijas sistēmas nevelk vairāk kā uz dažiem skapjiem.
    Nu un arī elektrības pieejamība – ja saliek pa smuko, tad vienā skapī tagad var iebāzt kādus 25-30 kW, 40 skapji un MW rokā, bet MW vajag MW UPS un 2 MW dīzeli :). Kurš to var atļauties…. un, ja ir atļāvies, tad kā atpelnīs?

    Atbildēt
  2. PSC

    nu it ka ērti, faktiski minimāli ieguldījumi pašā infrastrukūrā (izņemot elektrības pievadu), bet
    ja tajā kontainerā kaut kas notiek, tad saviem spēkiem netikt galā! dzelzi pamainīt nevari, tas pats ar dzesēšanu utt. nav iespējams arī pa mazam migrēt uz janu dzelzi. protams tādiem gigantiem tas mazumiņs arī ir pāris šādu kontaineru, un var atļauties tādu izklaidi. taka imho risinājums ne visiem der:D
    latvijā HPC (imho faktiskias google mērķis izmantojo cloud) nav attīstīts, un salīdzināt šādas te superblīvas sitēmas ar lielajiem hosteriem (piem DEAC) nav korekti, vēl nekorektāk ir skaitīt skapjus. tur ir citi meŗki un principi. Tapēc reāli skapju skaits HPC sistēmām bus vēl mazāks. Lai arī kā, neaizmirsīsim ka viena statnē pašlaik elementāri var iebāzt vairāk kā 1200 cores! 40 skapji – skaitiet paši:)

    Atbildēt
  3. Verdi

    Šis jau nekādā gadījumā nav domāts, lai kāds tur pats (klients) ietu iekšā kaut ko mainīt, tb, tas noteikti nav veids kā sniegt co-lo pakalpojumus.
    Esošos serverus, neatkarīgi no to izmantošanas veida, var pavisam labi sablīvēt – ja iespiežam vienā skapī augstāk minētās 1200 cores, uzliekam pa virsu virtualizāciju un aiziet – pāris skapji un Latvijā nebūs daudz kantoru, kam varētu vajadzēt vairāk par 1 skapi 🙂
    Būtu lēnām jāaizmirst tā vēlēšanās “saviem spēkiem tikt galā”, vismaz attiecībā uz fizisko serveri – priekš kam mocīties ar pirkšanu, hw supportu un citām jaukām lietām. Domāju, ka drīzumā co-lo cena par 1U stimulēs vairāk domāt par virtuālo resursu nomu, nevis mēģināt savu saskrūvēto tower serveri iedabūt Datu centrā

    Atbildēt
  4. Andron Mc

    Jautājums sekojošs. Kam vajag tos serverus ejošus ja visā valstī nav elektrība?
    Padomājam. Tātad vai vajag vel tos MW upšus?

    Atbildēt
  5. fest

    Andron, šādas sistēmas diez vai ir orientētas tikai uz vienu valsti. Ja arī ir uz vienu valsti, tad tā ir ASV/Krievija/Ķīna/Vācija, kur VISĀ valstī vienlaicīgi elektrība var pazust tikai ļooooti ekstremālos apstākļos.

    Atbildēt
  6. ZBH

    Verdi : zinot, ka tam servam barokls neir redundantais ar barosanos reizee no diviem UPS, neir nekaad stimul domaat par virtuaalo resurs nom taadaa izpildiijumaa, ja IT daljai finanseejums atbilst prasiibaam. aceroties DEAC liksts pirms paar gadiem ar barosan it iipas neir stimul 🙂
    plus, cloud idej iraid bik izgaazusies peec downiem visiem – gan M$ uz stundaam 22 (? peec atmins), gan arri citiem. neir uptime soliitajaa liimenii, neir. shitie baton iraid CTO, kas ar savaam rocinaam vairs neko pacelt nemaak.

    Atbildēt
  7. Verdi

    ZBH: Vai tad tiem skrūvētajiem toweriem ir 2 barošanas bloki, kuri pieslēgti dažādiem UPS? Tas, ka gan vienam, gan otram ir jābūt sakarīgi nodrošinātam pret elektrības pārtraukumiem jau nav apspriežams. Punkts ir tur, ka nav vērts turēt atsevišķu kasti, kura aizņem bezjēdzīgi daudz vietas, ēd elektrību un ir noslogota par 5% (kas ir visai tipiski pie esošajām procesoru jaudām).
    Tas, ka Tu raksti, ka “IT daļai finansējums atbilst prasībām” var ātri mainīties, jo prasības tērēt naudu atsevišķai kastei, kura nav saprātīgi noslogota, nav sevišķi pamatotas.
    Protams, ka elektrības nodrošinājumam virtuālajai platformai jābūt sakarīgai, par to jau jautājumu nav. Tas ir tieši tāpat kā atsevišķam fiziskajam serverim.
    Es nekādā ziņā vai veidā nemēģinu kādu mudināt skriet pie tiem, kuri reklamējas, ka uz Dell kastēm pa lēto var virtuālo serveri dabūt, bet vairāk par principu, ka izmaksas piespiedīs virtualizēties.
    Ja rēķina tikai HW izmaksas, tad 2 kārtīgi serveri+disku masīvs+virtualizācijas licences jau nemaz daudz lētāk par atsevišķām kastēm nesanāk, bet ir tomēr efektīvāk gan no drošības, gan jaunu serveru ieviešanas, gan DC izmaksu viedokļa. Bet tas ar laiku un pie pietiekamiem apjomiem.

    Atbildēt
  8. ZBH

    Verdi : a kaad man dalj gar skruuveetajiem toveriem? Compucase LX6A21 diez vai buus redundantais barokls pakalaa, piekriit (model ar diviem inletiem tur var iebaazt tikai ar zaagj, urbj un viils paliidziib), bet tie jau tur arri hosteejs 🙂
    vispaar ekonomiskais 4kodolnieks ar 8GB RAM, dubultbarokl un SATA RAID5 rij kaukur 180W RMS. maz, iisaak sakot. un maksaa ap 1.5kLs. ja lot gribaas pa ultraleeto, tad var tureet sav sniegpursls bruunum arri uz Asus EeeBox B202 gal galaa. momentaalaa cen sanaaks leetaak kaa paars meeness virtuaalo server iireet. vai vispaar uz pirmaas paaudzs Pentium, za glaza pietiek pastam un nepaarmudriitam webam.
    btw, nafig tiek uzstiits, ka disku masiivs neir single-point-of-failure? vot shito man nesaprast. taapee, ka vinam div port (po, Ethernet vai FC)?
    koroche – paslaik vismaz DEAC virtuaalo server cennik un pieej galiig nemotivee netureet sav personiigo kaarb pie sevs. cik tur viniem admin saneem? 600=daudz? nu, pie taadiem pontiem tas iraid aizdomiig maz.

    Atbildēt
  9. Verdi

    ZBH: Nu pa lielam jau es Tev piekrītu – izvēlēties hostētāju, kurš tur virtuālos serverus uz neatbilstošas hw un, kuram nav atbilstošas kvalifikācijas personāla, protams, ka nevajag.
    Par diskmasīvu kā single-point-of-failure – protams, ka tas tā ir. Var jau rezervēt arī to, bet tad pavisam dārgi galā sanāks un pieredze rāda, ka diskmasīvi tomēr krīt mazāk, nekā serveri. Un jāatceras, ko ar ko salīdzinam – ja sākotnēji ir grēda ar atsevišķām kastēm, kuras nu nekādi nav rezervētas, tad pēc tādas virtualizācijas ir vismaz serveru līmenī rezervēts. Un elektrības patēriņš būs mazāks.
    Ja organizācija ir pietiekami liela(tb, ja ir pietiekams IT apjoms, lai noslogotu savu IT staffu) un paši māk labi tikt galā, tad nav neviena iemesla outsourcēties. Outsourcing jau vienmēr uzliek papildus overhead uz līgumu administrēšanu u.tml. Cita lieta, ka nav jau nemaz tik daudz tādu organizāciju, kurām tas apjoms ir tāds, lai atmaksātos savus cilvēkus turēt – 1) vajag vismaz 2 gab. uz katru pozīciju, lai var aizvietoties, 2) vajag tomēr arī kaut kādu specializāciju, lai neiznāk, ka ir viens universālais kareivis, kurš gan kodē webu, gan konfigurē routerus, jo agrāk vai vēlāk šis cilvēks vai nu aizies uz citurieni, vai sāks diktēt savus noteikumus un uzņēmums būs šaurajā bezizejā.
    A arī negarantētam virtuālajam serverim (kaut tādam, kā DEAC, LTT, Latnet u.c. piedāvā) ir sava vieta – ja nu ievaigās kaut ko pabakstīt, tad kāpēc nepaņemt uz pāris mēnešiem par dažiem desmitiem Ls/mēnesī kārbu, kuru Tu dabū tajā pat dienā un liec tur jaunākās un eksotiskākās relīzes un testē un ņemies bez kādām bēdām un raizēm, ka jāmeklē pagrabā kāds lūznis kuru piespiest strādāt, lai varētu kaut ko patestēt

    Atbildēt
  10. ZBH

    Verdi : es neizteelojos virtuaalaa server panemsan testu videi – ja kantors iraid tik briivs liidzeklos, tad, visdriizaak, tur iraid vai nu servers, vai nu kaad taarpstacij, uz kur var pats sav VMware uzmest (vai vienkaars piemest klaat veel vien VM pie jau irosajaam, kaa es to dar), vai arri vien dien miskasts sastelleesanai vienalg var atveeleet, rentabl galaa.
    ja neir briivs liidzeklos, tad naaksies kaut ar iebrauksan swapaa. ar sho princip un VMware jau kops 2000. gad rudens iznesos, kaukaa normaal liidz sim.
    vienkaarsaak izsakoties – es nesaskaros ar kantoriem, kas iekrist attieciigajaa peso un attiistiibs nishaa starp diviem graavjiem. pielauju, ka iraid, bet nezin iross taads.
    taga deel Vistas taad tjap, ka pie pieskaitaams OS var eksperimenteeties ar VM un Oracle bez RAM upgrade.
    “tajā pat dienā” pamazam kantorim atnaakosais graamatveds var nebuut uz viets, reekin nebuus, kas apmaksaa. lielam – sk. saakum.
    btw, kad es rakstiij “IT daljai finanseejums atbilst prasiibaam”, ar prasiibaam es biij domaajs nevs IT daljs prasiibs, a finanseetaaj prasiibs 🙂 nu tur, uptime, fiics 🙂 a to parast grib, lai pa kapeik uti liidz Maskavai aizdzen, un iz govna i palok kosmisko stacij uztais. nee nu, iraid (biij) gadiijum, kad nenormaalaakos overkill nodrosinaaj, bet man arri taad variant nepatiik.
    btw, pasuutot virtualizaacij, vienalg vaidzees “savs” IT cilveeks – pastaaviigos vai atnaakosos – nesvariig. ibo outsourcee dzelzi, a ne pakalpojum. peedeejais – atsevisk poziicij arri DEAC, IMO.

    Atbildēt
  11. jurcis

    Man liekas ka atklāju ļoti interesantu lietu, inbox.lv atšuj visus google gmail e-pastus ja tiek lietoti custom domēni, tobiš, nevis [email protected] bet gan [email protected]

    Reko google saka:
    Technical details of permanent failure:
    Google tried to deliver your message, but it was rejected by the recipient domain. We recommend contacting the other email provider for further information about the cause of this error. The error that the other server returned was: 554 554 5.7.1: Recipient address rejected: Inactive user (state 14).

    inbox accounts reals un strādājošs, bet googli atšuj ar kautkādu funny error messagi.

    Atvainojos ka ne pa tēmu, bet gribējās kādam pastāstīt.
    Starpcitu līdzīgas šaizes bija novērotas ar apollo kādu laiku atpakaļ.

    Tāpēc lietojiet inboxu !!! :))

    jur4iks

    Atbildēt
  12. Grrr

    Ja kāds grib redzēt, kādi izskatās DC pie mums, viņš varbūt var sarunāt kaut ko ar LTK. Tur būs drusku spēcīgāk kā DEACā. Dzirdēju arī, ka Latnets esot sasparojies pirms kāda laika uztaisīt savas serveru telpas vietā kko līdzīgāku DC, bet to neesmu pats redzējis.

    Atbildēt
  13. ZBH

    Grrr : nu, LTC ar vis exVerdi jeb nu jau LTC Technology ar iraid leetie darbdeveej ar drosvien attieciig darbspeek. b!, pirms 10 gadiem, lai vareet iekluut LTC IS, biij jaaaizpild nevaajo anket ar taad uuberkrut jautaajum no seerijs “kādus svarīgus cilvēkus jūs pazīstat” (zheel, ka nebiij div to zhurnaalveidiigo anket, neir ko ieskeneet un neir preciizs citaats) un veel bik jaapancess, a taga shie medii tresaa kurs students. degradaacij ac prieksaa. es atvainojos, ko IT peec strunt bakalaur var daudz jeegt, taa videej nemot? nekaads avangards tur nesanaaks.

    Atbildēt
  14. oi

    Lasu smaidu. Nu ko var muldet par kautkadam 600 ls algam… Ko var muldet par virtualajiem serverim un lietam par kuram nejedz…

    Atbildēt
  15. Džems

    Ja mēs ņemam komercsegmenta klientus kuriem vajag nopietnus risinājumus ar Datu Centriem ir pašvaki. LTC nevienā Datu Centrā nav elektrība no divām neatkarīgām sistēmām ar atsevišķu ievadu, UPS, ģenerātoru. DEAC tādas lietas piedāvā. Tas viss maksā naudu, diemžēl no 100 klientiem tikai 3 par to ir gatavi maksāt. Latnetam ir tikaiservertelpeles, par DC varam nerunāt. Tie kas piedāvā kautko likt tornī ir vispār izsmiekls, tur ne ģenerātora, ne UPS nav, pašam viss skapī jaliek.

    Atbildēt
  16. Verdi

    hmmm, ja jau te Verdi vārdu piesauc, tad jāieraksta vēl….
    LTC Technology ir liels un dažāds – ja arī kaut kur tiek medīti 3 kursa studenti, tad tas nav pie Datu centriem. Tur ir viss vairāk vai mazāk kārtībā ar kadriem. Un vispār jau vairāk nekā mazāk 🙂
    to ZBH: Par tādu anketu gan neko nezinu – bija (un ir) jāraksta, kas un kāpēc grib kaut kur vazāties, bet tāds feins jautājums gan nebija, bet varētu pievienot. 🙂
    to Džems: a vot par UPS un ģeneratoriem gan nevajag, labi!!! LTC ar šo viss ir kārtībā – ir gan attiecīgi UPS, gan ģeneratori, gan viss pārējais. Galu galā – telekoms jau desmitiem gadu nodarbojas ar drošas elektrības piegādi savām iekārtām un darīja to ilgi pirms vispār Datu centri te parādījās. Par Latnetu un torni piekrītu….

    Atbildēt

Ieraksti komentāru

Tava e-pasta adrese netiks publicēta.