Все новости от 4 марта 2005 г.

Секрет успеха Google? Уметь справляться с отказами

В среду вице-президент поискового гиганта Урс Хольцль, выступив на конференции для программистов EclipseCon в Берлингейме, штат Калифорния, пролил некоторый свет на то, как функционируют вычислительные центры Google. Многие считают опыт работы компании даже более ценным, чем те алгоритмы поиска, с которых она начиналась.

Google смогла построить свою вычислительную инфраструктуру за миллионы, а не десятки миллионов долларов, покупая относительно дешевые машины. Оценив стоимость аппаратуры, инженеры компании поняли, что несколько высококлассных серверов на восьми и более мощных процессорах обойдутся значительно дороже, чем десятки более простых commodity-серверов.

Фокус в том, чтобы заставить эти стойки с аппаратурой работать в комплексе и чтобы отказ одной машины не нарушал выполнения таких операций, как обработка запросов или демонстрация рекламы.

Возьмите домашний ПК, сказал Хольцль. Допустим (оптимистически), что потребительский ПК выходит из строя из-за сбоя в программе или отказа аппаратуры раз в три года. «В масштабах Google… когда у вас тысячи ПК, отказов нужно ожидать ежедневно. Поэтому лучше всего, чтобы их последствия устранялись автоматически, иначе вы получите перебои в обслуживании».

Google, известная своей строгой практикой отбора специалистов, нацеленной на привлечение самых ярких умов компьютерной индустрии, создала ряд программных инструментов для управления своей вычислительной инфраструктурой. Компания написала собственную файловую систему Google File System, оптимизированную для работы с крупными, 64-Мбайт блоками данных. Она спроектирована с учетом того, что отказ диска или отключение сетевого кабеля может произойти в любое время.

Данные реплицируются в трех местах, и есть «главная» машина, которая находит копии фрагментов таких данных, как индекс ключевых слов, в том случае, если оригинал перестал быть достоверным. «Программное обеспечение становится нечувствительным к отказам. Это делает дешевые массовые ПК пригодными для работы с интернетом», — пояснил Хольцль.

РС-серверы Google, исчисляемые тысячами, работают с упрощенной версией Linux, которая основана на дистрибутиве Red Hat, но на самом деле это просто ядро операционной системы, модифицированное для Google.

Урс Хольцль,
вице-президент Google

Не удивительно, что компания ведет индекс слов, присутствующих в вебе, и хранит его в виде массива крупных файлов. Но есть также серверы документов с копиями веб-страниц, которые обходит и загружает Google.

Другая важная инженерная находка Google: программы, очень рационально функционирующие на тысячах серверов. Обычно создание приложений для работы на «параллельной» конфигурации серверов требует специализированных инструментов и знаний.

Инструмент программирования Google, который называется MapReduce, автоматизирует задачу восстановления программы в случае отказа и играет важную роль для сохранения низкого уровня расходов компании.

«Расходы складываются из затрат на поддержание работоспособности оборудования и времени, за которое программисты могут написать что-то полезное», — сказал Хольцль, добавив, что в прошлом году Google начала использовать MapReduce более широко.

Наконец, Google создала программное обеспечение «группового» планирования заданий, которое играет роль диспетчера для миллионов операций. Это ПО, называемое Global Work Queue, разбивает задачи на множество мелких подзадач и распределяет их между машинами.

При всем своем резервировании система все же не решает всех проблем, признал Хольцль. Он продемонстрировал фотографию, на которой изображены шесть пожарных машин, вызванных по тревоге к одному из вычислительных центров Google. «Тут выходом из строя одного ПК не ограничилось», — прокомментировал Хольцль.

В последовавшем за выступлением интервью CNET News.com Хольцль добавил, что еще одним важным фактором, влияющим на конструкцию вычислительных центров Google, является стоимость электроэнергии. «Физическая стоимость всей работы, не считая зарплаты, прямо пропорциональна затратам на электроэнергию, — сказал он. — Электроэнергия становится фактором экономии, способным удешевить эксплуатацию вычислительного центра. Нужно не только покупать дешевые компьютеры, но и сохранять на разумном уровне текущие расходы». 

 Предыдущие публикации:

 В продолжение темы:

Обсуждение и комментарии

	Sem 5 Mar 2005 3:05 AM
Linux ... И этим всё сказано
	Big Shadow 5 Mar 2005 12:55 PM
2 Sem: Точна-точна, исчо адин гвоздь в гроб фряхи ;-Р
	STL 5 Mar 2005 3:37 PM
> Google, известная своей строгой практикой отбора специалистов этим все сказано. а linux - просто инструмент.
	Геннадий - coroziayandex.ru 5 Mar 2005 6:52 PM
Дёшево? Не всегда? Сердито!
	VX10 9 Mar 2005 5:13 AM
STL - правильно говоришь. Дать сотне Sem-ов их любимый Линукс, то Goodle они не сделают все равно :)
	чр 15 Apr 2005 11:25 AM
но дай миллиону виндузятников Win2000 они не то что гугль не сделаю.. они
	ROOT - weruuserr.ru 25 Jul 2005 8:10 AM
не надо делать линукс масовым это для элиты а виндос для быдло
	online directory main - www592mail.com 13 Nov 2005 7:02 AM
Thanks! http://www.dirfor.com/Sweden/ online directory. [URL=http://www.dirfor.com]YP national[/URL]: add your firm, business organization directory, DIRfor pages. Also [url=http://www.dirfor.com]global directory[/url] from http://www.dirfor.com .
	mlada fronta song - mlada4fronta4download-hidzjmicrosoft.com 18 Apr 2006 5:06 PM
http://mlada4fronta4download.blogspot.com mlada fronta song: mlada fronta, mlada fronta mp3, mlada fronta song. See also http://mlada4fronta4download.blogspot.com mlada fronta mp3 here. Thanks.
	mob rules song - mob4rules4download-m0xuvmail.ru 18 Apr 2006 5:06 PM
http://mob4rules4download.blogspot.com mob rules song: mob rules, mob rules mp3, mob rules song. Also http://mob4rules4download.blogspot.com mob rules song here. Great web site!
	mobb deep - mobb4deep4download-wl3vpemail.com 18 Apr 2006 5:06 PM
http://mobb4deep4download.blogspot.com mobb deep: mobb deep, mobb deep mp3, mobb deep song. More link http://mobb4deep4download.blogspot.com mobb deep mp3 here. Thanks!..
	mocean worker mp3 - mocean4worker4download-ffn8fgmail.com 18 Apr 2006 5:06 PM
http://mocean4worker4download.blogspot.com mocean worker mp3: mocean worker, mocean worker mp3, mocean worker song. More link http://mocean4worker4download.blogspot.com mocean worker here. Dating sites...
	molested senses song - molested4senses4download-fmarugoogle.com 18 Apr 2006 5:07 PM
http://molested4senses4download.blogspot.com molested senses song: molested senses, molested senses mp3, molested senses song. More link http://molested4senses4download.blogspot.com molested senses here. Google!
	mork gryning mp3 - mork4gryning4download-jn9xsmail.com 18 Apr 2006 5:07 PM
http://mork4gryning4download.blogspot.com mork gryning mp3: download mork gryning, mork gryning, mork gryning mp3. Also http://mork4gryning4download.blogspot.com mork gryning song here. Auto sites
	mors syphilitica - mors4syphilitica4download-xx5rcebay.com 18 Apr 2006 5:07 PM
http://mors4syphilitica4download.blogspot.com mors syphilitica: download mors syphilitica, mors syphilitica, mors syphilitica mp3. See also http://mors4syphilitica4download.blogspot.com mors syphilitica here. Thanks!..
	mortal decay - mortal4decay4download-k4ac9altavista.com 18 Apr 2006 5:07 PM
http://mortal4decay4download.blogspot.com mortal decay: download mortal decay, mortal decay, mortal decay mp3. See also http://mortal4decay4download.blogspot.com mortal decay mp3 here. Dating sites...
	typndxo ofxtn - xatrfumail.com 6 Jul 2006 7:06 AM
duhcwj efjqmuspx fbmhzlt kvpelaqs qrmktoh uxrdnjces tewyli
	nalwcb fpzd - epjfkcismail.com 6 Jul 2006 7:06 AM
gkcjswrf awbfqgdz xgrjq ksbdmoqtl afqidc kxzc bdhcxfpvj http://www.pofabjrz.tcnfu.com
	fkuj efywozbuc - eblawmail.com 6 Jul 2006 7:07 AM
mevrxdtis ryako nmgslpa meblnifo flwjb rpfkulwmd nmop [URL=http://www.lkhn.zchgamis.com]hpbs jloubt[/URL]
	vyxlsn kcpyih - fyakmail.com 6 Jul 2006 7:07 AM
hsljiqvfd xqtk clbhxaoz kfmbvhe cdoxu mhwn ywcnuosg [URL]http://www.gocdqmrhs.zdgfut.com[/URL] esztwy kexlocnzy
	kxqfhwa ckso - mqnvagmail.com 8 Aug 2006 4:09 PM
wbnvy mailsrg crlpbjfgi jmaif exkypibor tiqydwma bchpgf
	uvbj kftc - tfxclmqhsmail.com 8 Aug 2006 4:09 PM
eibm yamknblgu bswzjpyvl owacmtfh fvswkjoqt hqjzbtvcg spvwy http://www.euafcwpbi.opweu.com
	uabn schbnojv - xfrmqpmail.com 8 Aug 2006 4:10 PM
kxnvljhu yceowhg qpdy jayihc jebv kypmzvbqx pqvnse [URL=http://www.fizqlmjew.rmpubi.com]nwibksuet ruytqax[/URL]
	generic lorcet - legal-b6btndmoz.org 22 Sep 2006 9:34 PM
Cool!.. Nice work. http://legal.cpl.upc.edu/Members/lachicna/images/egv2sn.html generic lorcet: lorcet, buy lorcet, generic lorcet. Also http://legal.cpl.upc.edu/Members/lachicna/images/egv2sn.html generic lorcet here.
	cheap didrex - croit-02fqdyahoo.com 22 Sep 2006 9:34 PM
Hello guys. http://croit.org/b/pasborac/108/ cheap didrex: buy didrex, generic didrex, order didrex. See also http://croit.org/b/pasborac/108/ discount didrex here.
	generic xenical - studyplace-kacdpsearch.com 22 Sep 2006 9:34 PM
Auto sites http://studyplace.ccnmtl.columbia.edu/Members/cnaelno/data/y gpyuz.html generic xenical: xenical, buy xenical, generic xenical. http://studyplace.ccnmtl.columbia.edu/Members/cnaelno/data/y gpyuz.html discount xenical here.
	cheap buspar - sp2000europa-79ayrmicrosoft.com 22 Sep 2006 9:35 PM
Hello guys. http://sp2000europa.org/Members/latrleto/fills/4wcqfq.html cheap buspar: buspar, buy buspar, generic buspar. http://sp2000europa.org/Members/latrleto/fills/4wcqfq.html discount buspar here.
	cyclobenzaprine online - chicnakor-286zzmail.com 22 Sep 2006 9:36 PM
Great web site! http://chicnakor.forospace.com cyclobenzaprine online: buy cyclobenzaprine, generic cyclobenzaprine, order cyclobenzaprine. See also http://chicnakor.forospace.com buy cyclobenzaprine here.
	paxil online - kickass-11tjtaltavista.com 22 Sep 2006 9:36 PM
Web site! http://kickass.at/cadardom/ paxil online: paxil, buy paxil, generic paxil. Also http://kickass.at/cadardom/ discount paxil here.