На главную страницу AlgoNet В сотрудничестве с ZDNet
АРХИВ СТАТЕЙ 2004-2-18 на главную / новости от 2004-2-18
AlgoNet.ru
поиск

 

Место для Вашей рекламы!

 

Все новости от 18 февраля 2004 г.

IBM установила рекорд в тестах на быстродействие

Во вторник, в день открытия конференции по процессорам Intel, компания IBM объявила, что ее Unix-сервер на процессорах Power превзошел систему Intel Itanium в популярном тесте производительности серверов.

32-процессорный сервер IBM p690 стоимостью 5,6 млн долл. продемонстрировал производительность в 1025 млн транзакций в минуту в испытаниях TPC-C организации Transaction Processing Performance Council. Предыдущий рекорд для некластерных систем в 1008 млн транзакций в минуту был установлен сервером Hewlett-Packard Superdome с 64 процессорами Itanium 2.

IBM опубликовала результаты испытаний на быстродействие и рекламировала процессор Power в день открытия конференции Intel Developer Forum в Сан-Франциско. В 2003 году IBM анонсировала лучший результат, достигнутый ее Power-сервером в тесте TPC-C, в один день с анонсом своих первых Itanium-серверов.

Тест TPC-C имитирует работу автоматизированного склада, когда от многочисленных внешних компьютеров поступают заявки и другие транзакции. IBM превзошла показатели НР и по соотношению цена/производительность, хотя скидки на высокопроизводительное оборудование на высококонкурентном рынке серверов делают прайс-листы менее актуальными.

В системе IBM использовалась ее собственная версия Unix — AIX. Самая высокопроизводительная система НР работает с версией Unix HP-UX. Процессоры Itanium могут работать в системах Windows, HP-UX и Linux, а процессоры Power — в системах AIX, Linux и IBM OS/400. Кроме того, в системе IBM использовалась СУБД DB2, а в системе НР — СУБД Oracle. 

 Предыдущие публикации:
2003-07-02   IBM предпочитает собственные чипы, но не пренебрегает и «Итаниумом»
2003-07-31   Unix от HP побила Windows в тесте для серверов
 В продолжение темы:
2004-02-19   Intel рассказала о планах в отношении Itanium
2004-03-22   IBM накачает Power на будущем мероприятии
2004-11-19   IBM установила рекорд производительности серверов
2005-01-19   Проект BigTux демонстрирует масштабируемость Linux до 64 процессоров
2005-02-25   На подходе гигантский Itanium-сервер Fujitsu
Обсуждение и комментарии
Anti-Ms
18 Feb 2004 6:22 PM
IBM на 32 cpu, а проигравший HP на 64!

И после этого еще кто-то может сравнивать итаниум с POWER!
 

Mikhail Elashkin - imhoelashkin.com
18 Feb 2004 7:22 PM
А причем здесь сравнивать? TPC-С вещь очень хорошая, но ее бы подпереть SAP benchmark, чего пока ни те, ни другие не сделали.
В данном случае, серьезную роль сыграли огромные кэши П4+. Они же создадут проблемы в приложениях в реальной жизни (ИМХО).
Сегодня в Москве, Сан показывал Спарк4, двухголовый - а я простыл и не пошел :( Скоро НР свой двухголовый покажет... весело будет :)
Оно уже давно не волнует сколько процессоров. Спаришивают сколько стоит на транзакцию. По ТРС-С вроде ИБМ дешевле, но я еще не пришел к выводу как оценивать дисковые массивы с дисками SATA - как достижение технологии или как мелкое жульничество с ценами...
 

ggv
18 Feb 2004 8:14 PM
price per transaction looks nice, but I'll wait for Mikhail Elashkin analytical report.
BTW, Mikhail , where are news for subscriber?
 

Anti-Ms
18 Feb 2004 9:24 PM
>Они же создадут проблемы в приложениях в реальной жизни (ИМХО).

Каким образом?

И какая разница что там сыграло роль. Главное результат. А рузультат явно не впользу итаниума как платформы и как процессора. А тот тут некоторые господа слюной изошлись со своим итаниумом, кидались результатами тестов и т.п. А в реальной жизни получается, что на один повер нужно два хваленых итаниума.

IBM опять на шаг впереди всех со сдвоеными процами, как это раньше было с SOI, с медью и т.д.
 

-
18 Feb 2004 9:30 PM
Не понял. PTO же слюной плевался, доказывая, что Микрософт быстрее всех?
 

Mikhail Elashkin - imhoelashkin.com
19 Feb 2004 12:36 AM
2 ggv
Тут сайт переводил на новый дизайн и заодно перешел на следующую версию CMS. Протестили все кроме рассылки. Она и глюкнула. Сейчас исправили, но я тебе пришлю в виде файлов рассылку т.к. я пока не понял, как повторить расылку только тем, кто не получил.
 

Mikhail Elashkin - imhoelashkin.com
19 Feb 2004 12:55 AM
Как влияют кэши? Очень просто. В принципе, тест ТРС-С очень сильно зависит от производительности обмена кэш - процессор, также как TPC-H от "молотилки" процессора.
Как может помешать большой кэш? Архитектура современных SMP систем (они уже не SMP, но название осталось) ccNUMA т.е. Cache Coherent Non Uniform Memory Access. Фишка в том, что прямой доступ к блоку памяти только у 4 процессоров. Каждый такой блок имеет свою память, а для доступа к памяти чужого блока он должен работать через комутатор.
Фишка в том, что из-за многопоточности в следующий раз задача может получить доступ к процессору, но не к тому, который был в прошлый раз. А в кэше предыдущего процессора может остаться кусок ее данных. Тут либо нужно ждать когда освободится старый процессор, либо перекидывать данные на из кэша в кэш, что дает задержки. Собственно это и называется "когерентность кэшей".
Таким образом большой кэш может создать проблемы с когерентностью. По тестам ТРС-С эту проблему увидеть сложно т.к. эта задача очень хорошо паралелится. А вот тесты SAP benchmark (2 tier) показывают эти проблемы очень хорошо.
Сейчас там рекордсмен Fujitsu PRIMEPOWER 2500, 128-way SMP, SPARC64 V, 1.30 GHz и меня несколько беспокоит, что остальные не спешат с тестами. Тут либо плохие результаты, либо народ забил на эти тесты :(
Вообще, сегодня была конференция Sun с их двухголовыми SPARC IV, но я простыл и не пошел :( Жду когда пришлют материалы. Плюс HP новые PA-Risc сделал и двухголовые итаниумные блоки предложил. А у IBM Power5 на подходе. Так что собираю материалы и думаю скоро выпустить сравнение новых систем.
 

Mikhail Elashkin - imhoelashkin.com
19 Feb 2004 12:56 AM
Кстати о МС. Oracle в HQ довольно серьезно относится к выходу Yukon. Посмотрим на этого зверька :) может приятно удивить :(
 

Andrei
19 Feb 2004 3:53 AM
2 Mikhail Elashkin:

IMO эта проблема присуща всем SMP системам. Кстати, threads в NT могут иметь аффинити, так что эта проблема решаема. Также, поскольку грамотно написанный серверный софт (например от MS) использует thread pools, то это перестает быть проблемой. Большая проблема это как например вынесенный за пределы процессора memory controller как у Itanium. К примеру, в AMD 64 он интегрирован. Itanium ждет печальная участь если Intel не найдет кучу сериезных кастомеров за быстрое время окупить его.
 

Бармаглот
19 Feb 2004 8:23 AM
2Anti-MS: Be realistic, man... На дату доступности обрати внимание - август! ИБМ просто занимается мелкими пакостями - как и в прошлом году - анонсирует результат к мероприятию конкурента. К августу выйдет Madison 9M, mx2 от Хьюлетта, ЧПУКС 11i v3... Наблюдать прикольно...

2Andrei: Объемы поставок Итаниума уже превышают объемы Альфы и ПА-РИСК...
 

Yu
19 Feb 2004 9:03 AM
2Бармаглот
Ну уж прямо IBM - и мелкими пакостями. Даже не пристало так говорить о великих )
А то что дата доступности впереди, так это обычная практика
Посмотрите на предыдущиЙ результат - Хьюлетта
 

Yu
19 Feb 2004 9:07 AM
2Mikhail Elashkin
насчет SATA, трудно сказать жульничество ли это, но коль скоро удалось оптимизировать и производительность и цену то наверное это приемлемо
 

СтранниК
19 Feb 2004 10:53 AM
Вот тут недавно свеженкий SAP SD2 результат по Sun-ам, как раз со сдвоенными процессорами.
02/10/2004 Sun
USERS=5050 SAPS=25870
Solaris 9 Oracle 9i 4.70

Sun Fire E20K, 36-way SMP, UltraSPARC IV 1.2 GHz, powered by Chip Multi-Threading (CMT) technology, 192 KB L1 cache, 16 MB L2 cache

Ближайший лучший к нему результат у систем на Itanium
02/13/2004 NEC
USERS=4400 SAPS=22280
Windows Server 2003 Datacenter Edition SQL Server 2000 4.70 NEC Express5800 Model 1320Xd, 32-way SMP, Intel Itanium 2 1.5 GHz, 32 KB L1 cache, 256 KB L2 cache, 6 MB L3 cache

Получаем разницу по производительности порядка (1-22280/25870)= 13,8%
Если так же пересчитать на кол-во процессоров
(1-32/36) = 11,1%

Все же если сравнить эти два теста У Sun тут очень приличный результат. То есть для высокоуровневых систем у Sun еще есть порох. Для низкоуровневых систем я ничего особенного я не увидел.

Вот 02/10/2004 Sun
USERS=320
SAPS=1620
Solaris 9 Oracle 9i 4.70 Sun Fire E4900, 2-way SMP, UltraSPARC IV 1.2 GHz, powered by Chip Multi-Threading (CMT) technology, 192 KB L1 cache, 16 MB L2 cache 32768

А вот результаты HP на XEON-ах

04/10/2003 HP
USERS=315
SAPS=1580

Windows Server 2003 Enterprise Edition SQL Server 2000 4.6C hp ProLiant Model BL20p G2, 2-way SMP, Intel Xeon DP, 3.06 GHz, 512 KB L2 cache 4096

Cами понимаете, что при сравнимых результатах по стоимости HP на Xeon просто даст фору Sun.

Согласен с Михаилом, что пока у HP и IBM не будет тестов SAP SD2, говорить про чистую победу нельзя.
Можно говорить только о притензиях на победу.
 

Mikhail Elashkin - imhoelashkin.com
19 Feb 2004 12:57 PM
Я сейчас сижу на конференции Borland так что это еще и некий тест мобильного офиса на палме ;) 2 Yu IBM действительно ведет себя не очень хорошо. Она испортила НР запуск Inegrity публикацией в этот день своих тестов, а потом с круглыми глазами говорила, что это совпадение. Что до SATA, то сам тест идет 40 минут и надежность не измеряется. Вообще считается что SCSI более надежен. Как это сейчас, не уверен.
 

jstm
19 Feb 2004 2:14 PM
2 Mikhail Elashkin

Nascet Yukon. Bystree on vriadli statet, vvidu vvedenija opcional'noj versionnosti a lia Oracle. Hotia, sudia po vsemu realizacija algoritmov versionnosti v Yukon sdelana luchshe. Stanet
udobnee dlia razrabotchikov - eto da, nu i slava Bogu.
 

СтранниК
19 Feb 2004 3:45 PM
2Mikhail Elashkin
"По ТРС-С вроде ИБМ дешевле, но я еще не пришел к выводу как оценивать дисковые массивы с дисками SATA - как достижение технологии или как мелкое жульничество с ценами... "

Я бы рассмотрел этот вопрос так.
Реально ли использовать диски SATA для реальных систем и будет ли компания производитель их подерживать ?
То есть можно ли у той же IBM зказать такую конфигурацию.
Если нет - это обман, если можно то тогда просто новая технология и следует просто привести ее ограничения.
 

Mikhail Elashkin - imhoelashkin.com
19 Feb 2004 3:54 PM
2 СтранниК
Конфигурацию заказать можно. Это сторадж FAStT900. Он поддерживает SCSI и SATA.
Традиционно, SCSI диски использовали в хай-енд системах за скорость и возможности наращивания. И делали их получше соответственно. SATA дает очень хорошую скорость. Насчет наращиваемости не знаю. А вот будут ли делать хай-енды этой серии - не знаю. Если внутри он будет надежным, то SCSI сейчас не настолько лучше конкурентов. Но вот цена... почему же они дешевле?
А вообще по SATA основные статьи на iXBT и Terralab. Я пас :)
 

СтранниК
19 Feb 2004 3:54 PM
Что до SATA, то сам тест идет 40 минут и надежность не измеряется. Вообще считается что SCSI более надежен. Как это сейчас, не уверен.
===
Дело в том что не все так просто.
А именно, одни и теже диски могут иметь разную механику , но разную электронику. Именно каким набором электроники и определяется в общем случае какой интерфейс имеет диск.
Вас же не смущает надежность дисков с интерфейсом FC-AL?
А ведь механика у них со SCSI одна и таже.

Про ненадежность SATA мы можем говорить только в случае подтвержденных фактов ненадежности их электроники.
 

Mikhail Elashkin - imhoelashkin.com
19 Feb 2004 4:14 PM
2 Andrei

>IMO эта проблема присуща всем SMP системам. Кстати, threads в NT могут иметь аффинити, так что эта проблема решаема.

К сожалению нет. То бишь софтового решения недостаточно. Софтверный подход был реализован для первых SMP Sun машин в древней солярке. Собственно там даже больше чем просто аффинити, там стоял некий cost based оптимизатор, который решал эти проблемы. Собственно в таких системах know how являются коэфициенты этого оптимизатора.
Но это решение работает при небольшом числе процессоров. Для более мощных систем используется аппаратное решение занимающиеся этим вопросом. А в самых тяжелых случаях оно даже двухуровневое. Т.е. несколько 4-хпроцессорных блоков образуют первый уровнеь, а над ними еще один коммутатор.

>Также, поскольку грамотно написанный серверный софт (например от MS) использует thread pools, то это перестает быть проблемой.

А вот тут начианются проблемы следующего уровня. Софт конечно грамотно должен быть написан, но там хитрости. Есть ситуации, когда система впадает в ступор несмотря ни на что - это зависит от количества задач, числа процессоров итп. Поэтому на интел и риск системах никогда не получается такая производительность как на более слабых мэйнфреймах, которые были созданы именно для массового обслуживания. Попробуйте сделать на 32-128 процессорах загрузку процессора 90% и ....
Тонкость лежит даже не в софте или железе, а на тоненьком стыке железа и софта :(

>Большая проблема это как например вынесенный за пределы процессора memory controller как у Itanium. К примеру, в AMD 64 он интегрирован. Itanium ждет печальная участь если Intel не найдет кучу сериезных кастомеров за быстрое время окупить его.

А вот это совсем не так. Начнем с того, что сравнение АМД64 и Итаниума вообще некорректно. Это абсолютно разные процессоры для абсолютно разных целей. Собрать на амд большой SMP не получится. 64 бита не делают большой сервер, как рулевое колесо не делает автомобиль порше :)
Я не очень смогу спорить о достоинствах и недостатках вынесенного контроллера памяти. ИМХО, у итаниума и рисков он там, где нужно для ccNUMA.
А вот то, что чем больше итаниумов продадут тем лучше пойдут дела это верно. Но enterprise рынок жутко консервативный. ИМХО, но по меркам этого рынка старт у итаниума хороший.
 

Mikhail Elashkin - imhoelashkin.com
19 Feb 2004 4:27 PM
2 СтранниК
>Про ненадежность SATA мы можем говорить только в случае подтвержденных фактов ненадежности их электроники.

Э-э-э-э, а я придерживаюсь консервативной стратегии: пока не доказана факт надежности, по определению считать ненадежными :)

 

СтранниК
19 Feb 2004 5:00 PM
2Mikhail Elashkin
"-э-э-э, а я придерживаюсь консервативной стратегии: пока не доказана факт надежности, по определению считать ненадежными :)"

Ну так, я только за.
Но обычно надежность проверяется временем, или у вас есть другой пример.
С удовольствием послушаю.
 

Mikhail Elashkin - imhoelashkin.com
19 Feb 2004 7:28 PM
2 СтранниК
>Но обычно надежность проверяется временем, или у вас есть другой пример. С удовольствием послушаю.

Естественно. Вот поэтому enterprise такой консервативный сегмент рынка :)
Я, например, early adopter многих гаджетов. Но поставил бы я их в своем бизнесе, если бы от них зависила его целостность? Если бы это дало мне очень серьезные конкурентные преимущества, то после определенных испытаний и чтения аналитики и технических руководств. Вот SATA и попала в такую ситуацию, что ей придется доказывать свои достоинства, а не отрицать недостатки. Бизнес такой.
 

Бармаглот
19 Feb 2004 10:08 PM
2Странник: По помянутым вами SAP-бенчмаркам - напомню, что UltraSPARC IV = два ядра UltraSPARC III на кристалле. То есть 36-процессорный E20K = 72 ядра UltraSPARC III. Теперь смотрите:
Sun E15K 1,789,000 steps/h 5,775 users (декабрь 2002) 72 CPU
Sun E20K 1,552,000 steps/h 5,050 users (январь 2004) 36 CPU = 72 cores
То есть за год плодотвоной работы САН разместил два ядра на кристалле, что (теоретически) должно было уменьшить задержки межпроцессорного обмена и т.д и УВЕЛИЧИТЬ производительность, на деле СНИЗИЛ производительность на 12%... Верной дорогой идете, товарищи...
 

СтранниК
20 Feb 2004 12:25 PM
2Бармаглот
Я с вашими утверждениеми практически полностью согласен, за исключением:
Мы не знаем как изменится производительность например HP Integrity Superdome 64-way после выхода сдвоенных Itanium-ов.

В моем примере я просто продемонстрировал, что Sun еще как-то пытается "держаться на плаву", но так же мой пример однозначно показывает, что на рынке малых и средних (до 4-8 проц) серверов Sun-у уже делать практически нечего. Его ниша это унаследованное ПО которое нельзя эксплуатировать на другой платформе кроме Solaris-а.

Сервера от HP те которые на Xeon-ах показывают лучший результат. Я думаю не открою ничего нового, что если взять двух проц Itanium, то Sun Fire E4900, 2-way SMP, UltraSPARC IV 1.2 GHz он просто порвет "как тузик тряпку".

Но так же я согласен с Михаилом, что окончательно точку на Sun-ах можно будет ставить только когда:
1.появятся результаты тестов SAP SD2 для HP Integrity Superdome 64-way
2.появятся результаты сервера на проц. Itanium cо сдвоенным ядром.
 

Mikhail Elashkin - imhoelashkin.com
20 Feb 2004 12:39 PM
Кстати о SATA, уже складывается традиция писать с палма, я тут у FSC на мероприятии. Спросил их про планы по SATA - они его активно используют в младших моделях серверов. Неофициально сказали, что бум будет с появлением второй версии стандарта. Пока есть ряд преимуществ у SCSI.
 

СтранниК
20 Feb 2004 1:46 PM
2Mikhail Elashkin
Конфигурацию заказать можно. Это сторадж FAStT900. Он поддерживает SCSI и SATA.
===
Сходил посмотрел, и что-то не совсем понятно, где нас "дурят".
Ну это типа коробка для дисков + стоимость одного диска.
Из этих коробок состоит FAStT900

FAStT EXP100 Storage Expansion Unit
1710-10U FAStT EXP100 Storage Expansion Unit $15,999.00
1710-4602 FAStT SATA 250GB/7200 Drive Module $1,466.00

Тоже самое но для дисков на FC-AL.

FAStT EXP700 Storage Expansion Unit
1740-1RU FAStT EXP700 Expansion Unit model 1RU $6,000.00
1740-5207 146.8GB 10K Hot Swap HDD $2,955.00
1740-5213 73.4GB 15K-FC Hot Swap $2,225.00

Для меня как бы не секрет, что:
диски с интерфесом SCSI дешевле чем диски с интерфейсом FC-AL
диски на 15к дороже чем на 10к - это тоже понятно.

Теперь что касается SATA.
Кончено доступность дисков на 250GB дает удельную стоимость хранения дешевле, но 7200 оборотов шпинделя, выглядят несколько не к месту , и вряд ли смогут способствовать хорошим результатам производительности особенно для СУБД.
Все же 7200 это даже на 10к.

Ну и немного так сказать "отсебятинки"
Например у того же HP
http://h30094.www3.hp.com/searchresults.asp?mfg_partno=2867 75-B22,286713-B22,286776-B22,286714-B22,286778-B22,286716-B2 2

И что получается:
HP 146.8GB Ultra320 universal hard drive 10,000rpm - $933.00
HP 72.8GB Ultra320 universal hard drive 10,000rpm - $429.00
HP 72.8GB Ultra320 universal hard drive 15,000rpm - $818.00
HP 36.4GB Ultra320 universal hard drive 15,000rpm - $429.00
HP 36.4GB Ultra320 universal hard drive 10,000rpm - $299.00

Я конечно знаю, что у HP есть диски и по дороже для высокоуровневых систем и с FC-AL и прочее, но неоднократный просмотр конфигураций которые используются в тестах TPC-C говорит о том что преобладающее кол-во дисков там используется именно этих , а иначе откуда тогда взяться низкой стоимости транзакции?


 

СтранниК
20 Feb 2004 2:58 PM
Есть еще одно , лично мое заблуждение, может кто развеет.
Стандарт Ultra320 позволяет передавать данные со скоростью 320МБ/с
Стандарт FC-AL имеет пропускную способность 2Gb/c , то есть
в итоге получаем 268MB/c у производителей я нашел вообще цифру 200МБ/с

То есть у FC-AL толко два достоинства а именно большое число устройст и расстояние на котором их можно включить.
 

СтранниК
20 Feb 2004 4:56 PM
Я просто смеялся.
http://www.ixbt.com/storage/serial-ata-tech.shtml
Вот выдержки из статьи.

Про Скорость.
Даже в первом поколении (Generation 1), Serial ATA позволяет передавать информацию со скоростью 1.2 Gbps, то есть 150 MBps. Впечатляет? Меня, честно говоря — не очень. Учитывая то, что скорости чтения с «блинов» у современных даже самых шустрых жестких дисков находятся где-то в пограничном к UATA/66 районе (66 MBps), Serial ATA с одной стороны выглядит столь же избыточной для рядового пользователя, как и UATA/100/133, с другой же стороны эта новая «революционная» технология обещает нам превосходство над уже имеющейся в виде UATA/133 на 150/133=12%.
С другой стороны, далее нам обещают 2.4 Gbps (300 MBps) и даже может быть 4.8 Gbps (600 MBps), так что с заделом на будущее все нормально. Хотя, честно говоря, даже мне трудно представить себе винчестер, скорость чтения которого составит 4.8 Gbps. Для справки напомню — скорость SDRAM-памяти стандарта PC100 составляет 800 MBps т.е. больше скорости, которую обеспечит Serial ATA Generation 3, всего на 33% :).

Hot swap и Hot plug.
Несмотря на то, что де-факто обе функции относительно Parallel ATA устройств уже реализованы на практике и воплощены в устройствах, реализовываются они на настоящий момент тем самим способом, которым в странах бывшего СССР удаляли гланды :). И причиной тому прежде всего то, что в спецификации самого интерфейса такая возможность просто не обуславливается. В случае с Serial ATA мы имеем возможность hot plug и даже hot swap, проработанную уже на уровне спецификации. Но! Как справедливо замечено там же, никто не заставляет производителя конкретного устройства оснащать его такими возможностями. Другими словами — hot swap и hot plug на Serial ATA устройствах теоретически возможен и «высочайше одобрен», но не обязателен.

А теперь вопрос, а что за изделие у IBM?
 

Anti-Ms
20 Feb 2004 11:01 PM
2Бармаглот

IBM все правильно делает ;)
А у них кстати тоже на подходе Power5, а какой перфоманс они обещают ууу.

>Объемы поставок Итаниума уже превышают объемы Альфы и ПА-РИСК...
Это радует, обогнали две дохлых архитектуры, которые поставляются уже только по инерции...
 

Бармаглот
21 Feb 2004 10:39 AM
2Anti-MS: Продолжайте жить обещаниями... "Здесь будет город-сад"...
 

Tiga
21 Feb 2004 11:59 AM
2. Сергей Середа. Когда у процессора и ОС был один разработчик. то ОС писалась под процессор. Сейчас это почти не так и дальше - больше. Зачем пользователю процессор. на котором не исполняется необходимое ему ПО.
Вообще, достаточно посмотреть на историю развития интелловских процессоров - зависимость их от имеющегося ПО очевидна.
 

Бармаглот
21 Feb 2004 1:00 PM
2Tiga: "зависимость их от имеющегося ПО очевидна" - эта зависимость двунаправлена - ПО тоже зависит от аппаратной части.
 

 

← январь 2004 13  15  16  17  18  19  20  24  25 март 2004 →
Реклама!
 

 

Место для Вашей рекламы!