Все новости от 5 августа 2003 г.

Дни SMTP сочтены?

Разработанный в те годы, когда интернетом пользовались едва ли не одни академики, Simple Mail Transfer Protocol, или SMTP, априори предполагает, что отправителем является именно тот, за кого он себя выдает. SMTP не подозревает о возможности отправки троянского коня, мошеннических обещаний денег от африканского диктатора или бомбардировки чужих компьютеров десятками миллионов рекламных объявлений с предложением купить препарат «Виагра».

Иными словами, SMTP слишком доверчив — и это вынуждает борцов против спама, специалистов по защите данных и даже самих архитекторов современной системы e-mail призывать к переработке, а то и полной замене устаревшего протокола. «Я предложила бы просто написать протокол заново, — сказала в интервью Сюзанна Шлюцер, внештатный преподаватель Университета штата Нью-Мексико и соавтор непосредственного предшественника SMTP. — Мой опыт в области вычислительной техники — а он на сегодняшний день достаточно обширен — подсказывает, что исправить что-то готовое гораздо труднее, чем заново сесть, подумать, что все-таки требуется, и предложить что-то новое».

Шлюцер была соавтором Mail Transport Protocol, непосредственного предшественника SMTP, разработанного в 1981 году — тогда она работала техником в Институте информационной техники при Южно-Калифрнийском университете в Marina del Rey — на родине таких фундаментальных интернет-протоколов, как Transmission Control Protocol/Internet Protocol (TCP/IP).

Годами без видимых успехов сражаясь с почтовым мусором, эксперты опускают руки перед лицом день ото дня растущего спама, конца которому не видно. В апреле America Online блокировала 2,4 млн спамерских сообщений в день, и тем не менее эти сообщения продолжают донимать 34 млн членов сети AOL. По некоторым оценкам, соотношение между легитимными почтовыми отправлениями и спамом во всем мире составляет 50:50.

Корень зла
Пытаясь решить проблему спама, компании от AOL до мелких начинающих фирм пробуют те или иные технические ухищрения. Это и коллективные фильтры, и так называемые методы реагирования (challenge response), когда к адресу что-то добавляется, чтобы ввести в заблуждение системы автоматической регистрации бесплатных учетных записей e-mail. Проблемой спама занимаются и юристы, и законодатели, и лоббисты: штаты и страны объявляют спам преступлением, и его жертвы охотятся за отправителями.

Но несмотря ни на что, вал спама нарастает. Это заставило технологов начать искать корень зла e-mail в протоколе SMTP, который всегда превозносили как источник замечательных возможностей и популярности нового средства общения. Проблема — в отсутствии в протоколе способа удостоверения личности отправителя. Это позволяет легко маскироваться, подменяя обратный адрес и направляя машины-жертвы по ложному следу.

Недостатки настолько серьезны, что некоторые считают, что протокол, породивший самый значительный взрыв эпистолярного общения со времен Гуттенберга, неспособен выполнять свою задачу в мире мошенников, порнографов, вирусописцев и беспринципных спамеров. «Нужно вспомнить то время, когда этот протокол создавался, — говорит Шлюцер, называющая себя „бабушкой SMTP”. — Тогда речь шла о сотнях или может быть тысячах узлов, которые затем назвали Arpanet. Нам нужно было общаться кое-с кем в Европе и с некоторыми более мелкими сетями в США. Там царило полное доверие, и протоколы создавались, исходя из этого доверия. Поэтому для меня удивительно, что спустя 25 лет мы используем те же самые протоколы, ведь в коммерческой среде средства общения должны были бы быть совсем иными».

Критики, как правило, сходятся во мнении, что у SMTP есть недостатки, но способы их устранения вызывают бурные споры.

Некоторые из тех, кто работал над протоколом на ранних этапах, утверждают, что он достаточно гибок, чтобы с годами успешно развиваться, впитывая многочисленные исправления и расширения — и что проблему аутентификации можно частично решить в рамках существующих технологий. «Организовать аутентификацию в SMTP не так уж и трудно, написал в интервью по e-mail директор Internet Mail Consortium и автор многочисленных книг по вычислительной технике Пол Хоффман. — Уже есть протокол, который делает это, а именно — SMTP поверх SSL/TLS. И не буду скрывать, написал его я». (Протокол SMTP over SSL/TLS доступен на веб-сайте Internet Engineering Task Force.)

Трудность, по словам Хоффмана и других, заключается в том, чтобы установить «доверительные отношения», необходимые для поддержания любой компьютерной схемы аутентификации — иными словами, как проверить, что человек является именно тем, за кого он себя выдает? Эта проблема еще больше усугубляется при попытке разработать систему, удостоверяющую не личности, а серверы. В данном случае кто-то должен устанавливать меру ответственности того или иного сервера e-mail за рассылку спама — причем операторы разнообразных черных списков спама понимают эту ответственность по-разному. В применении к интернету в целом такая нагрузка может оказаться слишком тяжелой и дорогостоящей. «Кто будет платить этой независимой организации за вложенный труд и юридические риски?», — спрашивает Хоффман.

Перемалывание чисел
Другие говорят, что переписать SMTP заново невозможно из-за мировой клиентской базы протокола, которая оценивается в сотни миллионов пользователей. «Трудность изменения технологии передачи сообщений в целях борьбы с почтовым мусором заключается в клиентской базе, — говорит Родни Тиллотсон, председатель рабочей группы по борьбе со спамом организации Reseaux IP Europeens (RIPE), союза европейских интернет-сервис-провайдеров. — Существуют тысячи или миллионы серверов SMTP, транслирующих и доставляющих почту, и на их замену уйдут годы, в течение которых проблема (почтового мусора) останется нерешенной. Еще труднее выполнить предложения, предусматривающие замену настольного ПО электронной почты».

Шлюцер возражает на это, что могут легко сосуществовать два протокола — SMTP и новый, а e-mail-приложения будут поддерживать и тот, и другой. В этом случае те, кто использует один протокол, смогут обмениваться письмами с теми, кто поддерживает другой.

Антиспамерская группа RIPE — не единственная, где ведутся онлайновые дебаты об изменении фундаментальных протоколов с целью борьбы со спамом. Этой весной организация Internet Engineering Task Force (IETF) учредила исследовательскую группу для генерации идей решения проблемы на уровне протокола.

Однако критики называют усилия IETF запоздалыми и говорят, что решение кризиса не может ждать, пока организации по стандартизации все хорошо обдумают. «Учитывая, что IETF понадобилось шесть с лишним лет, чтобы признать спам достаточно важной проблемой, оправдывающей создание «исследовательской группы», я бы не рассчитывал, что мы увидим утвержденные IETF существенные поправки к SMTP до конца десятилетия», — заявил в интервью по e-mail главный специалист по защите информации ePrivacy Group Рей Эверетт-Чарч.

Пол Джадж, председатель Anti-Spam Research Group (ASRG) IETF, уклонился от ответа на вопросы для настоящей статьи, сославшись на желание группы «сосредоточиться» и на количество рассматриваемых предложений. В IETF не пользуется популярностью мнение о том, что нужно создавать абсолютно новую спецификацию e-mail. Многие члены организации утверждают, что практичное решение может быть реализовано поверх существующего протокола или по крайней мере совместимо с ним.

Не заменять, а добавлять?
В рядах тех, кто стоит за менее радикальное решение, и организация ePrivacy Group, которая продает интернет-сервис-провайдерам ПО для борьбы со спамом SpamSquelcher. В апреле она опубликовала свой стандарт Trusted E-mail Open Standard (TEOS). Это решение не заменяет SMTP, а дополняет его.

TEOS, убеждены его авторы, позволит людям и организациям надежнее удостоверять себя и содержит считываемые машиной описания, или «декларации» о содержании письма. Кроме того, стандарт устанавливает зашифрованный и защищенный от подлога «штемпель достоверности», присутствующий в теле сообщения. Для соблюдения этого стандарта ePrivacy Group рекомендует создать международную межотраслевую организацию.

Некоторые предлагают улучшать не SMTP, а другие протоколы. Например, Microsoft проповедует изменения в системе имен доменов (DNS), которое затруднило бы спаммерам маскировку. DNS — это распределенная база данных, поддерживаемая рядом отдельных компаний, которые назначают имена доменов для веб-сайтов и e-mail-адреса. Проблема этой системы в том, что она, как и SMTP, не предусматривает систему аутентификации. «Мы предлагаем, в частности, решить эту проблему подлога, — говорит менеджер программы отделения серверного ПО Exchange в Microsoft Гарри Кац. — Для обуздания спама это задача номер один, и мы считаем, что сможем решить ее, внеся в DNS минимальные изменения».

«Минимальные изменения», которые предлагает Microsoft, позволили бы индивидуалам, компаниям и другим организациям публиковать в базе данных DNS идентификационные номера своих серверов e-mail. В этом случае получатель сможет сравнить фактический обратный адрес сообщения с адресом, указанным в заголовке. В случае несовпадения фильтр спама легко определит, что заголовок фальшивый, и заподозрит спам.

Антиспамерская группа в IETF с самого момента своего основания весной этого года занимается собственной поправкой к DNS.

Протокол DNS достаточно гибок, чтобы его можно было менять без внесения серьезных изменений в системный протокол, но для этого потребуются согласованные действия разных компаний интернет-почты. Если такую систему установит у себя Microsoft с ее почтовыми службами Hotmail, MSN и другими, это может дать существенный импульс к ее широкому внедрению.

«Люди ворчат, что это тупиковый путь, что такую гибкость обеспечить нельзя, и надо создавать все заново, — говорит Кац. — Я не согласен с этим. Аналогии чреваты, но когда возникает угроза безопасности дорожному движению, разве мы разрушаем магистрали, связывающие штаты? Нет. Но со временем мы находим решение, которое значительно ослабляет проблему».

Рискованное дело
Кац предупреждает, что в порыве совершенствования e-mail индустрия рискует подорвать открытость, которой интернет в первую очередь обязан своим успехом.

Решение для борьбы со спамом не должно напрочь заблокировать всю незатребованную почту. Это помешает, например, возобновлению переписки между старыми друзьями и родственниками, что часто приводят в пример, рассказывая о достоинствах интернета. Массовую рассылку как таковую тоже нельзя уничтожать полностью.

Даже изменения в DNS, которые готовит Microsoft, должны соблюдать тонкую грань, не препятствуя рассылке легитимной рекламы независимыми агентами. «Существует баланс, который следует поддерживать, — говорит Кац. — Мы хотим сохранить людям возможность легко и эффективно общаться через интернет. Со временем система будет становиться все более строгой. Так и должно быть, потому что приходится бороться с такими явлениями, как спам и вирусы. Но для классического сценария, когда ваш давний школьный приятель обращается к вам по e-mail, дверь должна оставаться открытой. Это одно из главных достоинств интернета». 

 Предыдущие публикации:

 В продолжение темы:

Обсуждение и комментарии

	luckybit 5 Aug 2003 12:25 PM
Пора вводить интернет-паспорта. Но тгда про анонимность можно забыть.
	Anti-MS 5 Aug 2003 12:58 PM
Все это ерунда. SMTP поменяется когда рак на горе свиснет. При желании уже сейчам можно прекрасно выфильтровывать спам, и с существующем DNS прекрасно можно проверять оттуда шлется или нет. У меня спам выфильтровывается наура и на клиентской и на серверной части. Абсолютно без каких бы то ни было усилий со старым добрым SMTP и DNS. И велосипед изобретать не нужно.
	Anti-MS 5 Aug 2003 1:00 PM
И еще. Никакое техническое средство типо нового дурацкого протокола или системы идентифицирования или еще какой-нибудь ерунды спам не остановит.
	Vovchik - aabb.ru 5 Aug 2003 1:07 PM
2luckybit Вопрос: кому и для чего нужна анонимность?Что Вы делаете с анонимными письмами? Как люди переписывались, когда не было электронной почты? Была анонимность? Обратный адрес на конверте Вы указывали?Он был настоящий? Чтобы получить корреспонденцию до восстребования на почтампте нужно показать документик. Вывод: лично я не испытываю желания общаться с анонимами.
	kvasim 5 Aug 2003 1:30 PM
Vovchik отправиьть обычное письмо можно указав любой адрес а не обязательно где вы находитесь.. а вот получить. электронная почта аналогична бумажной.и адрес можно другое написать и писмо в никуда. а вот спама больше потому что за бумажну что то надо платить( но все равно есть и бумажны спам).. сколько в ящика( обчных почтвых у вас бумажек.. может и меньше чем в электронном.. но может это только благодаря домофону..?? хотя мой домашний ящик больше заполнн спамом чем некторые электроные. а вообще то что есть ниша спама.. просто говрит об отстунтсвии цивилизованное рекламной системе.. когда будет такая система( когда кто хочет донести до потребилея информации о себе( и цлевую- это будет дешевле чем спам)-- ттгда и спама будет меньше но конечно нужно и законодательно что то делать.. а усложнение протоктолов это фигня.. как хакеры все равно лазейку найдут как тараканы.. если есть крошки на полу. то как их не трави. как щели не замазывай.._
	dimav 5 Aug 2003 1:32 PM
2 Vovchik : когда небыло email были и анонимные письма (в полный рост, даже решение ЦК о нерагировании на анонимки) и подложные письма. ничто не мешало подписаться чижим имененм и послать письмо с чужого адреса. И надежных способов борьбы с этим - нет. Все предлагаемые "лекарства" гораздо хуже болезни. AnitMS прав - и DNS можно проверять на почтовом сервере и авторизацию включить. пока даже откртые релеи закрыть не удается. собственно закрытие открытых релеев, авторизация и ограничение на количество посылаемой почты по разовым/анонимным подключениям должно сократить спам радикально
	Троль 5 Aug 2003 2:18 PM
Чья бы корова мычала MS предлагет что то, а у себя на hotmыl-е справиться не может со спамом. Но я вот ни чего не предлагаю и у меня все прекрасно работает, но что еще более важно нет практически спама.
	Anti-MS 5 Aug 2003 3:26 PM
2Vovchik Ай-ай-ай все такие умные куда бы деться ;) Ничего не понимают в предмете и все равно лезут решать глобальные вопросы, высказывать свое мнение что нужно а что не нужно всему человечеству. Бумажного спама по обычной почте тоже дополна. Не меньше 40% в мой ящик всякого говна валится. А уж что с домашним телефоном творится это вообще. Я по большому счету им не пользуюсь, и поэтому по делу мне никто не звонит, зато звонят и предлагают купить\застраховаться или еще что-нибудь регулярно. И раздражает это гораздо больше чем спам по мылу.
	R2D2 5 Aug 2003 3:29 PM
Господа, собственно тут поводов для наезда др.на др. я не вижу потому не стоит опять всё сливать в русло Win vs. Unix (хотя SMTP плод есть последнего) - проблема общая и её решение что для sendmail что для Exchange одинаковое... может быть лучше и нам подумать как быть? (хотя бы с тем же ALC) 2Троль: практически нет говоришь? ну опубликуй список своих адресов, где нить... я думаю через недельку ты удивишся... а если в конторе много юзерей, то рано или поздно спама будет дай боже...(фильты только фильтры - уменьшат, но не спасут). Проведи эхперимент заведи где-нить ящик и пошли с него мыльцо на пару тройку адресов (тоже халявных) и через некоторое время на них начнет приходить спам...
	+-+ 5 Aug 2003 3:48 PM
2 R2D2: Фильтры не во всех ситуациях помогают :( Живой пример - на mail server стоит postfix, настроены reject-ы на всякие reject_unknown_hostname, reject_invalid_hostname, reject_non_fqdn_sender, etc И что ? Проходит день, приходит начальник и говорит, что не может получить почту от какого-то идиота в забугорье у которого сервер в HELO подставляет 'myhost' вместо FQDN. Команда начальника - "всё прекратить!" Приплыли :( Почти все антиспамерские настройки настройки идут лесом. Единственное что удалось отстоять - это reject_maps_rbl... И сильно подозреваю, что не я один на такое натыкался. PS: Лично мне этот спам "до-лампочки" - spamassasin прекрасно всё отфильтровывает, но вопрос-то не в этом, а в том, что спам по большей части проистекает от криворукости некоторых админов и молчаливого попустительства остальных. И ничего с этим не сделаешь.
	Anti-MS 5 Aug 2003 3:58 PM
2R2D2 Уже все _давно_ подумали и _решили_. Кто способен что-то решать. Например я или Троль. "ну опубликуй список своих адресов" У меня опубликован адрес на сайте, еще много сотрудников опубликовано. И тем не менее я спамом не мучаюсь. у меня 98-99% спама выфильтровывается на ура. Меня это больше чем устравивает, _спасает_. Правда всех остальный сотрудников стоят просто лимиты на размер ящика, а не фильтры на спам ;)) Как они борются я не знаю и знать не хочу ;) Тоже небось предлогают по флеймам паспорты вводить ;) Проведите эксперимент тривиальный, в вашем почновом клиенте в фильтрах поставьте скидывать письма в html сразу в корзину, и вы увидите что этот один простейший фильтр сразу отфильтрует около 70% спама!
	R2D2 5 Aug 2003 4:05 PM
2Anti-MS: Вы как всегда крайне скромны. (я же не скажал что я страдаю от спама...) а твоё "решение" оно непроффессионально... увы. и фильтрация писем по признаку "html" мягкоговоря тоже неверно.
	R2D2 5 Aug 2003 4:14 PM
2+-+ криворукость админа (если он вообще что то делает) конечно возможна, но проблема спама не решается и пряморукостью админа...
	+-+ 5 Aug 2003 4:18 PM
2 R2D2: А я и не говорю, что она решается только правильными настройками некоторого количества серверов. Проблема намного более сложная и большая часть её как раз лежит не в технической плоскости (о чем я и пытался сказать в приведённом примере).
	R2D2 5 Aug 2003 4:23 PM
2+-+ упование на нетехническую проскость и привело к тому что имеем щас
	Irsi - irsiextranet.ru 5 Aug 2003 6:38 PM
2+-+: ставь на предположительно спамерское письмо "метку", например вставляй в начало сабжека [junk-mail], а не прибивай его сразу, и нехай сотрудники посредством фильтров в клиенте сами решают что с такими письмами делать :)
	Black 5 Aug 2003 8:08 PM
И DNS пора менять и SMTP пора менять. А заодно нужен и новый язык программирования объектов (вместо XML) и новая операционная система (как из C получился Unix, так и из нового языка должна получиться новая операционка). А возгласы, что все нехай остается постарому, а кто несогласен - те криворуки - это от интелектуальной ленности своей.
	EugeneP 5 Aug 2003 10:41 PM
PS do togo kak ya zanyalsya etoy proceduroy u menya kapalo do 30-40 v den
	Anti-MS 6 Aug 2003 2:01 AM
2R2D2 Раз уж вы про это говорите, то я это все к тому что _технически_ проблема спама уже решена посредством фильтров. Кто хочет тот пользуется. Конечно там не такой примитив как выфильтровывание htmlных писем. Хотя мне лично никто письма в html не шлет, впринципе, только спам. Что там не профессионального? ;) Мне не платят чтобы я решил проблему спама всей конторе, а себе лично я решил. Я бы мог централизовано server side решить проблему спама, вирусов для клиентский виндовозов, лишнего трафика, болтания по icq в рабочее время, и т.п. Просто денег я за это больше не получу, поэтому вся контора кроме меня и дальше будет давиться спамом, и выводить червяков из своих мастдаев.
	Ыв 6 Aug 2003 7:14 AM
2Anti-MS эх, показать бы твой постинг твоему шефу :))) проблема спма фильтрами на клиенте не решишь... они работают, когда письмо уже на сервере лежит... а этот плохо... лучше уж все централизовано сделать, и пользователи тебе спасибо скажут... может даже и в денежном выражении, если убедишь :)
	glassy 6 Aug 2003 7:20 AM
хе-хе-хе-хе, точно, проблема лежит не в технической плоскости :-р
	Tolik 6 Aug 2003 8:18 AM
2 Anti-MS Это ты просто не ведешь деловой переписки. Как только начнешь вести - ты и для себя её решить не сможешь. Опять же - ты свой частный случай (достаточно специфичный высококвалифицированный пользователь) почему-то возводишь в рамки глобальной картины, что не так. Совсем не так. Если тебя проблема, как защитить от спама остальных не интересует - ты просто ошибся тредом. Тут не твоя проблема обсуждается.
	Tolik 6 Aug 2003 8:20 AM
2 Anti-MS Кстати, твой подход к "больше не получу - пусть страдают" - много о тебе говорит. Увы, нехорошего. Рискну предсказать, что в этой жизни ты никогда "больше не получишь". По меньшей мере - существенно больше.
	dem 6 Aug 2003 9:21 AM
Мне понравилась афера с бумажной почтой которую проворачивают наши бывшие сограждане в Америке. Дело в том что если отправить письмо без марки то оно вернется отправителю с первого сортировочного пункта. Вот они и пишут получателя в поле отправитель и кидают конверт в ящик... В итоге письмо без марки идет туда куда надо... Вот а вы говорите электронная почта. Ж:-) Нгаша контора ведет переписку, однако спама <5 писем в день....
	prodigy_ - prodigy_mail.ru 6 Aug 2003 11:27 AM
> И DNS пора менять и SMTP пора менять. > А заодно нужен и новый язык программирования объектов > (вместо XML) и новая операционная система 2 All: А давайте лучшем Black'а заменим на кого-ньть еще, а все остальное оставим как есть. :-))
	prodigy_ - prodigy_mail.ru 6 Aug 2003 11:34 AM
2 dem: Такая афера прибивается просто - все письма без марок на первом сортировочном начинают оправлять на отправителю, а прямо в... (ну да, вы верно догадались куда именно... :-) А проблема спама так просто не решается. Как-то я пытался фильтры в аутлуке настроить как следует. Отфильтровывалось что-то типа половины, но этого IMHO мало. А потом забил я на это - времени нет все время кого-то опять банить...
	Anti-MS 6 Aug 2003 1:21 PM
2Tolik "Это ты просто не ведешь деловой переписки. Как только начнешь вести - ты и для себя её решить не сможешь." Смотря что считать деловой. Официальную переписку веду, мне иногда клиенты пишут чтобы я их саппортил, всякие hostmaster, postmaster и тп. на этот адресс показывают. Другое дело, что все это не critical и я могу их стирать не читая. Котракты миллионные по моей почте не обсуждаются конечно. Хотя с другой стороны мало у кого вообще критичные вещи по почте ходят, для этого все таки факс есть. "Кстати, твой подход к "больше не получу - пусть страдают" - много о тебе говорит. Увы, нехорошего. Рискну предсказать, что в этой жизни ты никогда "больше не получишь". По меньшей мере - существенно больше." Это называется - бизнесс подход. Если бы ты сталкивался с тем как делаются дела, то понимал бы что даром можно только что-нибудь сломать, а все проблемы решаются и проекты делаются только за деньги.
	Vovchik - aabb.ru 6 Aug 2003 1:21 PM
2Anti-MS эпиграф "Никогда не заговаривайте с неизвестным" М.Булгаков. Возможно я ничего не понимаю в проблеме спама, но лично мне спам не валится ни откуда. Если соблюдать правила личной гигиены то и глистов не будет.
	Anti-MS 6 Aug 2003 2:23 PM
2Vovchik Вот ты точно просто не ведешь деловой переписки. впрочем ты для себя тоже эту проблему решаешь, и главное что успешно, и это главное ;)
	ses 6 Aug 2003 5:44 PM
Спама получаю письма 3 в день, и не сильно на него реагирую. Но вот когда какая то сука проводит рассылку, а в качестве обратного адреса указывает несуществующего (а еще хуже существующего) юзера моего домена, то мой канал 64К исчезает как класс. И maillog за 2М зашкаливает при сотне полезных писем в день. Так что проблема спама для меня существует. И фильтрацией это решить невозможно.
	Йдуч 6 Aug 2003 8:28 PM
http://www.mailinator.com/mailinator/Welcome.do для частников может быть применимо...
	kvasim 8 Aug 2003 6:34 PM
2 dem я думаю такая афера проходит только локально.. те если на сортировочном пункте в NY увидят обратный адресс IL.. или еще какой.. то письмо без марки. скорее всего просто в печку.
	glassy 10 Aug 2003 6:29 AM
2kvasim: а что, я уже не могу написать обратный адрес IL? :) Плату надо брать, плату. По полцента с письма провайдеру на развитие.