Динамические белые списки

image

Мой очень хороший товарищ Саша Станкевич, известный многим как Stanky, он же MVP Enterprise Security, давно одержим идеей собственного метода борьбы со спамом. Идея на самом деле неплоха, Саша описал ее в нескольких словах и попросил донести до Вас, уважаемые читатели, что я и делаю с превеликим удовольствием. Итак ниже Сашин текст. Я к нему даже не притронулся, следственно не имею к авторству никакого отношения.

Как-то давно я предложил одну идею, направленную на борьбу со Spam’ом. Я рассказал о ней Паше Нагаеву, Олегу Крылову и другим ребятам, занимающимся системами обмена сообщений. Они выслушали меня, подискутировали, согласились, что идея имеет рационально зерно и… И на этом, можно сказать, всё и остановилось. :)

Но меня, всё время, никак не оставляло то, что идея не имеет практической реализации. На TechEd 2008 в Барселоне я познакомился (а точнее меня познакомил Паша Нагаев) с Александром Николаевым. Александр уже давно живёт в Америке и является Product Manager’ом ForeFront’а. Так вот, как это обычно и бывает, я хотел связаться с Александром, дабы обсудить с ним мою идею, но всё время откладывал это в долгий ящик. Но случилось неожиданное – Александр посетил наши IT-посиделки и это дало мне тот самый толчок, которого мне так не хватало! Мало того – в кои-то веки я лично пишу об этом в блоге, хоть и не своём. :)

Ну что ж, достаточно интриги и буду ближе к делу. Моя идея состоит в формировании белых списков, но вся прелесть в том, что эти списки динамические! В общих чертах, как я предлагаю этого достичь:

1. Например, в Outlook’е пользователь добавляет в список надёжных отправителей домен «microsoft.com»:

image

2. Принимающий сервер запрашивает SPF-запись данного домена: v=spf1 mx include:_spf-a.microsoft.com include:_spf-b.microsoft.com include:_spf-c.microsoft.com include:_spf-ssg-a.microsoft.com ip4:131.107.115.212 ip4:131.107.115.215 ip4:131.107.115.214 ip4:205.248.106.64 ip4:205.248.106.30 ip4:205.248.106.32 ~all

3. В белый список заносятся все адреса из данной SPF-записи.

Причём, за сроком жизни данных адресов в белом списке будет отвечать логика DNS’а. То есть, когда срок жизни данной записи истечёт, она будет повторно запрошена, а из белого списка будут удалены или добавлены те адреса, которые были удалены или добавлены в SPF-запись.

Таким образом, мы избавляемся от рутинной работы по слежению за адресами отправляющих серверов тех отправителей, которым мы доверяем – они сами формируют наш белый список!

Выигрыш от данного механизма я вижу в следующем:

1. При использовании GreyListing’а мы можем совместить мощь данной технологии по отшибу Spam’а и убрать её главный минус – задержки в доставке.

2. Какой бы ни была технология определения Spam’а, она никогда не сможет на 100% определить является письмо легитимным или нет. Таким образом, мы можем потерять письмо от доверенного отправителя. Но если сервер такого отправителя будет у нас в белом списке, то такой потери не произойдёт.

3. Ну и наконец, дать ещё больший стимул для использования Sender-ID, то есть тех самых SPF-записей. :)

В общем говоря, я связался с Александром по данному вопросу, вчера мы его обсудили голосом и моя идея ему приглянулась. :) Но дабы сделать решение о её реализации ему необходимо собрать обратную связь от сообщества о её потенциальном применении. С этой целью я и пишу данный (крайне редкий) пост – как вы думаете, на сколько лично вам был бы полезен или даже необходим этот функционал? Если тема вызовет у вас большой интерес, можем более подробно её обсудить на одной из наших встреч «Разговоры об IT» ;) …

P. S. Так же в разговоре Александр упомянул, что они полностью не отказались от идеи GreyListing’а. :)

Реклама
Динамические белые списки

Динамические белые списки: 10 комментариев

  1. RuiL:

    На мой взгляд идея весьма здравая. Единственное что будет препятствовать — наличие SPF-записей у отправителей. Если у крупных компаний (microsoft.com, mail.ru и т.п.) они настроены, то у небольших региональных компаний их нет и неизвестно, когда они узнают об SPF-записях.

  2. Идея то нормальная, но опять же, все основывается на технологии Sender-ID, просто Саша предлагает сразу собирать все IP адреса из SPF записи в список.

    Преимущество будет только в скорости обработки входящих сообщений и уменьшение задержек грейлиста. На эффективности распознавания спама это никак не скажется.

    Мне кажется эта технология должна быть частью реализации грейлиста.

    Еще, представляешь размер этих списков? Крупные системы, тысяч по 100 в день или час будут тратить значительную часть ресурсов на просмотри и обслуживание этих списков.

    http://www.exchangerus.ru

  3. Олег Крылов:

    Ну здравомыслие Станкевича ни йоты сомнений не вызывает, это точно :)
    А человеческий фактор был, есть и будет. Как я писал у Паши Нагаева в блоге — не у каждого сервера PTR-запись есть, о каких SPF речь… Но вот именно такие мелкие почтовые организации и будут кататься GrayList’ом весь положенный срок. А «правильные» почтовые сервера будут в это время работать по назначению :)
    Так что Саня — молодец!

  4. на самом деле, фильтр действующий по этому принципу есть в составе ORF. называется Auto Sender Whitelist. работает по следующему принципу — складывает в базу все адреса, на которые пользователь писал письма, и принимает от этих адресов без ограничений в течение срока жизни записи в базе. говорят, штука хорошая, но сам я её не использовал.

  5. Stanky:

    Во-первых — принцип совершенно иной ;) .
    Во-вторых — речь о реализации в ForeFront’е ;) .

  6. предлагаю в одном из блогов остановиться и обсудить. например у Паши Нагаева =)

  7. Опечатка в теге — dYnamic, а не dInamic же.

    Про идею я уже отписывался — всемирный автогенерящийся whitelist — штука и технически и организационно нереализуемая by design. Давайте ещё всемирный firewall замутим и всемирный dhcp сервер — до кучи. :)

  8. Anton Davydov:

    Как прочитал идею, сразу так же вспомнил про ORF, сам юзал. Вещь хорошая, но проблема была так же, отфутболивалась почта от нормальных почтовиков организаций. Значит палка о двух концах, там есть свой недочёт и при этой идее свой с SPF записями. Мне кажется SPF проверка должна дополнять технологию добавляя 5-10% к проверке спам сообщений, а не основываться бОльшей сутью по реализации фильтровки спама.

  9. stanky2:

    Да что ж такое-то?! Единицы поняли суть того, что я предложил. Я не предлагаю отбивать письма, а совсем наоборот! Я предлагаю с помощью SPF’а создать список адресов с которых почта будет гарантированно приниматься без задержек и без применения Spam-фильтров. Особенно это актуально при GrayListing’е.

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход /  Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход /  Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход /  Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход /  Изменить )

w

Connecting to %s