Wprowadzenie do poczty elektronicznej

Prezentacja na temat: "Wprowadzenie do poczty elektronicznej"— Zapis prezentacji:

1 Wprowadzenie do poczty elektronicznej
czyli co muszę wiedzieć zanim spróbuję postawić własny serwer pocztowy? Ziemek Borowski

2 Krótko o mnie Ziemek Borowski
wss.pl – i jestem WSS-koholikiem, ostatnio redaktor (czyli cieć od newsów ). kilkanaście lat jako IT Pro Współprowadzę - ale jestem najgorszym mówcą świata… Zarówno Exchange jak i sendmail oraz postfix Obecnie pracuję dla jednego z operatorów hostowanego Exchange – ale teraz siedzę w czymś zupełnie innym… W 2009 i 2010 Microsoft wyróżnił mnie tytułem MVP w kategorii Exchange 

3 Agenda – 60 do 90 minut… Co to jest poczta elektroniczna?
co to jest koperta? co to jest ciało a? co to jest MIME? Jak poczta działa w Internecie (DNS) Jakie zagrożenia czekają na serwer pocztowy? Co brać pod uwagę przy konfiguracji serwera poczty który… będzie odbierał informacje ze świata? będzie wysyłał pocztę? A co na to wszystko prawo? Podsumowanie

4 Co to jest poczta elektroniczna?
Poczta elektroniczna to usługa asynchronicznego przesyłania wiadomości tekstowych pomiędzy pojedynczymi użytkownikami. Grupy to osobny temat. W przeciwieństwie do innych metod komunikacji elektronicznej (synchroniczne formy rozmowy – IRC, chaty, Instant Messaging lub interakcji człowiek-maszyna jak np. nawigowanie po WWW lub wypełnianie formularzy) poczta elektroniczna opiera się na wiadomościach (będących technicznie zamkniętymi całościami) wymaga strony pośredniczącej (store & forward) zamiast bezpośredniej komunikacji klient / serwer.

5 SMTP i parę kluczowych pojęć
Z założenia poczta elektroniczna w swej warstwie transportowej wykorzystuje protokół SMTP – Simple Mail Transport Protocol. Zwyczajowo używa się następujących skrótów opisujących elementy służące do przetwarzania poczty: MUA (Mail User Agent) - klient poczty elektronicznej, program pocztowy dla zwykłego użytkownika (np. Outlook, Evolution, mutt, Mozilla Mail) MSA (Mail Submision Agent) – fragment serwera SMTP odpowiedzialny za przyjmowania korespondencji od klientów pocztowych (w protokole słabo widoczne) MTA (Mail Transfer Agent) - serwer odpowiedzialny za przekazywanie poczty między komputerami (np. Sendmail, Postfix, Exim, QMail, Exchange) MDA (Mail Delivery Agent) – przetwarzający dane w ramach konkretnego system pocztowego. W wypadku bardziej skomplikowanych środowisk takich jak np. MS Exchange Server ciężko wyodrębnić tę rolę.

6 Jak wygląda trasa maila?
Nadawca (klient) wysyła mail przez swój serwer Serwer sprawdza (m.in.DNS) gdzie ma skierować przesyłkę Serwer nadawcy rozmawia z serwerem odbiorcy Stacja końcowa klienta pyta SMTP odbiorcy o to czy ma dla niego jakieś przesyłki…

7 DEMO – wysłanie poczty protokołem SMTP bez uwierzytelniania

8 Co to jest DNS? Rozproszona globalna baza danych
Korzenie (serwery odpowiadające za „.”) pod kontrolą Internet Corporation for Assigned Names and Numbers a dokłaniej:

9 Co ma DNS wspólnego z SMTP?
Routing poczty między serwerami publicznymi zazwyczaj odbywa się w oparciu od DNS a dokładniej rekordy MX. Poza MX potem przydadzą się nam inne rekordy… MX – Mail eXchanger Format Serwer: google-public-dns-a.google.com Address: Nieautorytatywna odpowiedź: virtualstudy.pl MX preference = 10, mail exchanger = mail.outlook.com

10 Co się dzieje po DATA?

11 Zady i walety SMTP Rozpowszechniony Prosty, ale z rozszerzeniami KISS
Brak w standardzie dobergo dowodzenia tożsamości (zdalnego serwera, zdalnego użytkownika) Zbyt rozpowszechniony – ciężko zmieniać Zbyt wiele rozszerzeń zbyt daleko sięgających a podstaw nie ma w standardzie Prosty bo głupi…

12 Co brać pod uwagę przy konfiguracji serwera poczty który ….

13 będzie odbierał informacje ze świata?
Poprawne DNS, Poprawne odbieranie wiadomości (bounce spam), Nasłuchiwanie na poprawnych portach… Ale także zalew spamu, prób słownikowych ataków a adresy, badania podatności…

14 będzie wysyłał pocztę? I zaczyna się wielki i podstawowy problem

15 Czterdzieści lat minęło jak jeden dzień…
Kto używa poczty elektronicznej krócej niż pół swojego życia?  A dłużej niż 10 lat? Choć tak naprawdę SMTP jako taki… modernizowany w szczegółach, ale nie w kluczowych założeniach … ma 27 lat (RFC August 1982) O dziwo nie ma skutecznych alternatyw. X.400 wykorzystywany w specjalizowanych systemach Np.. Ja pierwsze konto (już nie istniejące miałem od 1994 roku, czyli 19 lat, czyli należę do tego grona.  First Request for Comment (RFC): "Host Software" by Steve Crocker (7 April)

16 Czemu poczta jest problemem?
Jako jeden z kanałów przekazywania wiadomości i treści – narażony na: SPAM – Unsolicitated Bulk/Commercial Warstwa transportowa dla wirusów Phising Social Enginering Maile od root-a od zawsze obecne w pracowniach studenckich  Jest usługą mission critical, kanałem komunikacyjnym ze światem, warstwą integracji usług

17 Dlaczego spam jest zły? 80-do 97% wiadomości w dużych systemach pocztowych nie jest dostarczanych do inboxów Odrzucane w trakcie konwersacji Uznawane za śmieci przez oprogramowanie serwerowe Uznawane za śmieci przez oprogramowanie klienckie Information overload Terms already in common use in the mid-70s include ARPANET, BB&N, DEC, EMACS, FTP, IBM, IMP, PDP-10, PDP-11, RFC, TELNET, and TIP. Year Term Month 75 6 MSGGROUP mailing list 79 9 SF-LOVERS mailing list 80 1 “digest” (a mailing list where messages are bundled together) 80 1 moderated mailing lists 80 6 MUD (Multi-User Dungeon) 80 7 Saul Jaffe (later moderator of SF-LOVERS, 12/83-1/01) 80 9 Addresses with ! in them (later became common, now quite rare) 81 3 Microsoft 81 4 “UUCP” (mentioned on the ARPAnet) 81 5 Purity test 81 7 Brad Templeton (later founded Clarinet and rec.humor.funny) 81 8 “Usenet” (mentioned on the ARPAnet) 81 8 party” (a party for Internet people) CPSR (Computer Professionals for Social Responsibility) 82 2 “Internet” (then called ARPAnet) 82 2 “newsgroups” (mentioned on the ARPAnet) Smileys such as :-) TCP Alternating long and short lines in , due to bad double wrapping Addresses with dots in them (now mandatory) Addresses ending in .arpa (ended 2/90) Addresses with % in them (later became common, now quite rare) 83 9 GNU (GNU's Not Unix) > used to quote material being replied to 84 1 Apple Macintosh 84 3 rot >> used to quote doubly-nested material being replied to 84 3 | used to quote material being replied to 84 8 Bandykin mailing list 85 1 Addresses ending in .com 85 4 Addresses ending in .edu 85 5 CD-ROM 85 7 FidoNet 85 7 Addresses ending in .gov 85 8 RISKS Digest (a moderated mailing list, now aliased to comp.risks) 85 8 Chain letters via (quickly stamped out until 1993) Addresses ending in .uk 86 1 FSF (Free Software Foundation) 86 1 Larry Lippman (knowledgable and entertaining poster, died 12/91) 86 1 “postmaster” addresses 86 2 WELL (Whole Earth 'Lectronic Link) (an ISP) 86 3 “netiquette” 86 3 Windows (the Microsoft product) (a CPU) 86 6 ISDN Addresses ending in .net 87 1 MX records 87 1 Addresses ending in .org 87 6 UUNET (an ISP) 88 1 Year 2000 problem (i.e. lots of software will break then) (a CPU) 88 2 Perl 88 3 impending death of the net predicted 88 3 Cliff Stoll (later author of Cuckoo's Egg and of Silicon Snake Oil) 88 4 “Get a life!” 88 5 Addresses ending in .ca 88 8 rec.humor.funny newsgroup 88 8 party” (a party for Internet and Usenet people) The Robert Tappan Morris worm, which quickly infected much of the net GIF (a graphics format) 89 5 IRC (Internet Relay Chat) 89 5 LPF (League for Programming Freedom) (opposes “look & feel” copyrights) 89 5 Kibo (searched for all instances of “Kibo” on the net) 89 7 COMPUSERVE.COM on mail 89 8 PANIX (an ISP) 89 9 FAQ (Frequently Asked Questions) 89 9 Netcom (an ISP) ClariNet world.std.com (an ISP, supposedly the first directly on the Internet) 90 2 Last addresses ending in .arpa 90 5 Dilbert (a comic strip) 90 5 Last ITS system shut down at MIT 90 7 freenets 90 7 “newbie” 90 8 EFF (Electronic Frontier Foundation) The (false) story about a Chevy Impala with a JATO unit in Arizona The (true) story about dynamiting a dead whale “GUI” (Graphical User Interface) 91 2 Craig Shergold wants cards 91 2 Craig Shergold doesn't want cards 91 3 cyber (as a prefix referring to the net) 91 3 cyberspace (referring to the net, not to something in SF) 91 3 JPEG (a graphics format) 91 5 Panix (an ISP) 91 6 Archie (a data retrieval tool) 91 6 PGP (Zimmerman's RSA-based encryption software) 91 6 WAIS (a data retrieval tool) 91 9 Digex (an ISP) Robert McElwaine (flamboyant and controversial poster) TIN (a newsreader) compuserve.com gets access to newsgroups Geoff Miller (whose posts are designed to annoy people) QuickTime (a movie format) Windows NT 92 1 Gopher (a data retrieval tool) 92 1 The (true) scrotum self-repair story 92 1 POP (Point of Presence) 92 3 “Web” (as in World-Wide) 92 3 Flashdrive 92 5 aol.com on mail 92 5 Demon (the UK ISP) 92 5 SLIP (the connection protocol) 92 6 “browser” (software) 92 6 “WWW” (URLs -- now seen in every magazine, TV show, and movie) 92 7 “firewall” (as a part of the net) kbps modems 92 7 MIME 92 9 “administrivium” joke “home page” “mouse balls” hoax IBM memo Pentium (a CPU) anon.penet.fi (an anon server) (closed 8/96) “cypherpunk” Linux (an operating system) Project Gutenberg PPP (a connection protocol) Veronica (a data retrieval tool) Winsock Eudora (a mailer) 93 1 Joel Furr (makes net-related T-shirts) 93 2 “anon server”, also “anonymous server” 93 2 Godwin's Law (Hitler & Nazis will be mentioned, ending the thread) 93 2 Wired magazine 93 3 “surf” (not referring to the water sport) 93 3 aol.com gets access to newsgroups 93 3 MPEG (a format for short movies on the net) 93 3 Genie on mail 93 4 procmail 93 4 Delphi on mail 93 4 “National Information Infrastructure” meaning the existing net (future tense, 7/92) 93 5 BIX on mail 93 6 HTML (HyperText Markup Language) 93 6 “Internet Talk Radio” 93 6 Mosaic (a web browser) 93 6 The $5 -> $50,000 chain letter in newsgroups 93 6 Cisco (a brand of router) 93 6 Clarknet (an ISP) 93 7 Geek code 93 7 Delphi gets access to newsgroups 93 7 “netizen” 93 8 “information superhighway” meaning the existing net (future tense, 3/93) 93 8 Genie gets access to newsgroups 93 9 The $5 -> $50,000 chain letter in newsgroups mentioning Dave Rhodes 93 9 “information highway” meaning the existing net (future tense, 10/92) 93 9 “URL” Lynx (a web browser) SMS (Short Message Service) “cybersex”, referring to the net (3/92 referring to SF) (1971 in a zine) DOOM (a computer game) 94 1 “intranet” 94 1 “roadkill along the information superhighway” 94 1 Prodigy on mail 94 2 “information supercollider” 94 2 EPIC (Electronic Privacy Information Center) 94 3 unsolicited commercial (now called spam) 94 4 The “green card lawyers” (whom I shan't name, lest they sue me) spam 94 4 “spam” (meaning mass sending of netnews) kbps modems 94 5 “search engine” 94 5 “web page” 94 6 Mindspring (an ISP) 94 7 CUSeeMe (a video conferencing protocol) 94 7 “ISP” (Internet Service Provider) (previously “Public Access Unix”) 94 9 cgi-bin 94 9 Windows 95 (released 8/95) 94 9 “The September that never ended” (referring to 9/93) 94 9 Earthlink (an ISP) anon.twwells.com (an anon server) Prodigy gets access to newsgroups CancelMoose Netscape Yahoo! The “good times” virus hoax “spam” (meaning mass sending of mail to legitimate mailing lists) 95 1 “The Internet is full. Go away.” -- Joel Furr 95 1 Mozilla 95 2 CDA (Communications Decency act), also called S NetPhone (to make voice calls over the net) 95 2 Cable modems 95 3 “velveeta” (crossposting an article to too many newsgroups) 95 4 “chat room”, referring to the net (7/93 referring to AOL) 95 4 “shell account” 95 5 MP3 (an audio format, MPEG Layer (or Level) III, ISO/IEC ) 95 5 Lycos 95 6 RealAudio (an audio format) 95 6 Java (not the island nor the drink) 95 7 “spam” (meaning mass sending of mail to all addresses one can scrounge) 95 7 NoCeM 95 7 Windows “applet” 95 8 IPv6 (eight octet IP addresses) discussed aol.com on the web (anticipated in rec.humor.oracle 5 mos. earlier) DejaNews Erols (the ISP) Frames CyberPromo (notorious spam outfit) “Y2K problem” AltaVista JavaScript 96 1 “rogue domain” kbps modems 96 1 compuserve.com on the web 96 1 Microsoft Internet Explorer 96 1 Pentium Pro (a CPU) 96 1 EBay (an auction site) 96 2 ADSL (high speed communications over phone lines) 96 2 Wiki 96 3 Spamblocks (e.g. REMOVE.TO.REPLY) added to addesses to foil spammers 96 3 MMX chip 96 3 DVD disks 96 4 X-No-Archive: header lines 96 7 ActiveX kbps modems “infomercial stuporhighway” WebTV PointCast “Four Reports” chain letter mentioning Christopher Erickson ICQ The first version of this timeline 97 3 VERIO.NET (an ISP that buys up other ISPs) 97 4 IEMMC ( spammers' organization, claimed to have “universal” remove list) CAUCE (an organization that favors a law banning commercial spam) 97 7 WAP (Wireless Application Protocol) 97 9 “Four Reports” chain letter mentioning Karen Liddell IEMMC dead. CyberPromo, Quantcom, Nancynet, and other spammers offline RBL (Realtime Blackhole List) of spam sites Slashdot.org 98 2 ACP (Americans for Computer Privacy) 98 4 DMCA (Digital Millennium Copyright Act) 98 5 “Script Kiddie” 98 5 Bluetooth (a wireless protocol) 98 6 “Microsoft Tax” (Computer buyers paying for MS whether they want it or not) 98 7 X-Accept-Language: header lines RemarQ Google (a search engine) 99 3 Melissa Virus 99 3 Microsoft Passport 99 3 RSS (RDF Site Summary) 99 5 Napster (system for accessing MP3 audio files) Ian Clarke's “Freenet” b (a wireless protocol) 99 8 PayPal TCPA (Trusted Computing Platform Alliance) DMA announces a new global remove list (e-mps.org). Idiots “blog” (short for weblog) 00 1 X-No-Markup: header lines 00 3 Gnutella 00 4 LiveJournal 00 4 Verizon 00 5 LoveBug Virus 00 6 Blackberry 01 2 Windows XP 01 2 Google buys Deja archives 01 3 Wikipedia 01 4 Google restores Deja newsgroup archives 01 7 SirCam worm 01 7 Code Red worm 01 9 Nimda worm Google extends newsgroup archives back from 1995 to Googlewhack 02 3 RSS (Really Simple Syndication) Podcast “Captchas” (Completely Automated Public Turing tests to tell Computers and Humans Apart) SQL Slammer (aka Sapphire) worm 04 2 Firefox Browser 05 6 YouTube

18 Co doradzają twórcy nam Internetu?
"Be liberal in what you accept, and conservative in what you send." jon (Postel) RFC-1122 (originates in RFC760) “Junk mail is war. RFCs do not apply.” -- Wietse Venema

19 Jak, skąd atakuje spam Spamboty/inne formy automatów
Zombies, Podatne WWW/SMTP (OpenRelay) Hosting z min. ochroną przed własnymi użytkownikami Spamujący „inteligentni inaczej” Spam bouncujący Skutek uboczny harvestingu

20 Jak się bronimy? Analiza treści Uwierzytelnianie poczty serwer-serwer
Sender Policy Framework SenderID DomainKeys Identified Mail Ocena reputacji nadawcy Listy źródeł spamu / zagrożeń Black/White listy nadawców/odbiorców Harvesting Zwiększanie kosztowności spamowania Greylisting, Tarpinging Weryfikacja poprawności konfiguracji (np. reverse DNS, zgodność HELO) Blokada harvestingu Relationship with DKIM SPF validates the message envelope (the SMTP bounce address), not the message contents (header and body) – this is the distinction between SMTP (as specified in STD 10 or RFC 5321) and Internet Message Format (as specified in STD 11 or RFC 5322). It is orthogonal and complementary to DomainKeys Identified Mail (DKIM), which signs the contents (including headers). In brief, SPF validates MAIL FROM vs. its source server; DKIM validates "From:" by cryptographic means.

21 … i jakie to ma konsekwencje…
Poczta przestała być zaufanym medium transmisyjnym. Zwiększyło się ryzyko, że poczta „przepadnie” – false positives Zwiększyły się praktyczne wymogi stawiane przed hostem pocztowym

22 Konsekwencje: Content filtering
Junk Mails Czasem REJECT Bardzo często praktycznie DROP Reguły filtrowania najmniej skodyfikowane Filtry baysowskie Zestawy słów kluczowych Charakterystyka – wielkość i zawartość a

23 Konsekwencje: Uwierzytelnianie poczty
Odrzucenia z powodu wysłania z nie zaufanego adresu Brak zgodności z wszelkimi systemami forwadującymi maile lub podszywającymi się, np. część notyfikacji allegro.pl

24 Konsekwencje: Reputacja stron
Można do problemu podchodzić na kilka sposobów: Dynamicznie, w oparciu o obecne zachowania wobec nas i świata Czy teraz jest open relay Czy domena nadawcy istnieje Czy domena nadawcy ma (pracujące) pod adresem wskazanym przez MX-y serwery odbierające 3rd party, historyczne, zazwyczaj jako Listy źródeł spamu / zagrożeń

25 Konsekwencje: Listy źródeł zagrożeń
Zazwyczaj jako Real Time Blocking List – z czasem Domain Name System Block List Prowadzone przez różne organizacji, z różnymi celami i politykami tak umieszczania jak i wycofywania Brak dobrych i uniwersalnych list dla każdego Konieczna jest samokontrola (płatny, powoli doganiany przez MXToolbox) Własne skrypty

26 Typy DNSBL: spam source
new.spam.dnsbl.sorbs.net - List of hosts that have been noted as sending spam/UCE/UBE to the admins of SORBS within the last 48 hours. sbl.spamhaus.org - Static UBE sources, verified spam services and ROKSO spammers bl.spamcop.net - The SCBL is a list of IP addresses which have transmitted reported to SpamCop users, which in turn is used to block and filter unwanted .

27 Typy DNSBL: Dynamic dul.dnsbl.sorbs.net - Dynamic IP Address ranges (NOT a Dial Up list!) -- Dynamic User and Host List (DUHL) Założenie: DUL-e nie powinny mieć samodzielnych serwerów Założenie: DUL-e to klienci, a więc i ew. źródło infekcji

28 Typy DNSBL: braki administrowania
escalations.dnsbl.sorbs.net - This zone contains netblocks of spam supporting service providers, including those who provide websites, DNS or drop boxes for a spammer. rfc-ignorant.org is the clearinghouse for sites who think that the rules of the internet don't apply to them. DSN ( <> ) postmaster abuse whois bogusmx

29 Spam Operators/ Supporters
100 Known Spam Operations responsible for 80% of your spam.

30 Typy DNSBL: Backscatterer
Backscatterer.org – Backscatter (also known as outscatter, misdirected bounces, blowback or collateral spam) is a side-effect of spam, viruses and worms, where servers receiving spam and other mail send bounce messages to an innocent party. This occurs because the original message's envelope sender is forged to contain the often unprotected address of the victim.

31 Typy DNSxL Nie każda lista IP Address Provider jest Black Listą
- lista IP krajów (taka globalna odmiana - DNSWL.org provides a Whitelist of known legitimate servers to reduce the chances of false positives while spam filtering. Można także samemu postawić własną DNSxL:

32 Konsekwencje: zwiększanie kosztów
Tarpinging - spowalniaj reakcję na błędne komendy: stosunkowo bezpieczny, zabezpiecza przez agresywnym atakiem obciążając nadawcę Greylisting – „rozwinięcie” tarpitingu – niezależnie od tego czy polecenia były błędne czy nie, nie przyjmuj pierwszych maili na dany adres z tego IP Wprowadza opóźnienie w komunikacji, Czasem b. długie (Exchange 2003 miewa problemy z kolejnymi przerworzeniami jeśli ten czas nie jest naprawdę krótki) Wymaga dobrej koordynacji baz poprawnie skomunikowanych połączeń między MX-ami. Harvesting – blokowanie, na poziomie sesji SMTP dostarczania do nie naszych użytkowników Istotne także w połączeniu z backscatterem, świetnie wspierane przez tarpitting

33 Zwiększanie kosztów – „poprawna konfiguracja”
Weryfikacja poprawności konfiguracji reverse DNS, zgodność HELO/EHLO, Wysyłanie z adresów które są MX-ami Kontakt z helpdeskiem

34 W polskich warunkach… DNSBL-e typowe to
DUN – spora część klas TPSA traktowana była jako zmienne IP, nie tylko Neostrada, ale też DSL Odpowiedzialność zbiorowa: Słaba reaktywność wsparcia technicznego TPSA/Netii powodowała uznanie cały AS za przyjazne spamerom Często reakcją na te problemy jest wysyłanie przez dostawcę gdzie mamy WWW (odradzam, zwł. na Exchange 2007/10)

35 Jak więc postawić serwer pocztowy?
Nigdy więcej rozmów z ludźmi o marnej reputacji Jarosław Kaczyński TCO serwera SMTP zawiera: Koszt łącza Lub Koszt usługi filtrowania/przesyłania poczty Nie bardzo da się użyć usługi dla użytkownika domowego lub typowego POP3 do obsługi Exchange. I jest to celowe działanie.

36 A co na to wszystko prawo?
Uwaga, uwaga – póki co o ile nie świadczy jej telekom poczta nie jest usługą telekomunikacyjną… Więc nie trzeba gromadzić logów z połączeń przed dwa lata w wiarygodny sposób… … ale teoretycznie każdy system pocztowy przetwarza dane osobowe…. Upppppppssssss.

37 Podsumowanie

38 Dziękuję za uwagę…

39 Pytania? Komentarze? Chętni do poprowadzenia własnej sesji?
Następne spotkanie: :30 także na Virtual Study, A potem , 3 czwartek listopada twarzą w twarz, i częsciowo przez LM.

40 Zero Inbox Moja prywatna kampania…