Tự dựng mail server trên VPS: Postfix + Dovecot + OpenDKIM

Vì sao cần Tự dựng mail server trên VPS

Tự dựng mail server trên VPS giúp bạn kiểm soát toàn bộ luồng email: gửi, nhận, lưu trữ, xác thực, chống spam và sao lưu. Với combo Postfix + Dovecot + OpenDKIM, bạn có thể dựng một hệ thống mail cơ bản nhưng đủ dùng cho cá nhân, team kỹ thuật nhỏ, dự án MMO, hệ thống thông báo, hoặc tên miền riêng.

Pain point đầu tiên là chi phí và sự phụ thuộc. Nhiều dịch vụ email tính phí theo user, theo dung lượng, theo số lượng domain hoặc giới hạn gửi mỗi ngày.

Pain point thứ hai là khả năng kiểm soát. Khi bạn cần debug header, log SMTP, DKIM, SPF, DMARC, bounce, queue, rate limit, việc có server riêng giúp nhìn rõ mọi thứ thay vì chỉ nhận một thông báo lỗi chung chung.

Tuy vậy, tự dựng mail không phải “cài xong là chạy mãi”. Bạn phải chăm IP, DNS, bảo mật, backup, log, cập nhật hệ thống và xử lý uy tín gửi mail.

Gợi ý thực tế: nếu bạn chỉ cần email ổn định cho công ty, nên cân nhắc thuê dịch vụ. Nếu bạn cần học, lab, kiểm soát kỹ thuật, gửi mail hệ thống hoặc vận hành domain riêng quy mô nhỏ, tự dựng mail rất đáng làm.

Bạn có thể tham khảo thêm các hướng dẫn nền tảng về VPS tại tài liệu VSIS và thông tin dịch vụ tại https://vsis.net/.

Khi nào nên tự dựng, khi nào nên thuê dịch vụ

Không nên xem tự dựng mail và thuê dịch vụ là hai lựa chọn đối đầu tuyệt đối. Mỗi phương án phù hợp với một nhu cầu khác nhau.

Bạn nên tự dựng khi:

• Muốn học sâu về SMTP, IMAP, DNS email.
• Cần email theo domain riêng với số lượng user ít.
• Cần gửi mail hệ thống, alert, log, thông báo.
• Cần kiểm soát queue, blacklist, header, xác thực.
• Có khả năng quản trị Linux cơ bản.

Bạn nên thuê dịch vụ khi:

• Email là kênh sống còn của doanh nghiệp.
• Không có thời gian theo dõi log và sự cố.
• Cần deliverability cao vào Gmail, Outlook, Yahoo.
• Cần lịch, danh bạ, webmail, mobile sync tốt.
• Có nhiều user không rành kỹ thuật.

Một mô hình dung hòa là tự dựng mail cho hệ thống kỹ thuật, còn email giao dịch quan trọng dùng dịch vụ chuyên nghiệp. Ví dụ, bạn có thể dùng mail server riêng cho [email protected], nhưng dùng dịch vụ ngoài cho [email protected].

Chuẩn bị: tên miền, rDNS, cổng 25 có bị chặn không

Trước khi cài Postfix, bạn cần kiểm tra ba thứ: domain, rDNS và cổng 25. Thiếu một trong ba, mail server có thể chạy nhưng gửi mail ra ngoài rất khó vào Inbox.

Tên miền và hostname

Giả sử bạn dùng:

• Domain: example.com
• Mail hostname: mail.example.com
• IP VPS: 203.0.113.10
• User mail mẫu: [email protected]

Trên VPS, đặt hostname:

sudo hostnamectl set-hostname mail.example.com

Kiểm tra:

hostname -f

Trong file /etc/hosts, nên có dòng tương tự:

203.0.113.10 mail.example.com mail

Hostname nên là FQDN đầy đủ, không nên để dạng ubuntu, vps, localhost hoặc tên ngẫu nhiên.

DNS cơ bản

Bạn cần khai tối thiểu các bản ghi sau:

SPF cho biết IP nào được phép gửi mail thay mặt domain. DKIM ký thư bằng khóa riêng. DMARC nói cho server nhận biết nên xử lý thế nào nếu SPF hoặc DKIM fail.

Bạn có thể đọc thêm tiêu chuẩn SPF tại tài liệu của Google: Set up SPF.

rDNS hay PTR

rDNS là bản ghi ngược từ IP về hostname. Ví dụ:

203.0.113.10 -> mail.example.com

Bản ghi này thường không cấu hình ở DNS domain, mà cấu hình trong panel VPS hoặc yêu cầu nhà cung cấp hỗ trợ. Nếu IP không có PTR hoặc PTR trỏ về tên lạ, nhiều mail server sẽ đánh giá điểm xấu.

Kiểm tra PTR:

dig -x 203.0.113.10 +short

Kết quả nên là:

mail.example.com.

Sau đó kiểm tra chiều ngược lại:

dig mail.example.com +short

IP trả về nên đúng là 203.0.113.10.

Cổng 25 có bị chặn không

SMTP gửi mail giữa các server dùng cổng 25. Nhiều nhà cung cấp VPS chặn outbound port 25 để chống spam.

Kiểm tra nhanh:

telnet gmail-smtp-in.l.google.com 25

Hoặc:

nc -vz gmail-smtp-in.l.google.com 25

Nếu timeout hoặc bị từ chối dù firewall đã mở, khả năng cao nhà cung cấp đang chặn. Bạn cần mở ticket yêu cầu mở port 25, hoặc dùng SMTP relay bên ngoài.

Ngoài cổng 25, bạn thường cần mở:

Nếu dùng ufw, mở cổng:

sudo ufw allow 25/tcp
sudo ufw allow 587/tcp
sudo ufw allow 993/tcp
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw reload

Cài Postfix nhận/gửi + Dovecot cho IMAP

Phần này dùng Ubuntu/Debian làm ví dụ. Các distro khác vẫn tương tự, chỉ khác lệnh package và đường dẫn cấu hình.

Cập nhật hệ thống:

sudo apt update
sudo apt upgrade -y

Cài Postfix và Dovecot:

sudo apt install postfix dovecot-core dovecot-imapd dovecot-lmtpd mailutils -y

Khi trình cài đặt Postfix hỏi kiểu cấu hình, chọn:

Internet Site

Ở mục system mail name, nhập:

example.com

Cấu hình Postfix cơ bản

Mở file /etc/postfix/main.cf:

sudo nano /etc/postfix/main.cf

Thiết lập các dòng quan trọng:

myhostname = mail.example.com
mydomain = example.com
myorigin = /etc/mailname
mydestination = $myhostname, localhost.$mydomain, localhost, $mydomain
inet_interfaces = all
inet_protocols = ipv4
home_mailbox = Maildir/
smtpd_banner = $myhostname ESMTP

Tạo hoặc kiểm tra file /etc/mailname:

echo "example.com" | sudo tee /etc/mailname

Khởi động lại Postfix:

sudo systemctl restart postfix
sudo systemctl enable postfix

Tạo user hệ thống để nhận mail:

sudo adduser admin

Gửi thử mail nội bộ:

echo "Test local mail" | mail -s "Hello local" admin

Đăng nhập user và kiểm tra thư:

sudo su - admin
ls Maildir
exit

Bật submission cổng 587

Client như Thunderbird, Outlook hoặc app gửi mail nên dùng cổng 587 với xác thực, không nên dùng cổng 25.

Mở file /etc/postfix/master.cf:

sudo nano /etc/postfix/master.cf

Bỏ comment hoặc thêm block:

submission inet n       -       y       -       -       smtpd
  -o syslog_name=postfix/submission
  -o smtpd_tls_security_level=may
  -o smtpd_sasl_auth_enable=yes
  -o smtpd_recipient_restrictions=permit_sasl_authenticated,reject

Cấu hình Dovecot IMAP

Mở file /etc/dovecot/conf.d/10-mail.conf:

sudo nano /etc/dovecot/conf.d/10-mail.conf

Đặt mailbox dạng Maildir:

mail_location = maildir:~/Maildir

Mở file /etc/dovecot/conf.d/10-auth.conf:

sudo nano /etc/dovecot/conf.d/10-auth.conf

Đảm bảo có:

disable_plaintext_auth = yes
auth_mechanisms = plain login

Mở file /etc/dovecot/conf.d/10-master.conf:

sudo nano /etc/dovecot/conf.d/10-master.conf

Tìm block service auth và thêm socket cho Postfix:

service auth {
  unix_listener /var/spool/postfix/private/auth {
    mode = 0660
    user = postfix
    group = postfix
  }
}

Mở /etc/postfix/main.cf và thêm SASL:

smtpd_sasl_type = dovecot
smtpd_sasl_path = private/auth
smtpd_sasl_auth_enable = yes
smtpd_sasl_security_options = noanonymous

Khởi động lại dịch vụ:

sudo systemctl restart dovecot postfix

Kiểm tra trạng thái:

sudo systemctl status postfix
sudo systemctl status dovecot

Bạn có thể dùng Thunderbird cấu hình:

• Email: [email protected]
• IMAP server: mail.example.com
• IMAP port: 993
• SMTP server: mail.example.com
• SMTP port: 587
• Username: admin
• Password: mật khẩu user Linux

Để có TLS chuẩn, nên cài Let’s Encrypt. Nếu bạn chưa quen thao tác VPS, xem thêm nhóm tài liệu tại doc.vsis.net hoặc các bài liên quan về Linux server trên VSIS.

Gắn OpenDKIM và khai DNS

DKIM giúp mail server nhận kiểm tra thư có thật sự được ký bởi domain của bạn hay không. Đây là bước rất quan trọng nếu muốn Gmail, Outlook hoặc các hệ thống lọc mail đánh giá tốt hơn.

Cài OpenDKIM:

sudo apt install opendkim opendkim-tools -y

Tạo thư mục khóa:

sudo mkdir -p /etc/opendkim/keys/example.com
sudo chown -R opendkim:opendkim /etc/opendkim

Sinh khóa DKIM:

sudo opendkim-genkey -b 2048 -d example.com -s default -D /etc/opendkim/keys/example.com

Phân quyền:

sudo chown opendkim:opendkim /etc/opendkim/keys/example.com/default.private

File cần chú ý:

• Khóa riêng: /etc/opendkim/keys/example.com/default.private
• DNS record: /etc/opendkim/keys/example.com/default.txt

Mở /etc/opendkim.conf:

sudo nano /etc/opendkim.conf

Đặt hoặc kiểm tra các dòng:

Syslog                  yes
UMask                   002
Mode                    sv
Canonicalization        relaxed/simple
Socket                  inet:8891@localhost
PidFile                 /run/opendkim/opendkim.pid
OversignHeaders         From
TrustAnchorFile         /usr/share/dns/root.key
KeyTable                /etc/opendkim/key.table
SigningTable            /etc/opendkim/signing.table
ExternalIgnoreList      /etc/opendkim/trusted.hosts
InternalHosts           /etc/opendkim/trusted.hosts

Tạo /etc/opendkim/key.table:

sudo nano /etc/opendkim/key.table

Nội dung:

default._domainkey.example.com example.com:default:/etc/opendkim/keys/example.com/default.private

Tạo /etc/opendkim/signing.table:

sudo nano /etc/opendkim/signing.table

Nội dung:

*@example.com default._domainkey.example.com

Tạo /etc/opendkim/trusted.hosts:

sudo nano /etc/opendkim/trusted.hosts

Nội dung:

127.0.0.1
localhost
mail.example.com
example.com

Kết nối OpenDKIM với Postfix bằng cách thêm vào /etc/postfix/main.cf:

milter_default_action = accept
milter_protocol = 6
smtpd_milters = inet:localhost:8891
non_smtpd_milters = inet:localhost:8891

Khởi động lại:

sudo systemctl restart opendkim postfix
sudo systemctl enable opendkim

Lấy DNS record:

sudo cat /etc/opendkim/keys/example.com/default.txt

Bạn sẽ thấy dạng:

default._domainkey IN TXT "v=DKIM1; h=sha256; k=rsa; p=..."

Khai TXT record trong DNS:

• Name: default._domainkey
• Type: TXT
• Value: toàn bộ chuỗi v=DKIM1; h=sha256; k=rsa; p=...

Kiểm tra DNS đã nhận:

dig TXT default._domainkey.example.com +short

Gửi thử mail đến Gmail, mở “Show original” và xem DKIM có PASS hay không. Nếu chưa pass, kiểm tra lại selector default, domain, quyền file khóa và log /var/log/mail.log.

Chống thư rác cơ bản: SpamAssassin, giới hạn tốc độ

Mail server không chỉ cần gửi được, mà còn phải hạn chế bị lợi dụng để gửi spam. Một server cấu hình hở có thể bị bot dùng làm relay và IP của bạn sẽ nhanh chóng vào blacklist.

Cài SpamAssassin

Cài gói:

sudo apt install spamassassin spamc -y

Bật dịch vụ:

sudo systemctl enable spamassassin
sudo systemctl start spamassassin

Tùy bản Ubuntu, service có thể là spamd. Kiểm tra:

sudo systemctl status spamassassin
sudo systemctl status spamd

Một cách phổ biến là tích hợp SpamAssassin qua content filter hoặc dùng thêm Amavis. Với setup nhỏ, bạn có thể bắt đầu bằng cách lọc ở client hoặc chỉ dùng SpamAssassin để chấm điểm khi cần.

Kiểm tra mẫu spam GTUBE:

printf "Subject: test spam\n\nXJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X" | spamassassin

Nếu SpamAssassin hoạt động, thư test sẽ bị đánh dấu spam.

Không biến server thành open relay

Kiểm tra trong /etc/postfix/main.cf nên có logic hạn chế relay:

smtpd_relay_restrictions = permit_mynetworks, permit_sasl_authenticated, defer_unauth_destination

Dòng này nghĩa là chỉ cho local network và user đã xác thực gửi relay ra ngoài. Người lạ không được dùng server của bạn để gửi đến domain khác.

Bạn cũng nên giữ mynetworks hẹp:

mynetworks = 127.0.0.0/8

Không thêm dải IP lạ nếu không hiểu rõ.

Giới hạn tốc độ gửi

Postfix có thể giới hạn số kết nối và tốc độ gửi để giảm rủi ro khi tài khoản bị lộ mật khẩu.

Thêm vào /etc/postfix/main.cf:

smtpd_client_connection_rate_limit = 20
smtpd_client_message_rate_limit = 100
default_destination_rate_delay = 2s
anvil_rate_time_unit = 60s

Các con số trên chỉ là mẫu. Nếu bạn gửi newsletter hoặc traffic lớn, cần thiết kế bài bản hơn.

Restart Postfix:

sudo systemctl restart postfix

Theo dõi queue:

mailq

Xem log:

sudo tail -f /var/log/mail.log

Xóa toàn bộ queue chỉ nên làm khi chắc chắn:

sudo postsuper -d ALL

Nếu chỉ muốn xóa deferred queue:

sudo postsuper -d ALL deferred

Bảo vệ tài khoản

Vì setup này dùng user hệ thống, mật khẩu user chính là chìa khóa gửi mail. Bạn nên:

• Dùng mật khẩu mạnh.
• Tắt SSH password login nếu có thể.
• Không dùng chung mật khẩu mail với dịch vụ khác.
• Cài fail2ban cho Postfix và Dovecot.
• Theo dõi login fail trong log.

Cài Fail2ban:

sudo apt install fail2ban -y

Tạo file /etc/fail2ban/jail.local:

sudo nano /etc/fail2ban/jail.local

Nội dung cơ bản:

[postfix]
enabled = true

[dovecot]
enabled = true

Khởi động lại:

sudo systemctl restart fail2ban

Kiểm tra:

sudo fail2ban-client status

Sao lưu hộp thư và kế hoạch khôi phục

Maildir lưu thư theo file, thường nằm trong home user tại ~/Maildir. Với user admin, đường dẫn là /home/admin/Maildir.

Bạn cần sao lưu tối thiểu:

• Dữ liệu mail: /home/*/Maildir
• Cấu hình Postfix: /etc/postfix
• Cấu hình Dovecot: /etc/dovecot
• Cấu hình OpenDKIM: /etc/opendkim
• File hostname/mailname: /etc/hostname, /etc/mailname, /etc/hosts
• Script vận hành riêng nếu có.

Sao lưu nhanh bằng tar

Tạo thư mục backup:

sudo mkdir -p /backup/mail

Chạy backup:

sudo tar -czf /backup/mail/mail-backup-$(date +%F).tar.gz \
/home/*/Maildir \
/etc/postfix \
/etc/dovecot \
/etc/opendkim \
/etc/mailname \
/etc/hosts

Nên đẩy backup ra ngoài VPS. Backup nằm cùng server chỉ giúp khi lỡ xóa file, không giúp nếu VPS mất dữ liệu hoặc bị xâm nhập.

Bạn có thể dùng rsync sang server khác:

rsync -avz /backup/mail/ user@backup-server:/data/mail-backup/

Hoặc dùng object storage tương thích S3 nếu hạ tầng của bạn có sẵn.

Lịch sao lưu gợi ý

Thêm cron:

sudo crontab -e

Ví dụ chạy lúc 02:30 mỗi ngày:

30 2 * * * /usr/local/bin/backup-mail.sh

Script /usr/local/bin/backup-mail.sh cần có quyền chạy:

sudo chmod +x /usr/local/bin/backup-mail.sh

Kế hoạch khôi phục

Backup chỉ có giá trị khi bạn đã thử restore. Ít nhất mỗi tháng nên dựng một VPS test và khôi phục thử.

Quy trình khôi phục cơ bản:

1. Cài lại Postfix, Dovecot, OpenDKIM cùng phiên bản gần tương đương.
2. Restore /etc/postfix, /etc/dovecot, /etc/opendkim.
3. Restore /home/*/Maildir.
4. Kiểm tra quyền sở hữu file.
5. Restart dịch vụ.
6. Gửi và nhận mail test.
7. Kiểm tra DKIM, SPF, DMARC.

Sửa quyền Maildir nếu cần:

sudo chown -R admin:admin /home/admin/Maildir

Sửa quyền OpenDKIM:

sudo chown -R opendkim:opendkim /etc/opendkim

Sau khi restore:

sudo systemctl restart postfix dovecot opendkim

Sai lầm phổ biến

Bỏ qua rDNS

Nhiều bạn cấu hình SPF, DKIM, DMARC rất kỹ nhưng quên PTR. Kết quả là gửi đến Gmail hoặc Outlook bị vào spam, thậm chí bị từ chối.

PTR phải trỏ về mail.example.com, và mail.example.com phải trỏ ngược lại đúng IP. Đây là tín hiệu uy tín rất cơ bản.

Dùng IP VPS đã có lịch sử xấu

Không phải IP nào cũng phù hợp để gửi mail. Nếu IP từng bị spam, nằm trong blacklist hoặc thuộc dải IP bị đánh giá thấp, bạn sẽ gặp khó dù cấu hình đúng.

Hãy kiểm tra blacklist trước khi dùng. Nếu IP quá xấu, đổi IP hoặc dùng SMTP relay sẽ nhanh hơn cố “gỡ nghiệp”.

Mở relay vô tình

Sai cấu hình smtpd_relay_restrictions có thể biến server thành open relay. Bot sẽ phát hiện rất nhanh và dùng server của bạn để gửi spam.

Luôn đảm bảo chỉ user xác thực mới được gửi mail ra ngoài. Sau khi cấu hình, nên test bằng công cụ kiểm tra open relay uy tín.

Không dùng TLS đúng cách

Client gửi mail qua cổng 587 nên có TLS và xác thực. IMAP nên dùng 993 thay vì 143 không mã hóa.

Nếu dùng chứng chỉ self-signed, mail client sẽ cảnh báo. Tốt nhất nên dùng Let’s Encrypt cho mail.example.com.

Không theo dõi log

Mail server sống trong log. Các lỗi như auth fail, DKIM fail, reject, timeout, blacklist, deferred queue đều thể hiện trong /var/log/mail.log.

Nếu chỉ đợi user báo “không nhận được mail”, bạn sẽ xử lý rất bị động.

Không có backup ngoài server

Mail là dữ liệu có trạng thái, không giống web tĩnh chỉ cần deploy lại. Mất Maildir là mất thư.

Backup phải nằm ngoài VPS chính và phải được test restore định kỳ.

Key takeaways

• Tự dựng mail phù hợp khi bạn cần học, kiểm soát kỹ thuật, gửi mail hệ thống hoặc vận hành domain nhỏ.
• Ba điều phải kiểm tra trước khi cài là DNS domain, rDNS/PTR và cổng 25.
• Postfix xử lý SMTP, Dovecot xử lý IMAP, OpenDKIM ký thư để tăng độ tin cậy.
• SPF, DKIM, DMARC không đảm bảo 100% vào Inbox, nhưng thiếu chúng thì rất dễ vào spam.
• Không được để server thành open relay, và nên giới hạn tốc độ gửi để giảm rủi ro.
• Backup Maildir và cấu hình phải có bản sao ngoài VPS, kèm quy trình khôi phục đã test.
• Với email doanh nghiệp quan trọng, thuê dịch vụ chuyên nghiệp vẫn là lựa chọn an toàn hơn.

Câu hỏi thường gặp

Tự dựng mail server có chắc vào Inbox Gmail không?

Không chắc. Inbox phụ thuộc IP reputation, domain reputation, nội dung mail, tần suất gửi, tương tác người nhận, SPF, DKIM, DMARC và nhiều tín hiệu khác.

Tự dựng đúng cấu hình chỉ là nền tảng. Nếu IP mới, bạn nên gửi ít, tăng dần, tránh nội dung giống spam và theo dõi bounce.

VPS bị chặn cổng 25 thì có dựng mail được không?

Bạn vẫn có thể nhận mail nếu inbound 25 mở, nhưng gửi ra ngoài sẽ khó nếu outbound 25 bị chặn. Trong trường hợp đó, bạn cần yêu cầu nhà cung cấp mở cổng hoặc dùng SMTP relay.

Nếu mục tiêu là học và nhận mail nội bộ, vẫn có thể lab. Nếu cần gửi mail thật, cổng 25 outbound rất quan trọng.

Có nên dùng user Linux làm tài khoản email không?

Với setup nhỏ, dùng user Linux là cách đơn giản. Ví dụ user admin nhận mail tại [email protected].

Với nhiều domain hoặc nhiều user, nên chuyển sang virtual mailbox dùng database như MariaDB hoặc PostgreSQL. Cách đó dễ quản lý hơn nhưng cấu hình dài hơn.

SPF, DKIM, DMARC khác nhau thế nào?

SPF xác định IP nào được phép gửi mail cho domain. DKIM ký nội dung thư bằng khóa riêng để bên nhận xác minh bằng DNS public key.

DMARC dùng kết quả SPF và DKIM để đưa ra chính sách xử lý. Ví dụ chỉ theo dõi với p=none, hoặc nghiêm hơn với p=quarantine, p=reject.

Có cần cài webmail không?

Không bắt buộc. Bạn có thể dùng Thunderbird, Outlook, Apple Mail hoặc app mobile qua IMAP/SMTP.

Nếu muốn webmail, có thể cài Roundcube trên cùng VPS hoặc VPS khác. Khi đó cần cấu hình thêm web server, PHP, database và HTTPS.

Nên dùng Ubuntu hay Debian để dựng mail?

Cả hai đều ổn. Ubuntu phổ biến, dễ tìm hướng dẫn; Debian ổn định và gọn.

Quan trọng hơn là bạn dùng bản LTS/stable, cập nhật bảo mật đều, cấu hình DNS đúng và có backup.

Tóm tắt nhanh

• Tự dựng mail trên VPS cho bạn quyền kiểm soát cao nhưng đòi hỏi vận hành nghiêm túc.
• Trước khi cài, kiểm tra domain, bản ghi MX/SPF/DMARC, rDNS và cổng 25.
• Postfix dùng cho SMTP, Dovecot dùng cho IMAP, OpenDKIM dùng để ký mail.
• Hãy bật submission 587, IMAPS 993, SASL auth và không mở relay.
• SpamAssassin, Fail2ban và rate limit giúp giảm rủi ro spam, brute force, lộ tài khoản.
• Sao lưu Maildir và các thư mục cấu hình ra ngoài VPS, đồng thời test restore định kỳ.
• Nếu email là kênh kinh doanh sống còn, nên cân nhắc thuê dịch vụ chuyên nghiệp thay vì tự vận hành toàn bộ.