SEO Botlarını Engelleme: Semrush, Ahrefs, Moz vb.

WEBUZMANSon Güncelleme: 22 Mayıs 2025

Web sitenizin SEO analiz araçları tarafından taranmasını istemiyor musunuz? Ahrefs, SEMrush, Moz, Majestic gibi popüler SEO botlarının sitenize erişimini sınırlandırarak içeriklerinizi ve bağlantı verilerinizi gizli tutabilirsiniz. Bu kılavuzda, SEO botlarının web sitenize ulaşmasını nasıl engelleyeceğinizi adım adım ele alıyoruz.

Sitenizin istatistiklerini üçüncü taraf analiz servislerinden gizlemek, rekabet avantajınızı korumanıza yardımcı olabilir. Aşağıda, en sık kullanılan SEO araçlarının botlarını engellemek için kullanabileceğiniz etkili yöntemleri ve ipuçlarını bulacaksınız. Bu yöntemler web siteleri hakkında veri toplayan botları sınırlandırmak veya tamamen engellemek isteyenler için uygundur.

İçerik gizle

Robots.txt ile bot engelleme

.htaccess ve nginx.conf ile bot engelleme

PHP bot engelleme

Güvenlik Duvarı (WAF) ve Bot Yönetim Sistemleri Kullanma

🎯 Bonus: WordPress Kullanıcıları İçin

Robots.txt ile bot engelleme

Robots.txt, arama motoru ve SEO araçlarının sitenizin hangi bölümlerini tarayabileceğini belirleyen temel bir kontrol mekanizmasıdır. Ancak unutmayın, robots.txt dosyası bir “rica”dır; bazı botlar bu kuralları dikkate almayabilir.

Şimdi, Robots.txt dosyanızı açın ve engellemek istediğiniz botları aşağıdaki gibi ekleyin:

User-agent: rogerbot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SiteAuditBot 
Disallow: /

User-agent: AhrefsBot
Disallow: /

.htaccess ve nginx.conf ile bot engelleme

Apache sunucusu kullanıyorsanız, .htaccess dosyasına özel kurallar ekleyerek belirli botların IP adreslerini veya User-Agent bilgilerini filtreleyebilirsiniz. Bu yöntem, robots.txt’ye göre daha kesindir. Eğer sunucunuz htaccess’i destekliyorsa botları engellemek için aşağıdaki kodu kullanabilirsiniz:

# htaccess bot engelleme
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} (ahrefsbot|mj12bot|rogerbot|dotbot|semrush) [NC]
RewriteRule .* - [F,L]
</IfModule>

# nginx bot engelleme
if ($http_user_agent ~* (ahrefsbot|mj12bot|rogerbot|dotbot|semrush) ) {
return 403;
}

PHP bot engelleme

WordPress gibi PHP tabanlı bir web siteniz varsa ve sunucunuz .htaccess’i desteklemiyorsa bu yöntemi kullanabilirsiniz. Aşağıdaki kodu head.php dosyanıza ekleyin:

$badAgents = array('rogerbot','mj12bot', 'ahrefsbot', 'semrush', 'dotbot');
foreach ($badAgents as $blacklist) {
if (preg_match("/$blacklist/", strtolower($_SERVER['HTTP_USER_AGENT'])) ) {
exit();
} }

Bu yöntemi kullanacaksanız WordPress RSS besleme özelliğini de engellemeniz gerekecek. Bunu aşağıdaki kodu temanızın function.php dosyasının sonuna ekleyerek yapabilirsiniz:

function wp_disable_feeds() {
wp_die( __('No feeds available!') );
}
  
add_action('do_feed', 'wp_disable_feeds', 1);
add_action('do_feed_rdf', 'wp_disable_feeds', 1);
add_action('do_feed_rss', 'wp_disable_feeds', 1);
add_action('do_feed_rss2', 'wp_disable_feeds', 1);
add_action('do_feed_atom', 'wp_disable_feeds', 1);
add_action('do_feed_rss2_comments', 'wp_disable_feeds', 1);
add_action('do_feed_atom_comments', 'wp_disable_feeds', 1);

“No feeds available” mesajını dilerseniz değiştirebilirsiniz. Kodu ekledikten sonra değişiklikleri kaydetmeyi unutmayın.

>> HTTP Durum Kodları Anlamları ve SEO Etkisi

Güvenlik Duvarı (WAF) ve Bot Yönetim Sistemleri Kullanma

Cloudflare, Sucuri, StackPath gibi servis sağlayıcıları ile kötü niyetli botlara karşı daha gelişmiş koruma sağlayabilirsiniz. Bu sistemler şunları yapabilir: