# Google, StackRambler, Yandex, Aport - Важные боты для нас.
# К сожалению их останавливает тег noindex.
# Если вы удалили noindex коснтрукцию то это должно пригодиться.
# Для всех ботов
User-agent: *
# Папки
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*arcade
Disallow: /forum/*printpage

# Убираем мобильные версии
Disallow: /forum/index.php?*;wap
Disallow: /forum/index.php?*;wap2
Disallow: /forum/index.php?*;imode
# Не нужно нам и это индексировать, собственно что закрывал тег noindex
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php?*.new
# Всё что связано с ; уберём
Disallow: /forum/index.php?*;*
# Действия
Disallow: /forum/index.php?action=activate
Disallow: /forum/index.php?action=admin
Disallow: /forum/index.php?action=calendar
Disallow: /forum/index.php?action=emailuser
Disallow: /forum/index.php?action=findmember
Disallow: /forum/index.php?action=help
Disallow: /forum/index.php?action=helpadmin
Disallow: /forum/index.php?action=login
Disallow: /forum/index.php?action=logout
Disallow: /forum/index.php?action=mlist
Disallow: /forum/index.php?action=modifykarma
Disallow: /forum/index.php?action=pm
Disallow: /forum/index.php?action=post
Disallow: /forum/index.php?action=printpage
Disallow: /forum/index.php?action=profile
Disallow: /forum/index.php?action=recent
Disallow: /forum/index.php?action=register
Disallow: /forum/index.php?action=reminder
Disallow: /forum/index.php?action=search
Disallow: /forum/index.php?action=theme
Disallow: /forum/index.php?action=unread
Disallow: /forum/index.php?action=unreadreplies
Disallow: /forum/index.php?action=verificationcode
Disallow: /forum/index.php?action=who
Disallow: /forum/index.php?theme
Disallow: /forum/index.php?struct=on&data=on&action=dumpdb
# Моды, по желанию и необходимости
Disallow: /forum/archive.php
Disallow: /forum/index.php?action=chess
Disallow: /forum/index.php?action=sitemap
Disallow: /forum/index.php?action=viewkarma
Disallow: /forum/index.php?action=viewers
Disallow: /forum/index.php?action=arcade;favorites
Disallow: /forum/index.php?action=arcade;sa=highscore
Disallow: /forum/index.php?action=arcade;sa=play;random
Disallow: /forum/index.php?action=arcade;category
Disallow: /forum/index.php?action=arcade;sort
Disallow: /forum/index.php?action=arcade;stats
Disallow: /forum/index.php?action=stats;expand
Disallow: /forum/index.php?action=stats;collapse

# Yahoo - Сканит во много потоков
# Наложим ограничение
# Ограничим его, меняйте под себя
User-agent: Slurp
Crawl-delay: 150

# Боты вредные и не нужные
# Могут проигнорировать запрет
User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /
 
order allow,deny
deny from 38.99
deny from 64.1.215
deny from 208.36.144
allow from all
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*Twiceler-0\.9.*$ [NC]
RewriteRule ^.* - [F]