Hướng dẫn Tạo và sử dụng file robots cho google

03-02-2015 05:03

"robots.txt sở hữu thể quy định từng chiếc bot khác nhau của các SE khác nhau với thể vào web hay từng khu vực của website hay không? Vài loại bot của các SE: Googlebot (Google), Googlebot-Image(Google), Yandex(SE của Nga), Bingbot(Bing)/Yahoo Slurp(Yahoo)…"
Dưới đây là hướng dẫn tạo và sử dụng file robots.txt cho web, để các bộ máy chọn kiếm quản lý index nội dung của web bạn

(dịch vụ : dịch vụ seo web | dịch vụ seo )
robots.txt là file văn bản có cấu trúc, khi những spider (bot, crawler) của các SE (Search engine) vào website để thu thập dữ liệu thì sẽ vào file robots.txt để xem những chỉ dẫn trong file này.

robots.txt có thể quy định từng mẫu bot khác nhau của các SE khác nhau sở hữu thể vào web hay từng khu vực của website hay không?
Vài chiếc bot của các SE: Googlebot (Google), Googlebot-Image(Google), Yandex(SE của Nga), Bingbot(Bing)/Yahoo Slurp(Yahoo)…

cách phân tích seo hiệu quả  lúc Google thông báo vào năm ngoái rằng sẽ mã hóa hầu hết dữ liệu từ khóa, Marketer lại hối hả tìm kiếm phương pháp thay thế để theo dõi chọn kiếm, bao gồm dữ liệu từ Bing, Adword, xem xét những top landing page. Nhưng sau lúc tất cả thiết bị đã hạ nhiệt, sở hữu vẻ như những phân tích dường như không hoàn toàn thiết yếu. các tool phân tích đưa lại sự giúp đỡ đắc lực trong seo nhưng không phải là thống trị hoàn toàn. Dưới đây là 6 bí quyết để thành công với seo mà không nên dùng tool phân tích nào cả.

những cú pháp thông dụng trong file robots.txt
User-agent: đối tượng bot được chấp nhận
Disallow/Allow: URL muốn chặn/cho phép
*: Đại diện cho mọi
Ví dụ: User-agent: * (Có nghĩa là chấp nhận mọi những cái bot.)
Khóa đa số site
Disallow: /
Chặn 1 thư mục và mọi vật dụng nằm trong nó
Disallow: /wp-admin/
Chặn một trang
Disallow: /private_file.html
mẫu bỏ 1 hình từ Google Images
User-agent: Googlebot-Image
Disallow: /images/sexy.jpg
Bỏ hầu hết các hình từ Google Images:
User-agent: Googlebot-Image
Disallow: /
Chặn một file hình bất kỳ, ví dụ .gif
User-agent: Googlebot
Disallow: /*.gif$
các điều nên hạn chế trong file robots.txt
- Phân biệt chữ hoa chữ thường.
- không được viết dư, thiếu khoản trắng.
- không bắt buộc chèn thêm bất kỳ ký tự nào khác không tính các cú pháp lệnh.
- Mỗi một câu lệnh buộc phải viết trên 1 mẫu.
cách tạo và vị trí đặt file robots.txt
- sử dụng notepad hay bất cứ chương trình nào tạo file, sau đấy đổi tên file là robots.txt.
- Đặt ở thư mục gốc của website.