Apa itu Robots.txt dan kapan perusahaan perlu memperhatikan file ini?

Anda memiliki sitemap, telah mengirimkannya ke Google, dan situs web Anda mulai diindeks. Namun suatu hari, Anda menemukan bahwa halaman admin, halaman pembayaran internal, atau halaman staging situs web juga muncul di Google. Pelanggan mengetikkan nama perusahaan Anda dan melihat halaman uji coba yang belum selesai.

Atau sebaliknya: Anda menerbitkan postingan blog baru, menunggu dua minggu, dan postingan tersebut masih belum muncul di Google. Anda bertanya kepada tim teknis, dan mereka mengatakan, "File robots.txt menghalangi Google untuk merayapi seluruh situs web."

Kedua situasi tersebut melibatkan sebuah file kecil yang jarang diperhatikan oleh administrator web: robots.txt .

Artikel ini akan menjelaskan apa itu robots.txt, bagaimana cara kerjanya, kapan Anda perlu mengeditnya, dan kesalahan umum yang harus dihindari oleh bisnis—semuanya dalam bahasa yang sederhana, dengan contoh-contoh praktis.

Apa itu Robots.txt? Penjelasan untuk administrator web.

Jika sitemap diibaratkan diagram bangunan – yang menunjukkan kepada Google ruangan mana saja yang ada di sana – maka robots.txt diibaratkan tanda "Area Terbatas" – yang memberi tahu Google ruangan mana yang dilarang diakses .

Secara teknis: robots.txt adalah file teks kecil yang terletak di direktori utama sebuah situs web (misalnya: https://example.com/robots.txt ). File ini berisi aturan yang memberi tahu bot mesin pencari – seperti Googlebot – apa yang harus dilakukan.

• Halaman mana saja yang boleh di-crawl?
• Halaman mana saja yang tidak diizinkan untuk di-crawl?
• Di mana letak sitemap?

Anda dapat melihat file robots.txt dari situs web mana pun dengan mengetik: ten-mien.com/robots.txt di browser Anda.

💡 Penting: robots.txt hanyalah permintaan sopan , bukan larangan mutlak. Bot terpercaya seperti Googlebot akan mematuhinya, tetapi bot jahat (spam, scraper) mungkin mengabaikannya. Jika Anda membutuhkan keamanan nyata, gunakan kata sandi atau firewall – jangan mengandalkan robots.txt.

Seperti apa tampilan file robots.txt?

Anda tidak perlu membuat file ini dari awal. Namun, untuk memahaminya secara sekilas, berikut adalah contoh sederhana file robots.txt:

 User-agent: * Disallow: /admin/ Disallow: /thanh-toan/ Disallow: /staging/ Allow: / Sitemap: https://example.com/sitemap.xml Penjelasan untuk setiap baris: User-agent: * Disallow: /admin/ Disallow: /thanh-toan/ Disallow: /staging/ Allow: / Sitemap: https://example.com/sitemap.xml

Berikut contoh yang lebih kompleks – cocok untuk situs web bisnis dengan blog, halaman layanan, dan area admin:

 # Cho phép tất cả bot crawl nội dung công khai User-agent: * Disallow: /admin/ Disallow: /wp-admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Disallow: /search? Disallow: /*?ref= Disallow: /*?utm_ # Cho phép Googlebot crawl CSS và JS (cần thiết để render trang) User-agent: Googlebot Allow: /wp-content/uploads/ Allow: /wp-includes/ Sitemap: https://example.com/sitemap.xml 📝 # Cho phép tất cả bot crawl nội dung công khai User-agent: * Disallow: /admin/ Disallow: /wp-admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Disallow: /search? Disallow: /*?ref= Disallow: /*?utm_ # Cho phép Googlebot crawl CSS và JS (cần thiết để render trang) User-agent: Googlebot Allow: /wp-content/uploads/ Allow: /wp-includes/ Sitemap: https://example.com/sitemap.xml

Catatan untuk pengembang: Karakter Karakter wildcard ` / ?utm_ dalam path berarti memblokir semua URL yang berisi parameter ?utm_ . Karakter ` $ di akhir path digunakan untuk mencocokkan bagian akhir URL secara tepat. Misalnya: Disallow: /*.pdf$ akan memblokir semua file PDF.

---

Bagaimana cara kerja Robots.txt dalam proses SEO?

Untuk memahami peran robots.txt, mari kita lihat kembali proses yang digunakan Google untuk memberi peringkat situs web dalam hasil pencarian:

 Crawl → Index → Rank (Quét) (Lưu) (Xếp hạng) Robots.txt beroperasi pada langkah pertama - Merayap (Crawl). Crawl → Index → Rank (Quét) (Lưu) (Xếp hạng)

Sebelum Googlebot mulai merayapi halaman apa pun di situs web Anda, ia akan memeriksa file robots.txt Anda terlebih dahulu . Jika URL tercantum sebagai Disallow , Googlebot akan melewati halaman tersebut—tidak merayapi, tidak membaca kontennya.

 Googlebot muốn crawl https://example.com/admin/settings → Kiểm tra robots.txt → Thấy Disallow: /admin/ → Bỏ qua, không crawl Googlebot muốn crawl https://example.com/dich-vu/ → Kiểm tra robots.txt → Không bị chặn → Crawl bình thường → Index → Có thể lên kết quả tìm kiếm Robots.txt dan sitemap: pasangan yang saling melengkapi. Googlebot muốn crawl https://example.com/admin/settings → Kiểm tra robots.txt → Thấy Disallow: /admin/ → Bỏ qua, không crawl Googlebot muốn crawl https://example.com/dich-vu/ → Kiểm tra robots.txt → Không bị chặn → Crawl bình thường → Index → Có thể lên kết quả tìm kiếm

Kedua file ini tidak bertentangan—mereka bekerja sama. Sitemap memberikan petunjuk, sementara robots.txt menetapkan batasan. Jika digabungkan dengan benar, Anda dapat mengontrol apa yang dilihat dan diabaikan Google di situs web Anda.

Untuk apa file Robots.txt digunakan? 4 skenario umum.

1. Sembunyikan halaman admin dan internal dari Google.

Halaman admin, halaman backend CMS, halaman staging, halaman pengujian - tidak satu pun dari ini yang seharusnya muncul di hasil pencarian Google. Robots.txt memberi tahu Google: "Jangan masuk ke sini."

 Disallow: /admin/ Disallow: /wp-admin/ Disallow: /staging/ 2. Hindari membuang-buang "anggaran merangkak" Anda. Disallow: /admin/ Disallow: /wp-admin/ Disallow: /staging/

Google tidak melakukan crawling tanpa batas. Setiap situs web memiliki "anggaran crawling"—jumlah halaman yang akan di-crawl oleh Googlebot pada setiap kunjungan. Jika sebuah situs web memiliki banyak halaman yang tidak penting (halaman pencarian internal, halaman filter, halaman pagination), Googlebot mungkin akan sibuk melakukan crawling halaman-halaman tersebut alih-alih halaman layanan penting atau postingan blog.

 Disallow: /search? Disallow: /tag/ Disallow: /page/ 💡 Anggaran perayapan (crawl budget) sangat penting terutama untuk situs web besar (ribuan halaman). Situs web bisnis kecil biasanya tidak perlu terlalu khawatir, tetapi menjaga file robots.txt tetap bersih adalah kebiasaan yang baik. Disallow: /search? Disallow: /tag/ Disallow: /page/

3. Blokir konten duplikat

Jika sebuah situs web memiliki beberapa URL yang mengarah ke konten yang sama (misalnya, URL dengan parameter pelacakan ?utm_source=facebook , atau versi cetak ?print=true ), Anda dapat memblokir URL duplikat ini:

 Disallow: /*?utm_ Disallow: /*?ref= Disallow: /*?print= 4. Petunjuk menuju peta situs Disallow: /*?utm_ Disallow: /*?ref= Disallow: /*?print=

Robots.txt adalah tempat pertama yang diperiksa Googlebot terkait sebuah situs web. Menempatkan sitemap Anda di sini membantu Google menemukannya lebih cepat – bahkan jika Anda belum mengirimkannya ke Search Console.

 Kapan perusahaan harus memperhatikan robots.txt? Sitemap: https://example.com/sitemap.xml

Anda tidak selalu perlu mengedit robots.txt. Tetapi ada kalanya memeriksa file ini wajib dilakukan :

Saat situs web baru diluncurkan

Ini adalah momen paling kritis. Banyak situs web sepenuhnya diblokir dari pengindeksan karena tim pengembang lupa menghapus baris Disallow: / " - baris yang mereka tempatkan selama tahap pengujian untuk mencegah Google mengindeks versi yang belum selesai.

Lakukan pengujian saat akan ditayangkan:

✅ Ketika sebuah situs web tidak diindeks oleh Google setelah beberapa minggu

Jika Anda sudah memiliki sitemap, telah mengirimkannya ke Search Console, tetapi Google masih belum mengindeksnya, file robots.txt adalah hal pertama yang perlu diperiksa.

Saat menambahkan area yang akan disembunyikan (halaman anggota, halaman internal)

Jika situs web Anda menyertakan halaman manajemen akun, area anggota, atau halaman internal, harap perbarui file robots.txt Anda untuk memblokir area-area tersebut.

Saat mengganti platform situs web atau mendesain ulang

Setiap platform (WordPress, Webflow, kode kustom) membuat struktur URL yang berbeda. Saat migrasi, file robots.txt lama mungkin secara keliru memblokir halaman baru atau melewatkan halaman yang perlu diblokir.

Saat Search Console melaporkan kesalahan "Diblokir oleh robots.txt"

Google Search Console menyediakan laporan pengindeksan yang menunjukkan halaman mana yang diblokir oleh robots.txt. Jika Anda melihat halaman penting diblokir, sudah saatnya untuk segera memperbaiki file tersebut.

5 kesalahan umum pada robots.txt dan cara memperbaikinya.

Kesalahan 1: Memblokir seluruh situs web - kesalahan paling serius.

Gejala: Tidak ada halaman yang diindeks oleh Google. Search Console melaporkan banyak halaman sebagai "Diblokir oleh robots.txt".

Alasan: File robots.txt berisi:

 User-agent: Disallow: / Kedua baris ini berarti: "Blokir semua bot agar tidak dapat mengakses halaman mana pun." Ini sering terjadi ketika pengembang menetapkan aturan ini selama tahap pengujian dan lupa menghapusnya sebelum dirilis. User-agent: Disallow: /

Solusi: Ubah menjadi:

 User-agent: * Disallow: Sitemap: https://ten-mien.com/sitemap.xml Disallow: User-agent: * Disallow: Sitemap: https://ten-mien.com/sitemap.xml

(tidak ada apa pun setelah titik dua) = memungkinkan merayap ke mana-mana.

⚠️ Ini adalah kesalahan nomor 1 yang sering kami temukan di situs web bisnis baru. Setelah memperbaikinya, Google mungkin membutuhkan waktu beberapa hari hingga beberapa minggu untuk merayapi situs tersebut lagi. Kirim ulang sitemap Anda melalui Search Console untuk mempercepat prosesnya.

---

Kesalahan 2: Memblokir CSS dan JavaScript

Gejala: Situs web ditampilkan secara normal di browser, tetapi saat menggunakan alat "Inspeksi URL" di Search Console, Google mendeteksi bahwa halaman tersebut memiliki tata letak yang rusak atau kosong.

Alasan: Robots.txt memblokir folder yang berisi CSS dan JS:

 Disallow: /wp-content/ Disallow: /wp-includes/ Google perlu membaca CSS dan JS untuk memahami tampilan suatu halaman (disebut "rendering"). Jika proses ini diblokir, Google tidak dapat merender halaman tersebut → Google tidak memahami kontennya → yang berdampak pada peringkat. Disallow: /wp-content/ Disallow: /wp-includes/

Cara memperbaikinya:

 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Allow: /wp-content/ Allow: /wp-includes/ 📝 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Allow: /wp-content/ Allow: /wp-includes/

Catatan untuk pengembang: Sejak 2014, Google telah dengan jelas merekomendasikan untuk tidak memblokir CSS, JS, dan gambar di robots.txt. Googlebot membutuhkan sumber daya ini untuk merender halaman dengan benar. Gunakan alat Inspeksi URL di Search Console untuk memeriksa bagaimana Google merender halaman Anda.

Kesalahan 3: Memblokir halaman penting secara tidak sengaja.

Gejala: Halaman layanan, halaman produk, atau postingan blog tidak muncul di hasil pencarian Google - meskipun tercantum dalam peta situs (sitemap).

Alasan: Aturan di robots.txt terlalu luas. Misalnya:

 Garis ini memblokir tidak hanya Disallow: /dich-vu

/dich-vu/ tetapi juga /dich-vu-thiet-ke-web/ , /dich-vu-seo/ , dan URL apa pun yang dimulai dengan /dich-vu .

Solusi: Tambahkan garis miring / di akhir jalur untuk memblokir direktori yang tepat:

Dilarang: /dich-vu-noi-bo/

Atau gunakan Allow untuk melindungi halaman yang diperlukan:

 Disallow: /dich-vu-noi-bo/ Allow: /dich-vu/ Allow: /dich-vu-thiet-ke-web/ 📝 Disallow: /dich-vu-noi-bo/ Allow: /dich-vu/ Allow: /dich-vu-thiet-ke-web/

Catatan untuk pengembang: Urutan Allow dan Disallow berpengaruh. Googlebot menggunakan aturan yang paling spesifik (jalur paling spesifik). Jika panjangnya sama, Allow akan diutamakan daripada Disallow . Selalu uji menggunakan Robot Testing Tool di Search Console sebelum melakukan deployment.

Kesalahan 4: Tidak ada file robots.txt

Gejala: Mengetik ten-mien.com/robots.txt → menghasilkan kesalahan 404.

Alasan: Situs web dibangun secara manual dan pengembang tidak membuat file ini. Atau file tersebut terhapus secara tidak sengaja selama proses deployment.

Dampak: Tidak seserius kesalahan 1 - tanpa robots.txt, Google akan merayapi semuanya secara default. Namun ini berarti:

• Google akan merayapi halaman admin, halaman uji, dan halaman internal.
• Anda tidak memiliki cara untuk mengarahkan pengguna ke sitemap melalui robots.txt.
• Kurangnya kontrol dasar

Solusi: Buat file robots.txt di direktori root. Konten minimum:

 User-agent: * Disallow: /admin/ Disallow: /search? Sitemap: https://ten-mien.com/sitemap.xml --- User-agent: * Disallow: /admin/ Disallow: /search? Sitemap: https://ten-mien.com/sitemap.xml

Kesalahan 5: Menggunakan robots.txt untuk menyembunyikan halaman dari Google (tujuan yang salah dipahami)

Gejala: Anda memblokir halaman menggunakan Disallow , tetapi halaman tersebut masih muncul di Google – bahkan tanpa cuplikan konten apa pun.

Alasannya: Robots.txt memblokir perayapan , tetapi tidak pengindeksan . Jika halaman tersebut telah diindeks, atau memiliki tautan balik dari situs web lain yang mengarah ke sana, Google mungkin akan tetap menampilkan URL tersebut dalam hasil pencarian – hanya saja kontennya tidak akan ditampilkan.

Cara yang benar untuk memperbaikinya:

⚠️ Ini adalah kesalahpahaman yang paling umum: Jika Anda memblokir perayapan (robots.txt) dan juga mengatur noindex (HTML), Google tidak akan melihat tag noindex karena tidak akan merayapi halaman tersebut — dan halaman tersebut mungkin masih diindeks. Solusinya: gunakan noindex di HTML dan hapus aturan Disallow untuk halaman tersebut di robots.txt.

Templat Robots.txt untuk situs web bisnis

Berikut adalah contoh file robots.txt yang sesuai untuk sebagian besar situs web bisnis UKM:

 # ============================================= # Robots.txt cho website doanh nghiệp # Cập nhật: 2026-04-20 # ============================================= # Áp dụng cho tất cả bot User-agent: * # Chặn khu vực quản trị và nội bộ Disallow: /admin/ Disallow: /wp-admin/ Disallow: /dashboard/ Disallow: /staging/ # Chặn trang tìm kiếm nội bộ (tránh lãng phí crawl budget) Disallow: /search? Disallow: /*?s= # Chặn URL có tham số tracking (tránh nội dung trùng lặp) Disallow: /*?utm_ Disallow: /*?ref= Disallow: /*?fbclid= # Chặn trang giỏ hàng / thanh toán (nếu có) Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ # Cho phép CSS, JS, hình ảnh (Google cần để render trang) Allow: /wp-content/uploads/ Allow: /wp-content/themes/ Allow: /wp-includes/ # Chỉ đường đến sitemap Sitemap: https://ten-mien.com/sitemap.xml 📝 # ============================================= # Robots.txt cho website doanh nghiệp # Cập nhật: 2026-04-20 # ============================================= # Áp dụng cho tất cả bot User-agent: * # Chặn khu vực quản trị và nội bộ Disallow: /admin/ Disallow: /wp-admin/ Disallow: /dashboard/ Disallow: /staging/ # Chặn trang tìm kiếm nội bộ (tránh lãng phí crawl budget) Disallow: /search? Disallow: /*?s= # Chặn URL có tham số tracking (tránh nội dung trùng lặp) Disallow: /*?utm_ Disallow: /*?ref= Disallow: /*?fbclid= # Chặn trang giỏ hàng / thanh toán (nếu có) Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ # Cho phép CSS, JS, hình ảnh (Google cần để render trang) Allow: /wp-content/uploads/ Allow: /wp-content/themes/ Allow: /wp-includes/ # Chỉ đường đến sitemap Sitemap: https://ten-mien.com/sitemap.xml

Catatan untuk pengembang: File robots.txt harus terletak di domain utama — https://example.com/robots.txt . Bukan /blog/robots.txt atau subdirektori lainnya. Setiap subdomain membutuhkan robots.txt-nya sendiri (misalnya, blog.example.com/robots.txt terpisah dari example.com/robots.txt ).

Cara memeriksa file robots.txt situs web Anda

Metode 1: Periksa langsung di browser.

Ketik https://ten-mien-cua-ban.com/robots.txt ke bilah alamat. Anda akan melihat isi file dalam format teks. Jika Anda melihat kesalahan 404, itu berarti situs web tersebut tidak memiliki file robots.txt.

Metode 2: Menggunakan Google Search Console

1. Masuk ke Google Search Console
2. Buka Pengaturan → Perayapan → robots.txt
3. Periksa file robots.txt yang dibaca oleh Google.
4. Periksa apakah URL tertentu diblokir.

Metode 3: Periksa di laporan pengindeksan

Di Search Console → Halaman (atau Pengindeksan ) → Temukan entri "Diblokir oleh robots.txt" . Jika ada halaman penting dalam daftar ini, Anda perlu segera mengedit robots.txt.

💡 Anda harus memeriksa file robots.txt setidaknya setiap tiga bulan sekali atau setiap kali situs web Anda mengalami perubahan besar (menambahkan halaman, mengubah struktur, bermigrasi ke platform lain).

Ringkasan: Apa yang sebaiknya dan tidak sebaiknya diblokir di Robots.txt?

---

Pertanyaan yang Sering Diajukan tentang robots.txt

Apa perbedaan antara Robots.txt dan sitemap?

Sitemap menyatakan, "Ini adalah halaman yang ingin saya beri tahu kepada Google." Robots.txt menyatakan, "Ini adalah halaman yang tidak ingin saya diindeks oleh Google." Kedua file tersebut saling melengkapi — sitemap memberikan arahan, robots.txt menetapkan batasan.

Tanpa file robots.txt, apakah Google masih dapat merayapi sebuah situs web?

Ya. Tanpa file robots.txt, Google akan merayapi semua halaman secara default—termasuk halaman yang tidak Anda inginkan. Itulah mengapa Anda harus memiliki file ini.

Saya menggunakan WordPress, di mana letak file robots.txt?

WordPress secara otomatis membuat file robots.txt virtual. Jika Anda menggunakan plugin SEO seperti Yoast atau Rank Math, Anda dapat mengedit file robots.txt langsung di dalam plugin tanpa mengakses server.

Apakah file robots.txt memengaruhi kecepatan situs web?

Tidak. File ini hanya berukuran beberapa KB. Ini tidak memengaruhi kecepatan pemuatan halaman.

Saya sudah memblokir situs tersebut menggunakan robots.txt, jadi mengapa situs itu masih muncul di peringkat Google?

Karena robots.txt hanya memblokir perayapan, bukan pengindeksan. Jika Anda ingin halaman tersebut hilang sepenuhnya dari Google, gunakan tag tersebut. dalam HTML - dan jangan blokir halaman tersebut di robots.txt (agar Google dapat membaca tag noindex).

Setelah mengedit file robots.txt, berapa lama waktu yang dibutuhkan Google untuk memperbaruinya?

Google biasanya memeriksa file robots.txt Anda dalam waktu 24-48 jam. Anda dapat membuka Search Console → Pengaturan → Perayapan untuk meminta Google memeriksanya lebih cepat.

Menyimpulkan

Robots.txt adalah file kecil—biasanya hanya beberapa baris—tetapi file ini secara langsung memengaruhi apakah Google menemukan situs web Anda atau tidak.

Hal-hal yang perlu diingat:

1. Robots.txt adalah tanda "Area Terbatas" : file ini memberi tahu Google halaman mana yang tidak boleh diindeks.
2. Periksa segera setelah situs web ditayangkan : kesalahan yang memblokir seluruh situs web adalah kesalahan yang paling umum dan serius.
3. Jangan gunakan robots.txt untuk menyembunyikan halaman dari Google : itu memblokir perayapan, tetapi tidak pengindeksan.
4. Selalu izinkan CSS dan JS : Google perlu merender halaman untuk memahami kontennya.
5. Gabungkan ini dengan sitemap dan Search Console untuk mendapatkan kendali penuh atas cara Google merayapi dan mengindeks situs web Anda.

Periksa platform situs web Anda.

Robots.txt hanyalah salah satu dari banyak faktor teknis yang memengaruhi SEO. Jika Anda bertanya-tanya, "Apakah situs web saya sudah diatur dengan benar?" - jawabannya terletak pada platform yang Anda gunakan.

GTG CRM membantu Anda membuat situs web dengan file robots.txt standar, peta situs otomatis, dan struktur teknis yang siap untuk Google – Anda tidak perlu khawatir mengedit setiap file atau baris kode.