Apa itu robots.txt?
File robots. txt seperti tata tertib yang terdapat di kehidupan manusia. Tata tertib tersebut tidak mempunyai kekuatan buat menegakkan ketentuan yang tercantum, namun bot yang" baik" hendak senantiasa menjajaki ketentuan. Sedangkan, yang" kurang baik" mungkin besar hendak melanggar ketentuan tersebut serta lekas diberikan penalti.
Bot merupakan suatu program pc otomatis yang berhubungan dengan web website serta aplikasi. Ada bot yang baik serta bot yang kurang baik, spesial salah satu tipe bot yang baik diketahui selaku bot crawler website. Bot ini hendak melaksanakan" crawling" pada taman web website serta mengindeks konten sehingga halaman tersebut bisa timbul di taman hasil mesin pencari. File robots. txt menolong mengelola kegiatan crawler website ini supaya tidak membebani server website yang lagi menghosting web website ataupun mengindeks halaman yang tidak diperuntukan buat ditampilkan buat publik.
Metode Kerja Robots. txt
File robots. txt cumalah file bacaan tanpa kode markup HTML( karenanya ekstensinya berbentuk. txt). File robots. txt dihosting di server website semacam file yang lain yang terletak di web website. Kenyataannya, file robots. txt pada web website tertentu umumnya bisa dilihat dengan mengetikkan URL beranda web setelah itu meningkatkan/ robots. txt, semacam contoh berikut: https:// www. situswebAnda. com/ robots. txt.
File tersebut tidak dihubungkan ke halaman lain yang terletak di web tersebut. Jadi, pengguna tidak hendak menciptakannya, namun sebagian besar bot crawler website hendak mencari file ini terlebih dulu saat sebelum melaksanakan crawling pada web tersebut.
Walaupun file robots. txt membagikan petunjuk untuk bot, file tersebut cuma bertabiat arahan ataupun petunjuk untuk bot. Bot yang baik, semacam website crawler ataupun bot news feed, hendak berupaya mendatangi file robots. txt terlebih dulu saat sebelum memandang taman lain di domain serta hendak menjajaki petunjuknya. Bot yang kurang baik hendak mengabaikan file robots. txt ataupun hendak memprosesnya buat menciptakan taman website yang terlarang.
Bot crawler website hendak menjajaki sekumpulan petunjuk khusus di file robots. txt ini. Bila terdapat perintah yang kontradiktif dalam file tersebut, bot hendak menjajaki perintah yang lebih terperinci.
Satu perihal berarti yang butuh dicermati merupakan seluruh subdomain memerlukan file robots. txt- nya sendiri. Misalnya, bila Kamu mempunyai web bernama www. situswebAnda. com mempunyai filenya sendiri, seluruh subdomain yang dipunyai Kamu( web. situswebAnda. com, community. situswebAnda. com, dll.) membutuhkannya pemakaian robot. txt pula.
Khasiat Pemakaian Robots.txt
Sebagian besar web website tidak memerlukan file robots. txt. Perihal itu sebab Google secara otomatis umumnya bisa menciptakan serta mengindeks seluruh taman berarti di web Kamu. Google tidak hendak mengindeks taman yang dirasa tidak berarti ataupun taman yang jadi duplikat dari taman lain.
Walaupun begitu, terdapat 3 alibi utama kenapa Kamu butuh memakai file robots. txt.
1. Memblokir Taman Non- Publik: Terkadang Kamu tentu mempunyai taman di web yang tidak mau Kamu indeks. Misalnya, Kamu mempunyai taman yang masih dalam sesi pengembangan dini, ataupun buat taman login. Taman ini senantiasa dibutuhkan di web website, namun Kamu tidak mau sembarang orang buat berkunjung kes ana. Ini merupakan permasalahan di mana Kamu hendak memakai robots. txt buat memblokir halaman ini dari crawler serta bot mesin pencarian.
2. Optimalkan Crawler Budget: Bila Kamu hadapi kesusahan buat mengindeks seluruh halaman web, bisa jadi Kamu sudah hadapi permasalahan crawler budget. Dengan memblokir taman yang tidak berarti memakai robots. txt, Google bot bisa alihkan pekerjaannya buat crawl budget Kamu pada taman yang lebih berarti.
3. Menghindari Pengindeksan pada Sumber Energi Yang lain: Memakai perintah meta bisa bekerja sebaik Robots. txt buat menghindari sesuatu taman buat diindeks. Tetapi, perintah meta tidak bisa berperan dengan baik buat digunakan pada sumber energi multimedia, semacam PDF serta file foto. Di situlah file robots. txt berfungsi.
Pada intinya, file robots. txt hendak berikan ketahui spider mesin pencari buat tidak crawling pada taman tertentu di web website Kamu.
Kamu bisa mengecek berapa banyak taman yang sudah Kamu indeks memakai Google Search Console. Bila angkanya sesuai dengan jumlah taman yang mau Kamu indeks, Kamu tidak butuh repot memakai file robots. txt. Tetapi, bila jumlahnya lebih besar dari yang Kamu harapkan( paling utama bila Kamu memandang URL tersebut sepatutnya tidak boleh diindeks), saat ini saatnya membuat file robots. txt buat web Kamu.
Metode Membuat File Robots. txt
Bila dikala ini Kamu tidak mempunyai file robots. txt, dianjurkan buat buatnya sesegera bisa jadi. Buat melaksanakannya, Kamu butuh melaksanakan beberapa perihal berikut ini:
Buat file bacaan baru serta beri nama" robots. txt"- Gunakan bacaan editor semacam program Notepad di Komputer Windows ataupun TextEdit untuk yang memakai Mac IOS, setelah itu seleksi" Save As" file yang dipisahkan bacaan serta yakinkan ekstensi file tersebut bernama". txt"
Unggah ke root directory web website Kamu– Folder tingkatan bawah ini biasa diucap selaku" htdocs" ataupun" www" yang buatnya timbul pas sehabis nama domain Kamu.
Buat file robots. txt buat tiap subdomain– Perihal ini dicoba cuma bila Kamu memakai tipe subdomain apapun.
Jalani Pengujian- Periksa file robots. txt dengan memasukkan kalimat robots. txt ke dalam bilah alamat browser. Contohnya: situswebAnda. com/ robots. txt
Tujuan pemakaian Robots. txt bukan buat menyembunyikan secure page yang terdapat di web website Kamu. Oleh sebab itu, posisi" admin" ataupun taman individu yang terletak di web Kamu tidak boleh disertakan dalam file robots. txt sebab malah hendak menunjukkan lokasinya kepada pengguna lain. Bila Kamu mau menghindari robot buat mengakses konten individu apapun yang terdapat di web website Kamu dengan nyaman, Kamu butuh melindungi zona penyimpanannya dengan memakai kata sandi( password).
File robots. txt dirancang buat berperan cuma selaku panduan untuk robot website serta tidak seluruhnya hendak mematuhi instruksi Kamu.
Tanpa file robots. txt, mesin pencari hendak leluasa dalam melaksanakan crawling serta mengindeks apapun yang mereka temukan di web website. Pemakaian robots. txt bagus buat sebagian besar web website, namun dengan memakai file tersebut paling tidak bisa menampilkan di mana letak XML sitemap Kamu sehingga mesin pencarian bisa dengan kilat menciptakan konten terkini di web website Kamu, dan memaksimalkan crawling budget.
Post a Comment
Post a Comment