Robot d’exploration

KreomnisBot

Le robot qui alimente l’index Kreomnis et la console Kreomnis Indexation : ce qu’il lit, à quel rythme, avec quelle politesse, et comment le piloter depuis votre site.

User-AgentMozilla/5.0 (compatible; KreomnisBot/2.0; +https://kreomnisindexation.com/bot)
  • Seulement les sites prouvés

    KreomnisBot n’explore que les sites dont le propriétaire a prouvé la propriété sur Kreomnis Indexation, et les sites attestés sur KreomnisNet.

  • Respecte vos consignes

    robots.txt selon la RFC 9309 (groupe KreomnisBot, sinon *), balises noindex / nofollow, en-tête X-Robots-Tag, liens rel="nofollow" et balise canonique.

  • Un rythme mesuré

    Un passage de découverte par jour (ou par semaine, ou seulement à la demande, selon le réglage du site), puis chaque page à son rythme : plus souvent si elle change, moins souvent sinon.

  • Léger pour vos serveurs

    2 requêtes simultanées par défaut, 250 ms au moins entre deux requêtes, Crawl-delay respecté jusqu’à 30 s, pause sur 429 et 503.

  • Économe

    Requêtes conditionnelles (une page qui n’a pas changé répond 304 et n’est pas retéléchargée) et réponses compressées (gzip, Brotli).

  • Prudent

    Il n’explore jamais d’adresse privée, n’envoie ni cookie ni identifiant, ne soumet aucun formulaire et n’exécute pas le JavaScript.

Ce qu’il lit, dans l’ordre

À chaque passage de découverte, KreomnisBot lit :

  1. /robots.txt : vos règles d’exploration (relues aussi toutes les 24 heures).
  2. Une adresse qui n’existe pas, /kreomnis-404-… : c’est la sonde soft 404 (voir plus bas).
  3. /llms.txt et /llms-full.txt : la présentation de votre site aux IA. Les pages qu’il cite sont ajoutées à l’exploration.
  4. Vos sitemaps : ceux déclarés dans robots.txt, /sitemap.xml, et ceux envoyés depuis la console.
  5. La page d’accueil et les URL de départ choisies par le propriétaire du site.
  6. Puis les liens internes, de page en page, jusqu’à 10 clics de l’accueil par défaut (1 à 20 selon le réglage du site), dans la limite de pages fixée pour le site.

Sur chaque page, il lit la balise robots ou kreomnisbot, l’en-tête X-Robots-Tag, la canonique, les hreflang, une éventuelle meta refresh, puis les liens.

Quand il passe

Un planificateur se réveille toutes les 5 minutes et sert les sites à tour de rôle, le moins récemment servi d’abord, par tranches de 60 secondes. Deux rythmes se combinent :

  • Le passage de découverte (la liste ci-dessus) : chaque jour par défaut, chaque semaine, ou seulement à la demande, selon le réglage du propriétaire ; et chaque fois qu’il lance une exploration depuis la console.
  • Les revisites : chaque page connue a sa propre date de prochaine visite.
PageProchaine visite
Page qui ne change pas7 jours par défaut (1 à 60 selon le réglage du site), puis un intervalle multiplié par 1,5 à chaque visite sans changement, 30 jours au plus.
Page qui a changéIntervalle divisé par 2, 24 heures au moins.
Page d’accueil24 heures au plus.
Page en 404 ou 41030 jours.
Redirection14 jours.
Page d’un sitemap dont le lastmod est plus récent que la dernière visiteEn priorité.

Le propriétaire peut couper les revisites adaptatives : l’intervalle reste alors fixe. Le bouton d’exploration de la console et le planificateur ne se marchent pas dessus : un seul ouvrier explore un site à la fois.

Vitesse et politesse

  • Requêtes simultanées vers votre site : 2 par défaut, de 1 à 4 selon le réglage choisi par le propriétaire, et une seule dès qu’un Crawl-delay d’au moins 1 seconde s’applique.
  • Délai minimal entre le début de deux requêtes vers votre serveur : 250 ms par défaut (réglable jusqu’à 10 s), ou votre Crawl-delay s’il est plus grand (30 s au plus). Par défaut, cela fait 4 requêtes par seconde au plus.
  • Tous sites confondus, KreomnisBot n’a jamais plus de 4 requêtes en cours à la fois.
  • 429 ou 503 : il s’arrête pour votre site le temps indiqué par l’en-tête Retry-After, ramené entre 60 secondes et 1 heure ; sans cet en-tête, 1 minute, puis le double à chaque nouveau refus. Aucune requête d’ici là.
  • Serveur en difficulté : après 10 échecs réseau ou erreurs 5xx d’affilée, il fait une pause de 30 minutes.

Ralentir KreomnisBot

robots.txt
User-agent: KreomnisBot
Crawl-delay: 2

2 secondes entre deux requêtes, une seule à la fois : 30 pages par minute au plus. Les valeurs décimales sont acceptées (0.5). Au-delà de 30 s, KreomnisBot s’en tient à 30 s.

Demander une pause (maintenance)

Réponse HTTP
HTTP/1.1 503 Service Unavailable
Retry-After: 600

KreomnisBot attend 10 minutes avant de revenir. Vos pages déjà indexées gardent leur statut (voir pannes et erreurs passagères).

Des requêtes économes

  • Compression : il annonce Accept-Encoding: gzip, deflate, br (et zstd quand c’est possible). Une page HTML servie sans compression est signalée dans la console.
  • Requêtes conditionnelles : à la revisite, il renvoie l’ETag et la date Last-Modified reçus. Si la page n’a pas changé, répondez 304 Not Modified : rien n’est retéléchargé et la page reste telle quelle dans l’index.
  • Jeu de caractères : il lit le BOM, puis l’en-tête Content-Type, puis <meta charset> dans les 2 048 premiers octets ; à défaut, UTF-8, ou Windows-1252 si le texte n’est pas de l’UTF-8 valide.
  • Redirections : il ne les suit pas dans la foulée ; il note la cible et l’explore à son tour si elle est sur votre site.
  • Limites : 12 secondes d’attente au plus, 3 Mo de HTML au plus une fois décompressé. Une « bombe de décompression » (petit fichier qui gonfle démesurément) est refusée.
Première visite : la réponse de votre serveur
HTTP/1.1 200 OK
Content-Type: text/html; charset=utf-8
Content-Encoding: br
ETag: "7d3f-5a1c"
Last-Modified: Tue, 17 Nov 2026 08:00:00 GMT
Revisite d’une page inchangée
GET /pains/levain HTTP/1.1
User-Agent: Mozilla/5.0 (compatible; KreomnisBot/2.0; +https://kreomnisindexation.com/bot)
Accept-Encoding: gzip, deflate, br
If-None-Match: "7d3f-5a1c"
If-Modified-Since: Tue, 17 Nov 2026 08:00:00 GMT

HTTP/1.1 304 Not Modified

Régler l’exploration avec robots.txt

Le fichier se trouve à la racine : https://votre-site.fr/robots.txt. KreomnisBot le lit selon la RFC 9309, le standard des robots :

Réponse de /robots.txtCe que fait KreomnisBot
200Il lit le fichier (500 Kio au plus) et applique ses règles.
404, 410 ou autre 4xxFichier absent : tout est permis.
5xx, délai dépassé ou réseauFichier injoignable : il reprend sa dernière copie si elle a moins de 30 jours ; sinon, il n’explore rien jusqu’à la prochaine lecture réussie.
Page HTML à la place du fichierFichier considéré comme absent.

Il lit le groupe User-agent: KreomnisBot s’il existe (la casse n’importe pas ; plusieurs groupes à son nom sont fusionnés), sinon le groupe User-agent: *. Un groupe dédié remplace le groupe * : recopiez-y les règles communes que vous voulez lui appliquer. Seul son nom compte : un groupe User-agent: bot ne le concerne pas.

Bloquer une partie du site

robots.txt
User-agent: KreomnisBot
Disallow: /prive/
Disallow: /compte/

Bloquer tout le site

robots.txt
User-agent: KreomnisBot
Disallow: /

Les statistiques de visite continuent de fonctionner : elles ne dépendent pas de l’exploration.

Autoriser une exception dans un dossier bloqué

robots.txt
User-agent: KreomnisBot
Disallow: /compte/
Allow: /compte/aide

Quand deux règles s’appliquent, la plus longue (la plus précise) l’emporte ; à longueur égale, Allow gagne.

Ignorer des paramètres ou des types de fichiers

robots.txt
User-agent: KreomnisBot
# toute URL contenant ?session=
Disallow: /*?session=
# les pages d’archives en .html ($ = fin de l’adresse)
Disallow: /archives/*.html$
# les résultats de recherche interne
Disallow: /recherche

* remplace n’importe quelle suite de caractères ; $ en fin de règle marque la fin de l’adresse. Les règles se comparent au chemin et à la requête (/page?x=1), en respectant la casse.

Les mêmes règles pour tous les robots, et un rythme pour KreomnisBot

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /panier

User-agent: KreomnisBot
Crawl-delay: 1
Disallow: /admin/
Disallow: /panier

Sitemap: https://votre-site.fr/sitemap.xml

Sans groupe dédié, KreomnisBot applique le groupe * (et son Crawl-delay, s’il en a un).

Page par page

Ne pas indexer une page

index.html (dans le <head>)
<!-- pour tous les robots -->
<meta name="robots" content="noindex">

<!-- pour KreomnisBot seulement -->
<meta name="kreomnisbot" content="noindex">

La page est lue mais classée « Exclue par la balise “noindex” » dans la couverture. Une balise qui vise un autre robot (<meta name="googlebot">) ne concerne pas KreomnisBot.

Ne pas suivre les liens d’une page

index.html
<meta name="robots" content="nofollow">

<!-- ou un seul lien -->
<a href="/calendrier?mois=2031-01" rel="nofollow">Mois suivant</a>

Sans toucher au HTML : l’en-tête X-Robots-Tag

Pratique pour tout un dossier, ou un site dont vous ne pouvez pas modifier les gabarits. Une directive sans nom de robot vaut pour tous ; préfixée par kreomnisbot:, elle ne vise que KreomnisBot ; préfixée par le nom d’un autre robot (googlebot: noindex), elle ne le concerne pas.

En-tête HTTP, pour tous les robots
X-Robots-Tag: noindex
En-tête HTTP, pour KreomnisBot seulement
X-Robots-Tag: kreomnisbot: noindex, nofollow
nginx.conf
location /brouillons/ {
  add_header X-Robots-Tag "kreomnisbot: noindex" always;
}
.htaccess (Apache, dans le dossier /brouillons)
Header set X-Robots-Tag "noindex"
next.config.ts (Next.js)
async headers() {
  return [{ source: '/brouillons/:path*', headers: [{ key: 'X-Robots-Tag', value: 'noindex' }] }];
}

Retirer une page à une date

index.html
<meta name="robots" content="unavailable_after: 2027-01-31">

Passée cette date, la page est traitée comme noindex. Écrivez la date au format AAAA-MM-JJ (heure facultative : 2027-01-31T18:00:00Z).

Pages en double : la balise canonique

index.html
<link rel="canonical" href="https://votre-site.fr/produits/pain-au-levain">

Une page qui désigne une autre adresse comme canonique est classée « Autre page avec balise canonique correcte », et l’adresse désignée est explorée. Une seule canonique, dans le <head> : plusieurs canoniques différentes, ou une canonique placée dans le <body>, sont ignorées. Un élément interdit dans le <head> (<div>, <img>, du texte) le ferme : la canonique et les hreflang placés après sont ignorés.

Redirections par meta refresh et versions linguistiques

index.html
<!-- vaut une redirection : 5 secondes au plus -->
<meta http-equiv="refresh" content="0; url=https://votre-site.fr/nouvelle-adresse">

<!-- versions linguistiques -->
<link rel="alternate" hreflang="fr" href="https://votre-site.fr/fr/">
<link rel="alternate" hreflang="en" href="https://votre-site.fr/en/">

Une meta refresh vers une autre page en 5 secondes au plus est traitée comme une redirection, et sa cible est explorée ; préférez une redirection 301 côté serveur. Les versions hreflang du même site sont explorées, et une version qui ne renvoie pas vers la page est signalée.

Les requêtes vers /kreomnis-404-…

À chaque passage de découverte, KreomnisBot demande une adresse qui ne peut pas exister : /kreomnis-404- suivi de caractères aléatoires. C’est la sonde soft 404 : elle montre comment votre site répond aux pages inexistantes. Vous n’avez rien à faire.

  • Réponse 404 ou 410 : c’est la bonne réponse.
  • Réponse 200 (une page d’erreur servie avec un code de succès, ou « soft 404 ») : KreomnisBot garde l’empreinte de cette réponse et classe « Soft 404 » les pages qui lui ressemblent : même contenu, empreinte SimHash à 3 bits près, ou même titre et nombre de mots à 20 % près.
  • Redirection vers l’accueil : une page qui redirige vers l’accueil est alors classée soft 404, elle aussi.

SimHash : une empreinte de 64 bits calculée sur le texte ; deux textes presque identiques ont des empreintes qui ne diffèrent que de quelques bits. Pour corriger un soft 404, renvoyez un vrai code 404 ou 410 pour les pages inexistantes.

llms.txt : présenter votre site aux IA

llms.txt est un fichier Markdown à la racine qui résume votre site pour les assistants (ChatGPT, Claude, Perplexity…). KreomnisBot le lit à chaque passage de découverte, ajoute les pages qu’il cite et affiche son état dans la console (Sitemaps › Fichiers pour les IA). llms-full.txt, facultatif, contient le texte complet.

llms.txt
# Boulangerie du Levain
> Boulangerie artisanale à Lille : pain au levain, viennoiseries, commandes en ligne.

## Pages principales
- [Nos pains](https://votre-site.fr/pains): gamme et allergènes
- [Commander](https://votre-site.fr/commande): retrait en boutique sous 24 h
- [Horaires et accès](https://votre-site.fr/contact)

## Optional
- [Histoire de la maison](https://votre-site.fr/histoire)
  • Servez-le en texte (text/plain ou text/markdown) : une page HTML renvoyée à la place est signalée comme erreur.
  • Il est soumis à robots.txt : Disallow: /llms.txt empêche sa lecture.
  • Taille lue : 1 Mo au plus pour llms.txt, 2 Mo pour llms-full.txt.

Exemple réel : kreomnisindexation.com/llms.txt.

Sitemaps

KreomnisBot lit les sitemaps déclarés dans robots.txt, /sitemap.xml même sans déclaration, et ceux envoyés depuis la console (Sitemaps). Formats acceptés : XML (protocole sitemaps.org), compressé ou non (.xml.gz), index de sitemaps, flux RSS 2.0 et Atom 1.0, et fichier texte (une adresse par ligne).

robots.txt
Sitemap: https://votre-site.fr/sitemap.xml
sitemap.xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://votre-site.fr/pains/levain</loc>
    <lastmod>2026-11-17</lastmod>
  </url>
</urlset>

Les pages listées sont explorées même si aucun lien n’y mène. Tenez lastmod à jour : une page dont le lastmod est plus récent que la dernière visite de KreomnisBot repasse en priorité. Taille lue : 20 Mo une fois décompressé et 50 000 adresses par fichier.

Pannes et erreurs passagères

Un délai dépassé, une erreur réseau, une réponse 5xx ou 429 ne font pas sortir une page de l’index :

  1. KreomnisBot réessaie 1 minute, puis 10 minutes plus tard.
  2. Si l’erreur persiste, une page déjà lue correctement garde son statut et sa dernière version ; la console signale « Dernière exploration en échec (version précédente conservée) », et la page est retentée 6 heures plus tard.
  3. Elle ne passe en erreur qu’au troisième échec consécutif, et au plus tôt 48 heures après le premier.

Une page jamais lue passe en erreur tout de suite.

Limites à connaître

  • Pas de JavaScript : il lit le HTML renvoyé par le serveur. Un contenu affiché uniquement par JavaScript (application monopage sans rendu serveur) ne sera pas vu ; la console le signale (« Contenu visible seulement avec JavaScript »).
  • Pages de plus de 3 Mo (une fois décompressées) ou qui ne répondent pas en 12 s : non lues.
  • Fichiers ignorés d’office : images, PDF, archives, vidéos, sons, polices, CSS, JavaScript, JSON, XML et texte (hors sitemaps, robots.txt et llms.txt), documents bureautiques.
  • Adresses normalisées : sans fragment #, sans paramètres de suivi (utm_*, fbclid, gclid…) ; les pièges (adresses générées à l’infini, segments répétés) sont écartés.
  • Même site seulement : www.votre-site.fr et votre-site.fr ne font qu’un ; les liens vers d’autres domaines ne sont pas suivis.
  • Liens rel="nofollow" et pages en nofollow : non suivis, sauf si le propriétaire du site l’active.
  • Nombre de pages : 500 par défaut, réglable par le propriétaire du site.

Le reconnaître

KreomnisBot s’annonce avec le User-Agent ci-dessus ; son nom pour robots.txt est KreomnisBot. Il fonctionne sur une infrastructure cloud sans plage d’adresses fixe publiée : un autre robot peut donc imiter son nom. En cas de doute, bloquez-le avec robots.txt, ce qu’il respecte toujours.

Vous gérez un site ? Ajoutez-le pour voir ce que KreomnisBot y trouve et régler son rythme. Documentation : Exploration et réglages, Indexation et couverture, Robots et IA.