Според мен jabse seo трябва да има възможност за добавяне на sitemaps + статистика за crawler-a - колко страници на ден и т.н. ?

Бихте ли разяснили какво имате предвид ? Самият паяк да поддържа някакъв вид sitemap за по-бързо индексиране на страници, указани от webmaster-а на сайта или нещо друго ?

plamensl написа:

Бихте ли разяснили какво имате предвид ? Самият паяк да поддържа някакъв вид sitemap за по-бързо индексиране на страници, указани от webmaster-а на сайта или нещо друго ?

Точно. Примерно подаваш на паяка в xml формат сайтмап и той индексира

Засега не бих направил такова нещо, защото ако получавам урл-та от списък, няма как да оценя кое е по-важно от друго и да го индексирам по-рано. В подобна възможност виждам начин за спамване на паяка и заобикаляне на приоритета на индексиране.
В момента съотношението на индексираните урл-та към чакащите е грубо 1:10 и ресурса на паяка е ценен.

Може би в бъдеще, когато процентът на индексираните адреси се вдигне бих добавил възможност за сайтовете да обявяват нови или променени страници, но сега ми е още рано.

plamensl написа:

Засега не бих направил такова нещо, защото ако получавам урл-та от списък, няма как да оценя кое е по-важно от друго и да го индексирам по-рано. В подобна възможност виждам начин за спамване на паяка и заобикаляне на приоритета на индексиране.
В момента съотношението на индексираните урл-та към чакащите е грубо 1:10 и ресурса на паяка е ценен.

Може би в бъдеще, когато процентът на индексираните адреси се вдигне бих добавил възможност за сайтовете да обявяват нови или променени страници, но сега ми е още рано.

Ами ако се индексира с много нисък приоритет всяко URL от сайтмапа , пък после вече ако има линкове ще се update–не ?
Или пък да зависи от глобалната позиция на сайта ?

Може би ще направя нещо подобно - особено като метод за някои по-важни сайтове да заявяват промените си.
В момента обаче не мога да кажа срок