В Cloudflare не так давно появилась новая функция "Crawler Hints", позволяющая ускорить индексацию сайта, за счет ускорения переобхода страниц.
После переноса сайта за Cloudflare и настройки всех необходимых опций, включаем дополнительную опцию Crawler Hints.
Для этого переходим в настройки сайта и переходим в настройки кеширования ( Caching -> Configuration )
Перед включением Crawler Hints убедитесь в корректности настройки robots.txt, так как поисковым роботам, довольно быстро будут передаваться все новые URL.
И включаем опцию Crawler Hints
После ее активации, при появлении новой страницы поисковые роботы получают URL и довольно быстро ее индексируют.
Так же можно ускорить индексирование, после включения Crawler Hints, за счет переобхода всех страниц с использованием различных инструментов, к примеру Web Status Checker.