Caffeine - новая система индексирования сайтов

В предыдущей версии системы поискового индекса было несколько слоев, которые обновлялись с различной регулярностью. Существенная часть поискового индекса могла обновляться за две недели. Алгоритм не был таким совершенным, как Caffeine и поэтому для обновления одного слоя индекса, нужно было провести анализ всех других слоев. Это препятствовало более высокой скорости, так как создавалась задержка между моментом нахождения страницы и тем моментом, когда она могла быть доступной пользователю сети. В свою очередь Caffeine позволяет анализировать полученную от поисковых роботов информацию по небольшим частям, обновляя намного чаще индексную базу. Таким образом, новая информация с сайтов во всемирной паутине будет отображаться в результатах поиска намного оперативнее, чем это было ранее.

По данным блога Google, в данный момент в поисковой базе уже содержится около 100 миллионов Гб данных. Каждый день база пополняется несколькими сотнями тысяч Гб свежей информации.