Разработчики Yandex на днях отвечали на разные вопросы - кое-что интересно почитать.
Вот например:
Планы:... Изменения в дизайне выдачи. Поиск по картинкам. Удаление нечетких дублей. Новые Яндекс-Сайт и Яндекс-Либ ... СУБД в поисковых системах не используются. ... Весь Яндекс написан ручками, на С, С++, ассемблере, Perl-е. ... Традиционные для IR инвертированные файлы. С позициями, сжатыми run-length encoding.
Здесь - нарисовано из каких машин состоит Yandex, какие у них функции, общие принципы.