Организация хранения данных

Хранить миллиарды объектов, просто положив их в базу данных, не получится. Для этого необходимо применять другой класс решений, которые обычно называют Big Data Storage.

Необходимо учитывать не только общий объём, но и количество объектов, пропускную способность сети, скорость чтения и скорость доступа к данным на дисках. Отдельно необходимо заботиться о репликации и о доступности данных при сбоях. Для каждого конкретного случая обычно необходимо рассматривать все существующие варианты и искать компромисс между производительностью, удобством работы и доступностью при потере отдельных узлов или целых реплик.

В докладе рассматриваются все эти аспекты на примере гипотетического переезда Instagram из Amazon S3 в собственное хранилище.

http://events.yandex.ru/events/kit/3/talks/524/

Comments

Жаль, завязли в вопросах.

Жаль, завязли в вопросах.