У листопаді Google повідомив, що в 2021 хмарне сховище «Фото» стане платним. У фотосервісі зберігається більше 4 трлн фотографій, щотижня туди завантажується 28 млрд файлів. І це число тільки зростає, пише Хайтек.
Цифрове сміття: досьє
Кожен день ми отримуємо і відправляємо гігабайти інформації: робоча пошта, діалоги з друзями, замітки, фото і коментарі в соціальних мережах. До 2023 року щоденне число відправлених і отриманих e-mail повідомлень виросте до 347 млрд. Цифровий простір заповнюється з неймовірною швидкістю: кожен користувач в інтернеті генерує близько 1,7 МБ інформації в секунду – це приблизно одна сторінка сайту. Частина даних активно використовується, але інша – припадає пилом на «полицях» хмарних сховищ і жорстких дисків пристроїв.
«Цифрове сміття» – це непотрібні і забуті дані, розмноження копії файлів; вся неструктурована інформація в хмарних сховищах, пам'яті пристроїв, месенджерах, фото- і відеосервісах. Останні становлять більшу частину цифрового сміття. Згідно з дослідженням, 74% користувачів виходять в інтернет для перегляду відео, а 47% самі регулярно завантажують фото і відео в соцмережі. Разом з кількістю зростає і розмір: у 2000 році середнє фото важило 1 МБ, зараз – 3,5 МБ.
Такий обсяг легко пояснити: зняти фото і відео може кожен, на відміну від тексту. Для порівняння: Лев Толстой написав за все життя 10 МБ тексту – це 2-3 фотографії на iPhone 12.
Витоки проблеми: руйнування закону Мура
Проблема не виникала раніше, тільки тому що обсяг сховищ постійно зростав.
Ще в 1968 році був сформульований закон Мура, згідно з яким обсяг пам'яті пристроїв подвоюється кожні два роки. Але кожне наступне покоління жорстких дисків тепер мало чим відрізняється від попереднього: ніякого зростання в десятки разів по швидкості і об'єму не спостерігається, ми вперлися в технологічні межі. Жорсткий диск на 18 ТБ – це максимум, який зараз можна знайти в магазинах.
Ситуацію ускладнює і те, що ми поступово відходимо від використання жорстких дисків (HDD) і переходимо на твердотільні накопичувачі (SSD): упор робиться на швидкість, на шкоду обсягами. Якщо на дисках HDD швидкість передачі даних досягає 200-300 МБ/с, то на SSD – 600-700 МБ/с. А ось за обсягами ми відступили назад. 4 ТБ для HDD – це норма, а SSD такого обсягу знайти набагато складніше.
Проблеми великих компаній
Обсяг інформації постійно зростає, а уповільнити його або знизити кількість вже збережених даних складно. Навіть якщо поштова скринька користувача ломиться від повідомлень, сервіс не може самостійно очистити її: сервіси виходять з логіки, що лист п'ятирічної давності може знадобитися в будь-який момент. І саме через обсяг даних Google автоматично видаляє листи, якщо вони знаходяться в папці «Спам» або «Кошик» понад 30 днів.
Хмарні сховища використовують дзеркальне резервне копіювання, щоб файли користувачів оновлювалися синхронно на всіх пристроях і при збої в роботі їх можна було легко відновити. Але для цього дані повинні фізично зберігатися в надмірній кількості: як мінімум в двох примірниках на двох фізично різних дисках. Відповідно, необхідно постійно збільшувати кількість жорстких дисків для зберігання цієї інформації і з кожним новим файлом витрати збільшуються мінімум в два рази.
Але зараз стало зрозуміло, що неможливо постійно збільшувати обсяги простору і тому хмарні сервіси приймають перші заходи по контролю цифрового сміття:
- Стиснення і видалення невикористовуваних версій файлів. Google покращує алгоритми стиснення і використовує більш сучасні технології: з їх допомогою вже завантажені фотографії займають менше місця. Але це еволюційний процес – необхідно, щоб браузери підтримували нові формати.
Цим способом користується YouTube. З плином часу змінюється якість, з яким зберігаються ролики. Як це працює: користувач завантажує оригінал відео, одночасно воно перекодовується в кілька інших форматів для телефону – 144р і 360р. У старих відео ці згенеровані додаткові відеопотоки видаляються, залишається тільки оригінал. Навіть якщо хтось запитає це відео, воно швидко і легко відновиться. До того ж формати, на які перекодується ролик, можуть використовувати більш ефективні алгоритми. Наприклад, п'ять років тому перекодувати відео в H.264, а зараз в VP – формат займе раз в п'ять менше місця при тому ж рівні якості.
- Дедуплікація. Всі компанії, які так чи інакше зберігають масові дані, використовують цей метод: копії одного і того ж файлу зберігаються на носіях в одному примірнику. Якщо вже завантажений файл пересилається іншому користувачеві, він не буде повторно фізично займати місце: замість цього він посилається на оригінал. Дедуплікація допомагає позбавлятися від надлишкових даних: обсяг сховища може зменшуватися в 20 разів. Цей спосіб зокрема використовує Telegram.
- Поділ на «гаряче» і «холодне» сховище. Це найбільш частий спосіб зберігання даних. Використовувані файли зберігаються в більш дорогий і швидкої системі – на SSD-дисках. Згодом, коли файлами перестають користуватися, вони переходять на дешевші і повільні сховища – на HDD-дисках і серверах.
За прикладом знову звернемося до YouTube. Ролик, який знаходиться «в тренді», відеосервіс буде зберігати в багатьох примірниках на різних серверах – для його максимально швидкого завантаження. Але в міру того, як популярність відео буде спадати, ці екземпляри будуть зникати з «гарячих» сховищ і почнуть переходити в «холодні».
- Платні тарифи. Найпростіший спосіб регулювання потоку інформації від користувачів, яким користуються Google, Dropbox, iCloud і інші. Спочатку Диск від Google надавав для документів, таблиць, PDF-файлів лімітоване сховище, а фото- і відеоконтент можна було завантажувати в необмеженій кількості. Зараз компанія змінює політику: з 1 червня 2021 року будь-нові фото і відео будуть враховуватися в рамках безкоштовних 15 ГБ для всіх сервісів – Gmail, Диск і Фото. Якщо користувач виходить за ці рамки, необхідно оформляти платну підписку.
Наступний кандидат на введення платної підписки – Telegram. Зараз месенджер ніяк не обмежує користувача – ні в обсягах зберігання даних, ні в питаннях правоволодіння. Telegram називають «головним розповсюджувачем нелегального відео» в Рунеті, зберігання якого коштує грошей. Але що станеться, коли сервери месенджера перестануть справлятися з таким потоком інформації? Швидше за все, з'являться платні тарифи або будуть введені обмеження. Наприклад, фотографії будуть зберігатися півроку безкоштовно, а для запиту старіших файлів доведеться оплачувати підписку або PRO-версію.
Як цифрове сміття ускладнює і спрощує життя користувача
Для користувачів проблема цифрового сміття – це теж нові складності. Крім того, що в майбутньому доведеться платити за можливість зберігати файли в хмарних сервісах, обсяг контенту сильно впливає на пошук. На сайтах, форумах і в соцмережах стало занадто багато тексту: один і той же зміст множиться на різних майданчиках. На пошук потрібної інформації користувач витрачає приблизно 26 хвилин в день.
З іншого боку, пошук по фотографії став краще за рахунок збільшення інформаційної бази. Фотосервіси індексують інформацію, яка знаходиться на зображенні – текст, люди, предмети, і можуть видати інформацію про об'єкт, знайти схожі картинки. Тобто чим більше файлів завантажується на сервіси, тим розумнішим стає алгоритм: краще розпізнає об'єкти на фото і знаходить більше зображень.
Наслідки зростання обсягів цифрового сміття відчуває не тільки цифровий, а й фізичний простір. Згідно з дослідженням Університету Брістоля, будь-яке завантаження контенту сприяє зростанню вуглецевого сліду. Зберігання інформації, в тому числі непотрібної, також вимагає енергії. Наприклад, завантаження відео на YouTube обходиться в середньому в 300 тис. метричних тонн вуглекислого газу на рік. Приблизно ту ж кількість парникових газів виробляють 30 тис. будинків у Великобританії щорічно.
Як скоротити кількість цифрового сміття:
- Відразу видаляти файли, які точно не знадобляться знову. Наприклад, електронні чеки або повідомлення про акції.
- Регулярно проводити «прибирання» всіх сховищ – видаляти невикористовувані файли, додатки, неактивні діалоги в месенджерах. Для цього можна використовувати спеціальні програми. Наприклад, для комп'ютера підійде CCleaner.
- Структурувати і каталогізувати файли. Цим теж не доведеться займатися вручну. Додатки сортують файли по датах, геомітках, можна ввести свої категорії і папки. Це вміють Adobe Bridge, FastStone Image Viewer і Фото для macOS). Також будуть корисні додатки, які видаляють дублікати файлів – AllDup, FirmTools Duplicate Photo Finder і знову CCleaner.
- Періодично влаштовувати digital-детокс – дні, в які користувач обмежить споживання і виробництво будь-якого цифрового контенту. Спеціалізовані програми і додатки не знадобляться – досить відключити всі гаджети.
ІТ-компанії і в цьому випадку намагаються вплинути: переконують аудиторію менше користуватися гаджетами і різними сервісами. Так, Apple і YouTube додали можливість відстежувати час, проведений в смартфоні, і ставити нагадування про перерви. У 2018 році Google представив проект Digital Wellbeing, який допоможе в боротьбі із залежністю від гаджетів.
Прогнози
З одного боку, проблема поступово вирішується за рахунок зниження вартості одного гігабайта – хоча і повільно. У 1981 році 1 ГБ простору на HDD коштував $ 500 000. Зараз його ціна – всього $ 0,025.
У будь-якому випадку індустрія впорається з проблемою цифрового сміття. Питання тільки – як і коли? Основна тенденція тимчасового вирішення проблеми – перехід безкоштовних сервісів до платних тарифів. По дорозі продаж простору все одно підуть всі компанії, які займаються зберіганням даних мультимедіа. Але хмарним сховищ на зразок Dropbox і iCloud впоратися з проблемою простіше – вони спочатку пропонували платні тарифи на свої послуги, не обіцяючи необмежені можливості по завантаженню файлів.
Тому всі нові сервіси, так чи інакше пов'язані з цифровим простором, відразу переходять на платні тарифи.
Зображення взято: toptj