25 миллионов книг в руках одного инженера

25 МИЛЛИОНОВ КНИГ В РУКАХ ОДНОГО ИНЖЕНЕРА, к которым вы никогда не получите доступ

Это история о том, как глупость, жадность и ревность смогли погубить один из величайших проектов современности.


Для тех, кто не хочет много читать - суть истории в трех абзацах.


Google потратила 400млн долларов и почти 15 лет на то, чтобы создать самый грандиозные проект в истории - оцифровать все книги мира.


Сегодня проект заморожен, а доступ к 60 петабайтам оцифрованных книг имеют лишь несколько инженеров Google. В их руках - вся история человечества.


Все, что нужно для того, чтобы мир начал пользоваться книгами всего мира - написать один запрос к базе данных. И доступ переключится с "Выкл" на "Вкл". Для этого нужно пару минут.


Но этого никогда не произойдет.


А теперь тот самый лонгрид со всеми подробностями.


Сразу предупреждаю - текста много. Так что запаситесь попкорном ;-)


15 лет назад Ларри Пейдж и Сергей Брин задумали невозможное. Они обьявили всему миру, что хотят оцифровать все существующие книги в мире. Это бы позволило любому человеку в мире за считанные секунды найти любую информацию, не проводя в библиотеках часы, дни, месяцы....


Проект по оцифровке книг получил кодовое название "Project Ocean". Идея казалась крутой, но мало реалистичной. Но за ней стояли два крутых парня с деньгами, поэтому проект стартовал.


С 2002 года Google начала жадно сканировать все книги, до которых могла дотянуться. Сначала это были книги на английском. Google договаривалась с крупнейшими библиотеками США и организовывала специальные центры сканирования, куда книги из библиотек в прям смысле слова свозили фурами.


Для сканирования книг был разработан специальный софт. Книга жестко фиксировалась, а сверху ее фотографировало несколько камер. Единственное, что страницы переворачивал не робот, а сотрудник. Машины не могли делать это достаточно быстро и нежно. В рамках проекта оцифровывали очень старые книги, и аккуратность была превыше всего.


К августу 2010 года Google потратила на проект в общей сложности 400 млн. долларов. И объявила о том, что по ее подсчетам в мире 129 864 880 книг. И она хочет оцифровать их все.


Изначально Google не планировала открывать доступ к книгам, а давать возможность совершать поиск. И демонстрировать только небольшой отрывок. Юридический отдел Google был уверен, что это попадает под определение "честного использования".


Также стоит сказать, что если в большинстве европейских стран книга становится бесплатно доступной обществу через 50 лет после смерти автора, то в США это так не работает. Закон об авторских правах таков, что уже не публикующиеся книги никто не имеет права опубликовать еще раз, не решив все вопросы с автором, издательством или наследниками их прав. То есть книга просто лежит и собирает пыль, а чтобы дать ей вторую жизнь, даже цифровую, надо потратить столько времени и денег, что проще ничего не делать.


И тут в какой-то момент эта история взбудоражила издателей и авторов. Они начали понимать, что Google уже оцифровала миллионы книг и совсем скоро к ним будет открыт публичный доступ. Начались коллективные иски...


На протяжении 2,5 лет юристы Google, библиотек, издателей и Гильдии авторов вели сложнейшие переговоры, суть которых один из их участников кратко, но емко охарактеризовал как "четырехмерные шахматы" — надо было учесть интересы всех сторон.


Самая главная проблема, с которой столкнулись участники переговоров заключалась вот в чем. Ок, допустим, Google делает грандиозный интернет-магазин цифровых книг, в том числе и тех, авторы которых давно умерли, издательства закрылись и вообще непонятно, кому принадлежат права. Кому платить причитающуюся плату? Установление прав на получение денег в каждом конкретном случае стоило бы намного больше, чем любые возможные выплаты. То есть чисто экономически это было бессмысленно.


Но эту проблему решили, придумав создать единое агентство, которому бы шла плата за все старые книги. Наследники авторов и издателей могли бы в него обращаться за своей долей, а часть полученных средств там бы тратили на установление авторства. Поскольку обращались бы, конечно, далеко не все, то схема имела экономический смысл — кому все равно, "спонсировали" бы тех, кто хотел бы, чтобы ему заплатили. Причем правообладатели и авторы в любом случае получали бы 69% от цены электронной книги, а Google бы довольствовалась остальным.


Грандиозность соглашения привлекла внимание Министерства юстиции США, которое начало расследование и попросило всех, кто возражает против этого соглашения "говорить сейчас или молчать вечно".


Разумеется, возражения поступили. От Microsoft и Amazon с технологической стороны, а также от нескольких тысяч авторов, многие из которых, похоже, не до конца поняли суть соглашения.


В ходе долгой борьбы и недальновидности Конгресса США, сделка не была одобрена.


Формально в итоге победила Google — ей позволено показывать отрывки из оцифрованных книг. Но проиграли — все. Читатели не получили гигантской цифровой библиотеки из всех-всех когда-либо напечатанных книг. Издатели и авторы не получили возможности получать постоянно небольшую денежку от их продажи. А Google "заморозила" траты в размере 400 млн. долларов. Даже выиграв, компания охладела к своему проекту и больше не сканирует книги. Кончился запал.


Сегодня где-то далеко на серверах Google лежат 50-60 петабайтов оцифрованных книг. Вот они, только руку протяни. Но доступ к ним имеют лишь несколько инженеров компании, ответственных за то, чтобы никто другой не получил к этим книгам доступ.


Честно стырено на ФБ

Вы смотрите срез комментариев. Показать все
161
Автор поста оценил этот комментарий

Какое счастье, что есть Флибуста, который пофигу Конгресс США и Госдума РФ.

раскрыть ветку (69)
23
Автор поста оценил этот комментарий
Фактически рано или поздно эти данные сольют в интернет.
раскрыть ветку (20)
32
Автор поста оценил этот комментарий

50 петабайт? Кто же будет это хранить?

раскрыть ветку (14)
66
Автор поста оценил этот комментарий

столько места... это под силу только порнохабу

Предпросмотр
раскрыть ветку (6)
10
Автор поста оценил этот комментарий
Малышка Stoya чертовски хороша. Всегда.
раскрыть ветку (5)
Автор поста оценил этот комментарий
а полное имя? другу уж очень надо
раскрыть ветку (3)
3
Автор поста оценил этот комментарий

Джессика Стоядинович, если уж на то пошло, но Стоя — сценический псевдоним, под которым она и известна

раскрыть ветку (1)
9
DELETED
Автор поста оценил этот комментарий
Да при ее просмотре "Стоядинович" нормально так просыпается
1
Автор поста оценил этот комментарий

она и по этому запросу прекрасно ищется)

Автор поста оценил этот комментарий
Sidya лучше играет как по мне ,
4
Автор поста оценил этот комментарий

на моём первом компе было 2 гига, это казалось невероятно много. сейчас же персональные компа с несколькими терабайтами вполне общедоступны. что будет ещё через 20 лет хрен его знает)

раскрыть ветку (2)
6
Автор поста оценил этот комментарий

На винтах долгое время срабатывал извращённый закон Мура. Но, вроде, приближаемся к границе плотности записи. Сейчас на тех же механиках, с несколько другой методикой записи (с другими материалами и логикой) его отодвигают. Но, думается, всё равно уткнутся в стену...

А потом (или даже раньше) перепрыгнут её и закон Мура опять перестанет действовать, но уже в другую сторону - скачок будет такой принципиальный, что эти самые "удваиваются за два года" будет звучать как "в сто раз за пару лет"... Я - наивный футуролог. =)

раскрыть ветку (1)
Автор поста оценил этот комментарий
С помощью атомов будем хранить информацию. Наверное.
1
Автор поста оценил этот комментарий
152 вот таких носителя.
https://hi-news.ru/technology/kompaniya-ibm-vnov-ustanovila-...
И ещё Донцова влезет.
1
Автор поста оценил этот комментарий

Я бы то же самое сказал про свою терабайтную коллекцию прона лет 10 назад

1
Автор поста оценил этот комментарий

50 петабайт? Через 5 лет их можно будет слить на одну флэшку и еще место останется.

раскрыть ветку (1)
Автор поста оценил этот комментарий

За 9 месяцев объём памяти увеличится в несколько сотен раз?

9
Автор поста оценил этот комментарий
Было бы здорово если бы все это " случайно" попало на торренты
раскрыть ветку (3)
6
Автор поста оценил этот комментарий
Если только инженеры сами будут раздавать прямо с этих серверов(инфраструктура вся для этого готова, я думаю), но для этого нужно определённое время, всё-таки 50ПБ не за секунды раздадутся. Ну или кто-то захватывает эти серверы и как в той книге: "Счастье для всех, даром, и пусть никто не уйдет обиженным!"
раскрыть ветку (2)
1
Автор поста оценил этот комментарий
Сюжет для следующей части "V -значит вендетта"
1
Автор поста оценил этот комментарий
"Счастье для всех, даром, и пусть никто не уйдет обиженным!"

Камни не исполняют желаний @Valerianku, это делаем мы сами, четко следуя однажды выбранному пути.

2
Автор поста оценил этот комментарий

Если эти данные имеют доступ к этому самому интернету...

81
Автор поста оценил этот комментарий

Sci-hub того же поля ягода

раскрыть ветку (24)
10
Автор поста оценил этот комментарий

Но он неудобен.

раскрыть ветку (23)
44
Автор поста оценил этот комментарий
За неимением гербовой, пишут на простой.
раскрыть ветку (20)
8
Автор поста оценил этот комментарий

Но неудобен же! Если я не знаю, что существует такая-то статья, я её никогда не найду:(

раскрыть ветку (15)
4
Автор поста оценил этот комментарий
Проблема в индексации текстов? Мб какие-то поисковики умеют?
раскрыть ветку (10)
5
Автор поста оценил этот комментарий

Проблема в знание темы. Если я хочу почитать о какой-то теме, но не знаю о ней пока что ничего - хер я её найду.

раскрыть ветку (9)
20
Автор поста оценил этот комментарий
Это не так работает. Искать направления и статьи для чтения можно через Scopus, WoS, и ли бесплатный Google Scholar. Sci-hub предоставляет пиратский доступ к самим текстам статей
раскрыть ветку (1)
5
Автор поста оценил этот комментарий

Могу также посоветовать Omnity, он связывает статьи по цитированиям, упоминаниям и темам и показывает инфографику связей. Довольно удобно, мб кто найдет в этом себе пользу.

13
Автор поста оценил этот комментарий
Так sci-hub и не поисковик. Это средство получения доступа. Вы же не говорите про автомат "бесполезная хрень, не умеет без патронов стрелять".
раскрыть ветку (6)
Автор поста оценил этот комментарий

Лично мне охота, чтобы это была библиотека(:Вы определитесь, то ли у sci-hub есть собственная библиотека на несколько Тб2, с которой там и происходит доступ к статье, то ли это средство получения доступа.

раскрыть ветку (5)
Автор поста оценил этот комментарий

Статьи хранятся на серверах sci-hub'а, поэтому фактически, это хранилище. С другой стороны проект не позиционирует себя как "поисковик", потому что зачем? Есть google scholar, есть всякие ScienceDirect'ы, к чему тратить силы на прикручивание и нормальное развитие поиска к проекту, который создан для обеспечения доступа, а не проведение поиска? Стандартный способ использования sci-hub'а - найти / увидеть в рандомном месте интересную статью, понять, что она с платным доступом, ну а дальше сами понимаете.

раскрыть ветку (4)
Автор поста оценил этот комментарий

Как мне определиться, интересна ли мне статья или нет, если всё что я могу увидеть - её название?

Я вроде бы написал, что, лично мне!, удобнее было бы, если бы sci-hub из хранилища эволюционировал в библиотеку. (Не поисковик!)

раскрыть ветку (3)
4
Автор поста оценил этот комментарий
Ты не понимаешь сути Sci-Hub. Это не поисковая система, это сервис для скачивания статей. Ищи статьи через Google Scholar, Scopus или Web of Science.
ещё комментарии
3
Автор поста оценил этот комментарий
За неимением гербовой, пишут на простой.
Он прав, там нет удобной нафигации по темам.

Просто поисковая строка и все.

Для его юзания надо сначала перерыть ДРУГИЕ сайты в поисках нужной статьи, обломаться и с заголовком с клипбуфере вернуться на сцихаб.

раскрыть ветку (3)
5
Автор поста оценил этот комментарий

Вам микроскопом гвозди тоже неудобно забивать?
Sci-hub служит для доступа к статьям (платным!), а не для их поиска.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Доступ, если его воспринимать именно в том контексте, в котором употребляете вы - это статья. И вполне можно приписать как взлом частной собственности.

Посудите сами, если сайт - это частная собственность(является ли он частной собственностью - другой вопрос), то взлом сайта с доступом к статье - это взлом частной собственности.

sci-hub это же библиотека тех самых статьей. Владелец сама говорила, что на её жестких дисках хранится некоторое кол-во Тб информации. Почему бы не сделать более удобный способ получения информации, чем корячится через поисковики?

Автор поста оценил этот комментарий

Я делаю так:

1. ищу статьи (скопус или тупо по ключевым словам в гугле)

2. захожу на страницу статьи у издателя

3. добавляю .sci-hub.cc после .com в адресной строке.

4. загружается статья.


Поиском через сам ски-хуб не пользуюсь уже пару лет.

8
Автор поста оценил этот комментарий

Тогда машина тоже неудобна - без бензина не едет...

Пользуйтесь поиском (вы же в курсе существования google scholar? ищет всё по любой ветви науки), анализируйте список литературы в конце каждой статьи, и будет вам счастье.

Sci-hub очень удобен, он создан в первую очередь для учёных и выполняет свои функции на 100%.

Автор поста оценил этот комментарий

Вполне себе удобен.

С поиском и гугл нормально справляется.

9
Автор поста оценил этот комментарий
Какой то неправильный сайт ))
Иллюстрация к комментарию
раскрыть ветку (7)
27
Автор поста оценил этот комментарий

Я так понял, у мужа стальной хрен 4 часа. Очень интересно

16
DELETED
Автор поста оценил этот комментарий

Есть еще бот Флибусты для телеграмм.

@flibustafreebookbot

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

Спасибо за рабочий бот

9
Автор поста оценил этот комментарий
В даркнете есть сайт флибусты...
раскрыть ветку (2)
2
Автор поста оценил этот комментарий

http://flibustahezeous3.onion/

с хрома кстати говоря открывается без проблем

раскрыть ветку (1)
Автор поста оценил этот комментарий
спасибо за инфу про хром (:
Автор поста оценил этот комментарий
Иллюстрация к комментарию
2
Автор поста оценил этот комментарий

А у вас работает сейчас Флибуста? У меня пустую страницу показывает почему-то..

Аа, отставить, вот нашёл новый сайт их, видимо - http://flib.nwalkr.tk/

раскрыть ветку (9)
3
Автор поста оценил этот комментарий
Телеграм поставь и будет щачтье
раскрыть ветку (7)
1
Автор поста оценил этот комментарий

У меня есть телеграмм, я даже на Флибусту там подписан, только вот не понимаю, оттуда можно книги качать, штоле? Периодически там выкладывают книги с описанием..ай, ладно, пойду разбираться.

раскрыть ветку (6)
2
Автор поста оценил этот комментарий

бот флибусты, пишешь ему название книги, он тебе кидает ссылку

Автор поста оценил этот комментарий
Там бот к нему обращаешься и будет тебе прям кидать в нужном формате он
раскрыть ветку (4)
Автор поста оценил этот комментарий
Вот что странно, но у меня что то ни один бот не работает нормально. У Флибусты там 2 бота, оба одинаково молчат. И так все боты. Мб знает кто, что делать?
Иллюстрация к комментарию
раскрыть ветку (3)
1
Автор поста оценил этот комментарий
@flibustafreebookbot
1
Автор поста оценил этот комментарий
@flibustafreebookbot
Иллюстрация к комментарию
раскрыть ветку (1)
Автор поста оценил этот комментарий

Да я уже нашёл, спасибо.

Автор поста оценил этот комментарий

Нет, это не совсем оно )) Достаточно вбить по в поисковик "как зайти на Флибусту". Я был удивлен насколько просто зайти, например, с телефона на Андроиде.

Автор поста оценил этот комментарий

Разве там никогда не было удалений по просьбе правообладателя? Что-то такое помню.

раскрыть ветку (4)
Автор поста оценил этот комментарий
Копирасты не удаляют контент из даркнета
Автор поста оценил этот комментарий

Была имитация (невозможность скачивания без бубна. Но это было до их блокировки :)

Теперь нет.

раскрыть ветку (2)
1
Автор поста оценил этот комментарий
Есть. Вчера только хотел скачать какой-то рассказ Веллера, флибуста сказала что его запретили качать правообалдатели.
Что за бубны?
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Это именно та имитация, которой я говорил. Ее реализовали на flibusta.is. Почему не убрали до сих пор загадка. Решается несколькими путями:

1. Заходить через TOR http://flibustahezeous3.onion

2. Отправить книгу себе на почту.


В новинках ,понятно, такого ограничения нет. Как и в 99% основного массива книг.

Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку