Протокол bittorrent что это
Как это работает? | BitTorrent
BitTorrent — это сетевой протокол для обмена файлами через Интернет. Он был создан американским программистом Брэмом Коэном, который написал первый torrent-клиент «BitTorrent» на языке Python в апреле 2001 года. Файлы по такому протоколу передаются частями, а каждый torrent-клиент, получая эти части, в то же время отдаёт их другим клиентам. Как же работает протокол BitTorrent — об этом в сегодняшнем выпуске!
Принцип работы протокола заключается в том, что нагрузка на распространителя файла уменьшается благодаря скачивающим клиентам. Они начинают обмениваться данными сразу же, даже если файл не докачан ими до конца.
Для работы BitTorrent, как правило, необходим трекер — специализированный сервер, работающий по протоколу HTTP. Он нужен, чтобы клиенты, именуемые пирами, могли найти друг друга. Перед началом скачивания клиент подсоединяется к трекеру по указанному в торрент-файле адресу, сообщает ему свой адрес и идентификатор файла, который требуется скачать (он именуется хеш-суммой). В ответ клиент получает адреса других клиентов, скачивающих или раздающих этот файл. Впоследствии клиент периодически информирует трекер о ходе процесса и получает обновлённые списки адресов. Пиры соединяются друг с другом и обмениваются сегментами файлов без непосредственного участия трекера. Он лишь хранит информацию, получаемую от клиентов. Существуют также и бестрекерные системы, в которых трекер доступен децентрализованно — на клиентах в форме распределённой хеш-таблицы.
Количество переданных сегментов подсчитывается, и если одна из сторон обнаруживает, что передаёт в среднем больше, чем принимает, она блокирует на некоторое время отдачу другой стороне. Это делается для более эффективного использования канала отдачи. При выборе кого разблокировать, предпочтение отдаётся клиентам, которые передали много сегментов.
Порядок обмена выбирается таким образом, чтобы сначала клиенты обменивались наиболее редкими сегментами: таким образом повышается доступность файлов в раздаче. Сами сегменты делятся на блоки размером от 16 до 4000 килобайт. Одновременно могут запрашиваться блоки из разных сегментов.
При получении полного файла клиент становится сидом, то есть переходит в специальный режим работы, в котором он только отдаёт данные. Далее сид периодически информирует трекер об изменениях в состоянии торрентов и обновляет списки IP-адресов.
Как работают торренты и насколько это законно
Содержание
Содержание
Многие пользователи Интернета привыкли скачивать фильмы и сериалы, хотя сейчас куча разнообразных сервисов, приложений и сайтов, где за небольшую плату можно посмотреть все, что душе угодно. Некоторые лейблы даже новинки сразу выкатывают на своих сервисах, и в кино идти не нужно. Но так называемые торренты не теряют популярности. Что это такое, как работает и насколько это законно — разберемся в этом материале.
Что такое торрент
Торрент, он же BitTórrent (в буквальном переводе — поток бит) — это пиринговый (P2P) сетевой протокол, созданный, чтобы совместно обмениваться файлами через Интернет. А пиринговая сеть — это одноранговая сеть, где узлы «общаются» без центрального элемента. Сетевой протокол является набором правил и последовательности действий. Все это вместе позволяет устройствам соединяться и обмениваться данными.
Торрент-файлы передаются частями между устройствами (для удобства будем иметь в виду ПК). Каждый клиент скачивает кусочки файлов и одновременно раздает их другим участникам сети. При этом достигается избыточность данных, которая позволяет снизить зависимость от каждого узла сети. Проще говоря, одни и те же куски файлов хранятся на многих компьютерах, и если часть компьютеров, хранящих файлы, пропадет из сети, то сеть продолжит работу.
Торренты распространяются через файлы с метаданными, имеющими расширение «.torrent». Каждый такой файл содержит обязательную информацию: URL трекера, имя и размер файла и контрольные хеш-суммы SHA1-сегментов раздаваемых файлов. Также в файле может быть необязательная информация: хеш-суммы файлов целиком и альтернативные источники, работающие не по протоколу BitTorrent.
Принцип работы протокола BitTorrent
Приложение-клиент подключается к трекеру, указанному в файле. Передает ему свой адрес и хеш-сумму файлов, которые он хочет скачать. В ответ трекер передает клиенту адреса других ПК, которые раздают нужные файлы. Далее терекер периодически передает клиенту новые адреса раздающих ПК, если такие появляются в сети.
Клиенты связываются друг с другом напрямую, без участия сервера-трекера. Чем больше устройств будет хранить нужный вам файл, тем быстрее будет происходить скачивание, так как разные куски файла можно будет одновременно скачивать из кучи источников.
При соединении клиенты сообщают друг другу об имеющихся у них сегментах. ПК, желающий скачать сегмент, — он называется личер — посылает запрос и, если второй ПК, — сидер — готов отдавать, личер получает этот сегмент. После этого клиент проверяет контрольную сумму сегмента. Если она совпала с той, что записана в торрент-файле, то сегмент успешно скачивается, а клиент оповещает всех присоединенных о том, что у него есть этот сегмент. Если же контрольные суммы различаются, то сегмент начинает скачиваться заново. Некоторые клиенты банят тех пиров, которые слишком часто отдают некорректные сегменты.
Порядок обмена сегментами выстроен, чтобы между клиентами распространялись в первую очередь самые редкие сегменты, так повышается доступность файла в сети. Сегменты могут весить от 16 до 4096 килобайт.
Режим End game
Компьютер переходит в этот режим, когда скачивание почти закончилось. В еnd game клиент запрашивает оставшиеся сегменты у всех подключенных. Благодаря этому не происходит замедление или полное «зависание» процесса скачивания файла, который почти уже загрузился, из-за каких-то медленных клиентов.
Сидирование
Когда клиент получил полный файл, он начинает отдавать данные другим участникам сети, то есть, становится сидом. Далее сид периодически подает трекеру сигналы об изменениях в состоянии закачек, обновляя списки IP-адресов.
Общие особенности протокола
На фрагменты разбивается вся раздача целиком, поэтому у «личера», который решил скачать только несколько файлов из закачки, будет храниться небольшой запас информации, для поддержания целостности фрагментов. В качестве объекта раздачи могут выступать несколько файлов, например, содержимое каталога.
Клиенты работают по протоколу TCP (Transmission Control Protocol — протокол управления передачей, один из основных протоколов передачи данных интернета). Клиенты и трекеры могут использовать любой порт, вместо стандартного 6969, чтобы избежать блокировки по порту некоторыми провайдерами.
Трекер
Трекер — это специальный сервер, позволяющий клиентам найти друг друга. Трекер хранит у себя только IP-адреса и хэш-суммы раздач и ничего не знает об имени и содержимом передаваемых файлов. Начиная с версии 4.2.0 официального клиента, выпущенного в 2015 году, появилась бестрекерная работа, которая базируется на DHT Kademlia. В этой реализации трекер доступен децентрализовано на клиентах в форме распределенной хеш-таблицы.
DHT — аббревиатура Distributed hash table, то есть распределенная хэш-таблица. Является протоколом, позволяющим битторрент-клиентам находить друг друга без использования трекера. Клиенты с поддержкой DHT образуют общую DHT-сеть и помогают друг другу найти участников одних и тех же раздач. Это позволяет участникам быстрее находить друг друга, снизить нагрузку на трекер, поддерживает участников вместе в периоды недоступности трекера.
На многих трекерах торренты раздаются с установленным флагом private, не позволяющим использовать сеть DHT. Цель этого — не допускать раздачу материала клиентам, не зарегистрированным на данном трекере. Однако для пользователя это означает уменьшение количества сидеров, иногда — значительное. Для популярных клиентов uTorrent и qBitTorrent умельцы создали бесплатные патчи, позволяющие отключить функции ограничения использования DHT для приватных торрентов.
Magnet-ссылка
magnet: — это открытый стандарт URI (Uniform Resource Identifier — единообразный идентификатор ресурса) схемы. Магнитная ссылка позволяет найти файлы без файла torrent. Эта ссылка содержит в себе только хэш-код раздачи. Также magnet-ссылки могут распространяться в виде файлов с расширением *.magnet.
Одним из преимуществ magnet-ссылок является их открытость и независимость от платформы: они могут быть использованы для загрузки файла при помощи разнообразных приложений на большинстве операционных систем. Благодаря тому, что magnet-ссылка представляет собой короткую строку текста, она может быть легко скопирована через буфер обмена, отправлена по электронной почте, через мессенджеры и SMS.
Недостатки и ограничения
Если в сети нет сидера, у которого есть все фрагменты раздачи нужного файла, то все части невозможно скачать, пока не появится клиент с полным набором. Раздача, в которой долгое время нет полного содержимого, называется «мертвой». Также в торрент-сети отсутствует анонимность, возможно узнать IP-адреса тех, кто скачивает, и тех, кто раздает. Но нельзя узнать какие еще раздачи или скачивания производятся с данного адреса.
Также некоторые из торрент-трекеров имеют открытый доступ, то есть каждый желающий может загрузить любую информацию, и эти раздачи не проверяются. Поэтому некоторые торренты могут содержать вредоносное ПО.
В 2008 году началась разработка нового поколения протокола — BitTorrent v2. В нем алгоритм хеширования SHA-1 заменен на более совершенный SHA-256. Он несовместим со старым, поэтому современные клиенты могут работать с обоими протоколами.
Законно ли пользоваться торрентами
Многие трекеры заблокированы в России за раздачу пиратского контента. Но в трекерах также содержится много авторских файлов и свободных раздач, которые полностью легальны. Если скачивать контент, не защищенный авторским правом — никаких последствий не будет.
За нарушение авторского права в российском законодательстве существует административная ответственность — уголовная и гражданская. Чтобы привлечь к административной ответственности по п.7.12 КоАП, надо доказать, что с помощью скаченного контента человек получит доход. А для привлечения к уголовной ответственности стоимость нарушения авторских прав должна превышать 100 тысяч рублей.
В России и во многих других странах в борьбе с нелегальным распространением контента в основном используется ограничение доступа. При этом пользователю фактически не грозит ответственность за незаконное скачивание. Но в некоторых государствах даже простое скачивание незаконного контента влечет за собой реальную административную или даже уголовную ответственность.
Протокол BitTorrent сам по себе не является незаконным или небезопасным. Это просто средство для обмена файлами любого типа, и существует множество легальных торрент-сервисов.
Но совместное использование и загрузка материалов, защищенных авторским правом, с помощью BitTorrent или иными способами, является незаконным процессом во многих странах. Простыми словами: торрент сам по себе легален, но загрузка несанкционированных материалов, защищенных авторским правом — это противозаконный процесс.
Лучшие торрент-клиенты
BitTorrent — это оригинальный и официальный торрент-клиент от разработчиков протокола. В бесплатной версии показывает рекламу.
BitComet — еще одно классическое приложение, появившееся чуть ли не одновременно с разработкой протокола. Но отзывы о нем протитвречивые.
BitLord — еще один собственный торрент-клиент, который доступен для платформ Windows и MacOS. Первоначально выпущенный в 2003 году, BitLord появился из вышеупомянутого BitComet и включает в себя ряд функций, которых нет на других платформах. Например, встроенный проигрыватель VLC для просмотра видео в приложении, поддержку субтитров с использованием API и встроенный торрент-поисковик.
Halite — это сверхлегкий, суперуниверсальный торрент-клиент. Поставляется со всеми программами и функциями, которые можно ожидать от современного торрент-клиента, в том числе с системой управляемых торрент-очередей, поддержкой магнитного URI, супер-заполнением и возможностью создавать торрент-файлы в приложении.
uTorrent — очень популярный клиент, который, со временем стало труднее рекомендовать из-за переизбытка рекламы. Изначально программа была легким и простым в использовании торрент-клиентом. В 2010 году uTorrent начала включать панель инструментов Conduit Engine в свою утилиту загрузки, а также делать домашнюю страницу и поисковую систему Conduit по умолчанию без согласия. В 2011 году uTorrent начал включать панель инструментов Bing, а затем объявил о платной версии приложения под названием uTorrent Plus.
qBittorrent — бесплатный клиент с открытым исходным кодом, без рекламных объявлений, регулярно обновляется.
Deluge — еще один бесплатный клиент с открытым кодом. От qBittorrent отличается меньшим размером — 34 килобайта.
Transmission — клиент для MacOS и linux, версия для Windows имеет меньший функционал.
Vuze — торрент-клиент. Имеет бесплатную и платную версии.
Сеть торрент и криптовалюты
BitTorrent, Inc. — частная американская компания со штаб-квартирой в Сан-Франциско, была основана 22 сентября 2004 года Брэмом Коэном (Bram Cohen) и Ашвином Невином (Ashwin Navin). На пике популярности аудитория сервисов BitTorrent достигала 150 миллионов активных пользователей в месяц.
В июне 2018 года компанию купил миллиардер, создатель криптовалюты TRON, Джастин Сан (Justin Sun). Протокол позволяет передавать любые типы файлов. Это помогло скомбинировать cеть BitTorrent и блокчейн TRON, так и был создан проект Atlas и криптовалюта BTT.
Проект Atlas не предполагает майнинг. Разработчики не видят смысла поощрять майнеров за огромные траты электроэнергии и дорогостоящее оборудование — принцип действия алгоритма proof-of-work (например, у биткоина).
Алгоритм консенсуса BTT — delegated proof-of-stake (DPoS). Он основан на голосовании между владельцами токенов в реальном времени. Выбираются супер представители, которые следят за стабильностью системы, и за это получают вознаграждение. Если сообщество не устраивают представители, их можно переизбрать. Такой же алгоритм у криптовалюты Tron (TRX) — основного блокчейна для проекта Atlas.
BTT можно получить через обмен на другие валюты, либо через эирдроп. Для владельцев криптовалюты Tron (TRX) производится эирдроп, запланированный на шесть лет. Чтобы получить монеты BTT бесплатно, достаточно хранить любое количество токенов TRX. Но чем больше их будет, тем больше BTT получите на эирдроп:
Эирдроп для держателей TRX производится 11 числа каждого месяца. Следить за курсом BTT можно здесь.
Протоколу BitTorrent 20 лет: как изменить ход развития Интернета с помощью «словаря» и сарафанного радио
Двадцать лет назад относительно неизвестный в то время программист по имени Брэм Коэн в одиночку совершил революцию в сфере технологий обмена файлами. Тогда социальные сети ещё не были развиты, но BitTorrent особо и не нуждался в лайках. Со временем он был оценён по достоинству в ИТ-сообществе. В начале двухтысячных новый протокол обмена файлами изменил ход развития Интернета.
«Наконец-то заработало моё новое приложение BitTorrent, оно доступно по ссылке ниже», — написал Коэн на доске объявлений Yahoo. Это было 2-го июля 2001 года.
Вероятно, за всю историю ИТ это была одна из самых, мягко говоря, лаконичных PR-кампаний в поддержку запуска нового продукта. Не впечатлил и «дизайн» официального сайта с чёрным текстом на белом фоне: весь сайт — несколько строк HTML-кода. Тогда никто не мог представить, какую роль в развитии всего Интернета сыграет BitTorrent.
Полное отсутствие маркетинговой составляющей Брэм Коэн компенсировал за счёт технических характеристик продукта. Он ранее работал в стартапе, команда которого трудилась над одноранговой сетью MojoNation. Потом у этого проекта закончилось финансирование, и 25-летний разработчик сосредоточился на развитии собственного проекта — протокола для обмена файлами.
Коэн определённо был не единственным в этой нише. Обмен файлами набирал обороты, и появлялись десятки новых приложений. Например, к началу двухтысячных файлообменная пиринговая сеть Napster успела побыть первопроходцем на волне популярности обмена MP3-треками и получить иск от группы Metallica за слив демоверсии их новой песни. Это привело к смерти и реинкарнации Napster в статусе музыкального сервиса.
Коллективные скачивания и раздачи
Однако BitTorrent явно отличался от конкурентов, сосредоточив внимание на скорости загрузки файлов и децентрализации сети. Вместо того, чтобы просто делиться файлом с одним человеком за раз, один файл могли раздавать сразу несколько пользователей. Чем больше пользователей участвовало в раздаче, тем выше становилась скорость загрузки.
нагрузка на распространителя файла уменьшается благодаря тому, что клиенты начинают обмениваться данными сразу же, даже если файл не докачан ими до конца.
Идея децентрализации была довольно новой на тот момент. В большинстве инструментов для обмена файлами была реализована централизованная инфраструктура, доступ к которой осуществлялся с помощью единого управляющего софта. BitTorrent же позиционировался как открытый протокол.
Всего через несколько месяцев после публичного релиза BitTorrent появились первые «торрент-сайты» — Suprnova.org, Donkax.com, Bytemonsoon.com и Torrentse.cx. Ну и нельзя не вспомнить про запрещённый (на данный момент) в Рунете rutracker.org, который, правда, появился позже (в 2004 году).
Эти сайты позволяли пользователям загружать и обмениваться музыкой, фотографиями, программным обеспечением и даже фильмами. Раньше распространять такие тяжёлые файлы (часто полученные нелегально) среди широкой аудитории было накладно из-за слишком больших затрат на обеспечение высокой пропускной способности и хранение этих файлов.
Технология, лежащая в основе BitTorrent, позволяла размещать на сайтах-файлообменниках не сами файлы (с музыкой, фото и тд), а так называемые торренты (.torrent). Как оказалось, как раз эта технология и перевернула игру.
Используя торренты, пользователи скачивают файлы не с какого-то централизованного сервера, а друг у друга — например, с жёстких дисков персональных компьютеров. При этом протокол BitTorrent будет выбирать наиболее быстрый источник, а если с ним что-то произойдёт (отключится или скорость резко уменьшится), то выберет другой источник. Кроме того, файлы скачиваются не последовательно, а параллельно и по частям, что позволяет очень гибко организовать раздачу. И всем этим управляет специальный софт (BitTorrent-клиент).
Первый «росток» интернет-революции
Брэм Коэн старался не связываться с сайтами-файлообменниками, заработавшими плохую репутацию. Тем не менее, он понимал, что среди широкой аудитории был крайне популярен «обмен мультимедиа». В конце 2001 года Etree стал одним из первых сайтов, использующих новый протокол BitTorrent.
«Etree — это сплоченное сообщество людей, которые распространяют записи живых концертов в Интернете», — писал Коэн. «Etree страдал от того, что спрос на загрузку [файлов] превышал предложение, и BitTorrent решил эту проблему».
Сегодня, 20 лет спустя, Etree по-прежнему предлагает торренты для загрузки тысяч концертов. Хотя затраты на обеспечение высокой пропускной способности уже не так велики, как раньше.
Сегодня это может показаться вовсе не критичным, но в эпоху коммутируемого доступа (dial-up) одной из причин внезапного успеха BitTorrent стала возможность тратить меньше денег на пересылку больших файлов по Интернету. На тот момент это была революция.
BitTorrent и SEO
Протокол BitTorrent имел и другие преимущества. Например, торрент-сайты получили возможность проиндексироваться для поисковых систем. Также начал развиваться метапоиск торрент-ресурсов.
Экспоненциальный рост торрент-сайтов не ограничивался только появлением публичных трекеров общего назначения. Через некоторое время сформировались мелкие, нишевые сообщества.
Это трекеры, которые были в основном ориентированы на более узкие ниши и имели свои собственные правила обмена. Музыкальный торрент-трекер OiNK, например, когда-то был самой большой музыкальной библиотекой — задолго до того, как появились стриминговые сервисы. А после того, как OiNK закрылся, его место занял What.cd (потом и его тоже закрыли).
Проблемы с торрент-трафиком
В начале 2000-х, когда торренты набирали обороты, это заметили — а потом и ощутили на собственной шкуре — интернет-провайдеры. В какой-то момент на BitTorrent приходилась треть суммарного интернет-трафика во всем мире.
Но обработка такого количества трафика оказалось тяжёлой задачей для инфраструктуры многих интернет-провайдеров. Поэтому некоторые из них (например, Comcast) начали ограничивать, фильтровать торрент-трафик.
Эти действия провайдеров были вовремя замечены и широко освещены в СМИ. По мнению некоторых экспертов, подобные ограничения нарушают «принцип нейтральности интернета» (или сетевого нейтралитета).
любая информация считается одинаково важной, независимо от её источника.
Специалисты провели ряд исследований, которые позволили пользователям выяснить, ограничивают ли интернет-провайдеры их трафик.
После этого разработчики во главе с Коэном обновили BitTorrent:
BitTorrent Inc.
Брэм Коэн со временем преобразовал свой проект в технологический стартап BitTorrent Inc и привлёк миллионы долларов венчурных инвестиций.
BitTorrent Inc не имела ничего общего с пиратскими сайтами и сосредоточилась на разработке BitTorrent, помогая артистам и другим правообладателям делиться контентом.
В 2007 году компания открыла собственный видеомагазин Torrent Entertainment Network, который сотрудничал с такими крупными голливудскими студиями, как Warner Bros. Видеомагазин так и не стал прибыльным и через год закрылся.
В последующие годы BitTorrent Inc сосредоточилась на том, чтобы помогать артистам продвигать свой контент, в том числе через сервис BitTorrent Now, который всё ещё существует. Однако нельзя сказать, что этот сервис имел такой же оглушительный успех, как сам протокол.
Одна из самых удачных сделок BitTorrent — это покупка клиента uTorrent у шведского разработчика Людвига Стригеуса в 2006 году. Сегодня uTorrent по-прежнему является едва ли не самым популярным торрент-клиентом. Кстати, Стригеус тоже добился успеха, но уже с сервисом Spotify.
Переломный момент
Некоторые инвесторы надеялись заработать по-крупному, вкладывая свои деньги в BitTorrent, но она так и не оправдала их ожиданий. Доходы от uTorrent помогали компании держаться на плаву, но большинство новых торрент-проектов в конечном итоге было закрыто.
Брэма Коэна тяготила эта ситуация и неоднократно посещали мысли о серьёзных переменах. В 2018 году блокчейн-компания TRON Foundation поглотила BitTorrent Inc., а месяц спустя создатель BitTorrent объявил о своём уходе.
В 2019 году был запущен токен BitTorrent (BTT). Пользователи могут расплачиваться им, чтобы увеличить скорость загрузки или просто зарабатывать во время раздачи в торренте.
Сам Коэн также проявил интерес к криптовалюте. Он является одним из криптоэнтузиастов и создателей «зелёной» монеты Chia, выпущенной в мае прошлого года.
BitTorrent ≠ Пиратство
Многие, не разобравшись в ситуации, часто ассоциируют BitTorrent с пиратством. Но, поверьте, многие нашли для этого протокола более достойное и интересное применение.
На протяжении многих лет крупные коммерческие и некоммерческие организации, включая Twitter, Google, Facebook, NASA и так далее, использовали технологию BitTorrent в своих проектах. Просто потому, что он отлично подходит для дешёвой и эффективной передачи файлов.
Многие программные продукты, включая культовые дистрибутивы Linux, по-прежнему предлагают загрузку через BitTorrent. Совсем недавно OpenStreetMap предложил пользователям использовать торренты для загрузки обновлённых версий своих карт.
С годами затраты на обеспечение высокой пропускной способности снизились, поэтому BitTorrent частично утратил своё конкурентное преимущество. Однако это по-прежнему хорошая технология, на базе которой можно создавать инновационные проекты. Мы не знаем, что будет дальше, но, безусловно, BitTorrent вошёл в историю развития Интернета.
Аренда серверов vds/vps с быстрыми NVMе-дисками и посуточной оплатой у хостинга Маклауд.