Суперкомпьютер это вычислительная машина

Суперкомпьютер что это?

Суперкомпьютер – это компьютер, способный производить сотни миллиардов операций за 1 с. Такие большие объёмы вычислений нужны для решения задач в аэродинамике, метеорологии, физике высоких энергий, геофизике. Суперкомпьютеры так же нашли своё применение в финансовой сфере при обработке больших объёмов сделок на биржах. Сверхвысокое быстродействие суперкомпьютера обеспечивается параллельной работой множества микропроцессоров.
Суперкомпьютеры – это не выдумка. Хотя суперкомпьютеры не используются обычными людьми в повседневной жизни, их влияние, как на все человечество, так и на каждого из нас очень заметно. Вернее, стало бы заметно, если бы они в один миг исчезли или сломались.

Суперкомпьютеры – это современные вычислительные машины с высокой мощностью и скоростью обработки данных. Они не выпускаются большими партиями и не продаются в магазинах. Каждый суперкомпьютер уникален, так как разрабатывается и изготавливается под конкретный заказ, для решения определенной задачи. Суперкомпьютеры могут быть как микроскопически малы, так и занимать несколько комнат или даже этажей, все зависит от функций и задач, которые будет решать электронная техника.
Изобретателем суперкомпьютера является американский инженер С.Крей. В 1972 году он открыл свою фирму под названием «Крей Ресерч Инкорпорейтед». Эта фирма занималась разработкой самых высокоскоростных компьютеров в мире. Изобретением стали мультипроцессорные компьютеры, способные осуществлять одновременную обработку данных. В 1976 году был выпущен первый суперкомпьютер под названием «Крей-1», который мог осуществлять 240 млн. вычислений в одну секунду.
Он применялся для научных исследований, таких, например, как моделирование сложных физических явлений. Такие компьютеры приобретались правительственными учреждениями и университетскими лабораториями. Следующие модели Крея – «Крей 1-М» и «Крей X-МР» обладали ещё большим быстродействием.
В 1985 г. появился «Крей-2», который мог выполнить 1 200 млн. операций за 1 с. Представленный в 1988 г. «Крей Y-MP» обладал быстродействием 2 670 млн. операций за 1 с.
Позднее были созданы суперкомпьютеры с ещё большим быстродействием.

Развитие суперкомпьютеров .

Шло время, и производители выпускали всё более и более новыесуперкомпьютеры, которые задавали новые стандарты производительности. Символический барьер в один ПФЛОПС (читается «пентафлопс»; 1 ПФЛОПС = 1000 ТФЛОПС) был преодолён в 2008 году компьютером Roadrunner от IBM. Характеристики данной машины, мягко говоря, шокируют: почти 100 Тб оперативной памяти, около 20 000 процессоров. Удивляет и то, что всё это работает под управлением Linux-систем RedHat и Fedora, причём тех же самых версий, что устанавливаются на домашние компьютеры.

Разновидности параллельных числовых систем

В соответствии с классификацией, предложенной М.Флинном еще в начале 60-х годов прошлого столетия, параллельные вычислительные системы имеют несколько разновидностей.При этом в основу данной классификации заложено два возможных вида параллелизма: независимость потоков заданий (команд), существующих в системе, и независимость (отсутствие логической связанности) данных, обрабатываемых в каждом потоке:

    Магистральные(конвейерные),в которых процессоры одновременно выполняют разные операции.Над последовательным потоком обрабатываемых данных; по принятой классификации такие системы относятся к системам с многократным потоком команд и однократным потоком данных МКОД (MISD MultipleInstructionSingleData);
    Векторные, в которых все процессоры одновременно выполняют одну команду. Над различными данными однократный поток команд с многократным потоком данных ОКМД (SIMD SingleInstructionMultipleData);
    Матричные, в которых процессоры одновременно выполняют разные операции. Над несколькими последовательными потоками обрабатываемых данных многократный поток команд с многократным потоком данных МКМД (MIMD MultipleInstructionMultipleData).
    В суперЭВМ используются все три варианта архитектуры параллельных вычислительных систем.

Классический тип суперкомпьютерной архитектуры (однопроцессорная и конвейерная) использует общую оперативную память. Обращение, к которой осуществляется через системную шину. Единое пространство оперативной памяти значительно упрощает программирование за счет более удобных механизмов синхронизации между задачами. Но с ростом числа процессоров наличие общей памяти приводит к возрастанию нагрузки на системную шину, которая в конце концов перестает обслуживать обмен данными между оперативной памятью и процессорами в требуемом темпе. Добавление локальной кэш-памяти в каждый процессор несколько снижает остроту проблемы. Тем не менее, вне зависимости от наличия локальной кэш-памяти системная шина все равно является уязвимым местом такой архитектуры при 8 и более процессорах.
Параллельная архитектура (векторная и матричная) позволяет избежать проблем с системной шиной за счет отсутствия общей для всех процессоров оперативной памяти. Каждый процессор снабжается своей локальной памятью. Чтобы осуществить доступ к локальной памяти другого процессора, используется сеть связи, объединяющая процессоры в систему. Таким образом, в параллельной архитектуре удается снизить нагрузку на шину, ведущую к локальной памяти процессоров, поскольку здесь она обслуживает только запросы на доступ именно к этой памяти, а не каждый запрос на доступ к общей оперативной памяти. Это позволяет строить суперкомпьютеры из сотен и даже тысяч процессоров.
Основным недостатком параллельной архитектуры является сложность программирования, особенно для задач, которым необходима память, превышающая размер локальной оперативной памяти одного процессора. Синхронизация также затруднена, особенно если ее требуется осуществить между параллельными ветвями алгоритма, выполняемыми процессорами, которые разделяет значительное расстояние в сети связи.

Сферы применения суперкомпьютеров

Применение суперкомпьютеров

Для кого разрабатываются сверхмощные и сверхумные машины и где они используются? Компьютеры используются учеными при решении задач квантовой физики и механики.

Исследование ядерных процессов, моделирование цепной реакции и ядерного взрыва дают ученым богатый материал для исследования этих удивительных, но опасных явлений.

Изучение молекулярной структуры белка помогает сделать немало важных и ценных для человечества открытий, определить причины и механизмы генетически обусловленных заболеваний. Такая работа под силу только суперкомпьютерам.

Виртуальные модели кровеносной системы человека исследуются врачами и биологами, чтобы получить эффективные способы борьбы с заболеваниями сердца и сосудов.

Но суперкомпьютеры нужны не только для проведения серьезных научных исследований, результаты которых принесут человечеству плоды только в будущем. Прикладное применение суперкомпьютеров можно обнаружить во многих сферах нашей жизни.

Биология и медицина.

Современные медицинские исследования, новейшие разработки и научные открытия стали возможны именно благодаря суперкомпьютерам, которые позволяют проводить своевременную диагностику, с большим процентом вероятности прогнозировать ход болезни и реакцию организма на лечение. Суперкомпьютеры позволяют моделировать процессы, происходящие в жизненно важных органах, чтобы понять основной принцип их работы и эффективно бороться с патологиями.

В биологии суперкомпьютеры, микрочипы и электронные микроскопы используются для изучения процессов, происходящих на клеточном уровне, что дает большие возможности для серьезнейших научных открытий, способных изменить современную науку.

В медицине и биологии суперкомпьютеры больше нужны именно для исследовательской работы, хотя, некоторые крупные клиники могут позволить себе использовать такие машины и для решения прикладных задач: диагностики и лечения.

Космическое пространство.

Суперкомпьютеры нужны не только для фиксирования данных на борту космических станций и обеспечения эффективности работы этих грандиозных сооружений. Мощнейшая вычислительная техника позволяет проектировать новые орбитальные и межпланетные станции, выстраивать данные оптимальной траектории движения станций, изучать процессы, влияющие на геомагнитный фон Земли, отслеживать и предугадывать всплески солнечной активности и выявить их закономерности.

При разработке новых моделей космических станций и искусственных спутников, суперкомпьютеры проводят серьезную работу по моделированию и прогнозированию всех возможных ситуаций, обеспечивая, таким образом, безопасность полета.
Климат и погода.
Благодаря суперкомпьютерам стало возможно очень точно предсказывать погоду. Цифровая обработка данных, полученных на метеорологических станциях, производится в кратчайшие сроки, что дает шанс заглянуть в будущее и предупредить людей о возможных погодных неприятностях. Эта работа суперкомпьютеров тесно связана с прогнозами стихийных бедствий, которые способны спасти жизнь многих людей.
Стихийные бедствия и экологические катастрофы.
Современные мощные суперкомпьютеры дают возможность с большой долей вероятности прогнозировать природные катаклизмы: землетрясения, цунами, пожары, наводнения и штормы. Чем раньше люди получат информацию о надвигающейся беде, чем больше у них шансов спастись.
Промышленность.
Благодаря суперкомпьютерам наша жизнь становится более комфортабельной и безопасной, ведь именно эти машины помогают разрабатывать новые модели автомобилей и самолетов. Исследование аэродинамических свойств, устойчивости, маневренности, способы сочетать эти качества в оптимальной пропорции могут только суперкомпьютеры.

Источник

5 самых мощных суперкомпьютеров: для чего они нужны?

Суперкомпьютер это вычислительная машина

Модели с огромной производительностью, укомплектованные тысячами процессоров и десятками гигабайт ОЗУ, называются суперкомпьютерами. Самые мощные можно найти в списке TOP500, где первые 5 мест занимают американские модели Summit и Sierra, китайские ЭВМ Sunway TaihuLight и Тяньхэ-2, а также швейцарский Piz Daint.

Что такое суперкомпьютер

СуперЭВМ – название, которое получают специализированные вычислительные машины, превосходящие по характеристикам и скорости вычисления большинство обычных компьютеров.

Суперкомпьютер состоит из большого количества многоядерных систем, объединенных в общую систему для получения высокой производительности. Еще одно отличие от обычных ПК – большие размеры. Техника располагается в нескольких помещениях, занимая целые этажи и здания.

Первым настоящим суперкомпьютером считается собранный в 1974 году в США ПК Cray-1. Благодаря поддержке векторных операций модель выполняла до 180 млн вычислений с плавающей точкой в секунду (флопс). Большая часть суперЭВМ по-прежнему собирается и используется в Соединенных Штатах, следующими по количеству такой техники идут Китай и Япония.

Назначение суперкомпьютеров

Суперкомпьютеры решают разнообразные задачи – от сложных математических расчетов и обработки огромных массивов данных до моделирования искусственного интеллекта. Есть модели, воспроизводящие «архитектуру» человеческого мозга. На СуперЭВМ проектируют промышленное оборудование и электронику, синтезируют новые материалы и делают научные открытия.

Автомобилестроительные компании используют суперкомпьютеры для имитации результатов краш-тестов, экономя средства на настоящих испытаниях. Подходит такая мощная техника и для разработки новых двигателей, позволяя моделировать специальный температурный режим и процессы деформации. С ее же помощью можно прогнозировать метеорологические явления и даже землетрясения.

1. Summit

Суперкомпьютер Summit, созданный американской компанией IBM для Национальной лаборатории в Окридже. Технику ввели в эксплуатацию летом 2018 года, заменив модель Titan, которая считалась самой производительной американской СуперЭВМ. Разработка лучшего современного суперкомпьютера обошлась американскому правительству в 200 млн долларов.

Устройство потребляет около 15 МВт электроэнергии – столько, сколько вырабатывает небольшая ГЭС. Для охлаждения вычислительной системы используется 15,1 кубометра циркулирующей по трубкам воды. Сервера IBM расположены на площади около 930 кв.м – территория, которую занимают 2 баскетбольные площадки. Для работы суперкомпьютера используется 220 км электрокабелей.

Суперкомпьютер это вычислительная машина

Производительность компьютера обеспечивается 9216 процессорами модели IBM POWER9 и 27648 графическими чипами Tesla V100 от Nvidia. Система получила целых 512 Гбайт оперативной и 250 Пбайт постоянной памяти (интерфейс 2,5 Тбайт/с). Максимальная скорость вычислений – 200 Пфлопс, а номинальная производительность – 143,5 Пфлопс.

По словам американских ученых, запуск в работу модели Summit позволил повысить вычислительные мощности в сфере энергетики, экономическую конкурентоспособность и национальную безопасность страны. Среди задач, которые будут решаться с помощью суперкомпьютера, отмечают поиск связи между раковыми заболеваниями и генами живого организма, исследование причин появления зависимости от наркотиков и климатическое моделирование для составления точных прогнозов погоды.

2. Sierra

Второй американский суперкомпьютер Sierra (ATS-2) тоже выпущен в 2018 году и обошелся Соединенным Штатам примерно в 125 миллионов долларов. По производительности он считается вторым, хотя по среднему и максимальному уровню скорости вычислений сравним с китайской моделью Sunway TaihuLight.

Расположена СуперЭВМ на территории Национальной лаборатории имени Э. Лоуренса в Ливерморе. Общая площадь, которую занимает оборудование, составляет около 600 кв.м. Энергопотребление вычислительной системы – 12 МВт. И уже по соотношению производительность к расходу электричества компьютер заметно обогнал конкурента из КНР.

Суперкомпьютер это вычислительная машина

В системе используется 2 вида процессоров – серверные ЦПУ IBM Power 9 и графические Nvidia Volta. Благодаря этим чипам удалось повысить и энергоэффективность, и производительность. 4320 узлов со 190 тысячами ядер обеспечивают вычисления на скорости 94,64 петафлопс. Максимальная производительность – 125,712 Пфлопс или 125 квадриллионов операций с плавающей точкой в секунду.

3. Sunway TaihuLight

Китайская СуперЭВМ удерживала лидирующую позицию в рейтинге TOP500 с 2016 до 2018 года. В соответствии с тестами LINPACK ее считали самым производительным суперкомпьютером, минимум в полтора раза превосходящим ближайшего конкурента и втрое опережающим самую производительную американскую модель Titan. Разработка и строительство вычислительной системы обошлось в 1,8 млрд. юаней или 270 млн долларов. Инвесторами проекта были правительство Китая, администрация китайской провинции Цзянсу и города Уси.

Суперкомпьютер это вычислительная машина

Суперкомпьютер потребляет 15,3 МВт электроэнергии и занимает площадь 605 кв.м. Расположен он на территории города Уси, в национальном суперкомпьютерном центре. Название модели дали в честь расположенного рядом озера Тайху, третьего по величине пресноводного водоема Китая.

Наличие в конструкции ЭВМ 41 тысячи процессоров SW26010 и 10,6 миллиона ядер позволяет ей проводить расчеты со скоростью 93 Пфлопс. Максимальная производительность – 125 Пфлопс. Переход на чипы китайского производства потребовал от разработчиков создания полностью новой системы. До этого предполагалось в 2 раза повысить производительность другой китайской СуперЭВМ Тяньхэ-2, но эти намерения пришлось изменить из-за проблем с поставками процессоров Intel из США.

Модель Sunway TaihuLight применяется для выполнения сложных вычислений в области медицины, горнодобывающей промышленности и производстве. С помощью вычислительной машины прогнозируют погоду, исследуют новые лекарства и анализируют «большие данные» – массивы информации, обработать которые не получится даже у самого мощного серийного компьютера.

4. Тяньхэ-2

Суперкомпьютер Tianhe-2 («Млечный путь»), а, точнее, уже дополненная и модернизированная версия 2А, была разработана сотрудниками компании Inspur и научно-технического университета Народно-освободительной армии Китая. В июле 2013 года модель считалась самой производительной в мире и уступила пальму первенства только другому китайскому компьютеру TaihuLight. На сборку ЭВМ потратили около 200 млн долларов.

Сначала вычислительная система находилась на территории университета, а затем была перемещена в суперкомпьютерный центр в Гуанчжоу. Общая площадь, которую она занимает – около 720 кв. м. Энергопотребление модели составляет 17,8 МВт, что делает ее использование менее выгодным по сравнению с более современными версиями.

Суперкомпьютер это вычислительная машина

Техника построена на базе 80 тысяч ЦПУ Intel Xeon и Xeon Phi. Объем оперативной памяти – 1400 Гбайт, количество вычислительных ядер – больше 3 миллионов. На суперкомпьютере установлена операционная система Kylin Linux. Первые показатели работы системы – 33,8 Пфлопс, современная модификация достигает скорости вычислений 61,4 Пфлопс, максимальная – 100,679 Пфлопс.

СуперЭВМ создали по требованию китайского правительства, его основными задачами являются расчеты для проектов национального масштаба. С помощью системы решаются вопросы безопасности Китая, выполняется моделирование и анализ большого количества научной информации.

5. Piz Daint

Суперкомпьютер Piz Daint достаточно долго (с 2013 до 2018 года) занимал третье место в рейтинге самых мощных вычислительных систем в мире. В то же время он остается самым производительным компьютером Европы. Стоимость проекта составила около 40 млн швейцарских франков.

Модель получила название в честь одноименной территории в Швейцарских Альпах и находится в национальном суперкомпьютерном центре. Оборудование, из которого состоит СуперЭВМ, располагается в 28 стойках. Для работы техники требуется 2,3 МВт электричества, и по этому показателю Piz Daint обеспечивает лучшую удельную производительность – 9,2 Пфлопс/МВт.

Суперкомпьютер это вычислительная машина

В составе ЭВМ есть другой суперкомпьютер Piz Dora, сначала работавший отдельно. После объединения мощностей швейцарские разработчики получили вычислительную систему с 362 тысячами ядер (процессоры Xeon E5-2690v3) номинальной производительностью 21,23 Пфлопс. Максимальная скорость работы – 27 Пфлопс.

Основные задачи суперкомпьютера – расчеты для исследований в области геофизики, метеорологии, физике и климатологии. Одно из приложений для ЭВМ, COSMO, представляет собой метеорологическую модель и используется метеослужбами Германии и Швейцарии для получения высокоточных прогнозов погоды.

Источник

Как устроены суперкомпьютеры и что они умеют

Суперкомпьютер это вычислительная машина

Какой компьютер является мощнейшим на сегодняшний день?

В конце июня 2020 года был опубликован ежегодный рейтинг из 500 самых мощных суперкомпьютеров в мире. Первую строчку в нем занял японский Fugaku. Он в 2,8 раз мощнее, чем прошлогодний лидер — Summit от IBM (он теперь на втором месте). Впервые рейтинг возглавил компьютер на базе процессоров ARM.

Fugaku разработала компания Fujitsu — та самая, что выпускала популярную фото- и видеотехнику Fuji. Разработки велись на базе Института Кобе в составе Института физико-химических исследований (RIKEN). Концепцию придумали еще в 2010 году, а на создание и сборку ушло более шести лет.

Пишут, что Fugaku сможет помочь в борьбе с коронавирусом. Но на самом деле суперкомпьютеры способны решать самые амбициозные задачи, которые приходят нам в голову.

Чем суперкомпьютер отличается от обычного?

Суперкомпьютеры называют «числодробилками» или «числогрызами»: они нужны для супербыстрых вычислений. Главное отличие в том, что обычный компьютер выполняет задачи последовательно, хотя и на высокой скорости — вплоть до доли секунды, поэтому мы этого не замечаем. Суперкомпьютер делает это одновременно и обрабатывает огромный массив данных.

Для этого им нужны тысячи супермощных процессоров. В результате вычисления, на которые у мощного игрового компьютера уйдет неделя, суперкомпьютер выполняет за день. Однако важно, чтобы программы работали корректно, с учетом технических особенностей машины. Иначе то, что корректно работает на 100 процессорах, сильно замедлится на 200.

Современные смартфоны работают так же быстро, как самый мощный суперкомпьютер 1994 года.

Суперкомпьютеры работают на специальном ПО. Например, у Fugaku операционная система Red Hat Enterprise Linux 8 c гибридным ядром, состоящим из одновременно работающих ядер Linux и McKernel. В качестве программных средств используют API — то есть интерфейсы или платформы для программирования — и открытое ПО, которое позволяет создавать виртуальные суперкомпьютеры на базе обычных. Часто суперкомпьютер — это несколько высокомощных компьютеров, которые объединены высокоскоростной локальной сетью.

Обычно производительность компьютеров оценивается во флопсах (FLOPS — FLoating-point Operations Per Second) — то есть количестве операций над числами с плавающей точкой в секунду. Для суперкомпьютеров сначала использовали мегафлопсы — MIPS, количество миллионов операций в секунду, а с 2008 года петафлопсы — то есть количество миллионов миллиардов вычислений в секунду. К примеру, у суперкомпьютера Fugaku производительность составляет 415 петафлопс, а у Summit — 148.

Кто придумал суперкомпьютер?

Сам термин появился в конце 1960-х годов в Ливерморской национальной лаборатории США и компании-производителе компьютеров CDC. Но впервые о «супервычислениях» заговорили еще в 1920-х годах, когда IBM собрала для Колумбийского университета свой табулятор — первую ЭВМ, работавшую на перфокартах.

Первой супер-ЭВМ считают Cray-1, созданную в 1974 году. Ее разработал Сеймур Крей — американский инженер в области вычислительной техники и основатель компании Cray Research. Cray-1 выполняла до 180 млн операций в секунду.

За основу Крэй уже имеющиеся разработки — компьютеры CDC 8600 и CDC STAR-100. Он построил процессор, который быстро выполнял и скалярные и векторные вычисления: предшественники хорошо справлялись либо с первыми, либо со вторыми.

Скалярные вычисления — те, где используется одна характеристика, величина и знак. В векторных используют вектора, то есть величину и направление (угол).

Для этого инженер использовал небольшие модули памяти, расположенные близко к процессору, чтобы увеличить скорость. Так был создан новый принцип работы с памятью — «регистр-регистр». Центральный процессор берет и записывает данные в регистры, а не в память, как у предыдущих моделей — это тоже увеличило скорость обработки. Сам процессор состоял из 144 тыс. микросхем, которые охлаждались фреоном.

В 1980-х годах Крэй выпустил еще две модели суперкомпьютеров нового поколения, включая многопроцессорный Cray X-MP. Начиная с 1990-х лидерство перехватили NEC, Hewlett-Packard и IBM, причем компьютеры последней регулярно занимают верхние строчки того самого ТОП-500.

Где и для чего используют суперкомпьютеры?

Главная задача суперкомпьютеров — выполнять максимум вычислений за минимум времени. Это полезно для многих областей: начиная от создания лекарств и заканчивая разработками новых продуктов и технологий,

Суперкомпьютер Fugaku изучает пути распространения вируса и его диагностику. Для этого он обрабатывает данные статистики, коэффициент заражения вируса, его состав и модель поведения. А еще ему поручат прогнозирование и симуляцию природных катастроф, разработку и совершенствование «зеленых» технологий.

Но суперкомпьютеры не просто вычисляют, а моделируют реальность. То есть просчитывают все возможные варианты развития событий и строят прогнозы. Поэтому с их помощью астрономы и астрофизики воспроизводят самые разные события и процессы во Вселенной.

В марте этого года астрономы из Технологического университета Суинберна (Австралия) и Калифорнийского технологического университета (США) смоделировали на суперкомпьютере эволюцию Млечного Пути. Для этого они использовали все данные о звездных скоплениях в нашей галактике.

Нанокомпьютер, квантовый компьютер и суперкомпьютер: в чем разница?

Все это — вычислительные устройства с выдающимися характеристиками.

Нанокомпьютер — это компьютер микроскопических размеров. Он запрограммирован на определенные химические свойства и поведение. Он может быть очень мощным и высокопроизводительным, но пока что не таким, как суперкомпьютер. В будущем они смогут заменить обычные устройства, так как потребляют намного меньше энергии.

Группа инженеров и ученых из Гарвардского университета и компании Mitre создала простейший нанокомпьютер, который состоит из множества крошечных проводников диаметром 15 нанометров (нанометр = 1 миллиардная метра). Их ядро из германия, а внешняя оболочка — из кремния.

Свой нанокомпьютер есть и у IBM, но уже покрупнее: 1х1 мм. Это полноценный ПК с процессором, памятью и блоком питания. По производительности его можно сравнить с x86-совместимыми процессорами из 1990-х годов. Его можно будет применять для работы с ИИ, сортировки данных, логистики, обнаружения краж.

Квантовый компьютер — это устройство, которое работает по принципам квантовой механики. Он обрабатывает данные не в битах, а в кубитах, которые одновременно равны 0 и 1. В теории, такой компьютер может обрабатывать все возможные состояния одновременно.

Пока что квантовые компьютеры существуют в виде концепций и моделей. Одна из таких принадлежит «Росатому»: проект рассчитан на срок до 2024 года и предполагает финансирование ₽24 млрд.

Какое будущее ждет суперкомпьютеры?

Очевидно, что производительность суперкомпьютеров будет разгоняться до космических цифр, их размеры — уменьшаться, а потребление энергии — сокращаться. Но самое интересное кроется в задачах, которые они смогут решать.

Эксперты считают, что через 15 лет симуляции отойдут на второй план, а машинное обучение позволит суперкомпьютерам выполнять глубокую аналитику данных. В итоге их будут применять везде: от разработки бесконечных аккумуляторов до лекарства от рака.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *