программы с открытым исходным кодом на python

Лучшие проекты, в которых стоит поучаствовать, чтобы примкнуть к Open Source движению и развить свои навыки. Часть четвертая. Python

Если вы интересуетесь жизнью Open Source сообщества и хотите к нему присоединиться, то эта серия подборок придётся вам как нельзя кстати, ведь в ней собраны лучшие проекты с открытым исходным кодом. В четвертой части серии вы найдёте самые интересные Open Source проекты на Python.

Python

Elizabeth — это простой способ генерировать тестовые данные (dummy data) для различных целей. Elizabeth использует основанное на JSON хранилище данных и зависит только от стандартной библиотеки. Есть возможность генерировать данные 18 разных типов: связанные с едой, людьми, аппаратным обеспечением, перевозками, адресами и т.д.

При запросе данных можно указать язык или страну, и данные будут соответствовать запросу. Пока что поддерживается 20 языков, русский в том числе.

Пример интеграции с Flask:

Pipenv — это экспериментальный проект, целью которого является облегчение работы с пакетами. Он объединяет Pipfile, pip и virtualenv.

The Numenta Platform for Intelligent Computing (NUPIC) — это платформа для реализации обучающих алгоритмов HTM. В частности, используется для распознавания аномалий и предсказания.

Поддержка: Python 2

Flask — это микрофреймворк, основанный на Werkzeug и Jinja2.

Django — это высокоуровневый фреймворк для веб-разработки.

expynent — это маленькая библиотека, предоставляющая RegEx-шаблоны. Пригодится, если лень писать регулярки самому.

Universe — это платформа для измерения «ума» ИИ и его обучения на большой коллекции игр, сайтов и приложений.

Поддержка: Python 2/3

Поддержка: Python 2/3

Поддержка: Python 2/3

Поддержка: Python 2/3

eve — фреймворк для создания настраиваемых RESTful веб-сервисов.

Поддержка: Python 2/3

plotly.py — интерактивная библиотека для создания графиков.

Поддержка: Python 2/3

cerberus — лёгкая библиотека для валидации данных.

Поддержка: Python 2/3

Поддержка: Python 2/3

Поддержка: Python 2/3

pgcli — интерфейс командной строки для Postgres с автодополнением и подсветкой синтаксиса.

Поддержка: Python 2/3

mycli — интерфейс командной строки для MySQL с автодополнением и подсветкой синтаксиса.

Pendulum — работа с временем никогда не была такой простой.

Поддержка: Python 2/3

Поддержка: Python 2/3

Поддержка: Python 2/3

Pandas — это пакет, предоставляющий быстрые и гибкие структуры данных для работы с различными видами данных.

astropy — пакет для работы с астрономией и астрофизикой.

Поддержка: Python 2/3

httpie — HTTP-клиент в командной строке, цель которого — сделать работу с веб-сервисами максимально дружественной.

Поддержка: Python 2/3

Поддержка: Python 2/3

keras — библиотека нейронных сетей, способна работать с TensorFlow и Theano.

bokeh — библиотека для интерактивной визуализации данных в современных браузерах.

Поддержка: Python 2/3

Records — это простая, но мощная библиотека для создания сырых SQL-запросов к большинству РСУБД.

Поддержка: Python 2/3

coala предоставляет унифицированный интерфейс командной строки для статического анализа и исправления кода, написанного на любом языке программирования.

Поддержка: Python 2/3

Sanic — это Python 3.5+ веб-сервер, похожий на Flask. Поддерживает асинхронную обработку запросов.

Поддержка: Python 3.5+

Locust — это простой инструмент для нагрузочного тестирования сайтов и не только.

Поддержка: Python 2/3

py.test — фреймворк, упрощающий написание небольших тестов.

Поддержка: Python 2/3

uvloop — это быстрая замена asyncio. Написана на Cython, использует libuv.

Поддержка: Python 2/3

Voltron — расширяемый набор инструментов для отладки с пользовательским интерфейсом. Поддерживает LLDB, GDB, VDB и WinDbg.

Поддержка: Python 2/3

Вот так выглядит интерфейс автора проекта:

Каждая команда отладчика может быть выделена отдельно:

Больше скриншотов можно найти здесь.

Maya — библиотека для работы со временем.

Поддержка: Python 3

Cabot — это платформа для мониторинга инфраструктуры.

Поддержка: Python 2/3

Glances — это кроссплатформенный инструмент для мониторинга системы.

hug — инструмент для упрощения написания API.

Certbot — это инструмент для настройки шифрования веб-сервера.

Khal — программа для работы с календарём.

asciinema — утилита, записывающая терминальные сессии.

Requests. Python HTTP Requests for Humans™

Инструмент для упрощения работы с HTTP-запросами. Является одним из самых скачиваемых Python-пакетов.

Mail-in-a-Box предназначен для настройки почтовых серверов.

schema — это библиотека для валидации структур данных.

sqlmap — это инструмент для автоматизации тестирования на проникновение.

SciPy — это приложение для выполнения математических, научных и инженерных расчётов. Очень богатый функционал.

SymPy — это библиотека для символьной математики.

matplotlib — это библиотека для работы с двумерными графиками, которую можно использовать в скриптах, оболочках, на серверах веб-приложений и т.д.

Kivy — это кроссплатформенный фреймворк для создания интерфейсов, поддерживающих multi-touch.

tqdm — прогресс-бар для Python и командной строки.

pycodestyle — это инструмент для проверки вашего Python-кода на соответствие конвенциям PEP8.

BossSensor — сменит активное окно, если начальник поблизости.

Пример:

Начальник встал. Он приближается.

Когда он достаточно близко, производится снимок лица и распознавание.

Если начальник распознан, активное окно изменяется.

Хинт для программистов: если зарегистрируетесь на соревнования Huawei Cup, то бесплатно получите доступ к онлайн-школе для участников. Можно прокачаться по разным навыкам и выиграть призы в самом соревновании.

Перейти к регистрации

Источник

10 популярных проектов GitHub, написанных на Python

Уже долгое время разработчики во всем мире выбирают Python для большинства своих проектов. Python — второй по популярности язык на GitHub, крупнейшем веб-сервисе для хостинга IT-проектов и их совместной разработки.

Простота использования этого языка программирования, его эффективность в системах, как работающих, так и не работающих в режиме реального времени и широкий набор жизненно важных пакетов — вот лишь некоторые причины, по которым разработчики любят Python.

«Удовольствие от написания кода на Python заключается в том, что в итоге получаются короткие, лаконичные, читаемые классы, выражающие множество действий в небольшом количестве ясного кода, а не объёмный тривиальный код, читать который — скука смертная».

— Гвидо ван Россум, автор языка программирования Python

Такие языки программирования, как Python, позволяют воплощать проекты мечты в реальность и демонстрировать свой талант всему миру. Здесь я расскажу о некоторых лучших проектах GitHub, написанных на Python, не только чтобы вас вдохновить, но и дать представление о том, что можно сделать с помощью изобретательности и Python.

1. Manim

Оценён: 26,2 тыс.

Клонирован: 3,4 тыс.

Manim расшифровывается как математическая программа анимации (англ. Mathematical Animation Engine). Идея этого проекта состоит в том, чтобы люди могли легко интегрировать в учебные материалы по математике весёлую и интуитивно понятную анимацию с графиками и диаграммами. Тем самым разрушается стереотип, что изучение математики обязательно должно быть скучным.

Грант Сандерсон ведет канал на YouTube, который называется 3Brown1Blue. Там он использует библиотеку Manim для создания и управления этими анимациями, чтобы обучать высшей математике свою аудиторию. Manim даёт возможность создавать анимированные видеоролики с точным контролем над анимацией, используемой для диаграмм и иллюстраций. Если эта идея кажется вам сомнительной, то переходите на канал Гранта и посмотрите, как это работает.

В этом Youtube-видео подробно рассказывается о возможностях программы (видео на английском языке).

2. DeepFaceLab

Оценён: 20,4 тыс.

Клонирован: 4,8 тыс.

Разработан: iperov

DeepFaceLab — один из самых интересных проектов GitHub на Python в этом списке. Это инструмент, который создаёт изображение и видео с применением технологии deepfake. Он позволяет делать забавные вещи, например, изменять или омолаживать лицо, менять лица местами и т. д. Чтобы достичь большей убедительности, можно даже изменить речь, но для этого нужны знания по работе в видеоредакторе.

Разработчик утверждает, что более 95% deepfake-видео в Интернете были созданы с помощью этого инструмента. На странице проекта на GitHub есть руководство и несколько наборов лиц для начала работы.

Здесь можно посмотреть инструкцию по созданию deepfake-видео с помощью DeepFaceLab (видео на английском языке).

3. Airflow

Оценён: 18,6 тыс.

Клонирован: 7,3 тыс.

Разработан: Apache Software Foundation

Airflow — это инструмент управления рабочим процессом с открытым исходным кодом на Python от организации Apache Software Foundation. Airflow позволяет выполнять ряд действий в рабочих процессах, например, создавать, планировать и отслеживать их. Рабочие процессы, если они определены как код, становятся намного проще в управлении, тестировании и совместной работе.

У него есть такие функции, как масштабируемость, динамическая генерация конвейера и расширяемость. У Airflow простой пользовательский интерфейс. Его устойчивые функции интеграции с другими инструментами и службами помогают получить от него максимальную пользу, экономя время. Airflow активно используется некоторыми крупными компаниями в отрасли, такими как Adobe, Lyft, Slack, Expedia и другими.

4. GPT-2

Оценен: 13,4 тыс

Клонирован: 3,4 тыс

GPT-2 — это огромная трансформационная языковая модель, которая обучается на столь же массивном наборе данных, а точнее на тексте с более чем 8 миллиардов веб-страниц. Её функция — предсказывать следующее слово/слова, когда есть часть слов или все предыдущие слова из контекста.

Проще говоря, вы вводите в GPT-2 часть текста, и языковая модель генерирует качественное длинное продолжение.

В репозитории GitHub есть код и модели для статьи проекта OpenAI «Языковые модели — неконтролируемые многозадачные ученики», а на странице — описание и несколько особенностей GPT-2.

5. XSStrike

Оценён: 8,5 тыс.

Клонирован: 1,2 тыс.

Разработан: Somdev Sangwan

Межсайтовый скриптинг или XSS может стать причиной очень больших и неприятных проблем на сайте. Внедрив вредоносный код со стороны клиента, злоумышленник наносит ущерб сайту и неконтролируемым данным. XSStrike — это набор для обнаружения XSS, который сам по себе уникален.

Разработчик утверждает, что вместо простого тестирования случайных полезных нагрузок его инструмент анализирует сайты и генерирует специально спроектированные полезные нагрузки, которые работают. Вот несколько особенностей этого инструмента:

В этом видео можно посмотреть подробный обзор на программу (видео на английском языке).

6. Загрузка изображений из Google

Оценён: 7,1 тыс.

Клонирован: 1,7 тыс.

Разработан: Hardik Vasa

Этот инструмент позволяет одновременно загружать на компьютер сотни изображений из Google. Вы устанавливаете библиотеку, выбираете команду, вводите нужные ключевые слова в качестве аргументов, и инструмент начинает творить чудеса. Он ищет изображения по ключевым словам в базе Google Images и загружает их.

Вы также можете использовать библиотеку из другого файла Python, и она всё равно будет работать в обычном режиме. Проект интересный и будет полезен, если вам вдруг понадобится загрузить все изображения из Google за один раз.

7. Photon

Оценён: 7 тыс.

Клонирован: 965

Разработан: Somdev Sangwan

Photon — это мощный и простой в использовании веб-сканер, созданный с помощью Python. Лёгкий и быстрый сканер работает с технологиями разведки на основе открытых источников, что позволяет собирать и анализировать информацию, полученную из открытых источников.

Вот несколько источников, из которых Photon может сканировать информацию:

Photon сохраняет всю извлеченную информацию упорядоченно, и её даже можно экспортировать в виде JSON-файла. Инструмент также предлагает различные параметры настройки, такие как регулирование времени ожидания, исключение определённых URL-адресов и многое другое. Советую обратить на него внимание.

8. NeuralTalk

Оценён: 5 тыс.

Клонирован: 1,2 тыс

Разработан: Andrej Karpathy

NeuralTalk — это проект создания подписей к изображениям на Python и NumPy, в котором используются мультимодальные рекуррентные нейронные сети. Благодаря развитию технологии и более эффективной поддержке, разработчик выпустил NeuralTalk2, улучшенную и более быструю версию NeuralTalk.

NeuralTalk2 использует пакетную реализацию при этом продолжает использовать рекуррентные нейронные сети. Новая версия основана на Torch, может работать на графическом процессоре, поддерживая тонкую настройку свёрточной нейронной сети. Хотя разработчик прекратил поддержку оригинальной версии NeuralTalk, она по-прежнему доступна на GitHub.

9. Xonsh

Оценён: 3,9 тыс.

Клонирован: 434

Xonsh можно рассматривать как кроссплатформенный язык оболочки, работающий на Python. Xonsh намного улучшает работу с Python, даже с самыми простыми задачами, благодаря глубокой интеграции.

С Xonsh вместо того, чтобы набирать “$ echo 2+2”, можно использовать просто $ 2 + 2 и при этом получить правильный результат.

Начать работу с оболочкой Xonsh тоже очень просто: установите её с помощью команды, подходящей для вашей среды. Xonsh доступен для многих диспетчеров пакетов, включая pip, Conda, Apt, Brew и других.

Что касается функций Xonsh, он легко поддерживает скрипты, имеет большую стандартную библиотеку с типизированными переменными и многое другое.

10. Rebound

Оценён: 3,3 тыс.

Клонирован: 299

Разработан: Jonathan Shobrook

Ошибки компилятора часто бывают очень неприятными и сбивают с толку. Единственное решение — перейти на сайт Stack Overflow в поисках ответа или прочитать документацию. С помощью своего известного инструмента Rebound Джонатан Шобрук упростил процесс взаимодействия с такими досадными ошибками компилятора.

Принцип работы Rebound следующий: вы запускаете свой файл с помощью инструмента, и он проверяет наличие ошибок компилятора в файле и загружает вам любые связанные ответы с сайта Stack Overflow, которые находит.

Возможность Rebound загружать результаты как в терминале, так и в браузере может помочь не только новичкам, но и опытным программистам, позволяя не тратить время на бесконечный поиск ответов. На данный момент Rebound поддерживает только Python, Node.js, Ruby, Golang и Java.

Заключение

Творчеству нет предела. Такие проекты на GitHub хорошо демонстрируют, как могут проявиться творческие способности и таланты. Но это только верхушка айсберга. Python продолжает развиваться, и его можно использовать для разнообразных задач, если у вас есть знания и чёткое представление о том, чего вы хотите достичь. Пусть эта статья станет источником вдохновения для реализации ваших проектов.

Примечание: эта статья содержит личное мнение автора, и вы имеете полное право не согласиться с ним.

Источник

13 захватывающих Python-проектов на GitHub

Python является одним из самых популярных языков программирования среди тех, что выбирают профессионалы во всем мире. Его простой синтаксис позволяет разработчикам программного обеспечения и исследователям данных с легкостью приобретать новые навыки. Вы также можете найти множество проектов Python на GitHub, чтобы практиковаться и учиться одновременно.

Содержание

Почему именно проекты на Python?

На рынке вакансий высокий спрос на профессионалов, владеющих Python, но не все кандидаты обращают внимание на преимущества его использования. Этот язык имеет множество библиотек и очень удобные структуры данных. К тому же, с годами он превратился в отличный инструмент для создания приложений, запускаемых из командной строки.

Если вы поищете проекты Python на GitHub, то найдете множество различных образчиков с открытым исходным кодом. В репозитории есть программы на любой вкус — от создания простого генератора паролей до автоматизации рутинных задач и анализа данных Twitter. Для новичков подход к обучению, основанный на реальных задачах, может творить чудеса. Благодаря такому подходу вы сможете изучить язык от и до, освоить фреймворки (например Pandas и Django), а также многопроцессорную архитектуру. Итак, приступим.

Python-проекты на GitHub

1. Magenta

Этот исследовательский проект Python подходит к машинному обучению через художественные проявления. Созданный командой Google Brain, проект Magenta сосредоточен на алгоритмах глубокого обучения и обучения с подкреплением. Данные алгоритмы могут создавать рисунки, музыку и так далее. Ноутбуки проекта познакомят вас с техническими деталями этого интеллектуального инструмента, призванного помочь реальным авторам в их работе.

Еще один пример расширяемого музыкального сервера, который вы можете легко найти на GitHub, — Modiply.

2. Photon

Это быстрый поисковый робот, разработанный для инструментов с открытым исходным кодом (OSINT). Концепция OSINT включает сбор данных из общедоступных источников для использования их в контексте разведки. С помощью Photon вы можете выполнять несколько функций сканирования данных, включая извлечение следующего контента:

3. Mailpile

Этот проект GitHub известен своей современной и совершенной функциональностью шифрования. Это инструмент обеспечения конфиденциальности, поддерживаемый весьма большим сообществом. В первую очередь, он позволяет отправлять и получать электронные письма с шифрованием PGP.

Быстрая поисковая система Mailpile может обрабатывать огромные объемы данных электронной почты и систематизировать их в чистом веб-интерфейсе. Данный проект использует для автоматической маркировки статические правила либо байесовские классификаторы. Чтобы узнать больше, ознакомьтесь с этим бесплатным программным обеспечением и живыми демонстрациями его работы на этом веб-сайте!

4. XSStrike

Межсайтовый скриптинг или XSS — это поиск уязвимостей в веб-приложениях. XSS-атаки внедряют клиентские, часто вредоносные, скрипты на веб-страницы, которые в остальном неопасны. Пакет XSStrike был разработан для обнаружения и использования таких атак. Этот инструмент с открытым исходным кодом обладает следующими функциями:

С помощью вышеперечисленных инструментов XSStrike анализирует реакцию и создает полезную нагрузку. Он также может выполнять эффективный контекстный анализ с помощью встроенных фаззеров.

5. Google Images Download

Эта программа на Python, запускаемая из командной строки, может искать и загружать сотни изображений Google. Можно составить сценарий поиска ключевых слов и фраз, и, при желании, загружать файлы изображений. Эта библиотека совместима с версиями Python 2.x и 3.x. Вы можете скопировать исходный код этого проекта, чтобы отточить свои навыки программирования и понять его практическую применимость.

6. Pandas

Когда дело доходит до выполнения гибкого анализа и обработки данных, библиотека Pandas оказывается великолепным инструментом. Ее выразительные структуры данных предлагают много преимуществ по сравнению с другими альтернативами. Обратите внимание на некоторые из них:

Просматривая код pandas, вы столкнетесь с различными проблемами в документации. Это может побудить вас поделиться своими идеями и улучшить существующий инструментарий. Вы можете найти пакет с открытым исходным кодом на GitHub вместе с другими пакетами, такими как Django и Keras, что дает возможность для экспериментов.

7. Xonsh

Для интерактивных приложений требуются интерпретаторы командной строки, такие как, например, Unix. Такие операционные системы контролируют выполнение с помощью сценариев оболочки. Но разве не было бы удобнее, если бы ваша оболочка могла понимать более масштабируемый язык программирования? Здесь на сцену выходит Xonsh (произносится как «Конк»).

8. Manim

Manim разшифровывается как Mathematical Animation Engine. Этот проект посвящен программному созданию видеопрезентаций. Программа работает на Python 3.7 и создает анимированный видеоконтент, охватывающий сложные темы с помощью иллюстраций и графиков. Вы можете посмотреть эти видео на YouTube-канале 3Blue1Brown.

Исходный код Manim находится в свободном доступе на GitHub. Вы также можете обратиться к онлайн-руководствам, чтобы узнать, как установить пакет, запустить проект и создавать простые личные проекты.

9. AI Basketball Analysis

Этот проект построен на концепции обнаружения объектов. Приложение искусственного интеллекта роется в собранных данных для анализа баскетбольных бросков. Вы можете легко найти это приложение и его API на GitHub. Давайте посмотрим, как работает данный инструмент:

10. Rebound

В исходном коде компьютерных программ часто возникают ошибки компилятора. Rebound может мгновенно получить результаты запроса на форум StackOverflow по нужной ошибке.

Это инструмент командной строки, написанный на Python и построенный на пользовательском интерфейсе консоли Urwid. Если вы решите использовать этот проект, вы узнаете, как пакет Beautiful Soup извлекает содержимое из StackOverflow. Вы также можете ознакомиться с подпроцессом, который обнаруживает ошибки компилятора.

11. NeutralTalk

Вы можете отточить свои знания о мультимодальных рекуррентных нейронных сетях с помощью проекта NeutralTalk. Это Python-проект с использованием библиотеки NumPy, который фокусируется на описании изображений.

Обычно способы создания подписей к изображениям сочетают методы компьютерного зрения и обработки естественного языка. Система может понимать происходящее и создавать описания контента, наблюдаемого на изображении.

Если вы ищете свежий код для создания подписей, вы можете обратиться к NeutralTalk2. Написанный на Lua, легком и высокоуровневом языке программирования, этот проект работает быстрее, чем исходная версия.

12. Проекты TensorFlow

TensorFlow — это библиотека Python, используемая для построения моделей глубокого обучения. Репозиторий Model Garden собирает в одном месте множество примеров кода для пользователей TensorFlow. Он предназначен для демонстрации передового опыта в области исследований и разработки продуктов, а также для предоставления готовых предварительно обученных моделей. С помощью этого официального ресурса вы можете изучать, как реализуется распределенное обучение и как решаются задачи компьютерного зрения и НЛП.

13. Maps Models Importer

Maps Models Importer импортирует 3D-модели из больших карт. Это экспериментальный инструмент, содержащий только надстройку Blender, и для его работы требуется программное обеспечение 3D-контента, такое как Google Maps. На примере этого проекта вы можете научиться импортировать модели из Google Maps.

Дальнейшие возможности Python

Современная индустрия все чаще ищет скрытые закономерности в массивах данных. Более того, современные технологии, такие как искусственный интеллект и машинное обучение, добавляют к этому ландшафту новые возможности и новые сложности. А языки высокого уровня, такие как Python, являются неотъемлемой частью процедур разработки программного обеспечения и аналитики.

Естественно, современные рекрутеры при найме на такие должности, как специалист по данным, аналитик данных, разработчик Python, инженер DevOps и так далее, придают огромное значение навыкам программирования на Python. Технологические гиганты, например Google, Facebook, Spotify, Netflix, Dropbox и Reddit, предлагают весьма прибыльные варианты карьеры кандидатам, прошедшим практическую подготовку.

Мы надеемся, что вы сможете отточить свои навыки программирования с помощью приведенного выше списка проектов Python на GitHub. По мере развития и дальнейшего расширения рынка больших данных ожидается, что в ближайшие годы сообщество Python выпустит еще больше библиотек с открытым исходным кодом. Так что следите за новостями и продолжайте учиться!

Источник