Продолжаем линейку видео «для тупых», заметил, что у многих моих учеников имеются пробелы, проявляющиеся именно в недоумении по этому поводу и непонимании, почему так.

Насчёт того, что как минимум некоторые профессиональные разработчики именно так и пишут — кто в теме, напишите примеры, пожалуйста, думаю как раз на эту тему сделать видео ещё одно.

В 2024 году Python исполняется 33 года. За это время он прошел невероятный путь – от пет-проекта до одного из самых универсальных и популярных языков. Все начинающие питонисты знают, что первую версию языка разработал голландский программист Гвидо ван Россум, а назван он в честь британского комедийного шоу, а не прожорливой змеи. Как развивались основные концепции языка, почему крупные ИТ-компании боялись, что автобус может переехать Гвидо, и когда на логотипе Python все-таки появились змеи – расскажет публикация на Хабре.

🏆 Лучшие практики разработки на Python

Знание и правильное применение лучших практик – один из самых важных навыков профессионального разработчика. Следование общепринятым правилам позволяет:

• Повысить качество кода. Лучшие практики основаны на многолетнем опыте обширного сообщества разработчиков и направлены на минимизацию ошибок, улучшение читаемости и поддерживаемости кода. Это помогает создавать более надежные и долговечные системы.

• Ускорить процесс разработки. Применение многократно опробованных шаблонов и подходов помогает быстрее писать типовой код и решать распространенные проблемы.

• Упростить совместную работу, ревью кода и интеграцию изменений. Особенно в больших командах и опенсорсных проектах.

• Обеспечить гибкость и масштабируемость проекта. Правильно организованный код легче адаптировать под новые требования и масштабы. Это снижает риск технического долга — ситуации, в которой изменения становятся слишком дорогостоящими или сложными для реализации.

Привет!

Всю неделю мы мониторим интернет, чтобы в воскресенье прислать тебе интересное письмо. Наша цель – держать читателей в курсе последних открытий и тенденций в мире Python. В еженедельных письмах ты найдешь:

• Новые возможности в последних версиях Python

• Работа с базами данных и SQL в Python.

• Веб-разработка на Django и Flask.

• Машинное обучение и анализ данных с помощью Python.

• Автоматизация и работа с API на Python.

• Тестирование и отладка кода на Python.

• Задачи для новичков с решениями.

Вот что входит в набор общепринятых на данный момент правил:

• Устанавливайте Python с поддержкой нескольких версий. Используйте mise или pyenv для установки Python – они дают возможность переключаться между разными версиями языка и позволяют обновлять интерпретатор без влияния на другие инструменты и проекты. Еще один отличный вариант – Development Containers.

• Используйте последнюю версию Python. Для новых проектов выбирайте самую последнюю стабильную версию Python 3. Это обеспечивает наличие последних исправлений безопасности и максимальную производительность. Обязательно обновляйте проекты по мере выхода новых версий языка и забудьте про Python 2.

• Используйте pipx для запуска приложений в среде разработки. Вместо установки пакетов с помощью pip или другого аналогичного метода используйте pipx для запуска инструментов в отдельной виртуальной среде.

• Не используйте Poetry для новых проектов – в нем нестандартно реализованы некоторые ключевые функции. Лучше пользоваться PDM или Hatch.

• Создавайте файл pyproject.toml в корневой директории каждого проекта – для хранения информации о конфигурации и используемых инструментах.

• Используйте src-структуру для каталогов. Это требует использования редактируемых установок, но PDM и Hatch упрощают задачу.

• Используйте виртуальные среды для разработки. Виртуальная среда изолирует проекты и наборы установленных для них пакетов – не будет никаких конфликтов.

• Применяйте файлы requirements.txt для установки пакетов в среду – вместо использования команды pip. Либо используйте PDM или Hatch для управления пакетами.

• Используйте инструмент для форматирования кода и линтер для проверки на ошибки. Самый популярный форматер Python-кода – Black, а самый известный линтер – flake8. Однако их с успехом можно заменить одним мощным и быстрым инструментом – Ruff.

• Применяйте pytest для тестирования, а в ситуациях, где это невозможно – используйте стандартный модуль unittest.

• Используйте PyInstaller для упаковки приложений в исполняемый файл. А свои пакеты публикуйте в виде wheel, чтобы другие разработчики могли загружать их с помощью pipx и pip-sync.

• Используйте аннотации типов – особенно в важных приложениях и библиотеках. Для проверки вам пригодится mypy, а для интеграции этого инструмента с Pydantic – плагин.

• Форматируйте строки с помощью f-строк, а не с использованием %, str.format() или str.Template().

• Всегда используйте объекты datetime, которые знают о временных зонах. По умолчанию Python создает объекты datetime, которые не включают временную зону.

• Применяйте enum или collections.namedtuple() для неизменяемых наборов пар «ключ-значение».

• Создавайте классы данных для пользовательских объектов. Среди прочего это позволяет сократить количество кода, необходимого для определения классов, предназначенных для хранения значений. Экземпляры таких классов можно замораживать.

• Используйте collections.abc для пользовательских типов коллекций. Абстрактные базовые классы в collections.abc реализованы на C и работают очень быстро.

• Применяйте breakpoint() для отладки. Эта функция создает точки останова, которые могут использовать и встроенный отладчик, и внешние инструменты отладки.

• Используйте журналирование для диагностических сообщений. Команда print() удобна для вывода отладочной информации, но в скрипты и приложения нужно включать логирование.

• Применяйте формат TOML для конфигурационных файлов – если они предназначены для людей. Используйте формат JSON для данных, которые передаются между компонентами приложения.

• Используйте async только там, где это необходимо. Асинхронные возможности Python позволяют одному процессу избегать блокировки на операциях ввода-вывода. Для запуска нескольких процессов нужно использовать контейнеры или сервер Gunicorn. Чтобы создать собственное приложения для управления многочисленными процессами, воспользуйтесь этим стандартным пакетом.

• Обрабатывайте ввод из командной строки с argparse. Модуль argparse теперь является рекомендуемым способом обработки ввода вместо устаревших optparse и getopt.

• Для указания путей к файлам и каталогам используйте pathlib, а не строки.

• Используйте os.scandir() вместо os.listdir(). Функция os.scandir() значительно быстрее и эффективнее, чем os.listdir().

• Запускайте внешние команды с subprocess. Модуль subprocess предоставляет безопасный способ запуска внешних команд. Используйте его вместо spawn, popen2 и popen3.

• Используйте httpx для клиентских приложений. Пакет httpx поддерживает HTTP/2 и async и заменяет requests, который работает только с HTTP 1.1.

📒 Google Colab или Jupyter Notebook: что лучше подойдет для новичка

Jupyter Notebook обладает массой очевидных достоинств:

• Позволяет выполнять код по частям и мгновенно видеть результаты.

• Поддерживает большинство популярных библиотек.

• В блокнотах легко визуализировать данные и форматировать текст.

• Устанавливается локально, работает без подключения к сети.

Облачный сервис Google Colab предоставляет похожую функциональность – код можно писать и выполнять в браузере – и несколько дополнительных преимуществ:

• Использование GPU/TPU.

• Удобное меню навигации по файлу.

• Возможность совместной работы над проектом – настойка доступа и синхронизация работают точно так же, как в документах Google.

🕸️ Веб-разработка

«Как настроить уведомления в Django с помощью сигналов: пошаговое руководство» рассказывает обо всех тонкостях работы с сигналами, которые запускают выполнение нужных действий после совершения определенных манипуляций с моделями. Например, сигнал может:

• Запустить автоматическое создание профиля пользователя после регистрации.

• Отправить уведомление о заполнении формы, появлении нового отзыва, получении сообщения.

• Обновить данные в связанных моделях.

• Сделать запись об изменении статуса объекта.

«Создание собственного API на Python (FastAPI)» – простой и понятный туториал для начинающих.

«Безопасность в Django: защита от распространенных угроз веб-приложений» – рассказывает о самых распространенных типах атак (SQL-инъекциях, межсайтовой подделке запросов, кросс-сайтовом скриптинге, DoS и DDoS) и очень подробно разбирает способы защиты от них.

📈 Как улучшить производительность Python

Беспрецедентное развитие ИИ сделало Python суперпопулярным языком – и поставило исключительно сложную задачу перед ведущими инженерами: как увеличить скорость работы Питона, не жертвуя его простотой и гибкостью. Одним из решений проблемы стал перенос критически важных для производительности частей кода на более быстрые языки – C, C++ и Rust. Для упрощения совместного использования Python и Rust разработчик Дэвид Хьюитт создал PyO3. В этом интервью он подробно рассказал о сложностях разработки такого проекта и его впечатляющих возможностях.

Как преодолеть разрыв

Интеграция Python и Rust – нетривиальная задача, поскольку эти два языка имеют принципиально разные подходы к управлению памятью, потоками и обработке ошибок. Однако PyO3 решает эти проблемы, используя мощные возможности Rust и C-образную архитектуру интерпретатора Python.

В основе PyO3 лежит концепция сопоставления функций и структур Rust их аналогам в Python. Используя процедурные макросы, PyO3 генерирует необходимый код для создания совместимых с Python объектов и функций, позволяя разработчикам Python легко взаимодействовать с компонентами на базе Rust. Этот подход позволяет программистам на Python воспользоваться преимуществами производительности и безопасности Rust без необходимости глубоко погружаться в тонкости языка.

Безопасность памяти и время жизни объектов

Одна из ключевых задач при объединении Python и Rust – обеспечение безопасности памяти. Система проверки заимствований и времени жизни объектов в Rust играет в этом отношении важную роль. PyO3 использует аннотации времени жизни Rust для управления владением и временем жизни объектов Python, гарантируя, что ссылки на объекты Python являются действительными, а доступ к памяти не осуществляется после ее освобождения. Это внимание к безопасности памяти является существенным преимуществом использования Rust в контексте оптимизации производительности Python. Обеспечивая эти гарантии во время компиляции, PyO3 помогает разработчикам избежать распространенных ошибок и уязвимостей, связанных с памятью, которые могут возникать при использовании привязок C/C++.

Обработка ошибок и производительность

Это одно из самых мощных преимуществ PyO3. Сопоставляя механизмы обработки ошибок Rust с системой исключений Python, PyO3 обеспечивает бесшовную интеграцию для программистов, работающих с обоими языками. Эта интеграция гарантирует правильную передачу ошибок, позволяя коду Python элегантно обрабатывать исключения, созданные в Rust. Что касается производительности, PyO3 стремится обеспечить производительность, близкую к нативной, за счет использования абстракций Rust. Хотя на границе между Python и Rust могут быть некоторые накладные расходы, прирост производительности, достигаемый внутри кода Rust, часто с лихвой компенсирует их. По мере развития проекта PyO3 команда активно работает над оптимизацией этих пограничных случаев для дальнейшего снижения влияния на производительность.

Потоки и асинхронность

Одна из самых сложных областей интеграции Python и Rust – обработка потоков и асинхронности. Асинхронная модель Rust с async/await и глобальная блокировка интерпретатора (GIL) Python представляют собой уникальные проблемы, которые команда PyO3 активно решает. Разработчики исследуют различные подходы к преодолению разрыва между моделями параллелизма Rust и Python, в том числе использование типов Rust Send и Sync для обеспечения безопасного обмена данными между потоками, а также обеспечение бесшовной совместимости между асинхронными средами выполнения Rust и циклами событий Python.

Автор рассылки: Наталья Кайда

00:00:08 Создание нейрометодолога

• В видео обсуждается создание нейрометодолога, который будет задавать вопросы и генерировать занятия в виде Google Colab ноутбуков ipynb для студентов.

• В первой версии нейрометодолога используются 5 базовых вопросов.

Вопрос: 1. Какая у Вас будет основная тема занятия в рамках обучения нейронных
сетей на Python в Google Colab?

Ответ: Обучение с подкреплением

Вопрос: 2. Какой у Вас уровень подготовки? (начинающий, средний, продвинутый)?

Ответ: начинающий

Вопрос: 3. Какой по объему урок Вы планируете создать (маленький, средний,
большой)?

Ответ: большой

Вопрос: 4. Какими предварительными знаниями и навыками Вы владеете в данной
теме?

Ответ: python

Вопрос: 5. Укажите дополнительные пожелания к уроку:

Ответ: Нужен очень подробный урок с использованием современных фреймворков

00:01:54 Генерация занятий

• Нейрометодолог генерирует структуру занятия, выбирает фреймворки и датасеты, а также создает файл для коллаба.

• В процессе генерации занятия, нейрометодолог учитывает ответы студента на предыдущие вопросы.

00:09:34 Генерация структуры занятия

• Нейрометодолог анализирует ответы студента и создает структуру занятия, включая теоретическую, практическую части и домашние задания.

• Структура занятия может быть скорректирована на основе пожеланий студента.

00:13:06 Генерация занятий по программированию

• Сокращение программы теоретической части до двух разделов.

• Запрет на использование математики в системе.

• Генерация контента и материалов для разделов.

• Создание контента с максимальным количеством слов 4000 токенов.

00:20:23 Создание занятия по основам нейросетей

• Генерация занятия с помощью нейросети.

• Создание теоретической части с описанием нейронных сетей, слоев и активационных функций.

• Практическая часть с установкой библиотек, запуском колла и использованием нейронной сети.

00:24:19 Проблемы и решения

• Генерация занятия с использованием нейросети, но без написания кода.

• Подача информации при генерации, чтобы учесть уже установленные библиотеки и переменные.

• Подача исходного кода или саммаризации кода для создания блоков с домашними заданиями.

00:27:07 Генерация контента и профайлов

• В видео обсуждается процесс генерации контента и профайлов для занятий.

• Упоминается, что контент может быть сгенерирован с помощью различных библиотек и переменных, а затем с помощью chatgpt три-пять или четыре-омни, профайл может быть обновлен с учетом установленных в библиотеке переменных и значимых кусков кода.

00:30:12 Использование различных фреймворков и библиотек

• В видео обсуждаются различные фреймворки и библиотеки, которые могут быть использованы для генерации контента и профайлов.

• Упоминаются такие фреймворки, как TensorFlow, Keras, и TenseraCT.

00:39:10 Проблемы с загрузкой и обучением нейросети

• В видео обсуждаются проблемы с загрузкой и обучением нейросети.

• Упоминается, что некоторые фреймворки могут иметь проблемы с загрузкой и обучением, и что это может повлиять на качество занятия.

00:41:27 Создание ноутбуков с помощью нейронной сети

• В видео обсуждается создание ноутбуков с помощью нейронной сети.

• Нейронная сеть будет знать актуальные версии библиотек и фреймворков.

00:43:33 Обучение с подкреплением

• Обучение с подкреплением не запустилось, так как нейронная сеть не знает актуальные версии библиотек и фреймворков.

• Оценка качества сгенерированных ноутбуков: 6 из 10.

Google Colab: https://colab.research.google.com/drive/1-p4IUICx2jD0Ry3TJ8K...

Примеры полученных занятий:
https://drive.google.com/file/d/1GnBqRRvUvIWJz2e6rpqs-l7LHkY...
https://drive.google.com/file/d/1hKwASzeGyrWsVtLLqQjzlzsknpJ...
https://drive.google.com/file/d/1XYgl19_g_HypEqPkGesuvgR9pXH...

Энтузиаст создал портативный модульный мини-компьютер на базе Raspberry Pi 5; IBM прекращает научные исследования в Китае и планирует уволить более 1 тысячи сотрудников; Mozilla разрабатывает инструментарий распознавания речи Whisperfil; и многое другое.

Железные новости

Россия

Минфин выложил проект постановления, который запрещает госзакупки иностранного ПО и микросхем.

АРПЭ: В прошлом году контрактное производство электроники в России увеличилось на 40%.

Интервью с Константином Трушкиным, заместителем директора по маркетингу и развитию компании МЦСТ.

Банки ОАЭ начали ограничивать российские платежи за китайское оборудование.

Новосибирский государственный технический университет и холдинг «Планар» заключили соглашение о совместной разработке оборудования для силовой электроники в рамках форума «Технопром-2024».

В России напишут стандарты для производства микроэлектроники для российских разработчиков и производителей электронного машиностроения.

Минпромторг РФ одобрил инициативу Союза «Русская электроника» о пересмотре принципов формирования цен на продукцию в рамках государственного оборонного заказа (ГОЗ).

В Воронежской области создан кластер радиоэлектронной промышленности для улучшения взаимодействия предприятий с органами власти и стимулирования их развития.

Ученые из Курчатовского института разработали двумерный магнит, который может существенно улучшить функциональные характеристики кремниевой электроники и способствовать развитию наноэлектроники и спинтроники.

Минпромторг РФ закупил европейское оборудование для печатных плат на сумму 249.2 млн рублей для расширения производственных мощностей НПП «Гамма».

Мир

SK Hynix объявила о создании DRAM шестого поколения.

IBM прекращает научные исследования в Китае и планирует уволить более 1 тысячи сотрудников.

Американская компания Qualcomm выкупает у французской Sequans Communications технологии 4G IoT, стоимость сделки не раскрыта и требует одобрения регулирующих органов; при этом Sequans сохранит право на использование технологии через лицензионное соглашение и права на свои разработки в области 5G.

Илон Маск представил суперкластер Cortex AI, состоящий из 50 000 графических процессоров NVIDIA H100, который обещает значительное улучшение вычислительных мощностей для задач в области искусственного интеллекта.

Plaud представила NotePin — носимое устройство с искусственным интеллектом, которое автоматически записывает, транскрибирует и суммирует голосовые заметки и телефонные разговоры.

Создана новая версия дисплея, которая отображает информацию в воздухе, используя полупрозрачное зеркало и ретрорефлекторы

Новости ИИ

Россия

Ученые из Университета ИТМО создали систему ИИ, которая помогает выявлять наночастицы, способные избирательно уничтожать вредоносные бактерии, оставляя полезные невредимыми; это может стать новым методом борьбы с инфекциями, устойчивыми к антибиотикам.

Мир

Компания Mozilla разрабатывает инструментарий распознавания речи Whisperfile, который включает высокопроизводительную реализацию модели машинного обучения Whisper от OpenAI на основе whisper.cpp.

Исследователи из Google DeepMind воссоздали интерактивную версию игры DOOM в реальном времени с помощью диффузионной модели.

OpenAI поддерживает законопроект в Калифорнии, который требует от технологических компаний маркировки контента, созданного с помощью искусственного интеллекта, для повышения прозрачности.

OpenAI ведет переговоры о привлечении финансирования, которое оценит компанию более чем в 100 миллиардов долларов.

OpenAI демонстрирует свою эффективность в разминификации кода, позволяя разработчикам легче анализировать и понимать сложные JavaScript-скрипты.

OpenAI и Anthropic подписали соглашение с Институтом безопасности ИИ США, позволяющее проводить тестирование и оценку их моделей.

Raspberry Pi

Новый чип в Raspberry Pi 5 с 2 ГБ оперативной памяти снижает потребление энергии до 30%, что улучшает его энергоэффективность.

В микроконтроллере Raspberry Pi RP2350 обнаружен аппаратный баг, который вызывает некорректное поведение подтягивающих резисторов.

Создана система автоматической кормежки рыб, управляемая Raspberry Pi, которая позволяет удаленно кормить рыб и следить за ними через веб-камеру.

Энтузиаст создал портативный модульный мини-компьютер на базе Raspberry Pi 5.

Создан проект, в котором Raspberry Pi используется как ключница с встроенной системой резервного копирования файлов.

Библиотеки Python

Представлен однострочный скрипт на Python для очистки и упрощения очистки CSV-файлов.

Представлен инструмент HTTPOut, который позволяет выполнять ваши скрипты на Python через URL, обеспечивая удобный способ управления кодом.

Picows — это высокопроизводительная библиотека с открытым исходным кодом на Python, предназначенная для создания соединения клиента и сервера, с помощью WebSocket

Библиотека Neutrino — безопасный и событийно-ориентированный низкоуровневый протокол, использующий зашифрованный UDP для передачи данных.

Что посмотреть

От кремния до малины: тайны рождения Raspberry Pi

Эксклюзивный репортаж с завода (с русскими субтитрами), где за десятилетие собрали почти 50 миллионов «малиновых» компьютеров, раскрывает секреты создания самого популярного одноплатника в мире.