MaratNotes

MaratNotes

Марат и его записки программиста 15 лет в программировании: авиционная промышленность, нефтянка и банковские системы. Здесь я делюсь практическим опытом: • Data Engineering: Airflow, Kafka, ETL-танцы с бубном, • ИИ/ML: Как встроить модели в продакшн-пайплайны, • Бэкенд: Оптимизация, архитектура, боль данных, • Заметки со смыслом: Ошибки, лайфхаки и истории из реальных проектов. Подписывайтесь! Новый разбор — каждую неделю! t.me/marat_notes
Пикабушник
Дата рождения: 2 октября
106 рейтинг 1 подписчик 0 подписок 4 поста 0 в горячем

Идеальное время для эксперимента с Telegram :D

Идеальное время для эксперимента с Telegram :D

Разрабатываю RAG-бота по контенту Telegram-канала.

На текущем шаге нужно получить api_id/api_hash, чтобы сделать выгрузку истории в JSON.

Регистрирую API на my.telegram.org и стабильный ответ:

Подтвердите действие на my.telegram.org: ERROR

Что уже пробовал:

● инкогнито / чистая сессия

● разные браузеры

● стабильный КВН-узел (либо любые другие три буквы)

● валидный short name (только a-z0-9, уникальный)

● Desktop + заполненный URL

Если кто сталкивался, подскажите: какой порядок действий помог пройти регистрацию

Буду благодарен за рабочие кейсы 🙌

Показать полностью 1

Продуктивность: как организовать и адаптировать под себя?

Сегодня понедельник, начало недели после частых дополнительных выходных. Возникло желание задать вопрос: кто как организует свой рабочий день, чтобы эффективно разделить время отдыха и работы?

Лично я активно использую рекомендации Максима Дорофеева из книги "Джедайские техники". Как говорит сам автор, это не жесткая система, а набор практик, которые каждый настраивает под себя.

Мой инструментарий

Основное приложение Singularity. Мне нравится, что там всё в одном месте: список задач, календарь, напоминания и циклы Pomodoro.

Для справки: Помадор - это интервал работы ( по классике 25 минут), за которым следует короткий перерыв. Метод помогает сохранять фокус и решать конкретные задачи, не распыляясь на попытку успеть все на свете.

Из минусов: после последнего обновления ОС на телефоне перестал срабатывать сигнал окончания перерыва (при этом сигналы старта и завершения рабочего интервала работают нормально). Так что последнюю неделю я ставлю дополнительный будильник при старте помадора 😅. Но даже с этим костылем система работает.

Как я формулирую задачи

Я стараюсь называть задачи глаголами, чтобы сразу было понятно действие:

● Не "Логгер", а "Разработать каркас логгера для Marquez".

● Не "Отчет", а "Проанализировать причины несовпадения расчетов".

● И даже быт: "Выпить витамины D3", "Сделать утреннюю зарядку".

У меня в календаре стоят и моментные дела, и огромные сложные задачи. Подход к ним один.

Эволюция моего таймера

Когда я начал пользоваться техникой (примерно 2.5 года назад), мне было тяжело удерживать концентрацию дольше 15 минут. Поэтому у меня были помадоры по 15 минут работы и 5 минут отдыха, через полгода увеличил до 20 минут, еще через год увеличил еще на 5 минут, и вот около года стабильно использую помадор в 25 минут, 5 минут отдыха между помадорами и до длинного отдыха (15-30 минут) 4 помадора.

Я стараюсь придерживаться схемы 25/5 всегда. Но если задача «не отпускает» и я вижу, что прерывание сейчас убьет прогресс, то пропускаю перерыв и работаю дальше (такое бывает крайне редко).

Важный момент: во время работы над помадором я занят только этой задачей. Никакого параллельного серфинга или проверки почты, полная концентрация на процессе.

Что делать в 5 минут отдыха?

Мой принцип: полная смена контекста.

Во время перерыва я не делаю ничего связанного с работой или тем, чем занимался последние 25 минут.

Мои варианты:

● Размяться, потянуться

● Бытовые дела: достать котлеты из морозилки, закинуть их на сковородку по таймеру

● Погладить собаку

● Проверить личные сообщения в мессенджерах

Такая бытовая перезагрузка позволяет мозгу реально отдохнуть, а не переключиться с одного экрана на другой.

Работа vs Личные проекты

Для меня нет разделения: в Singularity занесены не только рабочие задачи.

Там есть всё: работа, бытовые планы, личная жизнь, блог. Всё это заводится в календарь как отдельные задачи. Если задача не запланирована, она рискует никогда не быть сделанной. Поэтому мои личные жизненные цели живут в том же календаре, что и рабочие дедлайны.

Резюме

Продуктивность это не про то, чтобы работать без остановки. Это про умение фокусироваться на задачах, планировать их и решать.

А как у вас?

Расскажите в комментариях, как вы подходите к организации решения стоящих перед вами задач?

● Используете ли вы таймеры (Pomodoro и аналоги) или предпочитаете работать непрерывным потоком?

● Чем заполняете свои короткие перерывы, чтобы реально перезагрузить мозг?

● Есть ли в ваших любимых инструментах костыли или баги, с которыми вы просто смирились, потому что в остальном они подходят для решения поставленных задач?

Будет интересно сравнить наши системы! 👇

Показать полностью
3

Строитель или Садовник - кто Вы?

Строитель или Садовник - кто Вы?

Сегодня хочу рассказать о книге, которую прочитал около двух лет назад, она запомнилась и хочу поделиться ей. Это книга "Карьера Software Engineering Manager" Джеймса Стэньера.

Сама книга про организацию разработки и работу тимлида, как планировать свой рабочий день, как взаимодействовать с людьми, командой и бизнесом.

Сегодня хочу поделиться самой яркой идеей, которая помогла мне лучше понимать и себя, и коллег.

Два типа инженеров

Стэньер делит инженеров не по стеку или грейду, Мне это очень запомнилось и в какие-то моменты я вспоминаю об этой ассоциации.

1. Строители соборов

Им нужны концентрация, стабильность и мастерство. Они любят копать вглубь.

Что их мотивирует: Стать экспертом в одной области, менторить других, шлифовать детали.

С чем лучше не сталкивать: Постоянные переключения.

Идеальная задача: Взять сложный модуль и постепенно доводить его до совершенства.

2. Гуляки по базару

Им нужны разнообразие и перемены.

Что их мотивирует: Новые технологии, прототипирование, частая смена контекста.

С чем лучше не сталкивать: Работы над одним проектом и стэком годами (для них это стагнация).

Идеальная задача: Исследовать новую технологию, сделать MVP, перейти на следующую задачу или проект.

Моя личная интерпретация

Я правда запомнил как Садовник и Строитель. Садовник долго растит и обустраивает сад (как Строитель соборов), а Строитель - строит здание и переходит к следующему, а внутренняя отделка и так далее, может достаться и другому (как Гуляка по базару).

Термин "гуляка" на русском звучит не очень, поэтому моя ассоциация мне ближе

Почему это важно?

Автор пишет: "Вряд ли вы обсуждали с менеджером, кто вы, строитель или гуляка. А зря".

Он считает, что часто проблемы на работе возникают из-за несоответствия задачи типу личности. И я бы еще добавил - проблемы возникают в отсутствии коммуникации.

Личный опыт

Почему мне это так близко? У меня есть брат-близнец. И нас как раз по-разному тянет в задачи.

В моей интерпретации он типичный Садовник, а я Строитель. Поэтому я перебрал за свою карьеру большое количество технологий, стеков и даже ниш разработки: авиастроение, нефтегаз, банкинг. А ему ближе разобрать одну систему по косточкам и долго дорабатывать её до идеала.

Личный опыт и продуктивность

Еще одна особенность книги, она отлично легла на мои тогдашние поиски системы продуктивности. Я читал её примерно в один период с "Джедайскими техниками" Дорофеева. Там эта тема, конечно, раскрыта шире, но в целом было полезно увидеть, то что, это реальные практики.

И наряду с этим можно отметить следующие мысли, которые вынес после прочтения книги:

  • Системность в планировании.

  • Осознанность в целях. Понимание, зачем мы делаем задачу, важнее самого кода.

  • Взгляд на менеджмент. Я перестал видеть в лиде "начальника" и начал видеть человека, который настраивает процессы так, чтобы команда получала удовольствие от работы и была продуктивной.

Вердикт

Книга написана не вчера, да, вероятнее всего LLM сильно изменит подходы к разработке, но принципы управления командой и мотивацией вряд ли устареют. Мы живем в динамически меняющемся мире, но какие-то подходы имеют и сохраняют свое право на жизнь.

Рекомендую читать, если:

  • Хочешь научиться настраивать свой день и понимать цели своей работы.

  • Хочешь понять, как устроен менеджмент изнутри.

  • Думаешь о росте в лиды или просто хочешь лучше работать с текущим тимлидом.

P.S. А кто вы? Любите копаться в деталях годами (Садовники) или любите переключаться между задачами (Строители)?

Показать полностью 1
6

Борьба с Docker за дисковое пространство

Как вы проводите выходные? 😊 Я, например, запускаю в Docker различные программы: Airflow, Marquez, Superset, Grafana, чтобы протестировать локально их взаимодействие.

Тогда рано или поздно вы можете заметить: место на диске стремительно исчезает.

У меня это произошло на прошлой неделе. Локальный диск подсвечен красным, значит необходимы анализ и очистка. Разбираю, как обнаружить проблему и решить.

Шаг 1. Где искать куда уходит детство дисковое пространство?

Я использовал WizTree, он быстро анализирует диск и располагает по порядку, самые тяжелые папки и подпапки.

Результат:

AppData\Local\Docker\wsl\disk — 63.7 ГБ

Шаг 2. Смотрим внутрь Docker

Посмотрим использование диска Docker’ом

docker system df

Таким образом около 40 гигабайт лишнего груза

Шаг 3. Чистка

Далее запустил очистку докер от неиспользуемых объектов

docker system prune -f

и получил приятное сообщение:

Далее почистил кэш сборок:

docker builder prune --all --force

И получаю вывод:

Шаг 4. Донесём изменения до диска

Хоть мы и почистили файлы, но сделали это внутри виртуальной машины, Windows не знает об этом и файл всей системы Docker

AppData\Local\Docker\wsl\disk\docker_data.vhdx - без изменений.

Чтобы сжать его

1. Полностью выключаем WSL

wsl --shutdown

2. Выскочит окно предупреждение, скажем что все ок

3. Запускаем для сжатия

diskpart

Внутри diskpart:


select vdisk file="C:\Users\1\AppData\Local\Docker\wsl\disk\docker_data.vhdx"

attach vdisk readonly

compact vdisk

detach vdisk

exit

Шаг 5. Финальная проверка

Проверим финальный результат также через WizTree:

теперь он весит: 39.5 ГБ

Освободил 24 ГБ за 10-15 минут, по-моему отличный результат.

Желаю всем также почистить машину от мусора!

Показать полностью 4
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества