101 игра на python. Информатика. Работа с файловой системой Google colab
Что такое Google Colab?
Посмотреть код можно в Google Colab
Google Colab — это облачная платформа, созданная Google, для работы с интерактивными блокнотами Jupyter Notebook. Она предоставляет мощные инструменты для написания и выполнения кода на Python, анализа данных, обучения моделей машинного обучения и совместной работы над проектами.
Colab предлагает доступ к мощным ресурсам, включая графические и тензорные процессоры. Это позволяет решать сложные задачи, такие как работа с большими объёмами данных или обучение нейросетей, без покупки дорогого оборудования. Colab работает на основе Jupyter Notebook. Использовать Colab можно сразу после открытия — ничего дополнительно устанавливать не нужно, всё уже готово к работе. Ты можешь подключить Google Диск, чтобы легко данные, сохранять проекты и получать доступ к файлам откуда угодно. Также в Colab можно работать вместе с другими пользователями.
Как работает Google Colab?
- Jupyter запускается в браузере. Код выполняется на удаленных серверах Google, а результаты отображаются в блокноте. Данные могут загружаться из локального устройства или из облака, такого как Google Drive. Ты можете использовать Colab для работы с библиотеками для машинного обучения (например, TensorFlow, PyTorch), анализа данных с использованием Pandas или создания визуализаций через Matplotlib и Seaborn.
Как выглядит Google Colab?
Интерфейс Colab состоит из нескольких основных частей:
Строки кода: Это ячейки, в которые ты будешь писать и выполнять свой код на Python.
Текстовые ячейки: Здесь ты можешь добавлять описания, пояснения и заметки к своему коду.
Меню: Сверху есть меню с различными опциями для работы с блокнотом (файл, правка, вид, инструменты и т.д.).
Файловый менеджер: Слева есть панель файлового менеджера, где ты можешь просматривать файлы и папки в своей среде Colab.
Файловая система colab
В Google Colab, ты работаешь в облачной среде, где файловая система организована как на обычном компьютере с папками и файлами. Ты можешь взаимодействовать с файловой системой с помощью магических команд Jupyter (начинаются с `%`) и команд bash (начинаются с `!`).
Список основных команд:
%pwd (print working directory):
Описание: Показывает текущую рабочую директорию (где ты сейчас "находишься" в файловой системе).
Пример: %pwd
Результат: /content (или другая текущая директория)
%ls (list):
Описание: Выводит список файлов и папок в текущей директории.
Пример: %ls
Результат: Список файлов и папок, например: sample_data/ my_file.txt
%cd <путь> (change directory):
Описание: Переходит в указанную директорию.
Пример: %cd sample_data
Результат: Текущая рабочая директория меняется на /content/sample_data
!head -<количество строк> <имя файла>:
!cat <имя файла>:
Описание: Выводит содержимое указанного текстового файла.
Пример: !cat sample_file.txt
Результат: Всё содержимое файла sample_file.txt.
!echo "<текст>" > <имя файла> * Описание: Создаёт новый файл с указанным именем и записывает в него текст. Если файл уже существует, он будет перезаписан * Пример: !echo "Это мой новый файл!" > new_file.txt * Результат: Создаёт файл new_file.txt с содержимым Это мой новый файл!.
Ключевые моменты:
Магические команды (%) - это специальные команды Jupyter для работы с окружением Colab.
Команды bash (!) - это команды, которые выполняются в командной строке Linux.
Путь к файлу: Путь к файлу указывает, где именно файл находится в файловой системе (например, /content/sample_data/my_file.txt).
Текущая директория: Твоё положение в файловой системе (изменяется командой %cd).
Посмотреть в Google colab
Загрузка файлов в Google Colab
Есть несколько способов загрузить файлы в Colab, и мы рассмотрим наиболее распространенные из них.
Загрузка через файловый менеджер (GUI)
Описание: Самый простой способ загрузить файлы, особенно небольшие, – использовать графический интерфейс файлового менеджера Colab.
Как это сделать:
Открой панель файлового менеджера слева (значок папки).
Нажми на значок загрузки (обычно это значок с плюсом или стрелкой вверх).
В открывшемся окне выбери файлы на своем компьютере, которые ты хочешь загрузить.
Нажми "Открыть" или "Загрузить".
Плюсы: Простота, наглядность, не требует написания кода.
Минусы: Подходит для небольших файлов, нужно делать вручную.
2. Загрузка через код Python (google.colab.files.upload())
Описание: Этот способ позволяет загружать файлы с помощью кода Python, что дает больше гибкости.
Как это сделать:
Импортируй модуль files из библиотеки google.colab.
from google.colab import files
Вызови функцию files.upload()
uploaded = files.upload()
При запуске этого кода, появится диалоговое окно, где ты можешь выбрать файлы для загрузки.
После выполнения этого кода загруженные файлы будут доступны в виде словаря uploaded, где ключи – имена файлов, а значения – их содержимое в виде байтовых строк.
3. Клонирование репозитория GitHub (git clone)
Если твои файлы находятся в репозитории GitHub, ты можешь загрузить их, клонировав репозиторий в Colab.
Как это сделать:
Используй команду git clone с URL репозитория.
!git clone <URL_репозитория>
Например:
!git clone https://github.com/username/my_repository.git
После клонирования репозитория, содержимое будет доступно в папке, названной также как репозиторий.
Плюсы: Легко загрузить все файлы из репозитория, удобный способ для проектов с контролем версий.
Минусы: Подходит только для файлов в репозиториях GitHub.
4. Скачивание отдельного файла с GitHub
Если тебе нужен только один или несколько файлов из репозитория GitHub, ты можешь скачать их по прямой ссылке.
Как это сделать:
Открой нужный файл в репозитории GitHub.
Нажми на кнопку "View raw" (или "Необработанный вид").
Скопируй URL этого файла. 4. Используй wget или curl для скачивания файла.
!wget <URL_файла>
или python !curl <URL_файла> -o <имя_файла_в_colab>
Плюсы: Просто скачать только нужные файлы, без клонирования всего репозитория.
Минусы: Требуется знать прямую ссылку на файл.
Какой способ выбрать?
Для небольших файлов, которые нужно загрузить быстро и вручную, подойдет файловый менеджер.
Если нужно программно обрабатывать загруженные файлы, используй files.upload().
Для загрузки целых проектов, используй git clone.
Для скачивания отдельных файлов, используй wget или curl
Посмотреть код можно в Google Colab
UPD:
ИСХОДНЫЙ КОД ПЕРЕЕХАЛ ПО ЭТОМУ АДРЕСУ