Как быстро удалить дублирующиеся строки в CSV, Excel и таблицах Markdown?⁠⁠

Как быстро удалить дублирующиеся строки в CSV, Excel и таблицах Markdown?

Если вы используете CSV, Excel или Markdown таблицы, вы можете столкнуться с дублирующимися строками. Это может произойти, если вы вручную ввели одинаковые данные или импортировали дубликаты из других источников. Какова бы ни была причина, удаление дублирующихся строк — важная часть очистки данных. В этой статье мы расскажем о нескольких способах быстрого удаления дублирующих строк из CSV, Excel и Markdown таблиц.

1. Онлайн-инструмент для таблиц (рекомендуется)

Вы можете использовать онлайн-инструмент под названием "TableConvert" для удаления дублирующих строк. С помощью этого инструмента вы легко сможете проверить и удалить дублирующиеся строки в ваших CSV, Excel и Markdown таблицах. Просто откройте браузер и перейдите по ссылке https://tableconvert.com/excel-to-excel, вставьте или загрузите ваши данные и нажмите кнопку "Deduplicate" в редакторе таблиц. Это быстро и легко. Посмотрите на изображение ниже:

2. Удаление дублирующихся строк в Excel

Удаление дублирующихся строк в Excel очень просто. Сначала откройте файл Excel и выберите столбец, в котором хотите проверить дублирующиеся строки. Затем нажмите на меню "Данные" и выберите "Удалить дубликаты". Excel покажет диалоговое окно, в котором вам нужно выбрать столбцы для удаления дубликатов. Нажмите "ОК", и Excel удалит все дублирующиеся строки.

3. На Linux или Mac вы можете использовать команды uniq и sort для удаления дубликатов.

/tmp ❯ cat test.txt

test 1

test 2

test 3

test 3

test 4

test 1

/tmp ❯ cat test.txt | uniq

test 1

test 2

test 3

test 4

test 1

/tmp ❯ cat test.txt | sort | uniq

test 1

test 2

test 3

test 4

/tmp ❯ cat test.txt | sort -u

test 1

test 2

test 3

test 4