Удаление дублирующихся строк

Удалите повторяющиеся строки из текста. При необходимости сохраните исходный порядок строк или обрежьте лишние пробелы. Полезно для очистки списков и данных.

Учитывать регистр Обрезать пробелы по краям Удалить пустые строки

Ввод

яблоко
банан
яблоко
вишня
банан
финик

Вывод

Возможности

Число строк до и после

Сохранение исходного порядка

С учётом регистра или без

Показ удалённых строк

Как использовать

1. Вставьте текст в поле ввода (по одному элементу на строку).

2. Настройте параметры: учёт регистра и обрезка пробелов.

3. Нажмите «Удалить дубликаты» — очищенный результат появится справа.

Об этом инструменте

Списки, собранные из таблиц, логов, выгрузок или копированием, полны повторов. Этот инструмент удаляет повторяющиеся строки, оставляя первое вхождение каждой на исходном месте, поэтому порядок списка сохраняется, а не сортируется. Настройки определяют, что считать «одинаковым»: «Учитывать регистр» решает, различаются ли «Apple» и «apple», «Обрезать пробелы по краям» игнорирует невидимые пробелы в начале и конце, из-за которых строки различаются, а удаление пустых строк приводит результат в порядок. Сводка показывает, сколько строк было на входе, сколько осталось и сколько удалено. Это удобно для чистки списков адресов почты, наборов ключевых слов, тегов, путей к файлам и записей логов перед импортом куда-либо ещё.

Часто задаваемые вопросы

Какая копия повторяющейся строки сохраняется?

Первое вхождение остаётся на своём месте, а последующие повторы удаляются. Общий порядок оставшихся строк не меняется, поэтому результат не отсортирован.

Почему две одинаковые на вид строки не объединились?

Скорее всего, они различаются невидимыми символами — пробелами в конце, табуляцией, неразрывным пробелом — или только регистром. Включите «Обрезать пробелы по краям» и выключите «Учитывать регистр», чтобы считать их одинаковыми.

Меняет ли обрезка пробелов строки в результате?

Обрезка используется при сравнении строк и также удаляет пробелы в начале и конце у сохранённых строк. Пробелы внутри строки не затрагиваются.

Можно ли удалять повторяющиеся слова, а не строки?

Инструмент работает построчно. Чтобы убрать повторы слов или значений через запятую, сначала поместите каждый элемент на отдельную строку, например заменив в редакторе запятые переносами строк.

Сколько строк можно обработать?

Обработка идёт в браузере, поэтому десятки тысяч строк на обычном компьютере обрабатываются быстро. Очень большие файлы удобнее обрабатывать утилитами командной строки вроде sort -u или awk.

Удаление дублирующихся строк

Возможности

Как использовать

Об этом инструменте

Часто задаваемые вопросы

Похожие инструменты