Быстро удалить дубли в огромных файлах

Тема в разделе "Софт и инструменты", создана пользователем CLAY, 6 мар 2017.

  1. CLAY

    CLAY Member

    Сообщения:
    419
    Симпатии:
    5
    [​IMG]

    В данном случае мы рассмотрим и настроим софт на удаление дублей.
    Бат файл открывается любым блокнотом:

    Открываем наш бат файл:
    В файле пишем:
    Код:
    App.Merge.exe o=rez_out.txt t=4 rez.txt
    pause

    rez.txt - файл, в котором мы хотим удалить дубликаты.
    rez_out.txt - файл, который мы получим в итоге.

    Да и не забудьте положить файлы в эту же папку.

    Софт может объединять сразу несколько файлов и после удалять дубли, для этого просто вписываем нужные нам файлы:
    Код:
    App.Merge.exe o=rez_out.txt t=4 rez.txt rez2.txt rez3.txt
    pause

    rez.txt - файл, в котором мы хотим удалить дубликаты.
    rez2.txt - 2-й файл, в котором мы хотим удалить дубликаты.
    rez3.txt - 3-й файл, в котором мы хотим удалить дубликаты.
    rez_out.txt - общий файл, который мы получим в итоге.

    Также можно прописать различные опции:
    o=[out-file] - Выходной файл.
    t=[threads] - Потоки, используется для ускорения сортировки вверх только.
    c=[mem] - Используется для управления, сколько оперативной памяти для использования в МБ. По умолчанию 1024. блокированного в 3072.
    min=[num] - Минимальная длина слова. По умолчанию = 1
    max=[num] - Максимальная длина слова. По умолчанию = 4096.

    Формат команды:
    App.Merge.exe o=output-file.txt t=4 [options] ... word-list1.txt word-list2.lst directory1 ...

    Для анализа отчета словесного списка:
    App.Merge.exe r = словарь-list1.txt

    Двойные кавычки необходимы для имени пути / файлов, которые содержат пробелы. Можно также указать пути к каталогам, если вы хотите объединить / сортировать множество файлов в папках.

    Скачать:Ссылка доступна только зарегистрированным пользователям или
    Ссылка доступна только зарегистрированным пользователям
    VT - Ссылка доступна только зарегистрированным пользователям
  2. Patrik24rus

    Patrik24rus New Member

    Сообщения:
    1
    Симпатии:
    0
    приветствую, прошу перезалить файл

Поделиться этой страницей