Сортировка текста, Exclusive Tool dictionaries

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by s9va, 13 Jul 2017.

  1. s9va

    s9va Member

    Joined:
    3 May 2016
    Messages:
    37
    Likes Received:
    78
    Reputations:
    1
    Обновление v04 от 10.09.2019
     
    scooter, munki, hydra and 4 others like this.
  2. CRACK211

    CRACK211 Well-Known Member

    Joined:
    16 Sep 2009
    Messages:
    662
    Likes Received:
    633
    Reputations:
    4
    Спасибо за програму. Есть замечание . Плохо ищет строки md5 из сотен хэшей находит один. наверное первый.
     
    s9va likes this.
  3. s9va

    s9va Member

    Joined:
    3 May 2016
    Messages:
    37
    Likes Received:
    78
    Reputations:
    1
    спс, гляну позже и отпишусь
     
  4. hydra

    hydra Well-Known Member

    Joined:
    24 Jul 2015
    Messages:
    1,712
    Likes Received:
    15,103
    Reputations:
    27
    Так попробуй их парсить:
    sed -n '/[a-fA-F0-9]\{32\}$/p'
    Будет находить md5 хэши и пары login:hash
    Подойдёт и для sha1 32 испрвь на 40
     
    CRACK211 and s9va like this.
  5. s9va

    s9va Member

    Joined:
    3 May 2016
    Messages:
    37
    Likes Received:
    78
    Reputations:
    1
    исправил и перезалил на форум по ссылке...ошибка касалась одного из потоков в целом для нескольких функций, недоглядел когда экспериментировал...спасибо за подсказку
     
    scooter, CRACK211 and hydra like this.
  6. s9va

    s9va Member

    Joined:
    3 May 2016
    Messages:
    37
    Likes Received:
    78
    Reputations:
    1
    там не в регулярке было дело, а в формировании конечного результата перед записью в файл для десятка функций..но думаю кому-то пригодится и ваша подсказка))
     
  7. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    71
    Likes Received:
    15
    Reputations:
    0
    спасибо за программу - можете подсказать в старой версии была функция удалить строки меньше 8 - в новой программе эта функция вроде есть но не удалят их остаётся всё на месте
     
    s9va likes this.
  8. YATbI

    YATbI Member

    Joined:
    28 May 2012
    Messages:
    3
    Likes Received:
    7
    Reputations:
    0
    Возможности хороши, но я так понимаю программа насильно меняет кодировку, т.к. выходной файл получается больше по размеру.
    Не нравится также то, что делится файл на части перед обработкой, что занимает дополнительное дисковое пространство, а оно при больших объёмах словарей весьма ценно.
    А удалить как?
    Ещё интересует объединение с этими командами - sed '/^[0-9]\{1,9\}$/ d' file > file2 и sed -r "s/([A-Za-z0-9._%+-][email protected][A-Za-z0-9.-]+\.[A-Za-z]{2,4})//g" file > file2 или grep -E -o "\b[A-Za-z0-9._%+-][email protected][A-Za-z0-9.-]+\.[A-Za-z]{2,6}\b"
    Т.е. удаление цифровых строк из опредеелённого кол-ва символов и удаление email, подскажете?
     
    s9va likes this.
  9. s9va

    s9va Member

    Joined:
    3 May 2016
    Messages:
    37
    Likes Received:
    78
    Reputations:
    1
    в основном, после обработки, на выходе - кирилица...иногда в нек случаях утф8, пока так...
    если загружаемый файл более 104 мб, то его разбивает на части...опытным путем выяснилось, что во многом это является оптимальным размером для обработки файла, как по скорости, так и по занимаемой оперативы и ресурсов в целом...
    удаление строк, которые содержат цифры, а так-же удаление эмейл, всё это есть в проге:

    Удалить- Цифры-по всему тексту
    и
    Удалить-Разное-эмейл
     
    scooter and YATbI like this.
  10. s9va

    s9va Member

    Joined:
    3 May 2016
    Messages:
    37
    Likes Received:
    78
    Reputations:
    1
    Функции- Удалить -Строки -Задать минимальную длину строк....укажите 8 и все строки менее восьми символов будут удалены, в том числе и пробелы между строк
     
    scooter likes this.
  11. YATbI

    YATbI Member

    Joined:
    28 May 2012
    Messages:
    3
    Likes Received:
    7
    Reputations:
    0
    Да, про это в курсе, конечно, интересовался sed grep командами, т.к. при такой обработке не создаются разбивочные файлы. (по крайней мере при операциях удаления цифр, мыл)
     
  12. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    71
    Likes Received:
    15
    Reputations:
    0
    можно ещё добавить функцию в программе удалить пробелы в начале строк - между строк - и в конце строк - имею виду всё объединить в одно - чтоб сразу всё удаляла всё в одном
     
  13. s9va

    s9va Member

    Joined:
    3 May 2016
    Messages:
    37
    Likes Received:
    78
    Reputations:
    1
    :rolleyes:
    Screenshot_1.jpg
     

    Attached Files:

    scooter, fire-dance and hydra like this.
  14. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    71
    Likes Received:
    15
    Reputations:
    0
    спасибо - ещё можно добавить функцию одну - там есть функция удалить русский текст - можно ещё добавить удалить английский текст
     
    s9va likes this.
  15. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    71
    Likes Received:
    15
    Reputations:
    0
    а можно ещё добавить удалить пробелы в начале и в конце строк - чтоб удаляла сразу и в начале и в конце строк - ну не между строк именно

    если не трудно сможете добавить эту функцию
     
    s9va likes this.
  16. s9va

    s9va Member

    Joined:
    3 May 2016
    Messages:
    37
    Likes Received:
    78
    Reputations:
    1
    добавил:
    -удалить англ текст
    -удалить пробелы в начале и в конце строк
     

    Attached Files:

    DZZ, fire-dance, scooter and 2 others like this.
  17. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    71
    Likes Received:
    15
    Reputations:
    0
    если можно то можно ещё добавить вот эти функции - удалить не английские слова -
    как во в этой программе
     

    Attached Files:

    #57 scooter, 15 Sep 2019
    Last edited: 15 Sep 2019
  18. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    742
    Likes Received:
    434
    Reputations:
    8
    приложи конкретный пример
    вход и выход
     
    s9va likes this.
  19. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    71
    Likes Received:
    15
    Reputations:
    0
    также вот скину документ сортировал уже -- там есть не английские слова - в самом начале и конце документа
    http://zalil.su/2274120
     
  20. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    71
    Likes Received:
    15
    Reputations:
    0
    именно удалить не английские слова - сылку словаря где именно находятся иероглифы в начале и конце дал - текстовый документ
     
Loading...