Ошибки при очистке словарей

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by Alisa99, 31 Jul 2018.

  1. Alisa99

    Alisa99 New Member

    Joined:
    12 May 2018
    Messages:
    25
    Likes Received:
    2
    Reputations:
    0
    Всем добрый.
    Не могу понять в чем дело. Пытаюсь очистить словари от дублей и отсортировать по длине командой в linux:
    cat rockyou.txt | sort | uniq | pw-inspector -m 8 -M 63 > newrockyou.txt

    На выходе получаю какую-то странную галематью с кирилицей, китайскими символами и грузинскими буквами.
    счсч
    токио1
    угабуга
    фивгфдш
    фквжьись
    фмкшд13
    цфыыук
    �ѹҹ�й�Ѽ
    шфьыгзук
    ы101982м
    ыр17071994
    ырщлщдфвлф
    ыүлүиаү
    ьсндвсхд89
    ьфырф3003
    юрист
    яфйцук
    яьфдйз1245
    མི་དྲེད་
    ნომედიგას
    లలబకగూూబ
    ခ့ငအအက
    ၾ၆ူ။ည႑ာန
    ာေစသနသကူေပ
    ခ်စ္တယ္ထူးရယ္
    0124271876
    123654789
    >#<#5556121#>#<
    13610109
    @[email protected] 1982
    9101102838
    (jeancarlos)31293

    保存 到 我的东西 (推荐)
    到 我的东西
    尐淘氣
    空0357871
    聽日使唔使番牙你

    Судя что длинна не соблюдается можно предположить что команда работает некорренктно.
    Команда:
    cat rockyou.txt | sort | uniq > newrockyou.txt
    дает такой же выхлоп.
    Кто может подсказать в чем дело? И вообще на каких языках rockyou.txt разве там не только латиница?
     
    #1 Alisa99, 31 Jul 2018
    Last edited: 31 Jul 2018
  2. hydra

    hydra Well-Known Member

    Joined:
    24 Jul 2015
    Messages:
    2,163
    Likes Received:
    19,733
    Reputations:
    30
    Попробуй так:
    Сначала sed '/^[\t\n\r -~]*$/!d'
    Не помешает sed 's/'"$(printf '\015')"'$//g'
    Затем sort -u

    Сортировка по длинне:
    sed -n '/^.\{8\}/p'
    sed -n '/^.\{63\}/!p'

    Можешь воспользоваться этой утилитой,для очистки от кириллицы и кракозябр http://rgho.st/6NWPzsM6Y
    Юзать: ./clean64.bin -src /rockyou.txt -new clean.txt remove
    ./clean64.bin -src /rockyou.txt -new clean.txt duplicate
     
    #2 hydra, 31 Jul 2018
    Last edited: 31 Jul 2018
    Alisa99 likes this.
  3. Alisa99

    Alisa99 New Member

    Joined:
    12 May 2018
    Messages:
    25
    Likes Received:
    2
    Reputations:
    0

    Странно... вывод такой же. Может там и дожны присутствовать арабские, грузинские, иврит слова?? Из каких он (rockyou.txt) вообще языков состоит кто знает?
     
  4. hydra

    hydra Well-Known Member

    Joined:
    24 Jul 2015
    Messages:
    2,163
    Likes Received:
    19,733
    Reputations:
    30
    Дай ссылку на оригинальный словарь.
    Утилиту пробовали?
     
  5. Alisa99

    Alisa99 New Member

    Joined:
    12 May 2018
    Messages:
    25
    Likes Received:
    2
    Reputations:
    0
    git clone git://git.kali.org/packages/wordlists.git

    Утилиту не пробовала. Запускать такие скрипты опасаюсь. мало ли руткит какой. Шутников хватает здесь) Не в обиду
     
  6. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    882
    Likes Received:
    600
    Reputations:
    9
    вы можете доверять тем людям кто вам помагает
     
    hydra likes this.
  7. hydra

    hydra Well-Known Member

    Joined:
    24 Jul 2015
    Messages:
    2,163
    Likes Received:
    19,733
    Reputations:
    30
    Держи. http://rgho.st/7L2PsnZh7
    Без дублей.Длинна 8-63.Без кракозябр и кириллицы.
     
  8. Alisa99

    Alisa99 New Member

    Joined:
    12 May 2018
    Messages:
    25
    Likes Received:
    2
    Reputations:
    0
    Спасибо. Но мне бы еще научится. Часто с этим сталкиваться буду. Научи как сделал? И почему у меня кракозябры?
     
    #8 Alisa99, 31 Jul 2018
    Last edited: 31 Jul 2018
  9. hydra

    hydra Well-Known Member

    Joined:
    24 Jul 2015
    Messages:
    2,163
    Likes Received:
    19,733
    Reputations:
    30
    sed '/^[\t\n\r -~]*$/!d' эта команда работает не всегда.
    Юзай утилиту,и не будет этой "ошибки".
    Вообще, рекомендую: https://antichat.com/threads/281655/ там найдёшь многие ответы на свои вопросы.
     
  10. Alisa99

    Alisa99 New Member

    Joined:
    12 May 2018
    Messages:
    25
    Likes Received:
    2
    Reputations:
    0
    Юхуу. ну просто кладезь ништяков! Спасибо
     
  11. Andrey9999

    Andrey9999 Elder - Старейшина

    Joined:
    23 May 2012
    Messages:
    2,050
    Likes Received:
    16,566
    Reputations:
    58
    всегда в первую очередь нужно tr -d '\r' < 1.dic > bezCR.dic делать - может быть что txt в винде создавался
     
  12. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    98
    Likes Received:
    26
    Reputations:
    0
    а по чему сразу не удалить все неанглийские слова а потом сортировать его
     
Loading...