Создание словарей, Exclusive Tool dictionaries

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by s9va, 13 Jul 2017.

  1. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    157
    Likes Received:
    397
    Reputations:
    3
    нет
     
  2. CRACK211

    CRACK211 Well-Known Member

    Joined:
    16 Sep 2009
    Messages:
    898
    Likes Received:
    983
    Reputations:
    5
    поделюсь немного своим опытом работы с программой . первое что хочу сказать , для того чтобы программа не выдавала ошибок и работала корректно первое что нужно сделать это применить пункт функции=удалить=текст=анг=все кроме английского. если не применить этот пункт то есть большая вероятность что программа отработает с ошибками . ещё, если не сделать то возникнут ошибки и при сортировке словаря. пример , я собрал несколько словарей и решил обеденить их в один . соединение прошло нормально был основной словарь 40Гб(сортировкнный) и я добавил к нему несколько словарей . итого получилось 79 гб . после чего решил отсортировать большой словарь. в итоге получился словарь в 34 гб. что впринципе не может быть потому что основной был 40Гб меньше получится не могло. я начал разбираться и оказалось что в одном из словрей оказался "мусор" различные строки и текст в разной кодировке. что привело к ошибке в сортировке хотя программа отработала без ошибок . но скорее всего на каком-то этапе сортировки просто остановилась и не стала дальше сортировать и записала файл который обработала до определённого места. когда я это понял я пошёл по другому пути . собрал все файл кроме основного файла в один применил пункт о котором писал выше . удалил мусор , отсортировал и только потом склеил с основным словарем . надеюсь смысл понятен, прежде чем делать что либо со словарем применить этот пункт )
     
    s9va and svobodnui like this.
  3. svobodnui

    svobodnui Banned

    Joined:
    17 May 2020
    Messages:
    21
    Likes Received:
    12
    Reputations:
    0
    сколько после гб вышло? боюсь поздно прочитал бо мои словари по количеству символов например словарь 80 гб сортировало в 7гб что удивляет, ведь не может быть столько повторов

    да и есть один момент, у меня не все словари хочет сортировать не знаю с чем это связано, решил тестом разных ревизий, если последняя не бьет то софт под именем релиз срабатывает, папка темп появляется и понеслось, будет кому-то думаю полезно
     
    s9va likes this.
  4. CRACK211

    CRACK211 Well-Known Member

    Joined:
    16 Sep 2009
    Messages:
    898
    Likes Received:
    983
    Reputations:
    5
    40+23=63Гб а из за мусора программа сортировала в 34Гб почти половина непонятно куда пропадала
     
    s9va likes this.
  5. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    904
    Likes Received:
    620
    Reputations:
    10
    нужно выяснить изза какого мусора оно так работает
     
    s9va likes this.
  6. Volhov

    Volhov Well-Known Member

    Joined:
    13 Oct 2012
    Messages:
    73
    Likes Received:
    470
    Reputations:
    1
    ExTDv0692
    Словари 2 x 20ГБ
    Методы-> Сравнение
    Программа работает на ноуте с Intel и вываливается на настольных с AMD-
    (Шаг 1 из 5. Деление на части с подготовкой к сортировке).

    Почитал комменты выше, при сравнении стояла галочка "Удалить нечитаемый текст",
    теперь вот думаю - Не удалила ли прога лишнего?) Кто проверял результат отпишитесь плз.

    PS ИМХО в функции "Сравнение" как то расширить меню, чтоб можно было без лишних сравнений получить только уникальные строки содержащиеся в файле 2.txt относительно файла 1.txt.
     
    s9va likes this.
  7. svobodnui

    svobodnui Banned

    Joined:
    17 May 2020
    Messages:
    21
    Likes Received:
    12
    Reputations:
    0
    если бы на 1 день позже вы это упомянили, может было
    сделал функции=удалить=текст=анг=все кроме английского после сортировку запустил папка temp тоже не появилась, запуск версии релиз норм скушал
     
    s9va likes this.
  8. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    904
    Likes Received:
    620
    Reputations:
    10
    Кому нужно фильтр удаление непечатных символов,
    через меню "разбить по указанным символам"
    вот готовое оптимальное решение конечно можете дополнить или удалить
    Code:
    •^±†¦’ЄєЃґЃѓҐґЉљЂЋћђЊњЁёЇїЏџЎўЌќЪъµ®©¬€?§·¶°;:”‘`™¤“‡‰'"‚    |гГ
     
    CRACK211 likes this.
  9. svobodnui

    svobodnui Banned

    Joined:
    17 May 2020
    Messages:
    21
    Likes Received:
    12
    Reputations:
    0
    есть какие-то новости, поздние версии кушают txt через раз, но с 160 гб тольок 3гб ыфхлоп как-то подозрительно
     
  10. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    157
    Likes Received:
    397
    Reputations:
    3
    скоро появится обнова
     
    svobodnui likes this.
  11. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    904
    Likes Received:
    620
    Reputations:
    10
    не все символы для фильтра отобразились тут засунул в текстовый
     

    Attached Files:

    CRACK211 likes this.
  12. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    157
    Likes Received:
    397
    Reputations:
    3
    *** обновление 0.7 ***
    -устранены некоторые найденные неполадки при сортировке и сравнении
    -увеличение скорости во время сортировки( только в случае если стоит по умолчанию) или сравнения(при удалить менее 8ми) примерно на 10-15%
    за тесты спс пользователю CRACK211
     
    svobodnui, CRACK211 and Petr Sitkin like this.
  13. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    116
    Likes Received:
    38
    Reputations:
    0
    Отпишусь по-поводу кодировок.
    Есть текстовый файл строки рода [email protected]***.com : pass,
    Сам файл https://mega.nz/file/7Ft3UZ5S#GjPD_ZEj0amRlseO973CCUC-jNL5AGlDX378LXllZOU
    Программа на отрез отказалась его обрабатывать ,выбивает ошибку value 1 -******* .
    Честно скачать не могу понять в каких строчках проблема.
    В последних сообщения советовали изменить кодировки .
    Изменил с ANSI -> UTF8 . На удивление ошибок не произошло .
    Решил удостоверится что ничего не удалилось, и вижу :

    Code:
    входящий файл
     Lines    Words  Characters Property
       -----    -----  ---------- --------
    50000000 50000000 -1887984240
    
    
    Исходящий файл
     Lines    Words  Characters Property
       -----    -----  ---------- --------
    46476995   46476996 1452478144 
    Короче очень так нехило подрезало данные.

    Автообработка входящих файлов и исходящих выключена.

    PS грешил на непечатные символы( табуляция и крякозябры )
    [​IMG]
    Получил такую ще ошибку что и в остальных случаях обработки такого документа.
     
    #413 ZloyHaKeR, 11 Aug 2020
    Last edited: 11 Aug 2020
    s9va likes this.
  14. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    904
    Likes Received:
    620
    Reputations:
    10
    Изначальный фаил в нормальной кодировке думал баг при разбивке а нет именно в обработке что то не так, ждем исправлений, не забывайте что не стоит обрабатывать свои словари сразу, вы нуждаитесь здесь в тестировании чтобы в дальнейшем пользоваться без багов, а пожертвования ет так кто захочет, господа тестируйте и сообщайте о багах очень нужна ваша помощь так как нюансов очень много
     
    CRACK211 likes this.
  15. CRACK211

    CRACK211 Well-Known Member

    Joined:
    16 Sep 2009
    Messages:
    898
    Likes Received:
    983
    Reputations:
    5
    у меня когда-то было такое. кака я понял это было из за пустых сторон в начале либо когда в строке табулатуры. вроде я делала удалить пробелы и таб. или вручную удалил первые строки а потом обрабатывал
     
    s9va likes this.
  16. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    157
    Likes Received:
    397
    Reputations:
    3
    вкл авто-обработку для вх файлов или тогда если что, то разберемся в след обнове...
    если кому интересно, быстрая сортировка по количеству символов с указанием от и до для теста

    по нулям, значит выкл
    если указать к примеру от 4 до 6 то выберет и отсортирует из вх файла все строки от 4-6 симв
    upd
    аттач удалил из-за обновы
     

    Attached Files:

    #416 s9va, 11 Aug 2020
    Last edited: 18 Aug 2020
    CRACK211 likes this.
  17. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    904
    Likes Received:
    620
    Reputations:
    10
    только что тестировал на старых версиях, проблемама в самом файле, новая версия норм пашет
     
    s9va likes this.
  18. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    904
    Likes Received:
    620
    Reputations:
    10
    все я понял кароче вес 2 гига с копейками открыло 283 метра, то есть остальной текст отсутствует
     
  19. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    116
    Likes Received:
    38
    Reputations:
    0
    Да с автообработкой все нормально ,делал разбить по разделителю .
    Вышло
    Code:
     
    Lines    Words Characters Property
       -----    ----- ---------- --------
    99999999 99999999 1462547712
    Но хочу предложить небольшое изменение в автообработке файлов . Разделить рус отдельным пунктом ибо делаю словарь не только из английских букв . Удаление не приемлимо.
    Спасибо
     
    s9va likes this.
  20. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    157
    Likes Received:
    397
    Reputations:
    3
    пздц странице, затерялась обнова на тест))
     
Loading...