tag:blogger.com,1999:blog-33594917297543731462024-03-05T02:01:19.885-08:00Python windbg extensionPykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.comBlogger29125tag:blogger.com,1999:blog-3359491729754373146.post-84014731912026746952013-01-30T03:09:00.000-08:002013-01-30T03:09:11.103-08:00Работа со стеком в Kernel Mode<div dir="ltr" style="text-align: left;" trbidi="on">
Просмотр стека, наверное, самая частая операция, которая выполняется при анализе аварийных дампов или отладке. И очень часто стека текущего потока нам мало: дедлоки, нарушение синхронизации при доступе к данным, "зависшие" операции ввода-вывода - все это приводит нас к необходимости вывести стеки всех потоков системы.
Каким командами обычно мы пользуемся:
<br /><br />
Вывод всех потоков для всех процессов:
<br />
<code>
!process 0 7
</code>
<br />
Поиск процесса и вывод стеков только для него
<br />
<code>
!process 0 0 proga.exe<br />
!process addr 7
</code>
<br />
Еще вариант:
<br />
<code>
!stacks 2
</code>
<br />
Последний вариант интересен тем, что выводит также потоки для потока с ID = 0 ( IDLE ), команда !process "IDLE" за процесс не считает :).<br />
Есть еще команда для вывода стеков активных потоков:
<br />
<code>
!running -i -t
</code>
<br />
Все варианты страдают двумя недостатками: проблемы с отображением юзермодных частей стеков ( чтобы они нормально отображались нужно переключаться в контекст конкретного процесса и получать список юзермодных модулей ); стеков много, а метод для фильтрации вывода по сути один - скопировать вывод и анализировать его какой нибудь внешней программой.
<p>
Поэтому мы решили немного упростить жизнь kernel-mode разработчиков и сделали скрипт <b>stkwalk</b>
</p>
<h2>Скрипт stkwalk
</h2>
<p>
Если вы следите за нашим проектом, то, верно, знаете, что не давно мы выпустили новую версию <b>pykd</b> - 0.2.0.16. Если не знаете, то нужно поскорей <a href="http://pykd.codeplex.com/releases/view/101110">узнать</a> и <a href="http://pykd.codeplex.com/releases/view/100321">обновить</a>, потому что это необходимо для наших дальнейших упражнений. Если вы ленивы и воспользовались для установки <b>pykd</b> автоматический инсталлятор, то вы будете вознаграждены установкой га вашу машину целой толпы очень полезных скриптов. Среди них будет и <b>stkwalk</b>. Начнем знакомство:<br />
<code>
!py stkwalk
</code><br />
Получим вывод стеков почти такой же, как выдает !process 0 0, но юзермодные части стеков выводятся более тщательно. Более того, если вы запустите скрипт на x64 системе, вы увидите также и WOW64 части стека. Польза +1.
</p>
<p>
Тут пора посмотреть, какие возможности предоставляет нам <b>stkwalk</b>. Спросим у него самого<br />
<code>
<pre>
3: kd> !py stkwalk --help
Stack walker. ver 1.0
Usage: stkwalk [options]
Options:
-h, --help show this help message and exit
-p PROCESSFILTER, --process=PROCESSFILTER
process filter: boolean expression with python syntax
-m MODULEFILTER, --module=MODULEFILTER
module filter: boolean expression with python syntax
-f FUNCFILTER, --function=FUNCFILTER
function filter: boolean expression with python syntax
-t THREADFILTER, --thread=THREADFILTER
thread filter: boolean expresion with python syntax
-u, --unique show only unique stacks
</pre>
</code>
Мы тут видим возможность фильтрации по различным параметрам, с этим мы подробнее разберемся ниже. Последняя опция позволяет выводить только уникальные стеки. Пробуем:
<code>
<pre>
3: kd> !py stkwalk -u
Stack walker. ver 1.0
Process ffffffff855a1c40
Name: System Pid: 0x4
......
Thread ffffffff855f7d48, Process: System (ffffffff855a1c40)
ffffffff82c7de06 ffffffff8db6fc1c nt!KiSwapContext+26
ffffffff82c84fa5 ffffffff8db6fc30 nt!KiSwapThread+266
ffffffff82c838a3 ffffffff8db6fc68 nt!KiCommitThreadWait+1df
ffffffff82c84afd ffffffff8db6fc90 nt!KeRemoveQueueEx+4f8
ffffffff82c84393 ffffffff8db6fcf4 nt!ExpWorkerThread+e5
ffffffff82e25ad1 ffffffff8db6fd58 nt!PspSystemThreadStartup+9e
ffffffff82cd7539 ffffffff8db6fd98 nt!KiThreadStartup+19
.......
</pre>
</code>
Если рассмотреть вывод без фильтрации мы обнаружим в нем многочисленные повторения выделенного стека. И не удивительно - это стек рабочего потока системы, ожидающего задания. Таких потоков может быть довольно много. С другой стороны, данные стеки как правило не интересны для анализа. И так, Польза +1.
</p>
<h3>Фильтрация по процессам</h3>
<p>
Рассмотрим сначала пример - вывод стеков только для процессов с определенным именем:
<code>
<pre>
3: kd> !py stkwalk -p "name=='winlogon.exe'"
Stack walker. ver 1.0
Process ffffffff88395d40
Name: winlogon.exe Pid: 0x30c
Thread ffffffff88393840, Process: winlogon.exe (ffffffff88395d40)
ffffffff82c7de06 ffffffff90ea3bd4 nt!KiSwapContext+26
ffffffff82c84fa5 ffffffff90ea3be8 nt!KiSwapThread+266
ffffffff82c838a3 ffffffff90ea3c20 nt!KiCommitThreadWait+1df
ffffffff82c7d76f ffffffff90ea3c48 nt!KeWaitForSingleObject+393
ffffffff82e48b45 ffffffff90ea3cc0 nt!NtWaitForSingleObject+c6
ffffffff82c596ea ffffffff90ea3d28 nt!KiFastCallEntry+12a
00000000771b6194 000000000006fad8 ntdll!KiFastSystemCallRet
00000000771b5b0c 000000000006fadc ntdll!NtWaitForSingleObject+c
00000000753b179c 000000000006fae0 KERNELBASE!WaitForSingleObjectEx+98
000000007699efe3 000000000006fb4c kernel32!WaitForSingleObjectExImplementation+75
000000007699ef92 000000000006fb64 kernel32!WaitForSingleObject+12
0000000000df1c9e 000000000006fb78 winlogon!SignalManagerWaitForSignal+e4
0000000000df1a50 000000000006fb98 winlogon!StateMachineRun+271
0000000000dfe343 000000000006fd54 winlogon!WlStateMachineRun+16
0000000000dfe199 000000000006fd68 winlogon!WinMain+af4
0000000000dfe479 000000000006fde8 winlogon!_initterm_e+1a1
00000000769a1154 000000000006fe78 kernel32!BaseThreadInitThunk+e
00000000771cb299 000000000006fe84 ntdll!__RtlUserThreadStart+70
00000000771cb26c 000000000006fec4 ntdll!_RtlUserThreadStart+1b
.....
</pre>
</code>
Как видим, фильтр задается с помощью ключа -p ( --process ) и последующей строки, задающей сам фильтр. В примере мы закрыли строку, задающую фильтр, в кавычки. В принципе, внешние кавычки можно было бы опустить, но тогда мы должны гарантировать отсутствие пробелов в строке ( иначе, парсер командной строки просто разобьет строку на два параметра и все сломается ). Поэтому, для внутреннего спокойствия лучше поставит кавычки. Само выражение должно быть корректно с точки зрения python. Иначе мы увидим сообщение об ошибке:
<code>
<pre>
3: kd> !py stkwalk -p name='winlogon.exe'
Stack walker. ver 1.0
Traceback (most recent call last):
File "C:\proj\pykd-0.2\Snippets\stkwalk.py", line 238, in <module>
main()
File "C:\proj\pykd-0.2\Snippets\stkwalk.py", line 231, in main
printProcess( process, processFilter, threadFilter, moduleFilter, funcFilter, printopt )
File "C:\proj\pykd-0.2\Snippets\stkwalk.py", line 147, in printProcess
if processFilter and not processFilter(process, process.UniqueProcessId, processName ):
File "C:\proj\pykd-0.2\Snippets\stkwalk.py", line 212, in <lambda>
processFilter = lambda process, pid, name: eval( options.processfilter )
File "<string>", line 1
name='winlogon.exe'
^
SyntaxError: invalid syntax
</pre>
</code>
Выражение должно вернуть булевский результат. В нем могут использоваться следующие переменные:
<ul>
<li>name - имя процесса</li>
<li>pid- PID процесса</li>
<li>process - объект типа typedVar( "nt!_EPROCESS", addr )</li>
</ul>
Кроме того, может задавать маски через <b>fnmatch</b>. Все это лучше показать на примерах:
<code>
<pre>
3: kd> !py stkwalk -p fnmatch(name,'winlogon.*')
3: kd> !py stkwalk -p "pid>100 and pid<1000"
3: kd> !py stkwalk -p "process.Win32Process==0"
</pre>
</code>
</p>
<h3>Фильтрация по модулям</h3>
Разобравшись с фильтрацией по процессам, перейдем к фильтрации по модулям. Фильтрация по модулю задается с помощью ключа <b>--module</b> или, сокращенно, <b>-m</b>. В качестве параметра выступает также логическое выражение, удовлетворяющее синтаксису Python. В выражении можно использовать:
<ul>
<li>name - имя модуля</li>
<li>module - объект типа module</li>
</ul>
Несколько примеров:
<code>
<pre>
0: kd> !py stkwalk -m fnmatch(name,'HTTP*')
0: kd> !py stkwalk -m "module.checksum()==0x8d29e"
0: kd> !py stkwalk -m "name=='HTTP' or name=='tcpip'"
</pre>
</code>
</p>
<h3>Фильтрация по функциям</h3>
<p>
Для задания фильтра по функциям служит ключ <b>--function</b>, <b>-m</b>. В выражении, задающем предикат фильтра, можно использовать переменную <b>name</b> - имя функции.
<code>
<pre>
0: kd> !py stkwalk -f fnmatch(name,'*WaitFor*')
</pre>
</code>
</p>
<h3>Фильтрация по потокам</h3>
<p>
Для задания фильтра по функциям служит ключ <b>--thread</b>, <b>-t</b>. В выражении, задающем предикат фильтра, можно использовать:
<ul>
<li>tid- идентификатор потока</li>
<li>thread- объект типа typedVar("nt!_KTHREAD", AddressOfThread )</li>
</ul>
<code>
<pre>
0: kd> !py stkwalk -t tid<0xF
</pre>
</code>
</p>
<h3>FAQ</h3>
<p>
<b>Q:</b> У меня нет никакого stkwalk.py. Где его, черт возьми, искать?</br>
<b>A:</b> Попробуйте скачать скрипт вручную <a href="https://pykd.svn.codeplex.com/svn/branch/0.2.x/snippets/stkwalk.py">здесь</a></br>
<b>Q:</b> Какого хрена, ничего не работает!</br>
<b>A:</b> Убедитесь, что в находитесь в режиме отладки ядра.</br>
</p>
<h2>Скрипт stkdelta</h2>
<p>
При разработке сложных драйверов, таких как фильтры файловых систем, разработчики порой сталкиваются с ситуацией нехватки стека режима ядра. Для анализа потребления стека мы разработали этот маленький скрипт. Он может выводить информацию о потреблении стека каждым вызовом функции или суммарное потребление:
<code>
<pre>
0: kd> !py stkdelta
Stack Base: ffffffff9f387fd0 Limit: ffffffff9f385000 Current: ffffffff9f387754 Used: 87c Unused: 2754
Stack Delta: Function:
56 nt!KiSwapThread
40 nt!KiCommitThreadWait
380 nt!KeWaitForMultipleObjects
652 nt!ObpWaitForMultipleObjects
336 nt!NtWaitForMultipleObjects
0 nt!KiFastCallEntry
-18446744072066663752 ntdll!KiFastSystemCallRet
4 ntdll!ZwWaitForMultipleObjects
156 KERNELBASE!WaitForMultipleObjectsEx
72 kernel32!WaitForMultipleObjectsExImplementation
28 kernel32!WaitForMultipleObjects
36 mpengine!FreeSigFiles
76 mpengine!GetSigFiles
12 mpengine!GetSigFiles
56 msvcrt!_endthreadex
8 msvcrt!_endthreadex
12 kernel32!BaseThreadInitThunk
64 ntdll!__RtlUserThreadStart
24 ntdll!_RtlUserThreadStart
0: kd> !py stkdelta stat
Stack Base: ffffffff9f387fd0 Limit: ffffffff9f385000 Current: ffffffff9f387754 Used: 87c Unused: 2754
Stack usage: Module:
==============================
1464(%11) nt
156 (%1) KERNELBASE
124 (%1) mpengine
112 (%0) kernel32
92 (%0) ntdll
64 (%0) msvcrt
Stack usage: Function
==============================
652 (%5) nt!ObpWaitForMultipleObjects
380 (%3) nt!KeWaitForMultipleObjects
336 (%2) nt!NtWaitForMultipleObjects
156 (%1) KERNELBASE!WaitForMultipleObjectsEx
88 (%0) mpengine!GetSigFiles
72 (%0) kernel32!WaitForMultipleObjectsExImplementation
64 (%0) ntdll!__RtlUserThreadStart
64 (%0) msvcrt!_endthreadex
56 (%0) nt!KiSwapThread
40 (%0) nt!KiCommitThreadWait
36 (%0) mpengine!FreeSigFiles
28 (%0) kernel32!WaitForMultipleObjects
24 (%0) ntdll!_RtlUserThreadStart
12 (%0) kernel32!BaseThreadInitThunk
4 (%0) ntdll!ZwWaitForMultipleObjects
</pre>
</code>
</p>
</div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-28863889312475066072013-01-14T23:16:00.000-08:002013-01-14T23:16:09.334-08:00Release 0.2.0.14<div dir="ltr" style="text-align: left;" trbidi="on">
<p>
Почти год прошел с момента прошлого релиза ( май 2012 ). Но мы не сидели сложа руки. Все это время мы напряженно работали над новой версией <b>pykd</b> - 0.2.x. В этой версии мы полностью переработали архитектуру. И хотя, возможно, список изменений и нововведений не покажется впечатляющим, но внутреннее устройство претерпело кардинальные изменения. Результат на наш взгляд крайне положительный: <b>pykd</b> стал быстрее и стабильнее, заложены архитектурные решения, которые позволят развивать проект дальше.
</p>
<p>
Скачать новую версию можно <a href="http://pykd.codeplex.com/releases/view/100321">здесь</a>. Обратите внимание: появились инсталляторы с поддержкой python 2.7. Рекомендуем именно эту версию.
</p>
<p>
Начнем обзор нововведений:
</p>
<p>
<b>CTRL+BREAK</b></br>
При работе в windbg зависший скрипт теперь можно остановить с помощью комбинации клавиш
CTRL+BREAK. Отлаживать скрипты стало удобнее.
</p>
<p>
<b>Функция writeDump</b></br>
Создает файл креш-дампа
</p>
<p>
<b><del>loadModule</del></b></br>
Данная функции была удалена из API. Вместо нее нужно пользоваться конструктором класса <b>module</b>.
</p>
<p>
<b>Новые методы класса module:</b></br>
<i>enumSymbols</i> - возвращает список отладочных символов для данного модуля</br>
<i>getVersion</i> - возвращает версию модуля ( из ресурсов )</br>
<i>queryVersion</i> - возвращает дополнительные параметры версии модуля ( например, copyright ) из ресурсов</br>
</p>
<p>
<b>Новые функции для работы с памятью:</b></br>
<i>getVaProtect</i> - возвращает атрибуты защиты страницы виртуальной памяти</br>
<i>findMemoryRegion</i> - поиск непрерывного региона виртуальной памяти</br>
</p>
<p>
<b>Класс typeBuilder</b></br>
Вспомогательный класс для создания собственных типов.
</p>
<p>
<b>Отладочные события</b></br>
Функции обратного вызова, используемые для обработки отладочных событий теперь должны возвращать другие значения:</br>
<i>Proceed</i> - продолжить выполнение</br>
<i>NoChange</i> - не менять статус отладчика ( имеет смысл при наличии нескольких обработчиков )</br>
<i>Break</i> - остановить отладчик.</br>
Также можно вернуть:</br>
<i>True</i> - остановить отладчик</br>
<i>False</i> - не менять статус отладчика</br>
</p>
<p>
<b>Новые методы класса typeInfo</b><br>
<i>ptrTo</i> - создает новый экземпляр класса typeInfo - указатель на оригинальный тип</br>
<i>arrayOf</i> - создает новый экземпляр класса typeInfo - массив элементов оригинального типа и указанного размера</br>
</p>
<p>
<b>Доступ к полям по указателю на структуру</b></br>
Раньше необходимо было выполнить разыменование указателя:</br>
<i>print structPtr.deref().structField</i></br>
Теперь можно опустить вызов deref():</br>
<i>print structPtr.structField</i></br>
</p>
<p>
<b>Функция getStackTraceWow64</b></br>
Возвращает WOW64 часть стека
</p>
<p>
<b>Функция getProcessThreads</b></br>
Возвращает список потоков для отлаживаемого процесса ( только для User Mode ).
</p>
<p>
Вот такой краткий список изменений.</br>За более подробной информацией обращаемся сюда:</br>
<a href="http://pykd.codeplex.com/wikipage?title=PYKD%200.2.%20%D0%A0%D1%83%D0%BA%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8F.&referringTitle=Documentation">Руководство пользователя</a></br>
<a href="http://pykd.codeplex.com/wikipage?title=PYKD%200.2.%20Tutorial&referringTitle=Documentation">Руководство для начинающих</a></br>
<a href="http://pykd.codeplex.com/wikipage?title=PYKD%200.2.%20API%20Reference&referringTitle=Documentation">Справочник по API</a></br>
Если кому то документация кажется неполной/неправильной/не подробной - пожалуйста, сообщите нам. А лучше, помогите исправить! Так же очень нужен качественный перевод на английский язык.
</p>
<p>
Что будет дальше?
Во-первых, в ближайшее время мы планируем опубликовать несколько новых статей, касающихся новых возможностей <b>pykd</b>. Читайте наш блог, следите за нами в Twitter.
Во-вторых, разработка не оканчивается, в ближайшее время будут выпущены версии 0.2.0.15, 16, ... с исправлениями ошибок и незначительными доработками.
В-третьих после выполнения всех задач по доработкам 0.2.x будет начата работа над 0.3.x.
</p>
<p>
На сегодня - все. Как всегда, большое спасибо нашим пользователям! Ждем от вас комментариев, замечаний и предложений! И громадное спасибо нашим разработчикам!!!
</p>
</div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-55106581416886175902012-06-08T08:13:00.001-07:002012-06-08T08:13:44.018-07:00IOCTL декодер<div dir="ltr" style="text-align: left;" trbidi="on">
Бывает нужно из IOCTL извлечь номер функции или определить буферизированный запрос или нет. Есть вот <a href="http://www.osronline.com/article.cfm?article=229">такой онлайн декодер </a>. Мы написали аналогичный по функциональности скрипт для windbg.<br />
Пользоваться просто:
<pre>
2: kd> !py ctlcode 0x1401c8
Device type: FILE_DEVICE_NETWORK_FILE_SYSTEM Function: 0x72(114) Method: BUFFERED Access: FILE_ANY_ACCESS
</pre>
Взять можно <a href="https://pykd.svn.codeplex.com/svn/branch/0.1.x/snippets/ctlcode.py">здесь</a>.
<br /></div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-63301147027288784902012-06-01T03:56:00.000-07:002012-06-01T03:56:26.961-07:00Отладка WFP callout драйверов<div dir="ltr" style="text-align: left;" trbidi="on">
<p>
Начиная с Windows Vista MS упорно продвигает свой фреймворк WFP ( Windows Filtering Platform ). В предверии Windows 8 Microsoft еще более закручивают гайки: теперь продукт не может получить логотип о совместимоcти с Windows 8, если он содержит TDI или LSP фильтры. Между нами, скажу по секрету шепотом свое мнение: WFP - это полное говно, писать на нем определенные вещи крайне неудобно. Но это все эмоции, говно - не говно, отлаживать драйвера надо. Кто знаком с WFP, тот помнит, что там все делает через одно место, а именно через функцию <a href="http://msdn.microsoft.com/en-us/library/windows/hardware/ff544887%28v=vs.85%29.aspx">classsifyFn</a>. В зависимости от версии WFP, эта функция может имееть разные сигнатуры, но в любом случае, они содержат параметеры <b><i>inFixedValues</i></b> и <b><i>inMetaValues</i></b> в которых, собственно, и содержится вся информация о сетевом событии. И конечно, при отладке хочется посмотреть, что содержат эти переменные. Но это не так просто, <b><i>inFixedValues</i></b> - это массив переменной длины, а в <b><i>inMetaValues</i></b> доступность полей регулируется флагами. Поэтому, я решил написать python скрипт, который будет выводить эту информацию.
</p>
<p>
Сам скрипт можно взять здесь: <a href="https://pykd.svn.codeplex.com/svn/branch/0.1.x/snippets/wfp.py">wfp.py download</a>.<br />
Использовать его довольно просто: Ставим брейкпойнт на интересующей нас ф. classifyFn. При срабатывании брейкпойнта, вводим команду:
!py wfp /fixed poi(inFixedValues). <br />
Примерный вывод команды:
<pre>
FWPS_INCOMING_VALUES0:
Layer: FWPS_LAYER_STREAM_V4
Value: 7
FWPS_FIELD_STREAM_V4_IP_LOCAL_ADDRESS
Type: FWP_UINT32
Value: 0xaf4087c
FWPS_FIELD_STREAM_V4_IP_LOCAL_ADDRESS_TYPE
Type: FWP_UINT8
Value: 0x1
FWPS_FIELD_STREAM_V4_IP_REMOTE_ADDRESS
Type: FWP_UINT32
Value: 0x40040b19
FWPS_FIELD_STREAM_V4_IP_LOCAL_PORT
Type: FWP_UINT16
Value: 0xc02b
FWPS_FIELD_STREAM_V4_IP_REMOTE_PORT
Type: FWP_UINT16
Value: 0x50
FWPS_FIELD_STREAM_V4_DIRECTION
Type: FWP_UINT32
Value: 0x0
FWPS_FIELD_STREAM_V4_FLAGS
Type: FWP_UINT32
Value: 0x0
</pre>
Для 64 битной платформы, потребуется указать регистр rcx ( именно через него передается inFixedValues ):<br />
!py wfp /fixed @rcx. <br />
Для вывода метаинформации следует использовать команду:<br />
!py wfp /meta poi(inMetaValues)
<pre>
FWPS_INCOMING_METADATA_VALUES0:
FWPS_METADATA_FIELD_FLOW_HANDLE: 0x210
FWPS_METADATA_FIELD_SYSTEM_FLAGS: 0x1
</pre>
</p>
<p>
Теперь на примере данного скрипта рассмотрим некоторые приемы написания скрипта для <b>pykd</b>. Первым делом, нам нужно получить доступ к полям переменной inFixedValues. Это делается так:
<pre>
inFixedValue = typedVar( "FWPS_INCOMING_VALUES0_", addr )
dprintln( " Layer: " + fwpsLayer[ inFixedValue.layerId ] )
dprintln( " Value: %d" % inFixedValue.valueCount )
</pre>
Класс <b>typedVar</b> позволяет осуществить удобный доступ к полям стурктур - просто как к аттрибутам. Именно так выводится количество записей в массиве:
<pre>
dprintln( " Value: %d" % inFixedValue.valueCount )
</pre>
Поле inFixedValue.layerId содержит численный идентификатор уровня фильтрации. Но мы хотим получить его символьное представление, которое задается энумератором FWPS_BUILTIN_LAYERS_. И тут нам приходит на помощь новый функционал <b>pykd</b> версии 0.1.x:
<pre>
fwpsLayer = typeInfo( "FWPS_BUILTIN_LAYERS_" ).asMap()
</pre>
Вызов typeInfo( "FWPS_BUILTIN_LAYERS_" ) возвращает информацию о типе FWPS_BUILTIN_LAYERS_. А метод asMap() конвертирует его в словарь вида: { число : "имя" }. Таким образом, зная идентификатор уровня фильтрации мы легко конвертируем его в символьное представление:
<pre>
dprintln( " Layer: " + fwpsLayer[ inFixedValue.layerId ] )
</pre>
Теперь нам необходимо вывести информацию о каждом элементе массива inFixedValue.incomingValue. Это можно было бы сделать с помощью цикла:
<pre>
values = []
for i in range( 0, inFixedValue.valueCount ):
values.append( typedVar( "FWPS_INCOMING_VALUE0_", inFixedValue.incommingValue + typeInfo("FWPS_INCOMING_VALUE0_").size() * i ).value )
</pre>
Но есть способ гораздо проще, через специальный метод для работы с массивами:
<pre>
values = [ x.value for x in typedVarArray( inFixedValue.incomingValue, "FWPS_INCOMING_VALUE0_", inFixedValue.valueCount ) ]
</pre>
<b>typedVarArray</b> возвращает список переменных типа <b>typedVar</b> с inFixedValue.valueCount элементов и начинающийся с адреса inFixedValue.incomingValue. Далее мы используем генератор списков, чтобы трансформировать список.
</p>
Ну вот, собственно и все. Надеюсь данный скрипт будет полезен в работе и в качестве примера работы c <b>pykd</b>.
<br/></div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-68741630917878352882012-05-30T00:58:00.000-07:002012-05-30T00:58:15.674-07:00Release 0.1.0.14<div dir="ltr" style="text-align: left;" trbidi="on">
<p>
Доброго всем дня!
Новая ветка <b>pykd</b> 0.1.x переведена в публичный статус. Релиз 0.1.0.14 рекомендован для использования.
Страница загрузки: <a href="http://pykd.codeplex.com/releases/view/88225">Pykd 0.1.0.14</a>
</p>
<h4>Основные отличия от предыдущей ветки 0.0.x:</h4>
<p>
1. Для доступа к символьной информации используется библиотека MS DIA. Это позволило нам реализовать то, что не получалось сделать через Debug Engine:
Доступ к битовым полям;
Работа с многомерными массивами;
Работа с энумераторами.
</p>
<p>
2. Новый класс dbgClient позволяет работать одновременно с несколькими отладочными сессиями.
</p>
<p>
3. Команда !pycmd реализует полноценную python консоль
</p>
<p>
4. Улучшена работа с классами исключений
</p>
<p>
5. Исправлено множество багов, написано более 200 тестов, покрывающих практически весь функционал.
</p>
<p>
6. Наконец то написано ( пока с некоторыми пробелами ) <a href="http://pykd.codeplex.com/wikipage?title=PYKD%200.1.%20%D0%A0%D1%83%D0%BA%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8F.&referringTitle=Documentation">руководство пользователя</a>
</p>
<p>
<b>Внимание:</b>
API претерпел небольшие изменения, так что, возможно, придется переписать некоторые скрипты. Но изменения в API небольшие и портирование скриптов на <b>pykd</b> 0.1.x не должно отнять много времени. Кроме того, часть функционала пока не реализована ( в основном, это касается создания собственных типов через интерфейс класса typeInfo ). В следующих релизах мы обязательно восполним все пробелы.
</p>
<p>
Большое спасибо всем, кто использует наш продукт! Как всегда, мы будем очень рады любым отзывам, предложениям и, особенно, указанием на наши ошибки.
</p>
<p>
Большое спасибо всем участникам проекта, трудившимся над веткой 0.1.x! Работа длилась почти целый год. За это время код был серьезно модифицирован, существенная часть его была переписана заново. Надеемся, пользователи оценят наши усилия.
</p>
<br /></div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-32069984004932633342012-02-06T00:24:00.000-08:002012-02-06T00:24:37.570-08:00Обработка исключений в Boost.Python<div dir="ltr" style="text-align: left;" trbidi="on">Мы в нашем проекте стараемся использовать исключения для сигнализации об ошибках. Почему? Причин несколько: удобно при отладке - если что-то пошло не так, мы сразу видим где и что произошло и можем перейти непосредственно к исправлению ошибки не теряя времени на отладку; пользователю приходится быть более дисциплинированным - ведь исключение нельзя проигнорировать, в отличие от проверки возвращаемого значения; удобно при разработке - вместо прокидывания кода ошибки через все функции, мы просто кидаем исключение, которое к тому же может быть гораздо информативнее. В результате, мы верим, что весь комплекс pykd + скрипт становится надежным инструментом.<br />
<br />
Но разберемся, как же исключения попадают из С++ кода, написанного с помощью Boost::Python в виртуальную машину Python? Будем двигаться итеративно.<br />
<br />
<h3>Итерация 0: Генерируем python исключение</h3>Сгенерировать исключение в ВМ python просто. Для этого служит функция <b><i>PyErr_SetString</i></b>. В нее нужно передать указатель на тип исключения и сторку с описанием ошибки. Например так:<br />
<pre style="background: #ffffff; color: black;">PyErr_SetString<span style="color: #808030;">(</span> PyExc_IndexError<span style="color: #808030;">,</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">Index out of range</span><span style="color: maroon;">"</span> <span style="color: #808030;">)</span><span style="color: purple;">;</span>
</pre>Не очень то удобно использовать эту конструкцию внтури С++ кода. Хотелось бы кидать С++ исключение и чтобы оно волшебным образом превращалось в python исключение. К счастью, boost::python предоставляет эту возможность.<br />
<br />
<h3>Итерация 1: транслируем исключение из C++ в python</h3>В общем все довольно просто. Любое исключение, возникшее во время выполнения python программы внутри модуля, использующего boost::python отлавливается. Существует механизм, с помощью которого можно поучаствовать в обработке такого исключения. Для этого необходимо зарегистрировать функцию-транслятор с помощью вызова register_exception_translator. Вот как это делается:<br />
<br />
<pre style="background: #ffffff; color: black;"><span style="color: dimgrey;">// класс исключения, для использования в C++ коде</span>
class PyException <span style="color: purple;">:</span> public std<span style="color: purple;">::</span>exception
<span style="color: purple;">{</span>
<span style="color: #e34adc;">public:</span>
PyException<span style="color: #808030;">(</span> PyObject<span style="color: #808030;">*</span> pyObj<span style="color: #808030;">,</span> <span style="color: maroon; font-weight: bold;">const</span> std<span style="color: purple;">::</span>string <span style="color: #808030;">&</span>desc <span style="color: #808030;">)</span> <span style="color: purple;">:</span>
std<span style="color: purple;">::</span>exception<span style="color: #808030;">(</span> desc<span style="color: #808030;">.</span>c_str<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span><span style="color: #808030;">,</span>
m_typeObj<span style="color: #808030;">(</span> pyObj <span style="color: #808030;">)</span>
<span style="color: purple;">{</span><span style="color: purple;">}</span>
<span style="color: maroon; font-weight: bold;">static</span>
<span style="color: maroon; font-weight: bold;">void</span>
exceptionTranslate<span style="color: #808030;">(</span><span style="color: maroon; font-weight: bold;">const</span> PyException <span style="color: #808030;">&</span>e <span style="color: #808030;">)</span> <span style="color: purple;">{</span>
PyErr_SetString<span style="color: #808030;">(</span> e<span style="color: #808030;">.</span>m_typeObj<span style="color: #808030;">,</span> e<span style="color: #808030;">.</span>what<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
<span style="color: #e34adc;">private:</span>
PyObject<span style="color: #808030;">*</span> m_typeObj<span style="color: purple;">;</span>
<span style="color: purple;">}</span><span style="color: purple;">;</span>
<span style="color: maroon; font-weight: bold;">void</span> myFunc<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: purple;">{</span>
throw PyException<span style="color: #808030;">(</span> PyExc_IndexError<span style="color: #808030;">,</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">Index out of range</span><span style="color: maroon;">"</span> <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
BOOST_PYTHON_MODULE<span style="color: #808030;">(</span> my_module <span style="color: #808030;">)</span>
<span style="color: purple;">{</span>
<span style="color: dimgrey;">// регистрируем транслятор</span>
boost<span style="color: purple;">::</span>python<span style="color: purple;">::</span>register_exception_translator<span style="color: #808030;"><</span>PyException<span style="color: #808030;">></span><span style="color: #808030;">(</span> <span style="color: #808030;">&</span>PyException<span style="color: purple;">::</span>exceptionTranslate <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: dimgrey;">// функция, вызываемая из python программы</span>
boost<span style="color: purple;">::</span>python<span style="color: purple;">::</span>def<span style="color: #808030;">(</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">myFunc</span><span style="color: maroon;">"</span><span style="color: #808030;">,</span> <span style="color: #808030;">&</span>myFunc <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
</pre><br />
Прекрасно, генерировать исключения python теперь удобно. Но я хочу использовать собственный тип исключений. Возможно ли это? В общем да...<br />
<br />
<h3>Итерация 2: Использование собственного типа исключений.</h3><br />
Идея простая. Boost::python дает возможность импортировать типы в python программу. Наш план таков: импортируем тип в python, регистрируем функцию-транслятор С++ исключения и в коде функции-трансялтора используем наш тип исключения, который мы ранее импортировали ( и запомнили! ) в python. <br />
<pre style="background: #ffffff; color: black;"><span style="color: dimgrey;">// класс исключения, для использования в C++ коде</span>
class MyException <span style="color: purple;">:</span> public std<span style="color: purple;">::</span>exception
<span style="color: purple;">{</span>
<span style="color: #e34adc;">public:</span>
MyException <span style="color: #808030;">(</span> <span style="color: maroon; font-weight: bold;">const</span> std<span style="color: purple;">::</span>string <span style="color: #808030;">&</span>desc <span style="color: #808030;">)</span> <span style="color: purple;">:</span>
std<span style="color: purple;">::</span>exception<span style="color: #808030;">(</span> desc<span style="color: #808030;">.</span>c_str<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span>
<span style="color: purple;">{</span><span style="color: purple;">}</span>
<span style="color: maroon; font-weight: bold;">static</span> <span style="color: maroon; font-weight: bold;">void</span> setTypeObject<span style="color: #808030;">(</span>PyObject <span style="color: #808030;">*</span>p<span style="color: #808030;">)</span> <span style="color: purple;">{</span>
exceptTypeObject <span style="color: #808030;">=</span> p<span style="color: purple;">;</span>
python<span style="color: purple;">::</span>register_exception_translator<span style="color: #808030;"><</span>MyException<span style="color: #808030;">></span><span style="color: #808030;">(</span> <span style="color: #808030;">&</span>exceptionTranslate <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
<span style="color: #e34adc;">private:</span>
<span style="color: maroon; font-weight: bold;">static</span> PyObject <span style="color: #808030;">*</span>exceptTypeObject<span style="color: purple;">;</span>
<span style="color: maroon; font-weight: bold;">static</span>
<span style="color: maroon; font-weight: bold;">void</span>
exceptionTranslate<span style="color: #808030;">(</span><span style="color: maroon; font-weight: bold;">const</span> MyException <span style="color: #808030;">&</span>e <span style="color: #808030;">)</span> <span style="color: purple;">{</span>
boost<span style="color: purple;">::</span>python<span style="color: purple;">::</span>object pyExcept<span style="color: #808030;">(</span>e<span style="color: #808030;">)</span><span style="color: purple;">;</span>
PyErr_SetObject<span style="color: #808030;">(</span> exceptTypeObject <span style="color: #808030;">,</span> pyExcept<span style="color: #808030;">.</span>ptr<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
<span style="color: purple;">}</span><span style="color: purple;">;</span>
<span style="color: maroon; font-weight: bold;">void</span> myFunc<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: purple;">{</span>
throw MyException<span style="color: #808030;">(</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">Something's wrong</span><span style="color: maroon;">"</span> <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
BOOST_PYTHON_MODULE<span style="color: #808030;">(</span> my_module <span style="color: #808030;">)</span>
<span style="color: purple;">{</span>
<span style="color: dimgrey;">// функция, вызываемая из python программы</span>
boost<span style="color: purple;">::</span>python<span style="color: purple;">::</span>def<span style="color: #808030;">(</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">myFunc</span><span style="color: maroon;">"</span><span style="color: #808030;">,</span> <span style="color: #808030;">&</span>myFunc <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: dimgrey;">// регистрирем тип исключения и его транслятор</span>
MyException<span style="color: purple;">::</span>setTypeObject<span style="color: #808030;">(</span>
boost<span style="color: purple;">::</span>python<span style="color: purple;">::</span>class_<span style="color: #808030;"><</span>MyException<span style="color: #808030;">></span><span style="color: #808030;">(</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">MyException</span><span style="color: maroon;">"</span><span style="color: #808030;">,</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">MyException error</span><span style="color: maroon;">"</span> <span style="color: #808030;">)</span><span style="color: #808030;">.</span>ptr<span style="color: #808030;">(</span><span style="color: #808030;">)</span>
<span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
</pre><br />
Вот на этом мы могли бы остановиться. Могли бы, если бы мир был совершенен. На самом деле, после чуть более тщательного тестирования, мы приходим к заключению, что работают наши исключения не совсем верно. А именно:<br />
не работает инструкция raise MyException - вместо генерации исключения обозначенного типа генерирует питоновское исключение, общий смысл которого в двух словах сводится к тому, что тип MyException не пригоден для генерации исключений. Вторая проблема заключается в том, что при попытке сделать иерархию исключений мы сталкиваемся с тем, что неверно работает фильтрация исключений, а именно: инструкция except BaseException не ловит исключения дочерних типов. Короче говоря, имплементация наших исключений весьма далека не только от идеала, но и просто от обычных python исключений. Будем разбираться.<br />
<br />
<h3>Итерация 3: разбираемся</h3>Изучив внимательно текст ошибки при попытке возбудить исключение raise MyExceptionException. Кроме того, тут надо сделать небольшой ( самостоятельный ;) ) экскурс в анатомию питонов и изучить вопрос о типах и метатипах. Если в двух словах, то тип в питоне - это такой же объект и ,соответственно, может быть динамически создан вызовом конструктора у некого типа. Вот этот "некий" тип и является метатипом. Покопавшись внутрях boost::python можно придти к заключению, что все типы, которые он импортирует, создаются через один и тот же метаттип. В итоге наш MyException имеет метатип такой же, как и другие типы, импортированные из boost::python. И он не имеет родственных связей с типами питоновских исключений. А это негативно влияет на обработку исключений питоном. Наш дальнейший план каким-то образом унаследовать MyException от питоновского типа Exception. Как же это сделать то????<br />
<br />
<h3>Итерация 4: Как же это сделать то????</h3>Делать то нечего, приходится отказаться от регистрации типов исключений через бустовый class_. Подсмотрев в его исходники, находим место, где создается новый питоновский тип и переписываем его примерно так:<br />
<br />
<pre style="background: #ffffff; color: black;"><span style="color: maroon; font-weight: bold;">using</span> boost<span style="color: purple;">::</span>python<span style="color: purple;">;</span>
<span style="color: dimgrey;">// Базовым типом у нас будет PyExc_Exception</span>
handle<span style="color: purple;"><</span><span style="color: purple;">></span> basedtype <span style="color: #808030;">=</span> handle<span style="color: purple;"><</span><span style="color: purple;">></span><span style="color: #808030;">(</span>PyExc_Exception<span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: dimgrey;">// Всякий объект в питоне имеет свой список свойств</span>
dict ob_dict<span style="color: purple;">;</span>
ob_dict<span style="color: #808030;">[</span><span style="color: maroon;">"</span><span style="color: #0000e6;">__doc__</span><span style="color: maroon;">"</span><span style="color: #808030;">]</span> <span style="color: #808030;">=</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">MyException</span><span style="color: maroon;">"</span>
<span style="color: dimgrey;">// Объект в питоне кстате может иметь много пап. Но у нас будет один - самый лучший! </span>
tuple ob_bases <span style="color: #808030;">=</span> make_tuple<span style="color: #808030;">(</span> basedtype <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: dimgrey;">// Вот тут весь оргазм: </span>
<span style="color: dimgrey;">// Py_TYPE(basedtype.get()) - вернет нам тип от объекта PyExc_Exception. Тип типа - это метатип, мы это выясняли</span>
<span style="color: dimgrey;">// object( boost::python::handle<>(Py_TYPE(basedtype.get()) ) ) - это будет у нас объект меаттипа</span>
<span style="color: dimgrey;">// Что такоей вызов SomeType( a, b, c) ? - это конструирование объекта этого типа</span>
<span style="color: dimgrey;">// Теперь собираем пазл во-едино: мы создаем новый тип, который имеет такой же метатип как и PyExc_Exception</span>
<span style="color: dimgrey;">// и является наследником PyExc_Exception</span>
object ob <span style="color: #808030;">=</span> object<span style="color: #808030;">(</span> boost<span style="color: purple;">::</span>python<span style="color: purple;">::</span>handle<span style="color: purple;"><</span><span style="color: purple;">></span><span style="color: #808030;">(</span>Py_TYPE<span style="color: #808030;">(</span>basedtype<span style="color: #808030;">.</span>get<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span> <span style="color: #808030;">)</span><span style="color: #808030;">(</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">MyException</span><span style="color: maroon;">"</span><span style="color: #808030;">,</span> ob_bases<span style="color: #808030;">,</span> ob_dict <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: dimgrey;">// остается пристроить новорожденного в приличное место, а именно в скоуп модуля</span>
scope<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">.</span>attr<span style="color: #808030;">(</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">MyException</span><span style="color: maroon;">"</span> <span style="color: #808030;">)</span> <span style="color: #808030;">=</span> ob<span style="color: purple;">;</span>
</pre><br />
Теперь остается привести все в божеский вид.<br />
<br />
<h3>Итерация 5: божеский вид</h3>Для приведения в божеский вид нам надо написать какой то шаблон, по своим функциям хоть чуть-чуть напоминающий class_. Как минимум, хочется наследования, пусть даже не множественного. В результате, родился такой вот шаблон. Он далек от изящества к сожалению, но у него доброе сердце )).<br />
<br />
<pre style="background: #ffffff; color: black;"><span style="color: maroon; font-weight: bold;">template</span><span style="color: purple;"><</span> <span style="color: maroon; font-weight: bold;">class</span> TExcept <span style="color: purple;">></span>
<span style="color: maroon; font-weight: bold;">struct</span> exceptPyType<span style="color: purple;">{</span>
<span style="color: maroon; font-weight: bold;">static</span> python<span style="color: purple;">::</span>handle<span style="color: purple;"><</span><span style="color: purple;">></span> pyExceptType<span style="color: purple;">;</span>
<span style="color: purple;">}</span><span style="color: purple;">;</span>
<span style="color: maroon; font-weight: bold;">template</span><span style="color: purple;"><</span> <span style="color: maroon; font-weight: bold;">class</span> TExcept<span style="color: #808030;">,</span> <span style="color: maroon; font-weight: bold;">class</span> TBaseExcept <span style="color: #808030;">=</span> python<span style="color: purple;">::</span>detail<span style="color: purple;">::</span>not_specified <span style="color: purple;">></span>
<span style="color: maroon; font-weight: bold;">class</span> <span style="color: #603000;">exception</span> <span style="color: purple;">{</span>
<span style="color: maroon; font-weight: bold;">public</span><span style="color: #e34adc;">:</span>
<span style="color: #603000;">exception</span><span style="color: #808030;">(</span> <span style="color: maroon; font-weight: bold;">const</span> <span style="color: #666616;">std</span><span style="color: purple;">::</span><span style="color: #603000;">string</span><span style="color: #808030;">&</span> className<span style="color: #808030;">,</span> <span style="color: maroon; font-weight: bold;">const</span> <span style="color: #666616;">std</span><span style="color: purple;">::</span><span style="color: #603000;">string</span><span style="color: #808030;">&</span> classDesc <span style="color: #808030;">)</span>
<span style="color: purple;">{</span>
python<span style="color: purple;">::</span>handle<span style="color: purple;"><</span><span style="color: purple;">></span> basedtype<span style="color: purple;">;</span>
<span style="color: maroon; font-weight: bold;">if</span> <span style="color: #808030;">(</span> boost<span style="color: purple;">::</span>is_same<span style="color: purple;"><</span>TBaseExcept<span style="color: #808030;">,</span> python<span style="color: purple;">::</span>detail<span style="color: purple;">::</span>not_specified<span style="color: purple;">></span><span style="color: purple;">::</span>value <span style="color: #808030;">)</span>
<span style="color: purple;">{</span>
basedtype <span style="color: #808030;">=</span> python<span style="color: purple;">::</span>handle<span style="color: purple;"><</span><span style="color: purple;">></span><span style="color: #808030;">(</span>PyExc_Exception<span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
<span style="color: maroon; font-weight: bold;">else</span>
<span style="color: purple;">{</span>
basedtype <span style="color: #808030;">=</span> exceptPyType<span style="color: purple;"><</span>TBaseExcept<span style="color: purple;">></span><span style="color: purple;">::</span>pyExceptType<span style="color: purple;">;</span>
<span style="color: purple;">}</span>
python<span style="color: purple;">::</span>dict ob_dict<span style="color: purple;">;</span>
ob_dict<span style="color: #808030;">[</span><span style="color: maroon;">"</span><span style="color: #0000e6;">__doc__</span><span style="color: maroon;">"</span><span style="color: #808030;">]</span> <span style="color: #808030;">=</span> classDesc<span style="color: purple;">;</span>
python<span style="color: purple;">::</span>tuple ob_bases <span style="color: #808030;">=</span> python<span style="color: purple;">::</span>make_tuple<span style="color: #808030;">(</span> basedtype <span style="color: #808030;">)</span><span style="color: purple;">;</span>
python<span style="color: purple;">::</span>object ob <span style="color: #808030;">=</span> python<span style="color: purple;">::</span>object<span style="color: #808030;">(</span> python<span style="color: purple;">::</span>handle<span style="color: purple;"><</span><span style="color: purple;">></span><span style="color: #808030;">(</span>Py_TYPE<span style="color: #808030;">(</span>basedtype<span style="color: #808030;">.</span>get<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span> <span style="color: #808030;">)</span><span style="color: #808030;">(</span> className<span style="color: #808030;">,</span> ob_bases<span style="color: #808030;">,</span> ob_dict <span style="color: #808030;">)</span><span style="color: purple;">;</span>
python<span style="color: purple;">::</span>scope<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">.</span>attr<span style="color: #808030;">(</span> className<span style="color: #808030;">.</span>c_str<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span> <span style="color: #808030;">=</span> ob<span style="color: purple;">;</span>
exceptPyType<span style="color: purple;"><</span>TExcept<span style="color: purple;">></span><span style="color: purple;">::</span>pyExceptType <span style="color: #808030;">=</span> python<span style="color: purple;">::</span>handle<span style="color: purple;"><</span><span style="color: purple;">></span><span style="color: #808030;">(</span> ob<span style="color: #808030;">.</span>ptr<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span><span style="color: purple;">;</span>
python<span style="color: purple;">::</span>register_exception_translator<span style="color: purple;"><</span>TExcept<span style="color: purple;">></span><span style="color: #808030;">(</span> <span style="color: #808030;">&</span>exceptionTranslate <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
<span style="color: maroon; font-weight: bold;">static</span>
<span style="color: maroon; font-weight: bold;">void</span>
exceptionTranslate<span style="color: #808030;">(</span><span style="color: maroon; font-weight: bold;">const</span> TExcept <span style="color: #808030;">&</span>e <span style="color: #808030;">)</span> <span style="color: purple;">{</span>
python<span style="color: purple;">::</span>object exceptObj <span style="color: #808030;">=</span> python<span style="color: purple;">::</span>object<span style="color: #808030;">(</span> exceptPyType<span style="color: purple;"><</span>TExcept<span style="color: purple;">></span><span style="color: purple;">::</span>pyExceptType <span style="color: #808030;">)</span><span style="color: #808030;">(</span> e<span style="color: #808030;">.</span>what<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span><span style="color: purple;">;</span>
PyErr_SetObject<span style="color: #808030;">(</span> exceptPyType<span style="color: purple;"><</span>TExcept<span style="color: purple;">></span><span style="color: purple;">::</span>pyExceptType<span style="color: #808030;">.</span>get<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">,</span> exceptObj<span style="color: #808030;">.</span>ptr<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
<span style="color: purple;">}</span><span style="color: purple;">;</span>
</pre><br />
Но со стороны описания модуля выглядит все не так уж и плохо:<br />
<br />
<pre style="background: #ffffff; color: black;">BOOST_PYTHON_MODULE<span style="color: #808030;">(</span> mymodule <span style="color: #808030;">)</span>
<span style="color: purple;">{</span>
<span style="color: #603000;">exception</span><span style="color: purple;"><</span>MyException<span style="color: purple;">></span><span style="color: #808030;">(</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">MyException</span><span style="color: maroon;">"</span><span style="color: #808030;">,</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">description</span><span style="color: maroon;">"</span> <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: #603000;">exception</span><span style="color: purple;"><</span>MyExceptionEx<span style="color: #808030;">,</span>MyException<span style="color: purple;">></span><span style="color: #808030;">(</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">MyExceptionEx</span><span style="color: maroon;">"</span><span style="color: #808030;">,</span> <span style="color: maroon;">"</span><span style="color: #0000e6;">description</span><span style="color: maroon;">"</span> <span style="color: #808030;">)</span><span style="color: purple;">;</span>
<span style="color: purple;">}</span>
</pre><br />
<h3>Заключение</h3>Почему же нам пришлось прибегать к таким извращениям? Очевидно, что boost::python далек от совершенства )). Чего же в нем не хватает? Было бы классно, если бы существовала форма функции class_, позволяющая задать базовый класс через указатель на питоноский тип. <br />
<br />
<br />
<br />
<br />
<br />
</div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-48630664906817705352011-12-16T05:06:00.000-08:002011-12-16T06:15:17.027-08:00Новая линейка Pykd 0.1.x доступна для тестированияХочу представить вам новую, кардинально переработанную версию pykd.<br /><br />Страница для закачки: <a href="http://pykd.codeplex.com/releases/view/78902">download</a><br /><br />Сейчас ветка 0.1.x находится в статусе альфа и имеет ряд недоделок, которые будут постепенно устраняться. Мы очень надеемся, чтои вы найдете время протестировать новую версию и сообщить нам свое мнение о новом функционале и найденных ошибках. Это позволит быстрее довести продукт до стабильного состояния.<br /><br />Основные фичи новой ветки:<br />1) Работа с символами через библиотеку MS DIA. Это позволило реализовать доступ к битовым полям, типам-энумераторам, работать с многомерными массивами и указателями на массивы<br />2) Доступ к DIA выведен в интерфейс для Python. Так что можно работать с отладочной информацией самостоятельно<br />3) Поддерживается работа с несколькими клиентами одновременно, т.е. можно из одного скрипта управлять отладкой нескольких приложений или систем.<br />4) Несколько изменен API<br />5) Для windbg команда !pycmd предоставляет теперь полноценную консоль python, идентичную стандартной. Для команды !py улучшен вывод информации об ошибках, в том числе синтаксических<br /><br />Повторю еще раз, нам очень нужены ваши отзывы, в первую очередь по API. Так как мы отказались от полной обратной совместимости с предыдущей версией, мы сейчас имеем возможность исправить API и сделать его более понятным и удобным. <br /><br />Дальнейший план развития такой:<br />Ветка 0.0.x больше развиваться не будет, будем только фиксить баги и, возможно, что-то потом интегрируем из 0.1.x. <br /><br />Спасибо, что используете наш продукт :).Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com1tag:blogger.com,1999:blog-3359491729754373146.post-25930395090952308812011-10-10T01:06:00.000-07:002011-10-10T01:56:56.339-07:00Обработка исключений и точек остановаВ <a href="http://pykd.blogspot.com/2011/10/release-0020.html"><span style="font-weight:bold;">pykd</span> v. 0.0.20</a> появился новый полезный функционал: обработка исключений и точек останова. Возможность обработки этих событий реализована новыми методами класса <a href="http://pykd.codeplex.com/wikipage?title=pykd_api_eng&referringTitle=Documentation#debugEvent">debugEvent</a>: <span style="font-weight:bold;">onBreakpoint</span> и <span style="font-weight:bold;">onException</span>. Для использования этого функционала, как и в случае <a href="http://pykd.blogspot.com/2011/05/blog-post.html">с событиями загрузки/выгрузки модулей</a>, необходимо реализовать свои вышеописанные обработчики. Сведения о произошедшем событии передаются в эти методы словарями, ключи и типы значений которых указаны в документации. Следует отметить, что для события срабатывания точки останова количество сформированных пар, может быть меньше, чем описано: если точка останова не обладает каким-либо свойством, данные не заносятся в словарь. А состав словаря, передаваемого в обработчик исключения, более стабилен: варьируется только список параметров исключения. Но даже, если у исключения нет параметров, то в словаре все равно окажется список, который будет пуст.<br /><br />У <span style="font-weight:bold;">pykd</span> уже был класс <a href="http://pykd.codeplex.com/wikipage?title=pykd_api_eng&referringTitle=Documentation#bp">bp</a>, который позволяет ставить/снимать точку останова и назначать собственный обработчик. Этот класс так остался, так как имеет более простой интерфейс, но он был расширен новым конструктором, в который передается только целевой адрес. При установке такой точки, вместо вызова обработчика просто возвращается статус <span style="font-weight:bold;">DEBUG_STATUS_BREAK</span>.<br /><br />Новый функционал debugEvent::<span style="font-weight:bold;">onBreakpoint</span> реализован не как замена, а как альтернатива существующему механизму. То есть в одном и том же скрипте можно использовать как механизм bp, так и переопределение метода debugEvent::onBreakpoint. Это было сделано для того, что бы можно было управлять исключениями и точками останова из одного класса - debugEvent.<br /><br />Мы достаточно мало освещаем тот факт, что pykd не только расширение к WinDbg, но и полноценный модуль для языка python, который позволяет получить доступ к API Debug Engine. Поэтому пример использования обработки исключений будет нацелен именно на такой подход: <a href="https://pykd.svn.codeplex.com/svn/samples/watchDog.py">samples\watchDog.py</a>. В начале скрипт, если переданы аргументы командной строки, стартует указанный отлаживаемый процесс. Затем он ставит обработчик исключения и ожидает возникновения исключения. Но это так же полноценный скрипт для <span style="font-weight:bold;">pykd</span>, функционирующего как расширение WinDbg. Например, при вызове из WinDbg можно не указывать параметров, тогда скрипт будет следить за исключениями на отлаживаемом объекте.<br /><br />Важной особенностью логики скрипта является пропуск исключений, для которых FirstChance == True. Это необходимо для того, что бы пропускать исключения, которые возможно будут обработаны самим отлаживаемым объектом, например если исключение произошло в блоке SEH'а.<br /><br />Теперь запускаем скрипт командной строкой "python watchDog.py test.exe". Тем самым pykd от лица процесса python.exe создаст отлаживаемый процесс test.exe, который запустится на исполнение с предварительно установленным обработчиком исключений. В test.exe специально был включен следующий код:<br /><br /><pre style='color:#000000;background:#ffffff;'><span style='color:#800000; font-weight:bold; '>__try</span> <span style='color:#800080; '>{</span> <span style='color:#808030; '>*</span><span style='color:#808030; '>(</span><span style='color:#800000; font-weight:bold; '>char</span> <span style='color:#808030; '>*</span><span style='color:#808030; '>)</span><span style='color:#008c00; '>0</span> <span style='color:#808030; '>=</span> <span style='color:#008c00; '>1</span><span style='color:#800080; '>;</span> <span style='color:#800080; '>}</span> <span style='color:#800000; font-weight:bold; '>__except</span><span style='color:#808030; '>(</span>EXCEPTION_EXECUTE_HANDLER<span style='color:#808030; '>)</span> <span style='color:#800080; '>{</span><span style='color:#800080; '>}</span><br /><span style='color:#808030; '>*</span><span style='color:#808030; '>(</span><span style='color:#800000; font-weight:bold; '>char</span> <span style='color:#808030; '>*</span><span style='color:#808030; '>)</span><span style='color:#008c00; '>3</span> <span style='color:#808030; '>=</span> <span style='color:#008c00; '>1</span><span style='color:#800080; '>;</span><br /></pre><br /><br />Результат исполнения скрипта следующий:<br /><br />*** shit happens<br />Exception code : EXCEPTION_ACCESS_VIOLATION<br />Exception flags : 0<br />Exception record : 0x0<br />Exception address : 0x40122C(00401010) test!main+0x21c | (00401250) test!Define_the_symbol__ATL_MIXED::Thank_you::Thank_you<br /><br />Parameters :<br /> 0x1<br /> 0x3<br /><br />eax=00000000 ebx=0018fa64 ecx=00000000 edx=00000000 esi=00401222 edi=00000000eip=774c15ee esp=0018fa50 ebp=0018ff40 iopl=0 nv up ei pl zr na pe nccs=0023 ss=002b ds=002b es=002b fs=0053 gs=002b efl=00000246ntdll!ZwRaiseException+0x12:774c15ee 83c404 add esp,4<br /><br />ChildEBP RetAddr Args to Child<br />0018ff40 004017f3 00000001 00302330 00302370 ntdll!ZwRaiseException+0x120018ff88<br />76ae339a 7efde000 0018ffd4 774d9ed2 test!__tmainCRTStartup+0xfb0018ff94<br />774d9ed2 7efde000 62b6a849 00000000 kernel32!BaseThreadInitThunk+0x120018ffd4<br />774d9ea5 0040184a 7efde000 ffffffff ntdll!RtlInitializeExceptionChain+0x630018ffec<br />00000000 0040184a 7efde000 00000000 ntdll!RtlInitializeExceptionChain+0x36<br /><br />Как видно по второму параметру исключения (адрес памяти - 0x3) скрипт поймал именно необрабатываемое исключение: использования неверного указателя *(char *)3 = 1. Если включить дополнительную трассировку (например, вывод в консоль) для FirstChance == True, то можно увидеть, что onException срабатывает 3-а раза, первые 2-а из которых игнорируются, так как могут быть обработаны отлаживаемым объектом.Alexey R. aka EreTIkhttp://www.blogger.com/profile/15766287755602837701noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-76601996473671860182011-10-09T22:39:00.000-07:002011-10-09T22:39:23.068-07:00Release 0.0.20<div dir="ltr" style="text-align: left;" trbidi="on">Всем доброго дня! Спешу представить очередной релиз <b>pykd</b> - версия 0.0.20.<br />
<br />
Для тех, кто предпочитает словам дела, страница <a href="http://pykd.codeplex.com/releases/view/73451">загрузки</a> и удачи в использовании! Я же хотел кратко пробежаться по составу релиза:<br />
<br />
<h3>Управление отладчиком:</h3><br />
Добавлены следующие функции: <i>breakin</i>, <i>attachProcess</i>, <i>attachKernel</i>, <i>debuggerPath</i><br />
Наличие функции <i>breakin</i> позволяет написать с помощью <b>pykd</b> свой отладчик. А функции <i>attachProcess</i> и <i>attachKernel</i> в этом помогут ( напомню, что ранее уже были реализованы функции <i>loadDump</i> и <i>createProcess</i> ).<br />
<br />
Функция <i>debuggerPath</i> возвращает полный путь к исполняемому модулю программы, использующей <b>pykd</b>. Если вы, к примеру, захотите модифицировать файл symsrv.ini - она может быть полезна.<br />
<br />
В ближайшее время мы опубликуем тутор по разработке отладчика на PySide. Следите за блогом!<br />
<br />
<h3>класс cpuReg </h3><br />
Дополнен такой казалось бы малозначительной деталью, как конструктор с параметром "индекс регистра". Это позволяет реализовать перечисление всех регистров CPU:<br />
<pre style="background: #ffffff; color: black;"><span style="color: maroon; font-weight: bold;">def</span> getRegisterSet<span style="color: #808030;">(</span>self<span style="color: #808030;">)</span><span style="color: #808030;">:</span>
regSet<span style="color: #808030;">=</span><span style="color: #808030;">[</span><span style="color: #808030;">]</span>
<span style="color: maroon; font-weight: bold;">try</span><span style="color: #808030;">:</span>
i <span style="color: #808030;">=</span> <span style="color: #008c00;">0</span>
<span style="color: maroon; font-weight: bold;">while</span> <span style="color: #e34adc;">True</span><span style="color: #808030;">:</span>
reg <span style="color: #808030;">=</span> pykd<span style="color: #808030;">.</span>cpuReg<span style="color: #808030;">(</span>i<span style="color: #808030;">)</span>
regSet<span style="color: #808030;">.</span>append<span style="color: #808030;">(</span>reg<span style="color: #808030;">)</span>
i <span style="color: #808030;">+</span><span style="color: #808030;">=</span> <span style="color: #008c00;">1</span>
<span style="color: maroon; font-weight: bold;">except</span> pykd<span style="color: #808030;">.</span>BaseException<span style="color: #808030;">:</span>
<span style="color: maroon; font-weight: bold;">pass</span>
<span style="color: maroon; font-weight: bold;">return</span> regSet
</pre><br />
<h3>класс typedVar</h3><br />
Добавлен конструктор, принимающий имя переменной нужного типа. При этом сам тип указывать не надо, он будет взят из отладочной информации. Т.е достаточно написать:<br />
var = typedVar( myModule.myVar )<br />
<br />
Это особенно удобно при работе с переменными, тип которых заранее не известен. Например, с шаблонами С++. <br />
<br />
<h3>класс disasm</h3><br />
Добавлен метод <i>assembly</i>, позволяющий изменять код по укзанному ( по умолчанию: по текущему ) смещению:<br />
<pre style="background: #ffffff; color: black;">nt <span style="color: #808030;">=</span> loadModule<span style="color: #808030;">(</span> <span style="color: #0000e6;">"nt"</span> <span style="color: #808030;">)</span>
dasm <span style="color: #808030;">=</span> disasm<span style="color: #808030;">(</span> nt<span style="color: #808030;">.</span>NtCreateFile <span style="color: #808030;">)</span>
dasm<span style="color: #808030;">.</span>assembly<span style="color: #808030;">(</span> <span style="color: #0000e6;">"int 3"</span> <span style="color: #808030;">)</span>
</pre><br />
<h3>getProcessorType</h3><br />
Возвращает тип процессора. Функция вернет строку, описывающую тип физического процессора. Сравните с <i>getProcessorMode</i>, которая возвращает текущий режим. Вот так, к примеру, можно было бы реализовать команду !sw из стандартного расширения wow64ext:<br />
<pre style="background: #ffffff; color: black;"><span style="color: maroon; font-weight: bold;">if</span> getProcessorType<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">=</span><span style="color: #808030;">=</span> <span style="color: #0000e6;">"X64"</span><span style="color: #808030;">:</span>
setProcessorMode<span style="color: #808030;">(</span> <span style="color: purple;">{</span><span style="color: #0000e6;">"X64"</span><span style="color: #808030;">:</span> <span style="color: #0000e6;">"X86"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"X86"</span><span style="color: #808030;">:</span> <span style="color: #0000e6;">"X64"</span><span style="color: purple;">}</span><span style="color: #808030;">[</span> getProcessorMode<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">]</span> <span style="color: #808030;">)</span>
</pre><br />
<h3>багфикс</h3><br />
<strike>9219</strike>: улучшена поддержка многопоточности. Функции, которые могут надолго заблокировать исполнение python программы ( такие как go() и dbgCommand() ) сохраняют состояние потока, что позволяет планировщику python выполнять код в других потоках<br />
<br />
<strike>9518</strike>: Исправлен баг с выводом текста через команду dprint(ln). До этого текст, содержащий символ '%' выводился неправильно ( обычно, обрезался ).<br />
<br />
<strike>9555</strike>: Метод name() класса dbgModuleClass возвращал строку, содержащую нулевой символ. В итоге при использовании данного метода вывод мог повреждаться ( обрезаться )</div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-40765861249031051862011-07-29T00:03:00.000-07:002011-07-29T00:43:31.886-07:00Release 0.0.19<div dir="ltr" style="text-align: left;" trbidi="on">Представляем ( не без затаенной гордости конечно ) очередной<a href="http://pykd.codeplex.com/releases/view/70821"> релиз pykd 0.0.19</a>. Мы немного запоздали по срокам выпуска, надеемся на ваше понимание. И так, что новенького:<br />
<br />
<h4>Доработан интерфейс для windbg</h4><br />
!pycmd теперь поддерживает многострочный ввод. Пробуем:<br />
<pre>kd>!pycmd
>>>def hello():
... print "hello"
...
>>>hello()
hello
</pre><br />
!py и !pycmd выводят теперь traceback при возникновении исключения при исполнении. Надеемся, это сделает отладку скриптов чуть-чуть удобнее.<br />
<br />
Кстати, про исключения. В предыдущем релизе ( 0.0.18 ) был реализован механизм трансляции ошибок pykd в исключения python. В этом релизе мы провели рефакторинг некоторых модулей. Будьте готовы, что функции ранее возвращавшие 0, None или "" будут кидать исключение и некоторые скрипты перестанут работать. Возможно, вас утешит, что обработка ошибок через обработку исключений сделает код в итоге более надежным и понятным ( положа руку на сердце, это конечно спорный момент или, как минимум, обсуждаемый ). <br />
<br />
<h4>class disasm</h4><br />
Это дизассемблер. Конечно не полноценный, он не разбирает инструкции на операнды. Тем не менее, простые задачи ему вполне по силам. Пользоваться просто:<br />
<pre>kd>!pycmd
>>>nt = loadModule("nt")
>>>da = disasm( nt.ZwCreateFile )
>>>print da.next()
804fd55d 8d542404 lea edx,[esp+4]
>>>print da.next()
804fd561 9c pushfd
>>>print da.next()
804fd562 6a08 push 8
>>>print da.next()
804fd564 e8e8f00300 call nt!KiSystemService (8053c651)
</pre><br />
<h4>Прочее:</h4><br />
<b>setMSR</b> - функция меняет значение MSR регистра.<br />
<br />
классу <b>typedVar</b> добавили метод <b>data</b>, возвращающий данные в виде питоновской строки. Такую строку можно обработать например с помощью ctypes или записать в файл<br />
<br />
<h4>Фиксы:</h4><br />
<i>issue 8655</i> <br />
Игнорировались поля безымянных структур и объединений. Теперь - не игнорируются.<br />
<br />
<i>issue 8927</i><br />
Если поле структуры имеет перечисляемый тип, то узнать его числовое значение нельзя. Т.е конечно можно с помощью такого трика:<br />
val = ptrDword( structVar.enumField.getAddress() )<br />
Хорошая новость, теперь можно писать:<br />
val = structVar.enumField<br />
Плохая новость: предыдущий трик перестал работать, потому что у типа long нет метода getAddress().<br />
Но не все уж так плохо: в настоящий релиз вошел класс intBase, позволяющий включать его в операции с целыми числами. В следующей версии мы планируем переделать класс typedVar и хранить атрибуты, представляющие целые числа и указатели, в объектах-наследниках типа intBase. Это, к примеру позволит обращаться не только к членам структуры, но также и к данным, доступным по указателям. Короче говоря, планов много, будем стараться их осуществить.<br />
<br />
В заключение хотел напомнить: Друзья, у вас все еще есть блестящая возможность поучаствовать в разработке pykd. Очень нужны: С++ кодер - для работы с ядром pykd, python кодер - для разработки тестов ( у нас есть тесты! целых два!!! ), python кодер - для разработки библиотеки, русско-англо-xxx-язычный технический писатель. </div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-20815402503405800662011-06-22T06:18:00.000-07:002011-06-22T06:18:55.964-07:00Qt: "A QApplication instance already exists"Не так давно мы <a href="http://pykd.blogspot.com/2011/03/pysidepykd-qt-windbg.html">публиковали</a> пример графического плагина на основе связки Qt и PySide. Использование графического интерфейса предоставляет широчайшие возможности. К сожалению, приведенный код содержал один существенный недостаток: при повторном запуске скрипта появлялось сообщение: "A QApplication instance already exists". <br />
<br />
Чтобы избежать этого, нужно совсем чуть-чуть переработать процедуру инициализации Qt. А именно: проверить существование синглтона QApplication c помощью вызова QCoreApplication::instance()<br />
<br />
Таким образом, прототип расширения для windbg c графическим интерфейсом мог бы выглядеть примерно так:<br />
<br />
<pre style='color:#000000;background:#ffffff;'><span style='color:#800000; font-weight:bold; '>from</span> PySide<span style='color:#808030; '>.</span>QtCore <span style='color:#800000; font-weight:bold; '>import</span> <span style='color:#808030; '>*</span>
<span style='color:#800000; font-weight:bold; '>from</span> PySide<span style='color:#808030; '>.</span>QtGui <span style='color:#800000; font-weight:bold; '>import</span> <span style='color:#808030; '>*</span>
<span style='color:#800000; font-weight:bold; '>class</span> MainForm<span style='color:#808030; '>(</span> QDialog <span style='color:#808030; '>)</span><span style='color:#808030; '>:</span>
<span style='color:#800000; font-weight:bold; '>def</span> <span style='color:#e34adc; '>__init__</span><span style='color:#808030; '>(</span> self <span style='color:#808030; '>)</span><span style='color:#808030; '>:</span>
QDialog<span style='color:#808030; '>.</span><span style='color:#e34adc; '>__init__</span><span style='color:#808030; '>(</span> self<span style='color:#808030; '>,</span> <span style='color:#e34adc; '>None</span> <span style='color:#808030; '>)</span>
self<span style='color:#808030; '>.</span>setWindowTitle<span style='color:#808030; '>(</span><span style='color:#0000e6; '>"Hello"</span><span style='color:#808030; '>)</span>
<span style='color:#800000; font-weight:bold; '>def</span> main<span style='color:#808030; '>(</span><span style='color:#808030; '>)</span><span style='color:#808030; '>:</span>
app <span style='color:#808030; '>=</span> QCoreApplication<span style='color:#808030; '>.</span>instance<span style='color:#808030; '>(</span><span style='color:#808030; '>)</span>
<span style='color:#800000; font-weight:bold; '>if</span> app <span style='color:#808030; '>=</span><span style='color:#808030; '>=</span> <span style='color:#e34adc; '>None</span><span style='color:#808030; '>:</span>
app <span style='color:#808030; '>=</span> QApplication<span style='color:#808030; '>(</span> <span style='color:#808030; '>[</span><span style='color:#808030; '>]</span> <span style='color:#808030; '>)</span>
mainForm <span style='color:#808030; '>=</span> MainForm<span style='color:#808030; '>(</span><span style='color:#808030; '>)</span>
mainForm<span style='color:#808030; '>.</span>show<span style='color:#808030; '>(</span><span style='color:#808030; '>)</span>
exitres <span style='color:#808030; '>=</span> app<span style='color:#808030; '>.</span>exec_<span style='color:#808030; '>(</span><span style='color:#808030; '>)</span>
<span style='color:#800000; font-weight:bold; '>if</span> <span style='color:#e34adc; '>__name__</span> <span style='color:#808030; '>=</span><span style='color:#808030; '>=</span> <span style='color:#0000e6; '>"__main__"</span><span style='color:#808030; '>:</span>
main<span style='color:#808030; '>(</span><span style='color:#808030; '>)</span>
</pre>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com1tag:blogger.com,1999:blog-3359491729754373146.post-59386823627734284282011-05-26T06:08:00.000-07:002011-09-05T05:22:58.595-07:00Обработка событий загрузки и выгрузки модулей отлаживаемой системы<div><div><div><div>Одно из нововведений релиза <strong>pykd 0.0.18</strong> это базовый класс для обработки событий от Debug Engine. В текущей версии реализованы только события загрузки и выгрузки модулей. Об этом было рассказано в <a href="http://pykd.blogspot.com/2011/05/release-0018.html">обзоре релиза</a>.
<br />Реализация сделана через базовый класс <a href="http://pykd.codeplex.com/wikipage?title=pykd_api_eng&referringTitle=Documentation#debugEvent">debugEvent</a>, реализация которого расположена в модуле pykd. Для обработки соответствующего события необходимо написать свой класс, в котором переопределить методы onLoadModule(...) или onUnloadModule(...), в зависимости от того, какие события необходимо обрабатывать. Входным параметром для этих методов выступает экземпляр класса загруженного модуля <a href="http://pykd.codeplex.com/wikipage?title=pykd_api_eng&referringTitle=Documentation#dbgModuleClass">dbgModuleClass</a>.
<br />В качестве демонстрации этого функционала рассмотрим часть скрипта <a href="https://pykd.svn.codeplex.com/svn/samples/goLoad.py">samples\goLoad.py</a>:</div><pre style="background: rgb(255, 255, 255); color: rgb(0, 0, 0);"><span style="color: rgb(128, 0, 0); font-weight: bold;">from</span> pykd <span style="color: rgb(128, 0, 0); font-weight: bold;">import</span> <span style="color: rgb(128, 128, 48);">*</span>
<br /><span style="color: rgb(128, 0, 0); font-weight: bold;">import</span> fnmatch
<br /><span style="color: rgb(128, 0, 0); font-weight: bold;">import</span> sys
<br />
<br /><span style="color: rgb(128, 0, 0); font-weight: bold;">class</span> loadHandler<span style="color: rgb(128, 128, 48);">(</span>debugEvent<span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">:</span>
<br /><span style="color: rgb(128, 0, 0); font-weight: bold;"> def</span> <span style="color: rgb(227, 74, 220);">__init__</span><span style="color: rgb(128, 128, 48);">(</span>self<span style="color: rgb(128, 128, 48);">,</span> mask<span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">:</span>
<br /> debugEvent<span style="color: rgb(128, 128, 48);">.</span><span style="color: rgb(227, 74, 220);">__init__</span><span style="color: rgb(128, 128, 48);">(</span>self<span style="color: rgb(128, 128, 48);">)</span>
<br /><span class="Apple-style-span"> </span>self<span style="color: rgb(128, 128, 48);">.</span>mask <span style="color: rgb(128, 128, 48);">=</span> mask</pre><pre style="background-image: initial; background-attachment: initial; background-origin: initial; background-clip: initial; background-color: rgb(255, 255, 255); background-position: initial initial; background-repeat: initial initial; "><span class="Apple-style-span" style="font-size: 16px; "></span><span> </span><span style="color: rgb(128, 0, 0); font-weight: bold; ">def</span> onLoadModule<span style="color: rgb(128, 128, 48); ">(</span>self<span style="color: rgb(128, 128, 48); ">,</span> module<span style="color: rgb(128, 128, 48); ">)</span><span style="color: rgb(128, 128, 48); ">:</span>
<br /><span> </span><span style="color: rgb(128, 0, 0); font-weight: bold; ">if</span> fnmatch<span style="color: rgb(128, 128, 48); ">.</span>fnmatch<span style="color: rgb(128, 128, 48); ">(</span> module<span style="color: rgb(128, 128, 48); ">.</span>name<span style="color: rgb(128, 128, 48); ">(</span><span style="color: rgb(128, 128, 48); ">)</span><span style="color: rgb(128, 128, 48); ">,</span> self<span style="color: rgb(128, 128, 48); ">.</span>mask <span style="color: rgb(128, 128, 48); ">)</span><span style="color: rgb(128, 128, 48); ">:</span>
<br /><span> </span><span style="color: rgb(128, 0, 0); font-weight: bold; ">return</span> DEBUG_STATUS_BREAK
<br /><span> </span><span style="color: rgb(128, 0, 0); font-weight: bold; ">return</span> DEBUG_STATUS_NO_CHANGE
<br />
<br /><span style="color: rgb(128, 0, 0); font-weight: bold; ">if</span> <span style="color: rgb(227, 74, 220); ">__name__</span> <span style="color: rgb(128, 128, 48); ">=</span><span style="color: rgb(128, 128, 48); ">=</span> <span style="color: rgb(0, 0, 230); ">"__main__"</span><span style="color: rgb(128, 128, 48); ">:</span>
<br /><span style="color: rgb(128, 0, 0); font-weight: bold; "> if</span> <span style="color: rgb(227, 74, 220); ">len</span><span style="color: rgb(128, 128, 48); ">(</span>sys<span style="color: rgb(128, 128, 48); ">.</span>argv<span style="color: rgb(128, 128, 48); ">)</span> <span style="color: rgb(128, 128, 48); ">=</span><span style="color: rgb(128, 128, 48); ">=</span> <span style="color: rgb(0, 140, 0); ">2</span><span style="color: rgb(128, 128, 48); ">:</span>
<br /> loadHandler <span style="color: rgb(128, 128, 48); ">=</span> loadHandler<span style="color: rgb(128, 128, 48); ">(</span> sys<span style="color: rgb(128, 128, 48); ">.</span>argv<span style="color: rgb(128, 128, 48); ">[</span><span style="color: rgb(0, 140, 0); ">1</span><span style="color: rgb(128, 128, 48); ">]</span> <span style="color: rgb(128, 128, 48); ">)</span>
<br /> go<span style="color: rgb(128, 128, 48); ">(</span><span style="color: rgb(128, 128, 48); ">)</span></pre><div>
<br />Фактически, скрипт продолжает исполнение целевой системы, пока не будет загружен модуль, имя которого будет совпадать с указанной маской (передается первым параметром в скрипт). Передаваемая маска имени модуля может содержать wildcard'ы: символы <span>* и ?</span>. То есть, например, что бы при старте системы дождаться загрузки модуля beep.sys в память, нужно выполнять команду: "<strong>!py goLoad *beep*</strong>". Это может быть полезно, когда нужно, что бы отладчик остановился перед вызовом точки входа целевого модуля, но уже при загруженном целевом модуле. В этот момент можно расставлять точки останова в загруженном модуле или, например, дождаться исполнения точки входа в драйвер командой "<strong>g beep!DriverEntry</strong>"</div><div>
<br />P.S. Сейчас в планах развивать функционал фильтрации отладочных событий. Хотелось бы услышать мнение конечных пользователей о том, какие событий представляют наибольший интерес (соответственно, реализация этих событий будет более приоритетной задачи). В число событий, для которых в pykd планируется реализовать механизмы фильтрации, входят:
<br /></div><ul><li>Создание и уничтожение процесса</li><li>Возникновение исключения</li><li>Создание и уничтожение нити (thread)</li><li>Изменение состояния отлаживаемой сесии</li><li>Срабатывание точки останова. pykd уже предоставляет класс <a href="http://pykd.codeplex.com/wikipage?title=pykd_api_eng&referringTitle=Documentation#bp">bp</a>. Но планируется так же продублировать функционал в debugEvent, что бы была возможность написать единый диспетчер событий Debug Engine.</li></ul></div></div></div>Alexey R. aka EreTIkhttp://www.blogger.com/profile/15766287755602837701noreply@blogger.com4tag:blogger.com,1999:blog-3359491729754373146.post-46533413345979490942011-05-25T23:57:00.000-07:002011-05-25T23:57:30.720-07:00Release 0.0.18<div dir="ltr" style="text-align: left;" trbidi="on">Хочу представить очередной релиз <b>pykd</b>. Хотя список изменений может показаться не впечатляющим, но за этими изменениями стоит напряженная работа. Были серьезно переработаны ключевые части проекта. Но сначала приведем формальный список изменений:<br />
<br />
<h4>Новые функции:</h4><i>loadWChars</i> - юникодная версия существующей loadChars<br />
<i>rdmsr</i> - возвращает значение MSR регистра<br />
<br />
<h4>Поддержка исключений:</h4><i>BaseException</i> - базовый класс для всех исключений<br />
<i>MemoryException</i> - класс исключений для ошибок чтения памяти<br />
<i>TypeException</i> - класс исключений при работе с типами<br />
<br />
<h4>Новые классы:</h4><i>typedVar</i> - переработанная версия класса <b>typedVarClass</b><br />
<i>typeInfo</i> - переработанная версия класса <b>typeClass</b><br />
<i>debugEvent</i> - базовый класс для создания обработчиков событий отладчика<br />
<br />
<h4>Bugs fixed:</h4><strike><a href="http://pykd.codeplex.com/workitem/8669">8669</a></strike> - функция typedVar (теперь это класс ) создает объект для несуществующего типа<br />
<strike><a href="http://pykd.codeplex.com/workitem/8655">8655</a></strike> - не поддерживается работа с неименованными членами структур<br />
<br />
<h4>Прочее:</h4>Добавили мелкую, но очень удобную фичу для команды <i>pycmd</i>: теперь модуль pykd импортируется при старте расширения автоматически. Иными словами, не надо писать <i>from pykd import *</i>. <br />
<br />
Теперь подробнее о ключевых моментах. Их три:<br />
<br />
<h4>Исключения</h4>Начиная с этого релиза мы переходим к концепции возвращения ошибок через исключения. По нашему мнению, это упрощает и делает более стройным и логичным как код скриптов на питоне, так и внутреннюю реализацию на С++. В текущем релизе исключения возвращают все функции работы с типами ( через классы typeInfo и typedVar ) и все функции работы с памятью. Предлагаю попробовать выполнить в интерпретаторе python следующие команды:<br />
>>> typeInfo( "nt", "AAAAAAA" )<br />
>>> typedVar( "nt", "AAAAAA", 0xDEADBEEF )<br />
>>> typedVar( "nt", "_EPROCESS", 0xDEADBEEF )<br />
>>> loadWChars( 0xDEADBEEF, 100 )<br />
<br />
<h4>Динамическое определение типов</h4>Теперь создать типизированную переменную можно, даже если нет соответствующей символьной информации. Для этого у класса typeInfo предусмотрен метод append. Работать с ним не сложно:<br />
<pre>>>>a = typeInfo()
>>>a.append( ushort_t, "ShortField")
>>>a.append( uchar_t, "CharArray", 10 )
>>>print a
unnamed size = 12(0xc)
+0 unsigned short ShortField
+2 unsigned char[] CharArray
</pre>Хочу обратить внимание на переменные uchar_t и ushort_t. Откуда они взялись? Для базовых типов в модуль pykd добавлены глобальные переменные с типом <i>typeInfo</i>. Вот их полный список:<br />
char_t<br />
uchar_t<br />
short_t<br />
ushort_t<br />
long_t<br />
ulong_t<br />
int_t<br />
uint_t<br />
ptr_t<br />
double_t<br />
longlong_t<br />
ulonglong_t<br />
<br />
Кроме того, говоря про класс <i>typeInfo</i>, хотелось бы отметить, что доступ полям описания типа возможен не только по имени, но и по индексу, в том числе с использованием нотации слайсов. Это может понадобится, если вы решите написать свою питоновскую версию команды отладчика <i>dt</i>.<br />
<br />
<h4>Обработка событий отладчика</h4>Если вы планируете с помощью pykd написать автоотладочное средство, а может даже и полноценный отладчик, скорее всего вам понадобится получать и обрабатывать различные события: загрузку и выгрузку модулей, старт процессов и так далее. Для этого мы разработали класс <i>debugEvent</i>. Он содержит виртуальные функции-обработчики событий. Если вы хотите реализовать собственную обработку того или иного события, вам достаточно создать класс-наследник debugEvent и переопределить нужные вам методы-обработчики. Текущая реализация содержит только два обработчика: onLoadModule и onUnloadModule. <br />
<br />
Проиллюстрирую-ка я все это примером, а то слишком много слов и мало дела:<br />
<pre style="background: #ffffff; color: black;"><span style="color: maroon; font-weight: bold;">class</span> ModuleEventMgr<span style="color: #808030;">(</span> debugEvent <span style="color: #808030;">)</span><span style="color: #808030;">:</span>
<span style="color: maroon; font-weight: bold;">def</span> onLoadModule<span style="color: #808030;">(</span> self<span style="color: #808030;">,</span> module <span style="color: #808030;">)</span><span style="color: #808030;">:</span>
dprintln<span style="color: #808030;">(</span> module<span style="color: #808030;">.</span>name<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span>
<span style="color: maroon; font-weight: bold;">return</span> DEBUG_STATUS_GO_HANDLED
evnetMgr <span style="color: #808030;">=</span> ModuleEvent<span style="color: #808030;">(</span><span style="color: #808030;">)</span>
</pre><br />
Данный код будет выводить имена загружаемых модулей на экран. Все просто.<br />
<br />
<br />
На этом хотелось бы закончить обзор релиза 0.0.18. Спасибо вам за то, что внимательно прочли. Как всегда, ждем от вас вопросов, предложений, благодарности и/или кусочки ненависти - все сгодится :).<br />
<br />
И спасибо разработчикам за их нелегкий труд. <br />
<br />
</div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-5465872189238506752011-04-24T06:10:00.000-07:002011-04-24T06:55:03.169-07:00Анализ сетевых пакетов в Vista/Windows 7Сетевые пакеты в Vista/Windows 7 описываются структурой NET_BUFFER и списками NET_BUFFER_LIST. Мы написали скрипт, который анализирует содержимое пакетов с учетом сетевых протоколов. Сам скрипт можно взять здесь: <a href="https://pykd.svn.codeplex.com/svn/snippets/nbl.py">nbl.py</a><br />
<br />
Использовать его просто. Установим брейкпойнт:<br />
bp ndis!NdisFIndicateReceiveNetBufferLists<br />
<br />
При его срабатывании (а это при наличии сетевого подключения случится очень быстро ) выполним команду:<br />
!py nbl @rdx ( для amd64 в rdx лежит указатель на NET_BUFFER_LIST )<br />
<br />
В результате получим что то вроде:<br />
<pre><code>
Length: 92 bytes
Ethernet header: OK
Dest MAC: ff-ff-ff-ff-ff-ff
Src MAC: 20-cf-30-70-25-e2
Type: IPv4
IPv4 header: OK
version: 4
header length: 20 bytes
total length: 78 bytes
protocol: UDP
TTL: 128
Src addr: 10.244.0.50
Dest addr: 10.244.7.255
UDP header: OK
Src port: 137
Dest port: 137
Length: 58
Checksum: 0xec8a
</code></pre><br />
Поодерживается разбор заголовков Ethernet, IPv4, UDP, TCP. В будущем, возможно, добавим поддержку и других протоколов. Если кому то скрипт окажется полезен - пишите, и это будущее может стать настоящим :).<br />
<br />
UPD1: <br />
Eще у нас есть скрипт, отображающий внтуренние структуры NDIS ( минпорты, протоколы и.т.д ) и их взаимосвязь: <a href="https://pykd.svn.codeplex.com/svn/snippets/ndis.py">ndis.py</a>, иногда бывает полезно, надеемся, будет и вам.Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com2tag:blogger.com,1999:blog-3359491729754373146.post-10477739170543127872011-04-22T00:47:00.000-07:002011-04-22T00:48:55.876-07:00Работа с памятью<div dir="ltr" style="text-align: left;" trbidi="on">Все данные лежат в памяти, это очевидно. Ранее, мы уже рассмотрели (<a href="http://pykd.blogspot.com/2011/01/typedvar.html">ссылка</a>), как с помощью фцнкции <i><b>typedVar</b></i> получить доступ к содержимому переменной с учетом ее типа. Но бывают ситуации, когда мы не знаем тип, или содержимое памяти представляет собой сырой нетипизированный массив. Для работы с такими массивами предназначены следующие функции:<br />
<i><b>loadBytes</b></i><br />
<i><b>loadWords</b></i><br />
<i><b>loadDWords </b></i><br />
<i><b>loadQWords</b></i><br />
- эти функции возвращают списки ( list ) беззнаковых целых соответствующей разрядности;<br />
<br />
<i><b>loadSignBytes</b></i><br />
<i><b>loadSignWords</b></i><br />
<i><b>loadSignDWords </b></i><br />
<i><b>loadSignQWords</b></i><br />
- эти функции возвращают списки целых чисел со знаком.<br />
<br />
Все функции имеют одинаковый прототип:<br />
<br />
<i><b>list loadIntegerType( address, number, phyAddr = False )</b></i><br />
<br />
<i>address </i>- адрес, по которому расположен массив<br />
<i>number </i>- количество элементов массива<br />
<i>phyAddr </i>- является ли адрес физическим ( не виртуальным ).<br />
</div><br />
Остается привести какой-нибудь разумный пример:<br />
<pre style='color:#000000;background:#ffffff;'><span style='color:#800000; font-weight:bold; '>from</span> pykd <span style='color:#800000; font-weight:bold; '>import</span> <span style='color:#808030; '>*</span>
<span style='color:#800000; font-weight:bold; '>def</span> dd<span style='color:#808030; '>(</span> addr <span style='color:#808030; '>)</span><span style='color:#808030; '>:</span>
buf <span style='color:#808030; '>=</span> loadDWords<span style='color:#808030; '>(</span> addr<span style='color:#808030; '>,</span> <span style='color:#008c00; '>16</span> <span style='color:#808030; '>)</span>
<span style='color:#800000; font-weight:bold; '>for</span> i <span style='color:#800000; font-weight:bold; '>in</span> <span style='color:#e34adc; '>xrange</span><span style='color:#808030; '>(</span> <span style='color:#e34adc; '>len</span><span style='color:#808030; '>(</span>buf<span style='color:#808030; '>)</span> <span style='color:#808030; '>)</span><span style='color:#808030; '>:</span>
dprint<span style='color:#808030; '>(</span> <span style='color:#0000e6; '>"%08x"</span> <span style='color:#808030; '>%</span> buf<span style='color:#808030; '>[</span>i<span style='color:#808030; '>]</span> <span style='color:#808030; '>)</span>
dprint<span style='color:#808030; '>(</span> <span style='color:#808030; '>(</span>i <span style='color:#808030; '>%</span> <span style='color:#008c00; '>4</span> <span style='color:#808030; '><</span> <span style='color:#008c00; '>3</span><span style='color:#808030; '>)</span> <span style='color:#800000; font-weight:bold; '>and</span> <span style='color:#0000e6; '>" "</span> <span style='color:#800000; font-weight:bold; '>or</span> <span style='color:#0000e6; '>"\n"</span> <span style='color:#808030; '>)</span>
</pre>Данный код выводит на экран дамп 4 байтных чисел. Можно доработать данный код и получить полный аналог команды отладчика dd.<br />
<br />
Для обработки сырых буферов средставами станадртных или сторонних библиотек, добавлена функция <i><b>loadChars</b></i>. Она работает также как и <b><i>loadBytes</i></b>, но возвращает не список, а строку ( string ). К примеру, разбирать данные можно с помощью стандартного модуля struct:<br />
<pre style="background: #ffffff; color: black;"><span style="color: maroon; font-weight: bold;">from</span> struct <span style="color: maroon; font-weight: bold;">import</span> unpack
shortField1<span style="color: #808030;">,</span> shortField2<span style="color: #808030;">,</span> longField <span style="color: #808030;">=</span> unpack<span style="color: #808030;">(</span><span style="color: #0000e6;">'hhl'</span><span style="color: #808030;">,</span> loadChars<span style="color: #808030;">(</span> addr<span style="color: #808030;">,</span> <span style="color: #008c00;">8</span> <span style="color: #808030;">)</span> <span style="color: #808030;">)</span>
</pre><br />
От функции <b><i>loadChars</i></b> плавно перейдем к функциям работы со строками: <i><b>loadCStr</b></i> и <i><b>loadWStr</b></i>. Эту функции предназначены для работы с 0-терминированными строками. Первая для работы с ANSI-строками, вторая - с UNICODE. На правах КО обращу внимание, что работа с этими функциями небезопасна в том смысле, что наличие терминирующего нуля никем не гарантируется. <br />
<br />
Для горячо любимых нами разработчиков системного ПО для Windows есть еще две полезных функции: <b><i>loadUnicodeString</i></b> и <b><i>loadAnsiString</i></b>. Они трактуют переданный адрес как указатель на структуру <i>ANSI_STRING</i> или <i>UNICODE_STRING</i> и, соответственно, избавляют от необходимости в ручную разбирать эти стуркутры для получения строки.Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-57010359366103648372011-04-18T00:04:00.000-07:002011-04-18T00:04:07.075-07:00Release 0.0.17<div dir="ltr" style="text-align: left;" trbidi="on">Представляем очередной релиз <b>pykd</b>: 0.0.17. И так что нового:<br />
<br />
<b>Документация</b><br />
<br />
Прежде всего, мы сделали нечеловеческое усилие над собой и добавили документацию для всех функций и классов. Правда документация пока очень-очень-очень скупая, но мы обещаем над этим поработать. А чтобы продемонстрировать, как это работает, мы написали скрипт help.py ( его можно взять <a href="https://pykd.svn.codeplex.com/svn/snippets/help.py">тут</a> ) выводящий интерактивный хелп в windbg. Пробуем:<br />
0. загружаем плагин .load pykd.pyd<br />
1. нажимаем ctrl+N<br />
2. в строке ввода набираем !py help<br />
4. наслаждаемся.<br />
<br />
<b>Добавили в API несколько функций:</b><br />
<br />
<i><b>bool isDumpAnalyzing()</b></i><br />
Позволяет определить, анализируется ли в данным момент дамп или производится отладка живой системы. Если в скрипте используются функции управления отладчиком ( <i>go</i>, управления точками останова и.т.д ), имеет смысл вставить данный вызов и уберечь пользователя от неизбежных ошибок при попытке исполнения скрипта во время анализа дампа<br />
<br />
<i><b>bool isWindbgExt()</b></i><br />
Позволяет определить, исполняется ли скрипт внутри WinDbg или вызван процессом интерпретатором python. Ранее для этого использовался неявный метод и вызов <i>isSesionStart</i>. Теперь <i>isSessionStart</i> удалена, этот вызов следует заменить в коде на <i>isWindbgExt</i>.<br />
<br />
<i><b>string loadChars(address, number)</b></i><br />
В стандартной библиотеке python существует ряд средств для работы с массивами "сырых" данных. Все они для представления буфера данных используют класс string. Для того, чтобы не заниматься преобразованием списка байт, которые возвращает функция <i>loadBytes</i> мы добавили функцию <i>loadChars</i>.<br />
Ее удобно использовать, например, вместе с модулем <b>struct</b>:<br />
<pre style="background: #ffffff; color: black;"><span style="color: #808030;">></span><span style="color: #808030;">></span><span style="color: #808030;">></span> <span style="color: maroon; font-weight: bold;">from</span> struct <span style="color: maroon; font-weight: bold;">import</span> unpack
<span style="color: #808030;">></span><span style="color: #808030;">></span><span style="color: #808030;">></span> shortField1<span style="color: #808030;">,</span> shortField2<span style="color: #808030;">,</span> longField <span style="color: #808030;">=</span> unpack<span style="color: #808030;">(</span><span style="color: #0000e6;">'hhl'</span><span style="color: #808030;">,</span> loadChars<span style="color: #808030;">(</span> addr<span style="color: #808030;">,</span> <span style="color: #008c00;">8</span> <span style="color: #808030;">)</span> <span style="color: #808030;">)</span>
</pre><br />
<b><i>Методы checksum() and timestamp() класса dbgModuleClass</i></b><br />
Из названия методов должно быть ясно, их назначение. Если Вам придет в голову написать собственный загрузчик символов ( почему бы и нет? ), то они вам могут пригодится.<br />
<br />
<i><b>callbacks for bp class ( breakpoint )</b></i><br />
Это, можно сказать, изюминка данного релиза. До сих пор, пользоваться точками останова ( breakpoint ) из <b>pykd</b> было не слишком удобно. Теперь при создании новой точки останова можно задать функцию обратного вызова и обрабатывать из в событийно-ориентированном стиле.<br />
<br />
Пример:<br />
<pre style="background: #ffffff; color: black;"><span style="color: maroon; font-weight: bold;">from</span> pykd <span style="color: maroon; font-weight: bold;">import</span> <span style="color: #808030;">*</span>
<span style="color: maroon; font-weight: bold;">def</span> bpCallback<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">:</span>
<span style="color: maroon; font-weight: bold;">if</span> is64bitSystem<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">:</span>
objAttr <span style="color: #808030;">=</span> typedVar<span style="color: #808030;">(</span> <span style="color: #0000e6;">"ntdll"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_OBJECT_ATTRIBUTES"</span><span style="color: #808030;">,</span> reg<span style="color: #808030;">(</span><span style="color: #0000e6;">"r8"</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span>
<span style="color: maroon; font-weight: bold;">else</span><span style="color: #808030;">:</span>
objAttr <span style="color: #808030;">=</span> typedVar<span style="color: #808030;">(</span> <span style="color: #0000e6;">"ntdll"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_OBJECT_ATTRIBUTES"</span><span style="color: #808030;">,</span> ptrPtr<span style="color: #808030;">(</span>reg<span style="color: #808030;">(</span><span style="color: #0000e6;">"esp"</span><span style="color: #808030;">)</span> <span style="color: #808030;">+</span> <span style="color: green;">0xC</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span>
name <span style="color: #808030;">=</span> loadUnicodeString<span style="color: #808030;">(</span> objAttr<span style="color: #808030;">.</span>ObjectName <span style="color: #808030;">)</span>
dprintln<span style="color: #808030;">(</span> <span style="color: #0000e6;">"NtCreateFile: "</span> <span style="color: #808030;">+</span> name <span style="color: #808030;">)</span>
<span style="color: maroon; font-weight: bold;">return</span> DEBUG_STATUS_GO_HANDLED
<span style="color: maroon; font-weight: bold;">if</span> <span style="color: maroon; font-weight: bold;">not</span> isWindbgExt<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">:</span>
startProcess<span style="color: #808030;">(</span><span style="color: #0000e6;">"notepad.exe"</span><span style="color: #808030;">)</span>
<span style="color: maroon; font-weight: bold;">if</span> <span style="color: maroon; font-weight: bold;">not</span> isDumpAnalyzing<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: maroon; font-weight: bold;">and</span> <span style="color: maroon; font-weight: bold;">not</span> isKernelDebugging<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">:</span>
nt <span style="color: #808030;">=</span> loadModule<span style="color: #808030;">(</span><span style="color: #0000e6;">"ntdll"</span><span style="color: #808030;">)</span>
b1 <span style="color: #808030;">=</span> bp<span style="color: #808030;">(</span> nt<span style="color: #808030;">.</span>NtCreateFile<span style="color: #808030;">,</span> bpCallback <span style="color: #808030;">)</span>
<span style="color: dimgrey;"># wait for user break, exceptions or process exit</span>
go<span style="color: #808030;">(</span><span style="color: #808030;">)</span>
dprintln<span style="color: #808030;">(</span> <span style="color: #0000e6;">"stopped"</span> <span style="color: #808030;">)</span>
<span style="color: maroon; font-weight: bold;">else</span><span style="color: #808030;">:</span>
dprintln<span style="color: #808030;">(</span> <span style="color: #0000e6;">"The debugger must be connected to live usermode process"</span> <span style="color: #808030;">)</span>
</pre><br />
<b><i>typedVarList</i></b><br />
При работе со связанными списками в (ядре) Windows часто используется структура <i>LIST_ENTRY</i>. Изначально функция <i>typedVarList</i> была ориентирована на такие списки. Однако, гораздо чаще используется другой подход для создания связанных списков: когда структура содержит указатель ( Next ) на начало следующей структуры. Теперь, <i>typedVarList</i> поддерживает оба случая. Какой вариант связного списка использовать, определяется по типу поля-указателя на следующий элемент.<br />
<br />
<b>Новый инсталлятор</b><br />
<br />
К релизу 0.0.17 мы существенно переработали инсталятор:<br />
<ul style="text-align: left;"><li>Новый дизайн</li>
<li>Добавили деинсталлятор ( вдруг кому-нибудь понадобится? )</li>
<li>Добавили примеры в комплект иснталлятора</li>
<li>Выбор дополнительных компонентов по желанию пользователя ( VCRedist, python, примеры )</li>
</ul><br />
<b>Bug fixed</b><br />
<br />
<strike><a href="http://pykd.codeplex.com/workitem/8470">8470</a></strike> ( python.exe crashes after first pykd call )<br />
<strike><a href="http://pykd.codeplex.com/workitem/8614">8614</a></strike> ( go() works incorrectly while process is terminating )<br />
<strike><a href="http://pykd.codeplex.com/workitem/8499">8499</a></strike> ( !py command crashs with wrong script's path )<br />
<strike><a href="http://pykd.codeplex.com/workitem/8578">8578</a></strike> ( findModule returns None for WOW64 process )<br />
<strike><a href="http://pykd.codeplex.com/workitem/8493">8493</a></strike> ( loadPtrs returns dict instead list )<br />
<strike><a href="http://pykd.codeplex.com/workitem/8469">8469</a></strike> ( dprintln does not work in console mode ) </div><br />
Надеемся, релиз 0.0.17 сделает вашу работу с <b>pykd</b> более приятной и плодотворной!Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-40188597869412997992011-04-03T23:47:00.000-07:002011-04-04T00:29:10.247-07:00HOWTO<div dir="ltr" style="text-align: left;" trbidi="on"><b>1. Как получить указатель на PEB ?</b><br />
<pre color="black" style="background: none repeat scroll 0% 0% rgb(255, 255, 255);">peb <span style="color: #808030;">=</span> typedVar<span style="color: #808030;">(</span> <span style="color: #0000e6;">"ntdll"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_PEB"</span><span style="color: #808030;">,</span> getCurrentProcess<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span> </pre><pre color="black" style="background: none repeat scroll 0% 0% rgb(255, 255, 255);"></pre><b>2. Какому модулю принадлежит адрес?</b><br />
<pre color="black" style="background: none repeat scroll 0% 0% rgb(255, 255, 255);">module <span style="color: #808030;">=</span> findModule<span style="color: #808030;">(</span> addr <span style="color: #808030;">)</span></pre><pre color="black" style="background: none repeat scroll 0% 0% rgb(255, 255, 255);"><span style="color: maroon; font-weight: bold;">print</span> module<span style="color: #808030;">=</span><span style="color: #808030;">=</span><span style="color: #e34adc;">None</span> <span style="color: maroon; font-weight: bold;">and</span> <span style="color: #0000e6;">"module not found"</span> <span style="color: maroon; font-weight: bold;">or</span> module<span style="color: #808030;">.</span>name<span style="color: #808030;">(</span><span style="color: #808030;">)</span> </pre><pre color="black" style="background: none repeat scroll 0% 0% rgb(255, 255, 255);"></pre><b>3. Как вывести текст с DML разметкой?</b><br />
<pre color="black" style="background: none repeat scroll 0% 0% rgb(255, 255, 255);">dprintln<span style="color: #808030;">(</span> <span style="color: #0000e6;">"<u>Hello <b>World</b></u>"</span><span style="color: #808030;">,</span> <span style="color: #e34adc;">True</span> <span style="color: #808030;">)</span></pre><b>4. Как передать в скрипт значение регистра?</b><br />
<br />
Также, как и в любую команду windbg:<br />
!py myscript @eax<br />
Чтобы это работало, в скрипте нужно предусмотреть вычисление выражений:<br />
<pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;">param1 <span style="color: #808030;">=</span> expr<span style="color: #808030;">(</span> sys<span style="color: #808030;">.</span>argv<span style="color: #808030;">[</span><span style="color: #008c00;">1</span><span style="color: #808030;">]</span> <span style="color: #808030;">)</span> </pre><pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"></pre><b>5. Как выполнить команду отладчика и получить ее результат?</b><br />
<pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"><span style="color: maroon; font-weight: bold;">print</span> dbgCommand<span style="color: #808030;">(</span><span style="color: #0000e6;">"!for_each_module"</span><span style="color: #808030;">)</span></pre>Результат команды можно обработать к примеру с помощью RE.<br />
<br />
<b>6. Как получить размер структуры?</b><br />
<br />
Проще всего так:<br />
<pre style="background: #ffffff; color: black;"><span style="color: maroon; font-weight: bold;">print</span> <span style="color: #e34adc;">hex</span><span style="color: #808030;">(</span> sizeof<span style="color: #808030;">(</span> <span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_ERESOURCE"</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span> </pre><pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"></pre>Можно с через класс, предсталяющий информацию о типе ( <i><b>typeClass</b></i>):<br />
<pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"><span style="color: maroon; font-weight: bold;">print</span> <span style="color: #e34adc;">hex</span><span style="color: #808030;">(</span>getTypeClass<span style="color: #808030;">(</span><span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_ERESOURCE"</span><span style="color: #808030;">)</span><span style="color: #808030;">.</span>sizeof<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span>
</pre>Справедливо и для объектов дочернего класса <span style="font-style: italic; font-weight: bold;">typedVarClass</span>, например:<br />
<pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"><span style="color: maroon; font-weight: bold;">print</span> <span style="color: #e34adc;">hex</span><span style="color: #808030;">(</span>typedVar<span style="color: #808030;">(</span><span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_ERESOURCE"</span><span style="color: #808030;">,</span> getOffset<span style="color: #808030;">(</span><span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"CmpRegistryLock"</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span><span style="color: #808030;">.</span>sizeof<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span>
</pre><br />
<span style="font-weight: bold;">7. Как получить смещение поля структры?</span><br />
<br />
Через класс, предсталяющий информацию о типе ( <i><b>typeClass</b></i>):<br />
<pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"><span style="color: maroon; font-weight: bold;">print</span> <span style="color: #e34adc;">hex</span><span style="color: #808030;">(</span>getTypeClass<span style="color: #808030;">(</span><span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_ETHREAD"</span><span style="color: #808030;">)</span><span style="color: #808030;">.</span>Tcb<span style="color: #808030;">.</span>ThreadListEntry<span style="color: #808030;">.</span>offset<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span>
</pre>Справедливо и для объектов дочернего класса <span style="font-style: italic; font-weight: bold;">typedVarClass</span>, например:<br />
<pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"><span style="color: maroon; font-weight: bold;">print</span> <span style="color: #e34adc;">hex</span><span style="color: #808030;">(</span>typedVar<span style="color: #808030;">(</span><span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_ETHREAD"</span><span style="color: #808030;">,</span> getImplicitThread<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span><span style="color: #808030;">.</span>Tcb<span style="color: #808030;">.</span>ThreadListEntry<span style="color: #808030;">.</span>offset<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">) </span></pre>Но сравните результат выполнения двух команд:<br />
<pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"><span style="color: maroon; font-weight: bold;">print</span> <span style="color: #e34adc;">hex</span><span style="color: #808030;">(</span>getTypeClass<span style="color: #808030;">(</span><span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_ETHREAD"</span><span style="color: #808030;">)</span><span style="color: #808030;">.</span>Tcb<span style="color: #808030;">.</span>ThreadListEntry<span style="color: #808030;">.</span>Flink.offset<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span></pre><pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"><span style="color: maroon; font-weight: bold;">print</span> <span style="color: #e34adc;">hex</span><span style="color: #808030;">(</span>typedVar<span style="color: #808030;">(</span><span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_ETHREAD"</span><span style="color: #808030;">,</span> getImplicitThread<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span><span style="color: #808030;">.</span>Tcb<span style="color: #808030;">.</span>ThreadListEntry<span style="color: #808030;">.</span>Flink<span style="color: #808030;">.</span>
offset<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span><span style="color: #808030;"> </span></pre>Первая выводит ожидаемое значение, вторая - возвращает ошибку. Дело в том, что аттрибут 'Flink' в объекте <span style="font-style: italic; font-weight: bold;">typedVarClass </span>имеет встроенный тип python-а long и, соответственно, не имеет метода offset ( а также, getAddress() )<br />
<br />
<b>8. Есть ли в pykd команда help или другой способ получить справку?</b><br />
<br />
В <b>pykd</b> - нет. Но такая возможность встроена в сам python! Пробуем:<br />
<code><br />
>!pycmd<br />
>>> help()<br />
help>pykd.typedVar<br />
</code><br />
<b>9. Как отлаживать скрипт?</b><br />
<br />
Небольшие скрипты можно отладить прямо в windbg ( или в консоле ). Для этого используем встроенный отладчик pdb:<br />
<pre><code>
>!py pdb my_script.py
(pdb) s
-> import pykd
(pdb)
</code></pre>В более сложных случаях можно использовать любой отладчик python кода. Например, eсlipse или Visual Studio 2010 с плагином <a href="http://pytools.codeplex.com/">pytools</a><br />
<br />
<b>10. Как сравнивать адреса?</b><br />
<br />
Вопрос не так прост. DbgEng и все функции <b>pykd</b> возращают адреса в 64 битном формате, даже для x86 платформы. Адреса, находящиеся в верхней половине адресного пространства, расширяются:<br />
0x804f8925 -> 0xFFFFFFFF'804f8925<br />
В следствии этого, в коде могут возникнуть непрогнозируемые ошибки. Рассмотрим пример:<br />
<pre style="background: #ffffff; color: black;"><span style="color: maroon; font-weight: bold;">if</span> reg<span style="color: #808030;">(</span><span style="color: #0000e6;">"eax"</span><span style="color: #808030;">)</span><span style="color: #808030;">==</span>getOffset<span style="color: #808030;">(</span> <span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"NtCreateFile"</span><span style="color: #808030;">)</span>
<span style="color: maroon; font-weight: bold;">print</span> <span style="color: #0000e6;">"eax point to NtCreateFile"</span>
</pre>На x86 платформе данный код будет работать неправильно. Переменная <b><i>a</i></b> будет трактоваться как 32 битное целое, а функция getOffset вернет адрес, расширенный до 64 бит. И даже если регистр eax действительно указывает на NtCreateFile, проверка на равенство не сработает. Чтобы избежать этого, скастим значение регистра к указателю с помощью функции <i><b>addr64</b></i>:<br />
<pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"><span style="color: maroon; font-weight: bold;">if</span> addr64<span style="color: #808030;">(</span>reg<span style="color: #808030;">(</span><span style="color: #0000e6;">"eax"</span><span style="color: #808030;">)</span><span style="color: #808030;">)</span><span style="color: #808030;">=</span><span style="color: #808030;">=</span>getOffset<span style="color: #808030;">(</span><span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span><span style="color: #0000e6;">"NtCreateFile"</span><span style="color: #808030;">)</span>
<span style="color: maroon; font-weight: bold;">print</span> <span style="color: #0000e6;">"eax point to NtCReateFile" </span></pre><pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"><span style="color: #0000e6;"> </span>
</pre>Надеюсь, эта информация поможет начать работу с <i>pykd<b></b></i>. На все вопросы мы с удовольствием ответим в этом блоге или по электронной почте: <a href="mailto:pykd@hotmail.com">pykd@hotmail.com</a>. </div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-73069935634750522052011-03-21T00:55:00.000-07:002011-03-21T04:17:11.439-07:00Автоматическая установка pykd<div dir="ltr" style="text-align: left;" trbidi="on">Установить pykd вручную не сложно. Однако есть как минимум один подводный камень: нужно также установить дистрибутив vcredist нужной версии. Но все заботы может взять на себя автоматический инсталлятор. Он найдет python нужной версии, а если его нет - скачает, установит рантайм библиотеки и, конечно, сэкономит вам время. <br />
<br />
<a href="http://perfect-coding.blogspot.com/2011/03/pykd-python-windbg-extension.html">http://perfect-coding.blogspot.com/2011/03/pykd-python-windbg-extension.html</a></div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-22906637573028858922011-03-18T07:52:00.000-07:002011-03-18T08:48:42.021-07:00PySide+pykd: используем Qt в питоновских скриптах к WinDbg<div dir="ltr" style="text-align: left;" trbidi="on"><div></div><div><b>pykd</b>, как расширении к WinDbg, дает не только возможность использования мощного и гибкого языка Python, но и уже готовых сторонних проектов. Далее пойдет речь о <a href="http://www.pyside.org/">PySide</a> - библиотеке интеграции инструментария <b>Qt</b> в Python. Возьмем простой пример: нужно просмотреть статистику о процессах системы, в частноти размер виртуального адресного пространства и счетчики операций ввода/вывода. Не буду рассказывать об установке PySide, так как на официальной <a href="http://developer.qt.nokia.com/wiki/PySide_Binaries_Windows">странице загрузок для Windows</a> можно скачать инсталлятор. Набросаем небольшой скрипт, который средствами <span style="font-weight: bold;">pykd</span> получает и анализирует список процессов, а затем использует <span style="font-weight: bold;">PySide</span> для визуализации собранных данных в виде таблицы в GUI-окне:<br /><pre style="color: rgb(0, 0, 0); background: none repeat scroll 0% 0% rgb(255, 255, 255);"><span style="color: rgb(128, 0, 0); font-weight: bold;">import</span> sys<br /><span style="color: rgb(128, 0, 0); font-weight: bold;">from</span> pykd <span style="color: rgb(128, 0, 0); font-weight: bold;">import</span> <span style="color: rgb(128, 128, 48);">*</span><br /><span style="color: rgb(128, 0, 0); font-weight: bold;">from</span> PySide <span style="color: rgb(128, 0, 0); font-weight: bold;">import</span> QtCore<span style="color: rgb(128, 128, 48);">,</span> QtGui<br /><br />COL_PID <span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(0, 140, 0);">0</span><br />COL_PRC_NAME <span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(0, 140, 0);">1</span><br />COL_VSIZE <span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(0, 140, 0);">2</span><br />COL_READ <span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(0, 140, 0);">3</span><br />COL_WRITE <span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(0, 140, 0);">4</span><br />COL_OTHER <span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(0, 140, 0);">5</span><br /><br /><span style="color: rgb(128, 0, 0); font-weight: bold;">if</span> <span style="color: rgb(227, 74, 220);">__name__</span> <span style="color: rgb(128, 128, 48);">=</span><span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(0, 0, 230);">'__main__'</span><span style="color: rgb(128, 128, 48);">:</span><br /><br /> app <span style="color: rgb(128, 128, 48);">=</span> QtGui<span style="color: rgb(128, 128, 48);">.</span>QApplication<span style="color: rgb(128, 128, 48);">(</span>sys<span style="color: rgb(128, 128, 48);">.</span>argv<span style="color: rgb(128, 128, 48);">)</span><br /><br /> nt <span style="color: rgb(128, 128, 48);">=</span> loadModule<span style="color: rgb(128, 128, 48);">(</span> <span style="color: rgb(0, 0, 230);">"nt"</span> <span style="color: rgb(128, 128, 48);">)</span><br /> lstProcesses <span style="color: rgb(128, 128, 48);">=</span> typedVarList<span style="color: rgb(128, 128, 48);">(</span>nt<span style="color: rgb(128, 128, 48);">.</span>PsActiveProcessHead<span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 0, 230);">"nt"</span><span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 0, 230);">"_EPROCESS"</span><span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 0, 230);">"ActiveProcessLinks"</span><span style="color: rgb(128, 128, 48);">)</span><br /><br /> countOfProcesses <span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(227, 74, 220);">len</span><span style="color: rgb(128, 128, 48);">(</span>lstProcesses<span style="color: rgb(128, 128, 48);">)</span><br /> <span style="color: rgb(128, 0, 0); font-weight: bold;">if</span> <span style="color: rgb(128, 128, 48);">(</span>countOfProcesses <span style="color: rgb(128, 128, 48);">=</span><span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(0, 140, 0);">0</span><span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">:</span><br /> <span style="color: rgb(128, 0, 0); font-weight: bold;">print</span> <span style="color: rgb(0, 0, 230);">"Build process list failed"</span><br /> sys<span style="color: rgb(128, 128, 48);">.</span><span style="color: rgb(227, 74, 220);">exit</span><span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><br /><br /> model <span style="color: rgb(128, 128, 48);">=</span> QtGui<span style="color: rgb(128, 128, 48);">.</span>QStandardItemModel<span style="color: rgb(128, 128, 48);">(</span>countOfProcesses<span style="color: rgb(128, 128, 48);">,</span> COL_OTHER<span style="color: rgb(128, 128, 48);">+</span><span style="color: rgb(0, 140, 0);">1</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setHeaderData<span style="color: rgb(128, 128, 48);">(</span>COL_PID<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>Qt<span style="color: rgb(128, 128, 48);">.</span>Horizontal<span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 0, 230);">"PID"</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setHeaderData<span style="color: rgb(128, 128, 48);">(</span>COL_PRC_NAME<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>Qt<span style="color: rgb(128, 128, 48);">.</span>Horizontal<span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 0, 230);">"Image"</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setHeaderData<span style="color: rgb(128, 128, 48);">(</span>COL_VSIZE<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>Qt<span style="color: rgb(128, 128, 48);">.</span>Horizontal<span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 0, 230);">"VirtualSize"</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setHeaderData<span style="color: rgb(128, 128, 48);">(</span>COL_READ<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>Qt<span style="color: rgb(128, 128, 48);">.</span>Horizontal<span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 0, 230);">"Read"</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setHeaderData<span style="color: rgb(128, 128, 48);">(</span>COL_WRITE<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>Qt<span style="color: rgb(128, 128, 48);">.</span>Horizontal<span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 0, 230);">"Write"</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setHeaderData<span style="color: rgb(128, 128, 48);">(</span>COL_OTHER<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>Qt<span style="color: rgb(128, 128, 48);">.</span>Horizontal<span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 0, 230);">"Other"</span><span style="color: rgb(128, 128, 48);">)</span><br /><br /> tableView <span style="color: rgb(128, 128, 48);">=</span> QtGui<span style="color: rgb(128, 128, 48);">.</span>QTableView<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><br /> tableView<span style="color: rgb(128, 128, 48);">.</span>setModel<span style="color: rgb(128, 128, 48);">(</span>model<span style="color: rgb(128, 128, 48);">)</span><br /><br /> <span style="color: rgb(128, 0, 0); font-weight: bold;">for</span> row <span style="color: rgb(128, 0, 0); font-weight: bold;">in</span> <span style="color: rgb(227, 74, 220);">range</span><span style="color: rgb(128, 128, 48);">(</span>countOfProcesses<span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">:</span><br /> process <span style="color: rgb(128, 128, 48);">=</span> lstProcesses<span style="color: rgb(128, 128, 48);">[</span>row<span style="color: rgb(128, 128, 48);">]</span><br /><br /> index_ <span style="color: rgb(128, 128, 48);">=</span> model<span style="color: rgb(128, 128, 48);">.</span>index<span style="color: rgb(128, 128, 48);">(</span>row<span style="color: rgb(128, 128, 48);">,</span> COL_PID<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>QModelIndex<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setData<span style="color: rgb(128, 128, 48);">(</span>index_<span style="color: rgb(128, 128, 48);">,</span> process<span style="color: rgb(128, 128, 48);">.</span>UniqueProcessId<span style="color: rgb(128, 128, 48);">)</span><br /><br /> index_ <span style="color: rgb(128, 128, 48);">=</span> model<span style="color: rgb(128, 128, 48);">.</span>index<span style="color: rgb(128, 128, 48);">(</span>row<span style="color: rgb(128, 128, 48);">,</span> COL_PRC_NAME<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>QModelIndex<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setData<span style="color: rgb(128, 128, 48);">(</span>index_<span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 0, 230);">""</span><span style="color: rgb(128, 128, 48);">.</span>join<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">[</span><span style="color: rgb(227, 74, 220);">chr</span><span style="color: rgb(128, 128, 48);">(</span>i<span style="color: rgb(128, 128, 48);">)</span> <span style="color: rgb(128, 0, 0); font-weight: bold;">for</span> i <span style="color: rgb(128, 0, 0); font-weight: bold;">in</span> process<span style="color: rgb(128, 128, 48);">.</span>ImageFileName<span style="color: rgb(128, 128, 48);">.</span>values<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">]</span><span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">)</span><br /><br /> index_ <span style="color: rgb(128, 128, 48);">=</span> model<span style="color: rgb(128, 128, 48);">.</span>index<span style="color: rgb(128, 128, 48);">(</span>row<span style="color: rgb(128, 128, 48);">,</span> COL_VSIZE<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>QModelIndex<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setData<span style="color: rgb(128, 128, 48);">(</span>index_<span style="color: rgb(128, 128, 48);">,</span> process<span style="color: rgb(128, 128, 48);">.</span>VirtualSize<span style="color: rgb(128, 128, 48);">)</span><br /><br /> index_ <span style="color: rgb(128, 128, 48);">=</span> model<span style="color: rgb(128, 128, 48);">.</span>index<span style="color: rgb(128, 128, 48);">(</span>row<span style="color: rgb(128, 128, 48);">,</span> COL_READ<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>QModelIndex<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setData<span style="color: rgb(128, 128, 48);">(</span>index_<span style="color: rgb(128, 128, 48);">,</span> process<span style="color: rgb(128, 128, 48);">.</span>ReadOperationCount<span style="color: rgb(128, 128, 48);">.</span>QuadPart<span style="color: rgb(128, 128, 48);">)</span><br /><br /> index_ <span style="color: rgb(128, 128, 48);">=</span> model<span style="color: rgb(128, 128, 48);">.</span>index<span style="color: rgb(128, 128, 48);">(</span>row<span style="color: rgb(128, 128, 48);">,</span> COL_WRITE<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>QModelIndex<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setData<span style="color: rgb(128, 128, 48);">(</span>index_<span style="color: rgb(128, 128, 48);">,</span> process<span style="color: rgb(128, 128, 48);">.</span>WriteOperationCount<span style="color: rgb(128, 128, 48);">.</span>QuadPart<span style="color: rgb(128, 128, 48);">)</span><br /><br /> index_ <span style="color: rgb(128, 128, 48);">=</span> model<span style="color: rgb(128, 128, 48);">.</span>index<span style="color: rgb(128, 128, 48);">(</span>row<span style="color: rgb(128, 128, 48);">,</span> COL_OTHER<span style="color: rgb(128, 128, 48);">,</span> QtCore<span style="color: rgb(128, 128, 48);">.</span>QModelIndex<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">)</span><br /> model<span style="color: rgb(128, 128, 48);">.</span>setData<span style="color: rgb(128, 128, 48);">(</span>index_<span style="color: rgb(128, 128, 48);">,</span> process<span style="color: rgb(128, 128, 48);">.</span>OtherOperationCount<span style="color: rgb(128, 128, 48);">.</span>QuadPart<span style="color: rgb(128, 128, 48);">)</span><br /><br /> tableView<span style="color: rgb(128, 128, 48);">.</span>resizeColumnsToContents<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><br /><br /> widthWidget <span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(0, 140, 0);">0</span><br /> <span style="color: rgb(128, 0, 0); font-weight: bold;">for</span> col <span style="color: rgb(128, 0, 0); font-weight: bold;">in</span> <span style="color: rgb(227, 74, 220);">range</span><span style="color: rgb(128, 128, 48);">(</span>COL_OTHER<span style="color: rgb(128, 128, 48);">+</span><span style="color: rgb(0, 140, 0);">1</span><span style="color: rgb(128, 128, 48);">)</span><span style="color: rgb(128, 128, 48);">:</span> widthWidget <span style="color: rgb(128, 128, 48);">+</span><span style="color: rgb(128, 128, 48);">=</span> tableView<span style="color: rgb(128, 128, 48);">.</span>columnWidth<span style="color: rgb(128, 128, 48);">(</span>col<span style="color: rgb(128, 128, 48);">)</span><br /> widthWidget <span style="color: rgb(128, 128, 48);">+</span><span style="color: rgb(128, 128, 48);">=</span> <span style="color: rgb(0, 140, 0);">50</span><br /><br /> tableView<span style="color: rgb(128, 128, 48);">.</span>setSortingEnabled<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(227, 74, 220);">True</span><span style="color: rgb(128, 128, 48);">)</span><br /> tableView<span style="color: rgb(128, 128, 48);">.</span>setWindowTitle<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(0, 0, 230);">"Processes table:"</span><span style="color: rgb(128, 128, 48);">)</span><br /> tableView<span style="color: rgb(128, 128, 48);">.</span>resize<span style="color: rgb(128, 128, 48);">(</span>widthWidget<span style="color: rgb(128, 128, 48);">,</span> <span style="color: rgb(0, 140, 0);">500</span><span style="color: rgb(128, 128, 48);">)</span><br /> tableView<span style="color: rgb(128, 128, 48);">.</span>show<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><br /><br /> app<span style="color: rgb(128, 128, 48);">.</span>exec_<span style="color: rgb(128, 128, 48);">(</span><span style="color: rgb(128, 128, 48);">)</span><br /></pre><span style="font-size:small;">Теперь исполним его в WinDbg. После того, как скрипт построит список процессов, мы увидим окно результатов. Оно не является модальным по отношению к основному окну WinDbg, но отладчик терпеливо ждет завершения работы скрипта (в нашем случае - закрытия окна):</span></div><div><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEju4QqpskoFc0KZ70EnlL6sHf9h1M3wjaw8RjhHfcHfJT6yRO_gTK8bta6ZQm_cfYExzJoNbEPhU8dvPujYWRQPApe2pjxbmDOJz0dznV2UY-DZhn3DX86_YUseINzw3etIvrRAyH-d-XI/s1600/ps_screenshot_7.png" onblur="try {parent.deselectBloggerImageGracefully();} catch(e) {}"><br /></a></div><div><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEju4QqpskoFc0KZ70EnlL6sHf9h1M3wjaw8RjhHfcHfJT6yRO_gTK8bta6ZQm_cfYExzJoNbEPhU8dvPujYWRQPApe2pjxbmDOJz0dznV2UY-DZhn3DX86_YUseINzw3etIvrRAyH-d-XI/s1600/ps_screenshot_7.png" onblur="try {parent.deselectBloggerImageGracefully();} catch(e) {}"><img alt="" id="BLOGGER_PHOTO_ID_5585129755049548162" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEju4QqpskoFc0KZ70EnlL6sHf9h1M3wjaw8RjhHfcHfJT6yRO_gTK8bta6ZQm_cfYExzJoNbEPhU8dvPujYWRQPApe2pjxbmDOJz0dznV2UY-DZhn3DX86_YUseINzw3etIvrRAyH-d-XI/s400/ps_screenshot_7.png" style="display: block; height: 400px; margin: 0px auto 10px; text-align: center; width: 357px;" border="0" /></a></div><div>Конечно, можно было бы выдать эту информацию в текстовой форме. Но GUI таблица, например, позволяет одним кликом поменять колонку сортировки и можно наблюдать какой процесс активно более активно читает, а какой пишет.<br />Еще один приятный момент использования <b>PySide</b> - лицензия LGPL, позволяющая использовать и распространять библиотеку в любых проектах, включая коммерческие.</div></div>Alexey R. aka EreTIkhttp://www.blogger.com/profile/15766287755602837701noreply@blogger.com3tag:blogger.com,1999:blog-3359491729754373146.post-50415438388476679512011-03-16T07:39:00.000-07:002011-03-16T07:39:33.877-07:00Исследуем ASLR<div dir="ltr" style="text-align: left;" trbidi="on"><div dir="ltr" style="text-align: left;" trbidi="on">Сегодня неожиданно возник вопрос: одинаков ли адрес загрузки ntdll.dll во всех процессах. Поспорив немного, вопрос разбили на два: влияет ли ASLR на ntdll.dll и как, собственно, работает ASLR: отличаются ли адреса загрузки системных dll в разных процессах. Поскольку практика - мерило истинности, быстренько написали скрипт на питоне и все выяснили. Сам скрипт был написан очень быстро ( по сути, скопипастили пример proclist.py и слегка его модифицировали ). Вот быстрота написания скрипта и сподвигла меня написать этот пост. А заодно хочется продемонстрировать некоторые приемы работы с pykd.<br />
<br />
Вот сам код:</div><br />
<span style="color: maroon; font-weight: bold;">import</span> sys<br />
<span style="color: maroon; font-weight: bold;">from</span> pykd <span style="color: maroon; font-weight: bold;">import</span> <span style="color: #808030;">*</span><br />
<br />
<span style="color: maroon; font-weight: bold;">def</span> moduleBase<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">:</span><br />
<br />
<div style="padding-left: 25px;">nt <span style="color: #808030;">=</span> loadModule<span style="color: #808030;">(</span> <span style="color: #0000e6;">"nt"</span> <span style="color: #808030;">)</span><br />
<br />
processList <span style="color: #808030;">=</span> typedVarList<span style="color: #808030;">(</span> nt<span style="color: #808030;">.</span>PsActiveProcessHead<span style="color: #808030;">,</span> <span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_EPROCESS"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"ActiveProcessLinks"</span> <span style="color: #808030;">)</span><br />
<br />
<span style="color: maroon; font-weight: bold;">for</span> process <span style="color: maroon; font-weight: bold;">in</span> processList<span style="color: #808030;">:</span><br />
<div style="padding-left: 50px;"><br />
dbgCommand<span style="color: #808030;">(</span> <span style="color: #0000e6;">".process /p %x"</span> <span style="color: #808030;">%</span> process<span style="color: #808030;">.</span>getAddress<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">)</span><br />
dbgCommand<span style="color: #808030;">(</span> <span style="color: #0000e6;">".reload /user"</span> <span style="color: #808030;">)</span><br />
<br />
<span style="color: maroon; font-weight: bold;">print</span> <span style="color: #0000e6;">"process %x "</span> <span style="color: #808030;">%</span> process<span style="color: #808030;">.</span>getAddress<span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">""</span><span style="color: #808030;">.</span>join<span style="color: #808030;">(</span> <span style="color: #808030;">[</span> <span style="color: #e34adc;">chr</span><span style="color: #808030;">(</span>i<span style="color: #808030;">)</span> <span style="color: maroon; font-weight: bold;">for</span> i <span style="color: maroon; font-weight: bold;">in</span> process<span style="color: #808030;">.</span>ImageFileName<span style="color: #808030;">.</span>values<span style="color: #808030;">(</span><span style="color: #808030;">)</span> <span style="color: #808030;">]</span> <span style="color: #808030;">)</span><br />
<br />
ntdll <span style="color: #808030;">=</span> loadModule<span style="color: #808030;">(</span><span style="color: #0000e6;">"ntdll"</span><span style="color: #808030;">)</span><br />
<span style="color: maroon; font-weight: bold;">if</span> ntdll <span style="color: #808030;">!</span><span style="color: #808030;">=</span> <span style="color: #e34adc;">None</span><span style="color: #808030;">:</span> <span style="color: maroon; font-weight: bold;">print</span> <span style="color: #0000e6;">"\tntdll: %x"</span> <span style="color: #808030;">%</span> ntdll<span style="color: #808030;">.</span>begin<span style="color: #808030;">(</span><span style="color: #808030;">)</span><br />
<br />
kernel32 <span style="color: #808030;">=</span> loadModule<span style="color: #808030;">(</span><span style="color: #0000e6;">"kernel32"</span><span style="color: #808030;">)</span><br />
<span style="color: maroon; font-weight: bold;">if</span> kernel32 <span style="color: #808030;">!</span><span style="color: #808030;">=</span> <span style="color: #e34adc;">None</span><span style="color: #808030;">:</span> <span style="color: maroon; font-weight: bold;">print</span> <span style="color: #0000e6;">"\tkernel32: %x"</span> <span style="color: #808030;">%</span> kernel32<span style="color: #808030;">.</span>begin<span style="color: #808030;">(</span><span style="color: #808030;">)</span><br />
<br />
</div></div><span style="color: maroon; font-weight: bold;">if</span> <span style="color: #e34adc;">__name__</span> <span style="color: #808030;">=</span><span style="color: #808030;">=</span> <span style="color: #0000e6;">"__main__"</span><span style="color: #808030;">:</span><br />
<br />
<div style="padding-left: 25px;">moduleBase<span style="color: #808030;">(</span><span style="color: #808030;">)</span></div><br />
Запустив данный скрипт в отладчике ядра, мы получим что-то вроде:<br />
<pre>process ffffffff859fbbb0 System
process ffffffff8bbf5460 smss.exe
ntdll: 77d50000
kernel32: 76b40000
process ffffffff81f6f6a8 csrss.exe
ntdll: 77d50000
kernel32: 76b40000
process ffffffff892435a8 wininit.exe
ntdll: 77d50000
kernel32: 76b40000
process ffffffff89269b98 csrss.exe
ntdll: 77d50000
kernel32: 76b40000
.......
</pre>и ответы на свои вопросы. Но не совсем сразу. Перезапустим систему и выполним скрипт еще раз - значения будет другие. Вот теперь уже все ясно. ASLR меняет адреса загрузки при каждом ребуте, в пределах одной загрузки адреса во всех процессах одинаковы.<br />
<br />
Хочу обратить внимание на использование функции <i>dbgCommand</i>. Она позволяет выполнять обычные команды windbg. И если какой-то функционал не реализован в <b>pykd</b>, его можно "позаимствовать".<br />
<br />
В данном случае, мы позаимстовали команду <i>.process</i> c ключиком /p. Без этого ключика можно было бы использовать функцию <i>setCurrentProcess</i>. Но к сожалению, данная функция не включает неявную трансляцию адресов. В результате, мы не можем получить актуальный список модулей пользовательского режима для каждого процесса. Тут то нам на помощь и пришла спасительная функция <i>dbgCommand</i>. <br />
<br />
</div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-87961584638368693592011-03-04T23:49:00.000-08:002011-03-04T23:49:24.138-08:00Release 0.0.16<div dir="ltr" style="text-align: left;" trbidi="on">Хочу представить очередной релиз проекта <b>pykd</b>. Он примечателен тем, что над ним активно работало несколько участников и результат: количество внесенных нововведений, исправлений и улучшений значительно увеличилось. Хочу поблагодарить всех участников проекта и выразить надежду, что далее их работа в команде будет не менее плодотворной. И так, что же мы наделали:<br />
<br />
<b>Исправили ряд багов:</b><br />
<br />
<b>#8336: </b>в некоторых ( довольно редких ) случаях функция typedVar возвращала переменную не того типа. Баг был в системе кеширования символьной информации, сделанной для ускорения работы с типизированными переменными<br />
<br />
<b> #8458: </b>после завершения отладочной сессии и открытии новой весь вывод в консоль windbg удваивался.<b> </b><br />
<br />
<b>#8467</b>: при отладке х86 платформы функция typedVarList входила в бесконечный цикл при определенных значениях адреса начала списка.<br />
<br />
<b>Внесли ряд изменений в API:</b><br />
<i><br />
семейство функций loadBytes, loadDWords и.т.д</i><br />
Ранее, эта функции возвращали инфорамцию в виде питоновского dictinory: {0 : val1, 1 : val2, ...}.<br />
Учитывая, что в данном случае ключ - это просто индекс в массиве, dictionary заменили на list. <br />
<br />
<i>typedVar </i><br />
Если в функцию передать не корректный адрес ( в том числе 0x0 ), она вернет <i>None</i>. Это удобно при отладке.<br />
<br />
<i>loadDump</i><br />
Функция возвращает теперь булевское значение. True - дамп загружен успешно, False - произошла ошибка.<br />
<br />
<i>createSession</i><br />
Функция объявлена устаревшей и не желательной к использованию. Теперь функция loadDump ( и новая функция startProcess ), сами создадут сессию при необходимости ( когда скрипт исполняется в отдельном процессе python, а не в windbg ).<br />
<br />
<br />
<b>И наконец, что же нового:</b><br />
<br />
<i>isValid( addr )</i><br />
Функция<i> </i>проверяет валидность адреса.<br />
<br />
dbgModuleClass.image() и dbgModuleClass.pdb() <br />
Метода класса возвращают пути к бинарному файлу и файлу с символьной информацией ( если они есть ) в локальном хранилище символов. Хочу отметить, что метод image() вернет <b>полный</b> путь, его можно использовать для открытия файла.<br />
<br />
<i>класс typeClass</i> <br />
Содержит информацию о типе без загрузки значения. Его удобно использовать, к примеру, если нужно определить смещение определенного поля и при этом нет нужды загружать переменную из памяти, а возможно, и адрес то этой переменной не известен<br />
<br />
<i>getTypeClass( moduleName, symbolName )</i><br />
Возвращает объект типа <i>typeClass</i><br />
<br />
<i>addSynSymbol( addr, size, name )<br />
delAllSynSymbols()</i><br />
<i>delSynSymbols( addr )</i><br />
<i>delSyntheticSymbolsMask( moduleName, symbolName )</i><br />
Функции для работы с т.н синтетическими символами - т.е символами объявленными пользователем динамически во время работы. О работе с синтетическими символами мы уже писали <a href="http://pykd.blogspot.com/2011/02/windbg.html">ранее</a>. Хочу отметить, что pykd сохраняет установленные символы даже если пользователь сделал .reload для модуля.<br />
<br />
Добавлен метод __str__ для всех классов, экспортируемых в python. В результате, работа с ними будет удобнее: можно написать print и получить более полезную информацию, чем просто адрес объекта.<br />
<br />
startProcess( commandLine )<br />
Позволяет начать отладку пользовательского процесса ( аналог команды отладчика .create ). Теперь можно из питона отлаживать программы, примерно так:<br />
>>> startProcess( "myProgram.exe" )<br />
>>> myProgram = loadModule( "myProgram")<br />
>>> b1 = bp( myProgram.myFaultRoutine )<br />
>>> go()<br />
>>> trace()<br />
>>> print reg("eax")<br />
Конечно, пока о реальной отладке кода речь не идет. Но, возможно, в будущем на базе <b>pykd</b> можно будет сделать неплохую альтернативу windbg.<br />
<br />
<br />
</div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-48932570995768488182011-02-28T02:25:00.000-08:002011-02-28T02:53:16.763-08:00Синтетические символы: делаем дизассемблер WinDbg дружелюбнееМногие не любят использовать WinDbg для отладки "чужих" модулей, (т.е. тех, к которым нет символов) из-за его не самого дружелюбного дизассемблера. Простой пример это отображение импортов. Например, имеем небольшую функцию:<br /><span style=";font-family:courier new;font-size:85%;" >0:000> uf 00401090<br />00401090 51 push ecx<br />00401091 56 push esi<br />00401092 8b742410 mov esi,dword ptr [esp+10h]<br />00401096 6a00 push 0<br />00401098 6a00 push 0<br />0040109a 8d44240c lea eax,[esp+0Ch]<br />0040109e 50 push eax<br />0040109f 6800040000 push 400h<br />004010a4 56 push esi<br />004010a5 6a00 push 0<br />004010a7 6800110000 push 1100h<br />004010ac ff1510c04000 call dword ptr [<span style="font-weight: bold;">image+0xc010</span> (0040c010)]<br />004010b2 8b4c2404 mov ecx,dword ptr [esp+4]<br />004010b6 8b54240c mov edx,dword ptr [esp+0Ch]<br />004010ba 51 push ecx<br />004010bb 56 push esi<br />004010bc 52 push edx<br />004010bd 6824c24000 push offset image+0xc224 (0040c224)<br />004010c2 6a10 push 10h<br />004010c4 68fcc14000 push offset image+0xc1fc (0040c1fc)<br />004010c9 e832ffffff call image+0x1000 (00401000)<br />004010ce 8b44241c mov eax,dword ptr [esp+1Ch]<br />004010d2 83c418 add esp,18h<br />004010d5 50 push eax<br />004010d6 ff1514c04000 call dword ptr [<span style="font-weight: bold;">image+0xc014</span> (0040c014)]<br />004010dc 5e pop esi<br />004010dd 59 pop ecx<br />004010de c3 ret</span><br />Так мы ее видим в статике дизассемблера WinDbg. Но стоит дойти до адреса 004010ac, как WinDbg вычислит значение по адресу 0040c010 и выведет следующую строку:<br /><span style="font-size:85%;"><span style="font-family:courier new;">call dword ptr [image+0xc010 (0040c010) ds:0023:0040c010={kernel32!FormatMessageW (77e4f831)]</span></span><br />На самом деле, по адресу 0040c010 расположен элемент IAT (директория импортов PE). При этом логика WinDbg ясна: значение по адресу 0040c010 может измениться, поэтому он и не вычисляет значение содержимого IAT при статическом дизассемблировании. Но если мы уверены, что содержимое таблицы импорта уже сформировано, то было бы неплохо добавить символы на обращения по этим адресам.<br />Для подобного рода задач в <span style="font-weight: bold;">Debugger Engine</span> расширений WinDbg введено понятие синтетических символов (<a href="http://msdn.microsoft.com/en-us/library/ff560150%28VS.85%29.aspx#synthetic_symbols">Synthetic Symbols</a>). Фактически, это символ, добавленный пользователем по заданному виртуальному адресу. Синтетический символ, как и любой другой символ модуля, имеет атрибуты имени и размера. Смысл атрибута имени очевиден, а размер символа нужен для формирования символов вида: module!SymName+33. Важная особенность: при перезагрузке символов для модуля (reload), все добавленные синтетические символы удаляются.<br />Для добавления синтетического имени в расширении pykd есть 2-а пути:<br /><ul><li>Функция <span style="font-weight: bold;">addSynSymbol</span>(адрес_символа, размер_символа, имя_символа)</li><li>Метод <span style="font-weight: bold;">addSynSymbol</span>(смещение_символа, размер_символа, имя_символа) класса <span style="font-weight: bold;">dbgModuleClass</span></li></ul> Добавление синтетического символа через метод <span style="font-weight: bold;">addSynSymbol </span>касса <span style="font-weight: bold;">dbgModuleClass</span> отличается только тем, что в качестве адреса необходимо передать смещение относительно начала модуля.<br />А теперь вернемся к примеру функции, дизассемблерный листинг которой был приведен ранее. Для демонстрации работы запустим <a href="http://pykd.codeplex.com/SourceControl/changeset/view/61770#1410952">скрипт ~\samples\synimp.py</a>, который принимает на вход адрес внутри модуля. Скрипт, для указанного модуля, добавляет импорты, как синтетические символы с префиксом "<span style="font-weight: bold; font-style: italic;">_imp_</span>". После работы скрипта функция выглядит намного понятнее и о ее назначении можно догадаться без трассировки:<br /><span style=";font-family:courier new;font-size:85%;" >0:000> uf 00401090<br />00401090 51 push ecx<br />00401091 56 push esi<br />00401092 8b742410 mov esi,dword ptr [esp+10h]<br />00401096 6a00 push 0<br />00401098 6a00 push 0<br />0040109a 8d44240c lea eax,[esp+0Ch]<br />0040109e 50 push eax<br />0040109f 6800040000 push 400h<br />004010a4 56 push esi<br />004010a5 6a00 push 0<br />004010a7 6800110000 push 1100h<br />004010ac ff1510c04000 call dword ptr [<span style="font-weight: bold;">image!_imp_kernel32!FormatMessageW</span> (0040c010)]<br />004010b2 8b4c2404 mov ecx,dword ptr [esp+4]<br />004010b6 8b54240c mov edx,dword ptr [esp+0Ch]<br />004010ba 51 push ecx<br />004010bb 56 push esi<br />004010bc 52 push edx<br />004010bd 6824c24000 push offset image+0xc224 (0040c224)<br />004010c2 6a10 push 10h<br />004010c4 68fcc14000 push offset image+0xc1fc (0040c1fc)<br />004010c9 e832ffffff call image+0x1000 (00401000)<br />004010ce 8b44241c mov eax,dword ptr [esp+1Ch]<br />004010d2 83c418 add esp,18h<br />004010d5 50 push eax<br />004010d6 ff1514c04000 call dword ptr [<span style="font-weight: bold;">image!_imp_kernel32!LocalFree</span> (0040c014)]<br />004010dc 5e pop esi<br />004010dd 59 pop ecx<br />004010de c3 ret</span><br />Стоит обратить внимание, что функционал синтетических символов будет включен в сборку <span style="font-weight: bold;">pykd</span> с версии 0.0.16Alexey R. aka EreTIkhttp://www.blogger.com/profile/15766287755602837701noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-47925275021296993652011-02-06T22:51:00.000-08:002011-02-06T22:51:45.462-08:00Release 0.0.15<div dir="ltr" style="text-align: left;" trbidi="on"><div dir="ltr" style="text-align: left;" trbidi="on">Вышел очередной релиз <b>pykd</b>.<br />
<br />
<b>Исправили ряд мелких и не очень багов:<br />
</b><br />
<b>#8229</b> - При вызове функции loadModule для модулей отличных от nt появлялось сообщение об ошибке. Теперь - все работает четко.<b> </b><br />
<b>#8236</b> - Функции вывода текста ( dprint/dprintln ) не работали с UNICODE. В результате, приходилось писать:<br />
dprint( str( loadUnicodeString( strAddr ) )<br />
Теперь str - можно ( и нужно ) опустить.<br />
<b>#8239</b> - ф. <span class="CodePlexPageHeader" id="TitleLabel">ptrSignByte возвращала строку, а не число со знаком, что естсетвенно приводило к неправильной работе скриптов.</span><br />
<br />
<b>Добавили следующие функции:</b><br />
<pre><i><b>locals()</b></i></pre>Возвращает коллекцию локальных переменных в текущей области видимости. Применять можно при отладке, например так:</div>a <span style="color: #808030;">=</span> <span style="color: #e34adc;">locals</span><span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">.</span>a<br />
<span style="color: maroon; font-weight: bold;">while</span> a <span style="color: #808030;">></span> <span style="color: #008c00;">10</span><span style="color: #808030;">:</span><br />
<span style="padding: 0px 20px;">trace<span style="color: #808030;">(</span><span style="color: #808030;">)</span></span><br />
<span style="padding: 0px 20px;">a <span style="color: #808030;">=</span> <span style="color: #e34adc;">locals</span><span style="color: #808030;">(</span><span style="color: #808030;">)</span><span style="color: #808030;">.</span>a</span><br />
<br />
Также, локальные переменные можно посмотреть для любого фрейма в коллекции, которую возвращает функция <i>getCurrentStack</i>. Примерно так:<br />
<pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;">frames <span style="color: #808030;">=</span> getCurrentStack<span style="color: #808030;">(</span><span style="color: #808030;">)</span>
<span style="color: maroon; font-weight: bold;">for</span> f <span style="color: maroon; font-weight: bold;">in</span> frames<span style="color: #808030;">:</span> dprintln<span style="color: #808030;">(</span> f<span style="color: #808030;">.</span><span style="color: #e34adc;">locals</span> <span style="color: #808030;">)</span> </pre><pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"></pre><pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;"><b><i>typedVarArray( offset, moduleName, symbolName, arraySize )</i></b></pre>Возвращает коллекцию элементов типа <i>moduleName!symbolName</i>, которые располагались в памяти в виде массива размерностью <i>arraySize</i>. Использовать можно примерно так:<br />
<br />
<pre style="background: none repeat scroll 0% 0% rgb(255, 255, 255); color: black;">nt <span style="color: #808030;">=</span> loadModule<span style="color: #808030;">(</span><span style="color: #0000e6;">"nt"</span><span style="color: #808030;">)</span>
poolVector <span style="color: #808030;">=</span> typedVarArray<span style="color: #808030;">(</span> nt<span style="color: #808030;">.</span>PoolVector<span style="color: #808030;">,</span> <span style="color: #0000e6;">"nt"</span><span style="color: #808030;">,</span> <span style="color: #0000e6;">"_POOL_DESCRIPTOR*"</span><span style="color: #808030;">,</span> <span style="color: #008c00;">2</span> <span style="color: #808030;">)</span>
dprintln<span style="color: #808030;">(</span> <span style="color: #0000e6;">"non paged pool: %x"</span> <span style="color: #808030;">%</span> poolVector<span style="color: #808030;">[</span><span style="color: #008c00;">0</span><span style="color: #808030;">]</span> <span style="color: #808030;">)</span>
dprintln<span style="color: #808030;">(</span> <span style="color: #0000e6;">"paged pool: %x"</span> <span style="color: #808030;">%</span> poolVector<span style="color: #808030;">[</span><span style="color: #008c00;">1</span><span style="color: #808030;">]</span> <span style="color: #808030;">)</span>
</pre><br />
<br />
</div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-39987712880301615722011-02-03T01:03:00.000-08:002011-02-03T01:03:04.586-08:00Сборка pykd вручную.<div dir="ltr" style="text-align: left;" trbidi="on">Без лишней воды, по пунктам:<br />
<br />
<b>1. Забираем исходники</b><br />
<br />
<b>2. Настраиваем boost::python </b><br />
<b>2.1 Переменная окружения BOOST_ROOT </b><br />
Должна указывать соответственно на каталог, где лежит используемая версия boost.<br />
У меня это: С:\lib\boost_1_40_0<br />
<b>2.2 Сборка boost::python</b><br />
В настройках проекта забиты следующие пути к собранным библиотекам:<br />
<i>$(BOOST_ROOT)\stage - </i>для х86 сборки<br />
<i>$(BOOST_ROOT)\stage64 - </i>для х64 сборки <i><br />
</i>Чтобы собрать соответствующие библиотеки, нужно выполнить следующие команды, установив текущую директорию в <i>$(BOOST_ROOT)</i><br />
Для x86:<br />
bjam --stagedir=stage --with-python stage <br />
И для x64:<br />
bjam address-model=64 --stagedir=stage64 --with-python stage<br />
Возможно, вам понадобится сначала установить bjam ( <a href="http://www.boost.org/users/download/">ссылка</a> )<br />
<b>2.3 Указание версии python</b><br />
Если у вас на машине есть несколько версий python и вы хотите явно указать, какую использовать, необходимо отредактировать файл user-config.jam и добавить в него строчки, к примеру, такие:<br />
using python : 2.6 ;<br />
using python : 2.7 ;<br />
Теперь можно собрать библиотеки явно указав версию python<br />
Для x86:<br />
bjam --stagedir=stage --with-python stage python=2.7<br />
И для x64:<br />
bjam address-model=64 --stagedir=stage64 --with-python stage python=2.7<br />
Тут можно подробнее почитать:<br />
<a href="http://www.boost.org/doc/libs/1_45_0/libs/python/doc/building.html">http://www.boost.org/doc/libs/1_45_0/libs/python/doc/building.html</a><br />
<br />
<b>3. Настройка путей к python</b><br />
Для сборки понадобятся заголовочные файлы и библиотека экспорта от соответствующей версии python. Для указания путей используется переменная окружения <b>PYTHON_ROOT</b>, которая должна указывать на каталог установки Python. Если при сборки boost::python была задана конкртная версия python, то перемнная <b>PYTHON_ROOT</b> должна ссылаться на инсталляцию python соответствующей версии.<br />
К примеру, у меня на машине переменная <b>PYTHON_ROOT </b>= C:\Python26. И установлены две версии ( x86 и x64) python:<br />
C:\Python26\x86\ <br />
C:\Python26\x64\ <br />
<br />
<b>4. Настройка путей к DBG SDK</b><br />
Пути к DBG SDK задаются через переменную окружения <b> DBG_SDK_ROOT. </b>Сам DBG SDK находится в каталоге установки windbg<b>. </b><br />
<br />
<br />
</div>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com0tag:blogger.com,1999:blog-3359491729754373146.post-85991935697303208982011-01-26T00:18:00.000-08:002011-01-26T00:43:45.529-08:00Скрипты для windbgЦелью проекта <b>pykd</b> является интеграция python в windbg. А целью интеграции python в windbg - замена стандартного скриптового движка на более удобный. А удобный скриптовый движок нам нужен, чтобы быстро и легко автоматизировать свои действия. По-моему, так?<br />
<br />
В данном посте я хочу предствить ряд скриптов, написанных с помощью <b>pykd</b>, которые могут пригодится в повседневной работе многим. Описание их работы есть в wiki на сайте проекта ( <a href="http://pykd.codeplex.com/wikipage?title=snippets_rus">ссылка</a> ) и я не буду репостить текст. Допустим вы уже прочитали статью с wiki и уже хотите попробовать. Где взять сами скрипты? Через дистрибутив они не распространяются, единственный способ - скачать из репозитория исходного кода ( <a href="http://pykd.codeplex.com/SourceControl/changeset/view/60688">ссылка</a> ). В каталоге <b><i>samples</i></b> лежат, как не трудно догадаться, разные демонстрационный примеры. А в каталоге <b><i>snippets</i></b> - как раз то, что мы ищем. Допустим вы скачали исходный код, куда теперь распаковать каталоги со скриптами? Это не важно - в любой каталог, куда есть доступ. Для удобства использования настоятельно рекомендуется добавить этот путь в переменную окружения <b>$PYTHONPATH</b>. В этом случае, для вызова скрипта не нужно указывать полный путь, даже расширение можно опустить, примерно так:<br />
<i>!py export nt Zw*SetInformation*</i><br />
<br />
Если вы написали полезный скрпит и хотите поделится им - присылайте ссылки на опубликованный код или исходный код и мы опубликуем его на сайте проекта под действующий лицензией.<br />
<br />
Почта: <a href="mailto:pykd.codeplex@hotmail.com">pykd.codeplex@hotmail.com</a>Pykd Maintainerhttp://www.blogger.com/profile/17452890529873583715noreply@blogger.com5