qemu version: 4.1.0
一 qemu主线程
以存储类型virtio-blk为例,guest内部发起io请求,当qemu主线程轮询到了ioeventfd,调用aio_dispatch_handlers处理io。
aio_dispatch_handlers...virtio_queue_notify_aio_vqvq->handle_aio_outputvirtio_blk_data_plane_handle_output...submit_requests //处理io请求if (is_write)blk_aio_pwritevelseblk_aio_preadv
二 协程
blk_aio_prwv负责将块设备的异步io请求封装和调度,并在完成后回调通知,以wirte为例,创建一个协程后返回,将io请求交给协程来处理,入口函数是blk_aio_write_entry,等协程完成io后通知主线程,回调函数是virtio_blk_rw_complete。
blk_aio_pwritevblk_aio_prwv(...blk_aio_write_entry...virtio_blk_rw_complete...)qemu_coroutine_create(...blk_aio_write_entry...) //创建协程处理io请求bdrv_coroutine_enterblk_aio_write_entryblk_co_pwritevbdrv_co_pwritevbdrv_driver_pwritevraw_co_pwritevraw_co_prwblk_aio_complete //当io返回,收到通知,切回协程,通知主线程。acb->common.cbvirtio_blk_rw_complete
三 linux aio和aio线程池
raw_co_prw有两种处理io的方式,当配置了linux_aio,调用laio_co_submit,否则调用raw_thread_pool_submit。
linux aio
linux aio是内核级别的异步io实现,协程调用laio_do_submit,将io请求交给内核处理,无需等待,返回到主线程。
当内核处理完io请求,回调qemu_laio_completion_cb,切回协程。
raw_co_prwlaio_co_submitlaio_do_submit //由内核处理,无需等待。qemu_coroutine_yield //切出协程,返回主线程。qemu_laio_completion_cb //io完成的回调函数qemu_laio_process_completions_and_submit...qemu_coroutine_entered //当io返回,收到通知,切回协程,完成剩下的工作。
aio线程池
qemu有一个专门负责aio的线程池thread_pool,协程将io请求交给线程池处理,无需等待,返回到主线程。
当线程池处理完io请求,回调thread_pool_co_cb,切回协程。
raw_co_prwraw_thread_pool_submitthread_pool_submit_cothread_pool_submit_aio(...handle_aiocb_rw...thread_pool_co_cb) //由线程池负责处理,无需等待。qemu_coroutine_yield //切出协程,返回主线程。handle_aiocb_rw //处理io的入口函数handle_aiocb_rw_linearpwritethread_pool_co_cb //io完成的回调函数aio_co_wakeqemu_coroutine_entered //当io返回,收到通知,切回协程,完成剩下的工作。
四 iotherad
当配置了iothread,将设备的io操作从qemu主线程中分离出来,交给iothread线程。
