哈尔滨松北区建设局网站,软件开发和研发的区别,便宜的网站空间,WordPress科技网站1#xff09;Kafka 本身是分布式集群#xff0c;可以采用分区技术#xff0c;并行度高#xff08;生产消费方并行度高#xff09;#xff1b;
2#xff09;读数据采用稀疏索引#xff0c;可以快速定位要消费的数据#xff1b;
3#xff09;顺序写磁盘#xff1b; …1Kafka 本身是分布式集群可以采用分区技术并行度高生产消费方并行度高
2读数据采用稀疏索引可以快速定位要消费的数据
3顺序写磁盘 Kafka 的 producer 生产数据要写入到 log 文件中写的过程是一直追加到文件末端 为顺序写。官网有数据表明同样的磁盘顺序写能到 600M/s而随机写只有 100K/s。这与磁盘的机械机构有关顺序写之所以快是因为其省去了大量磁头寻址的时间。 又有如下两个优势 零拷贝Kafka的数据加工处理操作交由Kafka生产者和Kafka消费者处理。Kafka Broker应用层不关心存储的数据所以就不用 走应用层传输效率高。 PageCache页缓存Kafka重度依赖底层操作系统提供的PageCache功 能。当上层有写操作时操作系统只是将数据写入 PageCache。当读操作发生时先从PageCache中查找如果找不到再去磁盘中读取。实际上PageCache是把尽可能多的空闲内存 都当做了磁盘缓存来使用。
