netty io线程和业务线程,netty默认线程数

  netty io线程和业务线程,netty默认线程数

  00-1010简介介绍AffinityThreadFactory,由netty中的affinityAffinityThreadFactory总结

  00-1010使用java线程亲和库,我们可以将线程绑定到特定的CPU或CPU核,通过减少CPU之间的切换来提高线程执行的效率。

  虽然netty已经够好了,但是谁不想变得更好呢?于是就产生了一个想法,就是亲和库可以用在netty上吗?答案是肯定的,我们来看看。

  

目录

affinity是以jar包的形式提供出去的,目前最新的正式版本是3.20.0,所以我们需要这样引入:

 

  !-https://mvnrepository.com/artifact/net.openhft/affinity-依赖groupIdnet.openhft/groupId artifactIdaffinity/artifactId version 3 . 20 . 0/version/依赖引入affinity后,会在项目的依赖库中添加一个affinity的lib包,这样我们就可以在netty中愉快地使用affinity了。

  

简介

有了affinity,怎么把affinity引入到netty中呢?

 

  我们知道亲和力是用来控制线程的,也就是说亲和力和线程有关。netty中相关的线程是EventLoopGroup。我们来看看netty中EventLoopGroup的基本用法。这里以NioEventLoopGroup为例。NioEventLoopGroup有许多构造函数参数,其中一种是传入一个ThreadFactory:.

  public NioEventLoopGroup(ThreadFactory ThreadFactory){ this(0,ThreadFactory,selector provider . provider());}这个构造函数意味着NioEventLoopGroup中使用的所有线程都是由threadFactory创建的。于是我们找到了netty和affinity的对应关系。你只需要构造affinity的ThreadFactory。

  affinity中恰好有一个affinity ThreadFactory类,专门用来创建affinity对应的线程。

  接下来,我们来仔细看看AffinityThreadFactory。

  AffinityThreadFactory可以根据提供的不同AffinityStrategy创建相应的线程。AffinityStrategy表示线程之间的关系。

  在affinity中,有5种线程关系,分别是:

  SAME _ CORE-线程将在同一个CPU内核中运行。SAME _ SOCKET-线程将在同一个CPU插槽中运行,但不在同一个内核上。不同的套接字线程将在不同的套接字中运行。不同的内核线程将在不同的内核上运行。任何-只要它是可用的CPU资源。这些关系是通过AffinityStrategy中的matches方法来实现的:

  布尔匹配(int cpuId,int cpuId 2);匹配传入的两个参数,即传入的两个cpuId。

  我们以SAME_CORE为例来看看这个mathes方法到底是怎么工作的:

  SAME _ CORE { @ Override public boolean matches(int cpuId,int cpuId 2){ CpuLayout CpuLayout=affinity lock . CpuLayout();return cpulayout . socket id(cpuId)==cpulayout . socket id(cpuId 2)c

  puLayout.coreId(cpuId) == cpuLayout.coreId(cpuId2); } }可以看到它的逻辑是先获取当前CPU的layout,CpuLayout中包含了cpu个数,sockets个数,每个sockets的cpu核数等基本信息。

  并且提供了三个方法根据给定的cpuId返回对应的socket、core和thread信息:

  

 int socketId(int cpuId); int coreId(int cpuId); int threadId(int cpuId);

matches方法就是根据传入的cpuId找到对应的socket,core信息进行比较,从而生成了5中不同的策略。

 

  先看一下AffinityThreadFactory的构造函数:

  

 public AffinityThreadFactory(String name, boolean daemon, @NotNull AffinityStrategy... strategies) { this.name = name; this.daemon = daemon; this.strategies = strategies.length == 0 ? new AffinityStrategy[]{AffinityStrategies.ANY} : strategies; }

可以传入thread的name前缀,和是否是守护线程,最后如果strategies不传的话,默认使用的是AffinityStrategies.ANY策略,也就是说为线程分配任何可以绑定的CPU。

 

  接下来看下这个ThreadFactory是怎么创建新线程的:

  

public synchronized Thread newThread(@NotNull final Runnable r) { String name2 = id <= 1 ? name : (name + - + id); id++; Thread t = new Thread(new Runnable() { @Override public void run() { try (AffinityLock ignored = acquireLockBasedOnLast()) { r.run(); } } }, name2); t.setDaemon(daemon); return t; } private synchronized AffinityLock acquireLockBasedOnLast() { AffinityLock al = lastAffinityLock == null ? AffinityLock.acquireLock() : lastAffinityLock.acquireLock(strategies); if (al.cpuId() >= 0) lastAffinityLock = al; return al; }

从上面的代码可以看出,创建的新线程会以传入的name为前缀,后面添加1,2,3,4这种后缀。并且根据传入的是否是守护线程的标记,将调用对应线程的setDaemon方法。

 

  重点是Thread内部运行的Runnable内容,在run方法内部,首先调用acquireLockBasedOnLast方法获取lock,在获得lock的前提下运行对应的线程方法,这样就会将当前运行的Thread和CPU进行绑定。

  从acquireLockBasedOnLast方法中,我们可以看出AffinityLock实际上是一个链式结构,每次请求的时候都调用的是lastAffinityLock的acquireLock方法,如果获取到lock,则将lastAffinityLock进行替换,用来进行下一个lock的获取。

  有了AffinityThreadFactory,我们只需要在netty的使用中传入AffinityThreadFactory即可。

  

 

  

在netty中使用AffinityThreadFactory

上面讲到了要在netty中使用affinity,可以将AffinityThreadFactory传入EventLoopGroup中。对于netty server来说可以有两个EventLoopGroup,分别是acceptorGroup和workerGroup,在下面的例子中我们将AffinityThreadFactory传入workerGroup,这样后续work中分配的线程都会遵循AffinityThreadFactory中配置的AffinityStrategies策略,来获得对应的CPU:

 

  

//建立两个EventloopGroup用来处理连接和消息 EventLoopGroup acceptorGroup = new NioEventLoopGroup(acceptorThreads); //创建AffinityThreadFactory ThreadFactory threadFactory = new AffinityThreadFactory("affinityWorker", AffinityStrategies.DIFFERENT_CORE,AffinityStrategies.DIFFERENT_SOCKET,AffinityStrategies.ANY); //将AffinityThreadFactory加入workerGroup EventLoopGroup workerGroup = new NioEventLoopGroup(workerThreads,threadFactory); try { ServerBootstrap b = new ServerBootstrap(); b.group(acceptorGroup, workerGroup) .channel(NioServerSocketChannel.class) .childHandler(new ChannelInitializer<SocketChannel>() { @Override public void initChannel(SocketChannel ch) throws Exception { ch.pipeline().addLast(new AffinityServerHandler()); } }) .option(ChannelOption.SO_BACKLOG, 128) .childOption(ChannelOption.SO_KEEPALIVE, true); // 绑定端口并开始接收连接 ChannelFuture f = b.bind(port).sync(); // 等待server socket关闭 f.channel().closeFuture().sync(); } finally { //关闭group workerGroup.shutdownGracefully(); acceptorGroup.shutdownGracefully(); }

为了获取更好的性能,Affinity还可以对CPU进行隔离,被隔离的CPU只允许执行本应用的线程,从而获得更好的性能。

 

  要使用这个特性需要用到linux的isolcpus。这个功能主要是将一个或多个CPU独立出来,用来执行特定的Affinity任务。

  isolcpus命令后面可以接CPU的ID,或者可以修改/boot/grub/grub.conf文件,添加要隔离的CPU信息如下:

  

isolcpus=3,4,5

 

  

总结

affinity可以对线程进行极致管控,对性能要求严格的朋友可以试试,但是在使用过程中需要选择合适的AffinityStrategies,否则可能会得不到想要的结果。

 

  到此这篇关于基于Java在netty中实现线程和CPU绑定的文章就介绍到这了,更多相关 线程和CPU绑定内容请搜索盛行IT以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT!

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: