A. 面试的时候被问到java Io 该怎么回答
楼主可以这么回答IO就是In 和 Out的缩写。。。。
B. java面试nio和io的区别
面向流与面向缓冲
Java NIO和IO之间第一个最大的区别是,IO是面向流的,NIO是面向缓冲区的。 Java IO面向流意味着每次从流中读一个或多个字节,直至读取所有字节,它们没有被缓存在任何地方。此外,它不能前后移动流中的数据。如果需要前后移动从流中读取的数据,需要先将它缓存到一个缓冲区。 Java NIO的缓冲导向方法略有不同。数据读取到一个它稍后处理的缓冲区,需要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是,还需要检查是否该缓冲区中包含所有您需要处理的数据。而且,需确保当更多的数据读入缓冲区时,不要覆盖缓冲区里尚未处理的数据。
阻塞与非阻塞IO
Java IO的各种流是阻塞的。这意味着,当一个线程调用read() 或 write()时,该线程被阻塞,直到有一些数据被读取,或数据完全写入。该线程在此期间不能再干任何事情了。 Java NIO的非阻塞模式,使一个线程从某通道发送请求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取。而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。 线程通常将非阻塞IO的空闲时间用于在其它通道上执行IO操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)。
选择器(Selectors)
Java NIO的选择器允许一个单独的线程来监视多个输入通道,你可以注册多个通道使用一个选择器,然后使用一个单独的线程来“选择”通道:这些通道里已经有可以处理的输入,或者选择已准备写入的通道。这种选择机制,使得一个单独的线程很容易来管理多个通道。
NIO和IO如何影响应用程序的设计
无论您选择IO或NIO工具箱,可能会影响您应用程序设计的以下几个方面:
1.对NIO或IO类的API调用。
2.数据处理。
3.用来处理数据的线程数。
API调用
当然,使用NIO的API调用时看起来与使用IO时有所不同,但这并不意外,因为并不是仅从一个InputStream逐字节读取,而是数据必须先读入缓冲区再处理。
数据处理
使用纯粹的NIO设计相较IO设计,数据处理也受到影响。
C. java面试考IO的多吗
IO文件流吗 还好,一般般。会有一些文件读写之类的面试题,主要出现在笔试上。
D. Java实习生工作需要具备哪些能力
结合企业对求职者的技能要求就给大家简单分析一下。
宏观方面
1)要精通多门开源技术,研究过struts spring等的源码;
2)具有丰富的项目经验,从头到尾跟过几个大项目,从需求调研到上线交付维护阶段;
3)有过分布式系统的架构和开发经验,对于跨系统的结构优化、数据存储的性能指标等有丰富经验。
微观方面
1)熟练的使用Java语言进行面向对象程序设计,有良好的编程习惯,熟悉常用的Java API,包括集合框架、多线程(并发编程)、I/O(NIO)、Socket、JDBC、XML、反射等;
2)熟悉基于JSP和Servlet的Java Web开发,对Servlet和JSP的工作原理和生命周期有深入了解,熟练的使用JSTL和EL编写无脚本动态页面;
3)熟练的使用HTML、CSS和JavaScript进行Web前端开发,熟悉jQuery和Bootstrap,对Ajax技术在Web项目中的应用有深入理解;
4)熟练的使用Hibernate、MyBatis等ORM框架,熟悉Hibernate和MyBatis的核心API,对Hibernate的关联映射、继承映射、组件映射、缓存机制、事务管理以及性能调优等有深入的理解。
E. java面试io流问的多吗
看你面试哪种层次的公司了,一般公司就一些se基础,偶尔涉及一些框架,
牛一点的问的就比较深了,主要看你简历上怎么写 的
F. 叫你如何通过硬件工程师面试
通过硬件工程师面试,遇到的常见的问题:
PCB的两条走线过长平行走线会引起什么后果?
从信号完整性方面来考虑,过长的走线耦合增强,串扰的本质在于耦合,所以过长平行走线会引起串扰,可能会引起误码操作。
常见的组合逻辑电路有哪些?
加法器,数据选择器,数据输出器,编码器,译码器,数值比较单元,算数逻辑单元。
存储器有哪些构成?
存储阵列,地址译码器和输出控制电路。
锁相环电路的基本构成?
分频器、鉴频鉴相器、环路滤波器、压控振荡器。
RS232和RS485的主要区别?
RS232是利用传输线与公共地之间的电压差传输信号,RS485是利用传输线之间的电压差作为传输信号,由于电压差分对的存在,可以很好的抑制共模干扰,所以RS485传输更远。
驱动蜂鸣器的三极管工作在哪个区,若是做反相器呢?
由于单片机等其他MCU IO输出的电流比较小,大概在几十个mA以下,所以为了驱动需要电流较大的器件,需要额外的器件。驱动蜂鸣器利用三极管,使其工作在放大区。利用三极管的饱和和截止特性,可以做反相器,作为开关使用。
四层板信号分布是怎么样的,才能使EMC降低?
对于常用的4层板信号分布是,信号层–地层(电源层)—电源层(地层)—信号层。这样设置的原则是(1)电源层和地层相邻,可以耦合电源的噪声,降低因电源抖动对器件的影响。(2)顶层和底层都有相应的参考层,可以良好的达到信号阻抗要求。(3)因两个信号层都有参考层,所以都有各自的参考回流路径,可以降低EMI。
分析竞争与冒险如何产生的以及如何避免?
信号经过逻辑门电路都需要要一定的时间,不同的传输路径上门电路数量不一样或者门电路数量一样,但每个门电路的延迟时间不一样,使得与稳态下得到的逻辑功能不一致,产生错误的输出。到达的时间不一致称为竞争,产生的毛刺称为冒险。
解决办法:1.增加选通电路;2.芯片外部添加电容;3.增加布尔式的消去项;
传输线几个重要的经验公式?
对于传输线上任何串联连接都有电容参数,为了使其不产生对信号线变缓趋势,需要满足 C < 4 *RT。对于传输线上任何串联连接都有电感参数,为了使其不产生尖峰信号,需要满足 L < 0.2 * Z0 *RT。
AD电路中,滤波为什么采用磁珠滤波,而不是电感?
良好的滤波电路对AD器件影响是较大,噪声大,可能会引起误码操作。磁珠滤波是吸收噪声,转化成热,电感滤波时反射噪声,并没有消除噪声。
解释一下电感,磁珠和电容滤波原理?
磁珠滤波是吸收噪声磁珠的等效形式为电抗(电感) + 电阻,在低频段,磁珠表现为感性,反射噪声,在高频段表现为阻性,吸收噪声,并转化成热。所以选择磁珠时需要考虑电路上的信号和噪声所处的频带,尽量让工作频率高于磁珠的转化频率,处在阻性范围。 对于磁珠的选择需要考虑的方面:(1)考虑信号工作的频带范围,好确定磁珠的选型,尽量让其大于磁珠的转换频率;(2)直流电阻,选择低Rdc,降低流过磁珠本身的损耗;(3)额定电流,选择磁珠的额定电流尽量接近或者大于工作电流;(4)自谐振频率,应选择自谐振频率较高的磁珠,因为工作频率大于自谐振频率时,会表现为电容特性,会迅速降低阻抗。
电感滤波是反射噪声,首先说一下电感的作用(1)通直流隔交流;(2)滤波;(3)阻碍电流的变化,维持电流的稳定。因为电感本身也有一定的阻抗,所以在大电流流过时需要考虑电感上的压降,还要注意组成的LC高通或者低通滤波器,不要使其谐振频率工作在器件本身的工作频带范围内,否则会引起谐振,纹波变大。选择电感时,其谐振频率要高于工作频率,当低于谐振频率时,电感值保持稳定,高于谐振频率时,不过增加到一定程度后不再增加,频率在增加电感表现为电容性,会随频率增高而迅速减小。
电容滤波是反射噪声,电容的等效模型为电感+电容+电阻的串联,在谐振频率之前,电容表现为电容特性,随着频率增加,阻抗变小,但是随着频率超过工作频率,会使得电容转化为电感特性,随着频率的增加阻抗变大。电容的作用(1)通交流隔直流;(2)滤波,高频噪声的泄放通道;(3)续流池,维持电压的稳定。电容有ESR和ESL特性,ESR表现为其内部有一定的电阻特性。ESL与电容的封装尺寸有关,F = (ESL * C)^(-1/2)。对于ESL特性,所以在选择电容滤波的时候,尽量不要选择同一封装不同容值,或者同一容值不同封装,这对于滤波会有一定的作用,但是不明显,滤波效果较好的是不同容值不同封装类型,可以基本上滤波各个频段的噪声。
对于电容的选择一般是 陶瓷电容 高频,钽电容一般是中频,电解电容一般是低频。容值越大的钽电容其ESR值越小。
3W,20H什么意思?
3W是相邻走线中心距为标准线宽的3倍。H表示是电源层到底层的厚度,电源层相对于底层内缩20H,以吸收电源平面的辐射。
状态机中的摩尔和米莉有什么区别?
摩尔型状态机只和状态有关,米莉型不单单和当前状态有关,还和输入有关。
基尔霍夫电流定律和电压定律?
在集总电路中,对于任一结点,所有流出结点的支路电流代数和恒等于零。
在集总电路中,对于任一回路,所有支路电压代数和恒等于零。
如何理解运放的虚短和虚断?
虚短是本质,虚断是派生。当然利用这两个运放的性质,算是把运放当作理想运放看待,不过实际中应用两个此性质计算出来的结果也相差无几。
虚短是由于运放的开环放大倍数往往很高,而运放的输出往往是有限的,这样会导致输入的两个引脚间的电位差很小,近似于等电位。称为虚短。
虚断是由于运放的差模输入电阻很高,流入的两个输入端的电流很小,近似于断路,称为虚断。
温度对晶体管的影响?
当温度升高时,对于输入特性,即Vbe与Ib之间的特性,会使得输入特性曲线左移。
当温度升高时,对于输出特性,即Vce与Ic之间的特性,会使得输出特性曲线上移。
PDN网络最根本原则?
当温要使得各个芯片的电压稳定,应使得PDN阻抗低于目标阻抗,PDN阻抗 ≤ 目标阻抗 = Vdd * ripple % / Itransient = 2 * Vdd * Vdd ripple % / P 。
运放如何选择,其中需要注意哪些参数?
运放选择时需要注意以下几个参数:
共模抑制比(KCMR),带宽,供电电压,共模输入范围,输入失调电压(offset voltage),输入失调电流(offset current),输入偏置电流(bias current),压摆率,温漂。
共模抑制比:放大差模信号的能力,抑制共模信号的能力,体现抵抗噪声的能力。
供电电压:当进行小信号放大时,不能超过供电电压的供电范围,否则会产生信号的失真。
共模输入范围:此参数绝对了输入信号的范围,一般共模输入范围在手册中会有规定,比如VCC – 0.2V,-VCC + 0.2V等,若是超过此共模输入范围,也会使得信号失真。
输入失调电压:在输入电压为0时,运放本应输出电压也为0V,但是由于运放内部不肯能绝对对称,会有一定的电压输出,为了调节输出为0时的电压大小为失调电压。一般失调电压都在uV级别。
输入失调电流:在输入电压为0时,流入两个输入端电流的差值,这体现了运放的输入级差分管的不对称性,希望此失调电流越小越好。
输入偏置电流:流入运放两输入端的电流的均值 I = (Ibn + Ibp)/ 2。
阻抗与哪些因素有关?
阻抗与介质厚度,线间距,线宽,铜厚,介电材料有关。
其中与介质厚度和线间距成正比,主要是因为由瞬时阻抗可知Z = 83 * (根号下 介电常数) /CL,由于电容的值与导线距参考平面的高度成反比,所以,当导线距离参考平面比较近时,C变大,反之变小,所以Z的阻抗与介质厚度成正比,若介质厚度增大,则Z增大,反之亦然。经验法则,厚度每增加1mil,特性阻抗减小2Ω。
线间距主要是从自感和互感方面考虑,首先线间距越小,互感增强,自感减小,会导致回路电感减小,这也是差分信号为什么要挨近的原因。当间距变小时整个回路的电感减小,根据 阻抗和电感与电容之间的关系, Z = 根号下(L/C),所以假设导线距离参考平面距离不变的情况下,Z是减小的。所以阻抗Z与线间距成正比。
介电材料,介电材料本身其实不会影响阻抗,但是介电材料会影响电容特性,电容与介电材料成正比,所以阻抗Z与介电常数成反比。
铜厚与电感参量有关,铜厚与厚,电感的值越小,Z = 根号下(L/C),所以假设导线距离参考平面距离不变的情况下,Z是减小的。所以阻抗Z与铜厚成反比。
线宽与电感参量和电容量有关,线越宽,L减小,由于C的值与线宽成正比(也就是横截面面积增大),Z = 根号下(L/C),所以假设导线距离参考平面距离不变的情况下,Z是减小的。所以阻抗Z与线宽成反比。
几个重要性质,电感L与线间距,半径成反比,与导线长度成正比。电容与介电常数,线宽成正比,与介质厚度成反比。
电感L的公式可以参看相关的资料。
C = 介电常数 * A / H。其中A为横截面积,H为介质厚度。
R = ρ/A,其中电阻与线宽是成反比,所以大面积铺铜也是基于这个道理,使得回路阻抗尽可能小,减小地弹和压降。
传输线阻抗为什么是50Ω?
对于传输线,若是半径选的太大,根据特性阻抗与L,R,C的关系,L会减小,C会增大,会导致特性阻抗变低,导致信号的衰减很大,权衡利弊,选50Ω时信号的衰减比较小。
对于逻辑门电路的扇出数如何确定
首先要确定两个参数,第一个是噪声容限,驱动门的高电平门限必须高于扇出门的高电平,驱动门的低电平门限必须小于扇出门的低电平。再者需要考虑拉电流和灌电流, 由拉电流参数确定 驱动门数为 N = IOH / IIH,由灌电流参数确定 驱动门数为 N = IOL / IIL,两者取最小者为最大扇出数。
G. 面试 linux 文件系统怎样io到底层
前言:本文主要讲解LinuxIO调度层的三种模式:cfp、deadline和noop,并给出各自的优化和适用场景建议。IO调度发生在Linux内核的IO调度层。这个层次是针对Linux的整体IO层次体系来说的。从read()或者write()系统调用的角度来说,Linux整体IO体系可以分为七层,它们分别是:VFS层:虚拟文件系统层。由于内核要跟多种文件系统打交道,而每一种文件系统所实现的数据结构和相关方法都可能不尽相同,所以,内核抽象了这一层,专门用来适配各种文件系统,并对外提供统一操作接口。文件系统层:不同的文件系统实现自己的操作过程,提供自己特有的特征,具体不多说了,大家愿意的话自己去看代码即可。页缓存层:负责真对page的缓存。通用块层:由于绝大多数情况的io操作是跟块设备打交道,所以Linux在此提供了一个类似vfs层的块设备操作抽象层。下层对接各种不同属性的块设备,对上提供统一的BlockIO请求标准。IO调度层:因为绝大多数的块设备都是类似磁盘这样的设备,所以有必要根据这类设备的特点以及应用的不同特点来设置一些不同的调度算法和队列。以便在不同的应用环境下有针对性的提高磁盘的读写效率,这里就是大名鼎鼎的Linux电梯所起作用的地方。针对机械硬盘的各种调度方法就是在这实现的。块设备驱动层:驱动层对外提供相对比较高级的设备操作接口,往往是C语言的,而下层对接设备本身的操作方法和规范。块设备层:这层就是具体的物理设备了,定义了各种真对设备操作方法和规范。有一个已经整理好的[LinuxIO结构图],非常经典,一图胜千言:我们今天要研究的内容主要在IO调度这一层。它要解决的核心问题是,如何提高块设备IO的整体性能?这一层也主要是针对机械硬盘结构而设计的。众所周知,机械硬盘的存储介质是磁盘,磁头在盘片上移动进行磁道寻址,行为类似播放一张唱片。这种结构的特点是,顺序访问时吞吐量较高,但是如果一旦对盘片有随机访问,那么大量的时间都会浪费在磁头的移动上,这时候就会导致每次IO的响应时间变长,极大的降低IO的响应速度。磁头在盘片上寻道的操作,类似电梯调度,实际上在最开始的时期,Linux把这个算法命名为Linux电梯算法,即:如果在寻道的过程中,能把顺序路过的相关磁道的数据请求都“顺便”处理掉,那么就可以在比较小影响响应速度的前提下,提高整体IO的吞吐量。这就是我们为什么要设计IO调度算法的原因。目前在内核中默认开启了三种算法/模式:noop,cfq和deadline。严格算应该是两种:因为第一种叫做noop,就是空操作调度算法,也就是没有任何调度操作,并不对io请求进行排序,仅仅做适当的io合并的一个fifo队列。目前内核中默认的调度算法应该是cfq,叫做完全公平队列调度。这个调度算法人如其名,它试图给所有进程提供一个完全公平的IO操作环境。注:请大家一定记住这个词语,cfq,完全公平队列调度,不然下文就没法看了。cfq为每个进程创建一个同步IO调度队列,并默认以时间片和请求数限定的方式分配IO资源,以此保证每个进程的IO资源占用是公平的,cfq还实现了针对进程级别的优先级调度,这个我们后面会详细解释。查看和修改IO调度算法的方法是:cfq是通用服务器比较好的IO调度算法选择,对桌面用户也是比较好的选择。但是对于很多IO压力较大的场景就并不是很适应,尤其是IO压力集中在某些进程上的场景。因为这种场景我们需要的满足某个或者某几个进程的IO响应速度,而不是让所有的进程公平的使用IO,比如数据库应用。deadline调度(最终期限调度)就是更适合上述场景的解决方案。deadline实现了四个队列:其中两个分别处理正常read和write,按扇区号排序,进行正常io的合并处理以提高吞吐量。因为IO请求可能会集中在某些磁盘位置,这样会导致新来的请求一直被合并,可能会有其他磁盘位置的io请求被饿死。另外两个处理超时read和write的队列,按请求创建时间排序,如果有超时的请求出现,就放进这两个队列,调度算法保证超时(达到最终期限时间)的队列中的请求会优先被处理,防止请求被饿死。不久前,内核还是默认标配四种算法,还有一种叫做as的算法(Anticipatoryscheler),预测调度算法。一个高大上的名字,搞得我一度认为Linux内核都会算命了。结果发现,无非是在基于deadline算法做io调度的之前等一小会时间,如果这段时间内有可以合并的io请求到来,就可以合并处理,提高deadline调度的在顺序读写情况下的数据吞吐量。其实这根本不是啥预测,我觉得不如叫撞大运调度算法,当然这种策略在某些特定场景差效果不错。但是在大多数场景下,这个调度不仅没有提高吞吐量,还降低了响应速度,所以内核干脆把它从默认配置里删除了。毕竟Linux的宗旨是实用,而我们也就不再这个调度算法上多费口舌了。1、cfq:完全公平队列调度cfq是内核默认选择的IO调度队列,它在桌面应用场景以及大多数常见应用场景下都是很好的选择。如何实现一个所谓的完全公平队列(CompletelyFairQueueing)?首先我们要理解所谓的公平是对谁的公平?从操作系统的角度来说,产生操作行为的主体都是进程,所以这里的公平是针对每个进程而言的,我们要试图让进程可以公平的占用IO资源。那么如何让进程公平的占用IO资源?我们需要先理解什么是IO资源。当我们衡量一个IO资源的时候,一般喜欢用的是两个单位,一个是数据读写的带宽,另一个是数据读写的IOPS。带宽就是以时间为单位的读写数据量,比如,100Mbyte/s。而IOPS是以时间为单位的读写次数。在不同的读写情境下,这两个单位的表现可能不一样,但是可以确定的是,两个单位的任何一个达到了性能上限,都会成为IO的瓶颈。从机械硬盘的结构考虑,如果读写是顺序读写,那么IO的表现是可以通过比较少的IOPS达到较大的带宽,因为可以合并很多IO,也可以通过预读等方式加速数据读取效率。当IO的表现是偏向于随机读写的时候,那么IOPS就会变得更大,IO的请求的合并可能性下降,当每次io请求数据越少的时候,带宽表现就会越低。从这里我们可以理解,针对进程的IO资源的主要表现形式有两个:进程在单位时间内提交的IO请求个数和进程占用IO的带宽。其实无论哪个,都是跟进程分配的IO处理时间长度紧密相关的。有时业务可以在较少IOPS的情况下占用较大带宽,另外一些则可能在较大IOPS的情况下占用较少带宽,所以对进程占用IO的时间进行调度才是相对最公平的。即,我不管你是IOPS高还是带宽占用高,到了时间咱就换下一个进程处理,你爱咋样咋样。所以,cfq就是试图给所有进程分配等同的块设备使用的时间片,进程在时间片内,可以将产生的IO请求提交给块设备进行处理,时间片结束,进程的请求将排进它自己的队列,等待下次调度的时候进行处理。这就是cfq的基本原理。当然,现实生活中不可能有真正的“公平”,常见的应用场景下,我们很肯能需要人为的对进程的IO占用进行人为指定优先级,这就像对进程的CPU占用设置优先级的概念一样。所以,除了针对时间片进行公平队列调度外,cfq还提供了优先级支持。每个进程都可以设置一个IO优先级,cfq会根据这个优先级的设置情况作为调度时的重要参考因素。优先级首先分成三大类:RT、BE、IDLE,它们分别是实时(RealTime)、最佳效果(BestTry)和闲置(Idle)三个类别,对每个类别的IO,cfq都使用不同的策略进行处理。另外,RT和BE类别中,分别又再划分了8个子优先级实现更细节的QOS需求,而IDLE只有一个子优先级。另外,我们都知道内核默认对存储的读写都是经过缓存(buffer/cache)的,在这种情况下,cfq是无法区分当前处理的请求是来自哪一个进程的。只有在进程使用同步方式(syncread或者syncwirte)或者直接IO(DirectIO)方式进行读写的时候,cfq才能区分出IO请求来自哪个进程。所以,除了针对每个进程实现的IO队列以外,还实现了一个公共的队列用来处理异步请求。当前内核已经实现了针对IO资源的cgroup资源隔离,所以在以上体系的基础上,cfq也实现了针对cgroup的调度支持。总的来说,cfq用了一系列的数据结构实现了以上所有复杂功能的支持,大家可以通过源代码看到其相关实现,文件在源代码目录下的block/cfq-iosched.c。1.1cfq设计原理在此,我们对整体数据结构做一个简要描述:首先,cfq通过一个叫做cfq_data的数据结构维护了整个调度器流程。在一个支持了cgroup功能的cfq中,全部进程被分成了若干个contralgroup进行管理。每个cgroup在cfq中都有一个cfq_group的结构进行描述,所有的cgroup都被作为一个调度对象放进一个红黑树中,并以vdisktime为key进行排序。vdisktime这个时间纪录的是当前cgroup所占用的io时间,每次对cgroup进行调度时,总是通过红黑树选择当前vdisktime时间最少的cgroup进行处理,以保证所有cgroups之间的IO资源占用“公平”。当然我们知道,cgroup是可以对blkio进行资源比例分配的,其作用原理就是,分配比例大的cgroup占用vdisktime时间增长较慢,分配比例小的vdisktime时间增长较快,快慢与分配比例成正比。这样就做到了不同的cgroup分配的IO比例不一样,并且在cfq的角度看来依然是“公平“的。选择好了需要处理的cgroup(cfq_group)之后,调度器需要决策选择下一步的service_tree。service_tree这个数据结构对应的都是一系列的红黑树,主要目的是用来实现请求优先级分类的,就是RT、BE、IDLE的分类。每一个cfq_group都维护了7个service_trees,其定义如下:其中service_tree_idle就是用来给IDLE类型的请求进行排队用的红黑树。而上面二维数组,首先第一个维度针对RT和BE分别各实现了一个数组,每一个数组中都维护了三个红黑树,分别对应三种不同子类型的请求,分别是:SYNC、SYNC_NOIDLE以及ASYNC。我们可以认为SYNC相当于SYNC_IDLE并与SYNC_NOIDLE对应。idling是cfq在设计上为了尽量合并连续的IO请求以达到提高吞吐量的目的而加入的机制,我们可以理解为是一种“空转”等待机制。空转是指,当一个队列处理一个请求结束后,会在发生调度之前空等一小会时间,如果下一个请求到来,则可以减少磁头寻址,继续处理顺序的IO请求。为了实现这个功能,cfq在service_tree这层数据结构这实现了SYNC队列,如果请求是同步顺序请求,就入队这个servicetree,如果请求是同步随机请求,则入队SYNC_NOIDLE队列,以判断下一个请求是否是顺序请求。所有的异步写操作请求将入队ASYNC的servicetree,并且针对这个队列没有空转等待机制。此外,cfq还对SSD这样的硬盘有特殊调整,当cfq发现存储设备是一个ssd硬盘这样的队列深度更大的设备时,所有针对单独队列的空转都将不生效,所有的IO请求都将入队SYNC_NOIDLE这个servicetree。每一个servicetree都对应了若干个cfq_queue队列,每个cfq_queue队列对应一个进程,这个我们后续再详细说明。cfq_group还维护了一个在cgroup内部所有进程公用的异步IO请求队列,其结构如下:异步请求也分成了RT、BE、IDLE这三类进行处理,每一类对应一个cfq_queue进行排队。BE和RT也实现了优先级的支持,每一个类型有IOPRIO_BE_NR这么多个优先级,这个值定义为8,数组下标为0-7。我们目前分析的内核代码版本为Linux4.4,可以看出,从cfq的角度来说,已经可以实现异步IO的cgroup支持了,我们需要定义一下这里所谓异步IO的含义,它仅仅表示从内存的buffer/cache中的数据同步到硬盘的IO请求,而不是aio(man7aio)或者linux的native异步io以及lio机制,实际上这些所谓的“异步”IO机制,在内核中都是同步实现的(本质上冯诺伊曼计算机没有真正的“异步”机制)。我们在上面已经说明过,由于进程正常情况下都是将数据先写入buffer/cache,所以这种异步IO都是统一由cfq_group中的async请求队列处理的。那么为什么在上面的service_tree中还要实现和一个ASYNC的类型呢?这当然是为了支持区分进程的异步IO并使之可以“完全公平”做准备喽。实际上在最新的cgroupv2的blkio体系中,内核已经支持了针对bufferIO的cgroup限速支持,而以上这些可能容易混淆的一堆类型,都是在新的体系下需要用到的类型标记。新体系的复杂度更高了,功能也更加强大,但是大家先不要着急,正式的cgroupv2体系,在Linux4.5发布的时候会正式跟大家见面。我们继续选择service_tree的过程,三种优先级类型的service_tree的选择就是根据类型的优先级来做选择的,RT优先级最高,BE其次,IDLE最低。就是说,RT里有,就会一直处理RT,RT没了再处理BE。每个service_tree对应一个元素为cfq_queue排队的红黑树,而每个cfq_queue就是内核为进程(线程)创建的请求队列。每一个cfq_queue都会维护一个rb_key的变量,这个变量实际上就是这个队列的IO服务时间(servicetime)。这里还是通过红黑树找到servicetime时间最短的那个cfq_queue进行服务,以保证“完全公平”。选择好了cfq_queue之后,就要开始处理这个队列里的IO请求了。这里的调度方式基本跟deadline类似。cfq_queue会对进入队列的每一个请求进行两次入队,一个放进fifo中,另一个放进按访问扇区顺序作为key的红黑树中。默认从红黑树中取请求进行处理,当请求的延时时间达到deadline时,就从红黑树中取等待时间最长的进行处理,以保证请求不被饿死。这就是整个cfq的调度流程,当然其中还有很多细枝末节没有交代,比如合并处理以及顺序处理等等。1.2cfq的参数调整理解整个调度流程有助于我们决策如何调整cfq的相关参数。所有cfq的可调参数都可以在/sys/class/block/sda/queue/iosched/目录下找到,当然,在你的系统上,请将sda替换为相应的磁盘名称。我们来看一下都有什么:这些参数部分是跟机械硬盘磁头寻道方式有关的,如果其说明你看不懂,请先补充相关知识:back_seek_max:磁头可以向后寻址的最大范围,默认值为16M。back_seek_penalty:向后寻址的惩罚系数。这个值是跟向前寻址进行比较的。以上两个是为了防止磁头寻道发生抖动而导致寻址过慢而设置的。基本思路是这样,一个io请求到来的时候,cfq会根据其寻址位置预估一下其磁头寻道成本。设置一个最大值back_seek_max,对于请求所访问的扇区号在磁头后方的请求,只要寻址范围没有超过这个值,cfq会像向前寻址的请求一样处理它。再设置一个评估成本的系数back_seek_penalty,相对于磁头向前寻址,向后寻址的距离为1/2(1/back_seek_penalty)时,cfq认为这两个请求寻址的代价是相同。这两个参数实际上是cfq判断请求合并处理的条件限制,凡事复合这个条件的请求,都会尽量在本次请求处理的时候一起合并处理。fifo_expire_async:设置异步请求的超时时间。同步请求和异步请求是区分不同队列处理的,cfq在调度的时候一般情况都会优先处理同步请求,之后再处理异步请求,除非异步请求符合上述合并处理的条件限制范围内。当本进程的队列被调度时,cfq会优先检查是否有异步请求超时,就是超过fifo_expire_async参数的限制。如果有,则优先发送一个超时的请求,其余请求仍然按照优先级以及扇区编号大小来处理。fifo_expire_sync:这个参数跟上面的类似,区别是用来设置同步请求的超时时间。slice_idle:参数设置了一个等待时间。这让cfq在切换cfq_queue或servicetree的时候等待一段时间,目的是提高机械硬盘的吞吐量。一般情况下,来自同一个cfq_queue或者servicetree的IO请求的寻址局部性更好,所以这样可以减少磁盘的寻址次数。这个值在机械硬盘上默认为非零。当然在固态硬盘或者硬RAID设备上设置这个值为非零会降低存储的效率,因为固态硬盘没有磁头寻址这个概念,所以在这样的设备上应该设置为0,关闭此功能。group_idle:这个参数也跟上一个参数类似,区别是当cfq要切换cfq_group的时候会等待一段时间。在cgroup的场景下,如果我们沿用slice_idle的方式,那么空转等待可能会在cgroup组内每个进程的cfq_queue切换时发生。这样会如果这个进程一直有请求要处理的话,那么直到这个cgroup的配额被耗尽,同组中的其它进程也可能无法被调度到。这样会导致同组中的其它进程饿死而产生IO性能瓶颈。在这种情况下,我们可以将slice_idle=0而group_idle=8。这样空转等待就是以cgroup为单位进行的,而不是以cfq_queue的进程为单位进行,以防止上述问题产生。low_latency:这个是用来开启或关闭cfq的低延时(lowlatency)模式的开关。当这个开关打开时,cfq将会根据target_latency的参数设置来对每一个进程的分片时间(slicetime)进行重新计算。这将有利于对吞吐量的公平(默认是对时间片分配的公平)。关闭这个参数(设置为0)将忽略target_latency的值。这将使系统中的进程完全按照时间片方式进行IO资源分配。这个开关默认是打开的。我们已经知道cfq设计上有“空转”(idling)这个概念,目的是为了可以让连续的读写操作尽可能多的合并处理,减少磁头的寻址操作以便增大吞吐量。如果有进程总是很快的进行顺序读写,那么它将因为cfq的空转等待命中率很高而导致其它需要处理IO的进程响应速度下降,如果另一个需要调度的进程不会发出大量顺序IO行为的话,系统中不同进程IO吞吐量的表现就会很不均衡。就比如,系统内存的cache中有很多脏页要写回时,桌面又要打开一个浏览器进行操作,这时脏页写回的后台行为就很可能会大量命中空转时间,而导致浏览器的小量IO一直等待,让用户感觉浏览器运行响应速度变慢。这个low_latency主要是对这种情况进行优化的选项,当其打开时,系统会根据target_latency的配置对因为命中空转而大量占用IO吞吐量的进程进行限制,以达到不同进程IO占用的吞吐量的相对均衡。这个开关比较合适在类似桌面应用的场景下打开。target_latency:当low_latency的值为开启状态时,cfq将根据这个值重新计算每个进程分配的IO时间片长度。quantum:这个参数用来设置每次从cfq_queue中处理多少个IO请求。在一个队列处理事件周期中,超过这个数字的IO请求将不会被处理。这个参数只对同步的请求有效。slice_sync:当一个cfq_queue队列被调度处理时,它可以被分配的处理总时间是通过这个值来作为一个计算参数指定的。公式为:time_slice=slice_sync+(slice_sync/5*(4-prio))。这个参数对同步请求有效。slice_async:这个值跟上一个类似,区别是对异步请求有效。slice_async_rq:这个参数用来限制在一个slice的时间范围内,一个队列最多可以处理的异步请求个数。请求被处理的最大个数还跟相关进程被设置的io优先级有关。1.3cfq的IOPS模式我们已经知道,默认情况下cfq是以时间片方式支持的带优先级的调度来保证IO资源占用的公平。高优先级的进程将得到的时间片长度,而低优先级的进程时间片相对较小。当我们的存储是一个高速并且支持NCQ(原生指令队列)的设备的时候,我们最好可以让其可以从多个cfq队列中处理多路的请求,以便提升NCQ的利用率。此时使用时间片的分配方式分配资源就显得不合时宜了,因为基于时间片的分配,同一时刻最多能处理的请求队列只有一个。这时,我们需要切换cfq的模式为IOPS模式。切换方式很简单,就是将slice_idle=0即可。内核会自动检测你的存储设备是否支持NCQ,如果支持的话cfq会自动切换为IOPS模式。另外,在默认的基于优先级的时间片方式下,我们可以使用ionice命令来调整进程的IO优先级。进程默认分配的IO优先级是根据进程的nice值计算而来的,计算方法可以在manionice中看到,这里不再废话。2、deadline:最终期限调度deadline调度算法相对cfq要简单很多。其设计目标是:在保证请求按照设备扇区的顺序进行访问的同时,兼顾其它请求不被饿死,要在一个最终期限前被调度到。我们知道磁头对磁盘的寻道是可以进行顺序访问和随机访问的,因为寻道延时时间的关系,顺序访问时IO的吞吐量更大,随机访问的吞吐量小。如果我们想为一个机械硬盘进行吞吐量优化的话,那么就可以让调度器按照尽量复合顺序访问的IO请求进行排序,之后请求以这样的顺序发送给硬盘,就可以使IO的吞吐量更大。但是这样做也有另一个问题,就是如果此时出现了一个请求,它要访问的磁道离目前磁头所在磁道很远,应用的请求又大量集中在目前磁道附近。导致大量请求一直会被合并和插队处理,而那个要访问比较远磁道的请求将因为一直不能被调度而饿死。deadline就是这样一种调度器,能在保证IO最大吞吐量的情况下,尽量使远端请求在一个期限内被调度而不被饿死的调度器。
H. Java框架Netty的io结构是什么这是面试题
主从Reactor多线程Nio结构,主从Reactor线程模型的特点是:服务端用于接收客户端连接的不再是个1个单独的NIO线程,而是一个独立的NIO线程池。Acceptor接收到客户端TCP连接请求处理完成后(可能包含接入认证等),将新创建的SocketChannel注册到IO线程池(sub reactor线程池)的某个IO线程上,由它负责SocketChannel的读写和编解码工作。Acceptor线程池仅仅只用于客户端的登陆、握手和安全认证,一旦链路建立成功,就将链路注册到后端subReactor线程池的IO线程上,由IO线程负责后续的IO操作。
利用主从NIO线程模型,可以解决1个服务端监听线程无法有效处理所有客户端连接的性能不足问题。
它的工作流程总结如下:
从主线程池中随机选择一个Reactor线程作为Acceptor线程,用于绑定监听端口,接收客户端连接;
Acceptor线程接收客户端连接请求之后创建新的SocketChannel,将其注册到主线程池的其它Reactor线程上,由其负责接入认证、IP黑白名单过滤、握手等操作;
步骤2完成之后,业务层的链路正式建立,将SocketChannel从主线程池的Reactor线程的多路复用器上摘除,重新注册到Sub线程池的线程上,用于处理I/O的读写操作。
I. 面试题:Java框架Netty的io结构是什么
主从Reactor多线程结构,主从Reactor线程模型的特点是:服务端用于接收客户端连接的不再是个1个单独的NIO线程,而是一个独立的NIO线程池。Acceptor接收到客户端TCP连接请求处理完成后(可能包含接入认证等),将新创建的SocketChannel注册到IO线程池(sub reactor线程池)的某个IO线程上,由它负责SocketChannel的读写和编解码工作。Acceptor线程池仅仅只用于客户端的登陆、握手和安全认证,一旦链路建立成功,就将链路注册到后端subReactor线程池的IO线程上,由IO线程负责后续的IO操作。
利用主从NIO线程模型,可以解决1个服务端监听线程无法有效处理所有客户端连接的性能不足问题。
它的工作流程总结如下:
从主线程池中随机选择一个Reactor线程作为Acceptor线程,用于绑定监听端口,接收客户端连接;
Acceptor线程接收客户端连接请求之后创建新的SocketChannel,将其注册到主线程池的其它Reactor线程上,由其负责接入认证、IP黑白名单过滤、握手等操作;
步骤2完成之后,业务层的链路正式建立,将SocketChannel从主线程池的Reactor线程的多路复用器上摘除,重新注册到Sub线程池的线程上,用于处理I/O的读写操作。
J. 面试问:java有IO为什么还要用POI
poi、jxl是针对M$ Office 格式的文件 读写的专门的工具库。
io 基本的读写 二进制 、文本的类