文本编码和不同系统的换行符转换问题

iconv -f ? -t  ?  ? -o ?
iconv -f big5 -t utf8 vi.big5 -o vi.utf8          /进行big5编码的文本转换为utf8编码的文本
iconv -f utf8 -t big5 vi.utf8.繁体 | iconv -f utf8 -t gb2312 |iconv -f gb2312 -t utf8 -o vi.utf8.简体
/繁体转换简体 字体切换。utf8编码的繁体转换为big5编码，再转化为GB2312简体编码，再转化为utf8编码的简体。有这么一个转化的步骤。

DOS和Linux的换行符
利用软件dos2unix 进行换行符的转换。DOS的换行符为CRLF，linux为LF,CR为^M。如果是在Windows上编写的脚本，复制到linux下可能就无法正常运行了。
dos2unix -kn 1.txt 2.txt
2.txt是转化后的新文件。-k代表保留文件原本的mtime. -n代表保留旧的文件，转化的内容输出到2.txt。

评论

发表评论

此博客中的热门博文

vmware esxi 安装运行与raid卡固件兼容性问题

图片
因为工作的原因，接下来要越来越多的跟VMware接触。在项目实施中难免碰到杂七杂八的问题。故在此作记录。 首先想说的是VMware esxi的兼容性还是有点挑剔的，官方专门有个兼容性列表以供我们查询，里面涉及了CPU，GPU，raid卡，以及服务器品牌系列等等选项。 情况先大概说明一下，在一台服务器satadom上安装esxi后，想要对上面的磁盘做raid，起初以为是raid卡版本低，不支持raid选项。故升级raid卡固件，升级后esxi启动时会在load lsigptmod load sucessful 卡好大一会儿，进入web管理界面后设备无法发现raid卡上接入的磁盘。在官网查询以后发现是升级后的raid卡固件太新，esxi版本不支持，故做降级处理。以下是详细过程说明和硬件介绍。 服务器：supermicro SuperServer 2027GR-TR2 2uGpu intel v2平台服务器 （产品链接：https://www.supermicro.org.cn/products/system/2U/2027/SYS-2027GR-TR2.cfm） CPU:intel e5 2680 v2  内存：32G*8 硬盘：400G ssd *2 1T hdd*6 64G satadom *1 raid卡：LSI 2308 ESXI version：6.5U3 一开始raid卡界面是这样的，没有raid卡选项。 起初以为是raid固件版本过低，其实后来了解到是因为固件的版本型号是IT，意思是设备直连，不提供raid选项。下图是网上搜到的一个，提供raid选项的： 图中可以看到，在MPT Firmware Revision 里显示的后缀是IR,当时没注意到这个，只注意到前面的版本号了。随后我进行了版本升级，固件版本是在 https://www.supermicro.org.cn/wftp/driver/SAS/LSI/2308/Firmware/  这里找到的，里面是该raid卡芯片型号的最新固件版本，当时我刷的是20.00.07.00-IT。随后开机后出现了前面我提到的问题无法在web页面看到raid卡所接的硬盘。在vmware兼容性列表查询后，发现esxi 6.5u3最高支持2...
阅读全文

awk 学习总结-变量/分隔符

图片
1 awk 语法 awk [options] 'Pattern{Action}' file awk 对文件处理方式为逐行扫描处理 举例:awk '{print "用户名:" $1,$3}' /etc/passwd 变量用逗号隔开 $0为全行，NF为被分隔符分割的数量，$NF为最后一行，$NF-1为倒数第二行，以此类推。 2 awk 模式 Pattern 特殊模式   awk 'BEGIN{print "aaaa","bbbb"}' file  #在处理file之前提前打印指定内容。awk 'END{print "aaaa","bbbb"}' file # 在处理file之后打印指定内容 3 分隔符 FS :field separator OFS：output field separator 默认输入/输出分隔符为空格，即awk以空格为准对每一行进行分割。 设置输入分隔符有两种方式，-F='#'     -v FS='#' 变量间有逗号，输出时以空格分隔。 4 变量总结 变量使用前需要加参数 -v FS OFS，输入输出 NR 行号，当前文本处理的行号 FNR ，处理多个文件时分别显示行号 RS ,输入行分隔符，默认是指定回车而换行, -v RS=" ",指定遇空格换行，换而言之，指定了空格为换行符。 ORS , 输出行分隔符，需要换行则输出回车，-v ORS="***",需要换行时则输出***,替代了之前的回车。 ARGC与ARGV ,数组变量，ARGV[0]代表awk,ARGV[1]代表文件1,ARGV[2]代表文件2，以此类推。ARGC代表数组的参数数量，即ARGV的长度。 自定义变量，（1）awk -v myvar="23w" 'BEGIN{print myvar}'  输出23w （2）awk 'BEGIN{myvar="23w";print myvar}' 输出23w ...
阅读全文

bash学习随笔

操作系统的内核是管理计算机硬件的。我们需要通过shell来跟内核沟通。 操作系统里必有shell。 输入命令后，Ctrl+u，删除光标前的命令串，Ctrl+k,删除光标后的命令串。Ctrl+a 让光标移动到最前方，Ctrl+e,光标移动到最后面。 变量myname=123  myname=${myname}567 echo $myname=123456. cd /lib/modules/$(uname -r)/kernel   或者cd /lib/modules/`uname -r`/kernel 变量赋值时，使用双引号可以使 $变量名 生效，使用单引号时只能成为普通文本。 read -p "Please keyin your name:" -t 10 name   -p接文本说明，-t接等待时间。 /etc/skel/.bashrc 个人配置文件备用。login-shell 读取/etc/profile,然后/etc/bashrc->~/.bashrc  nologin-shell,直接读取/etc/bashrc->~/.bashrc cat  > catfile < ~/.bashrc 把 ~/.bashrc的内容输入到cat命令里，然后导入到catfile. <<代表结束符，当输入 << "end" 里的end时，结束输入。 # ls /tmp/vbirding && echo "exist" || echo "no exist"   ls: 无法访问'/tmp/vbirding': 没有那个文件或目录  no exist   &&和||的顺序需要注意。执行判断的话一般是上面这个顺序。
阅读全文