随笔-随时更新

本文是自己的一些随笔，记录一些比较关键的，以后可以用到的知识点。

python中使用参数

1
2
3
4
5
6
7
8
9
10
11
from argparse import ArgumentParser

parser = ArgumentParser() # 创建一个解析对象
# 参数一般包括：短参数、长参数、数据类型（type）、默认值（default）、帮助信息（help）、参数值范围（choices）、是否必须（require）、action。
# action选项中常用的是 action="store_true"，它表示只要运行时该变量有传参就将该变量设为True
# 具体例子如下
parser.add_argument('-b','--batch_size', type=int, default=5, help="Batch size in training.", choices=[1,2,3,4,5], require=True, action='store_true') #添加命令行参数和选项
parser.parse_args() # 进行解析
batch_size=args.batch_sise

# 若文件名为test.py，则在命令行中输入 test.py --help 即可查看所有支持的参数

python处理 json

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
import json

'''
主要使用两个函数：
	json.dump()：对json文件进行写入
	json.dumps()：将python的数据类型转化为字符串
	json.load()：对json文件进行读取
	json.loads()：将字符串转化为python的数据类型
'''

'''
json.dumps(obj,sort_keys=False)	# sort_keys参数可以用来决定转换后的json是否按key值排序
	python 原始类型向 json 类型的转化对照表：
		python              json
		--------------------------
		dict                object
        list, tuple	        array
        str, unicode        string
        int, long, float    number
        True                true
        False               false
        None                null	
'''

'''
json.loads(obj)
	json 原始类型向 python 类型的转化对照表：
		json                python
		-----------------------------
        object              dict
        array               list
        string              unicode
        number (int)        int, long
        number (real)       float
        true                True
        false               False
        null                None	
	
'''
test_dict = {'bigberg': [7600, {1: [['iPhone', 6300], ['Bike', 800], ['shirt', 300]]}]}
json_str = json.dumps(test_dict) # python类型转字符串
new_dict = json.loads(json_str) # 字符串转python类型

# 写入 JSON 数据
with open('data.json', 'w') as f:
    json.dump(data, f) # # data为python的字典类型
 
# 读取数据
with open('data.json', 'r') as f:
    data = json.load(f) # data为python的字典类型

python中arg和*kwargs的区别

这两个是python中的可变参数。*args 表示任意多个无名参数，它是一个tuple；**kwargs 表示任意多个关键字参数，它是一个dict。当 arg、args、*wkargs 同时使用时，必须按照该顺序，否则会报错。

1
2
3
4
5
6
7
8
9
10
11
def foo(*args, **kwargs):
    print 'args = ', args
    print 'kwargs = ', kwargs
    print '---------------------------------------'
    return kwargs # 返回值是一个字典

if __name__ == '__main__':
    foo(1,2,3,4)
    foo(a=1,b=2,c=3)
    foo(1,2,3,4, a=1,b=2,c=3)
    foo('a', 1, None, a=1, b='2', c=3)

以上代码的输出为：

1
2
3
4
5
6
7
8
9
10
11
12
args =  (1, 2, 3, 4) 
kwargs =  {} 
--------------------------------------- 
args =  () 
kwargs =  {'a': 1, 'c': 3, 'b': 2} 
--------------------------------------- 
args =  (1, 2, 3, 4) 
kwargs =  {'a': 1, 'c': 3, 'b': 2} 
--------------------------------------- 
args =  ('a', 1, None) 
kwargs =  {'a': 1, 'c': 3, 'b': '2'} 
---------------------------------------

python中NiBabel模块的使用

NiBabel模块可以对常见的医学和神经影像文件格式进行读写，比如.nii.gz格式的文件。

1
2
3
4
5
6
7
8
9
10
11
12
13
# 用pip install nibabel来安装
import nibabel as nib

img = nib.load(file_name) #加载图像
img.shape #图像形状
print(img.affine) #把图像矩阵转换为RAS+坐标系的仿射变换矩阵
print(img.header) #图像的头，包含很多信息
print(img.header.get_data_shape()) #图像矩阵的shape
print(img.header.get_data_dtype()) #图像矩阵的数据类型
img.get_data() #获取图像数据
img.affine.shape #仿射变换
img.to_filename(save_path) #保存图像
nib.save(img, save_path) #保存图像

python中的generator

generator是一个特殊的函数，它与普通函数相比有以下区别：

  • generator函数包含一个以上的yield声明，用yield来返回值；
  • generator函数被调用的时候，会返回一个iterator对象，但是函数并不会立即开始执行；
  • __iter__()和__next__()方法被自动实现，所以可以使用next()函数对返回的此iterator对象进行迭代，也可直接使用for循环来迭代；
  • 一旦一个generator 执行到yield语句，generator函数暂停，程序控制流被转移到调用方；
  • 在对generator的连续调用之间，generator的本地变量和状态会被保存；
  • 最终，generator函数终止，再调用generator会引发StopIteration异常；

generator函数中也允许使用return，但是return 后不允许有返回值。return和yield的区别在于，return声明彻底结束一个函数，而yield声明是暂停函数，保存它的所有状态，并且后续被调用后会继续执行。

1
2
L = [x * x for x in range(10)] #返回的是列表
g = (x * x for x in range(10)) #返回的是generator

TFRecords文件的读取和生成

TFRecords是一种tensorflow的内定标准文件格式，其实质是二进制文件。TFRecords文件方便复制和移动，能够很好的利用内存，无需单独标记文件，适用于大量数据的顺序读取，是tensorflow“从文件里读取数据”的一种官方推荐方法。

1. TFRecords文件的生成

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#生成TFRecord Writer，path是输出的路径，options是文件保存的压缩格式，有三种可选：
# 1. TFRecordCompressionType.ZLIB
# 2. TFRecordCompressionType.GZIP
# 3. TFRecordCompressionType.NONE
# 默认最后一种，即不做任何压缩
writer=tf.python_io.TFRecordWriter(path,options=None) 
# 要保存的数据按如下方式组织（由外到内）：最外层是features，一个features包含一个字典，字典的每个值是一个feature。feature将一个列表编码为特定的形式，列表类型通常有BytesList, FloatList, Int64List。
feature = {
    "width":tf.train.Feature(int64_list=tf.train.Int64List(value=[width])),
    "weights":tf.train.Feature(float_list=tf.train.FloatList(value=[weights])),
    "image_raw":tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_raw]))
}
features = tf.train.Features(feature=feature)
# 使用tf.train.Example将features编码数据封装成特定的PB协议格式
example = tf.train.Example(features=features)
# 将example数据系列化为字符串，并将其写入协议缓冲区
writer.write(example.SerializeToString())
# 关闭TFRecords文件操作接口
writer.close()

2. TFRecords文件的读取

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 生成文件队列，file_list是包含多个精确到文件名路径的列表
data_queue = tf.train.string_input_producer(file_list,shuffle=False) 
reader = tf.TFRecordReader() #生成TFRecord Reader
_,serialized_example = reader.read(data_queue) # 读取TFRecord文件
# 解析得到序列化的example
features = tf.parse_single_example(
    serialized_example,
    features={
    "float_val":tf.FixedLenFeature([], tf.float),
    "width":tf.FixedLenFeature([], tf.int64),
    "height":tf.FixedLenFeature([], tf.int64),
    "image_raw":tf.FixedLenFeature([], tf.string)
    }
)
# 得到的features是一个字典，通过指定的key来获取相应的数据即可，如果是图像的话，需要解码才能得到原始图片
image=tf.decode_raw(features["image_raw"],tf.float32)

torch.utils.data.DataLoader

参考文章：Pytorch笔记05-自定义数据读取方式 torch.utils.data.Dataset与Dataloader。

torch.utils.data.DataLoader(dataset, batch_size, suffle, num_workers, drop_last)

  • dataset：用来加载数据的数据集
  • batch_size：默认为1
  • shuffle：是否打乱数据，默认为False
  • num_workers：子进程数，默认为0，即只有主进程
  • drop_last：如果数据集大小不能被batch size整除，则去除最后一组不完整的batch，默认为False

需要注意的两点是，这种方式的返回值自动转变成torch.Tensor类型，比如下面的例子中我在Dataset类中返回的是numpy数组，但是在取数据集的数据时得到的却是torch.Tensor类型。第二就是当在DataLoader中设置了batch_size参数后，会自动帮你增加batch对应的维度，如果自己手动添加的话就重复了。

例子：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
import glob
import torch.utils.data as Data

'''
通过继承Data.Dataset，实现将一组Tensor数据对封装成Tensor数据集
至少要重载__init__，__len__和__getitem__方法
'''
class Dataset(Data.Dataset):
    def __init__(self, path):
        # 初始化
        self.files = glob.glob(path)

    def __len__(self):
        # 返回数据集的大小
        return len(self.files)

    def __getitem__(self, index):
        # 索引数据集中的某个数据，还可以对数据进行预处理
        # 下标index参数是必须有的，名字任意
        img_arr = sitk.GetArrayFromImage(sitk.ReadImage(self.files[index]))[..., np.newaxis]
        return img_arr, img_arr


DS = Dataset(path="./*.nii")
print(DS[0])  # 通过下标直接取数据
print(len(DS))  # 通过len()获取数据集大小

# DataLoader将Dataset或其子类封装成一个迭代器，这个迭代器可以迭代输出Dataset的内容
# 可不在Dataset类中实现数据打乱，而是在DataLoader中实现
DL = Data.DataLoader(DS, batch_size=2, shuffle=True, num_workers=2, drop_last=True)
# 迭代获取数据集的数据
for x, y in DL:
    print(x, "   ", y)
# 或者用以下方式取
x,y=iter(tensor_dataloader).next()

python知识点

  1. 当有函数嵌套时，外层函数的返回值往往是内层函数，并且在内层函数只可以在外层函数里访问
  2. 通过 @property 装饰器，可以直接通过方法名来访问方法，不需要在方法名后添加一对“（）”

其他知识点

  1. Dice 损失类似于交并比，有两个mask，记为X和Y，其Dice损失为$Dice=2\times\frac{X\cap Y}{|X|+|Y|}$
  2. WinEdt 中 Tex 编译的快捷键为 ctrl+shift+P，当出现报错信息时 l.30 中字母 l 后面的即出错的行数，输入 e 可以定位到对应的行，输入 Enter 查看下一个错误信息，输入 s 忽略所有报错信息。
  3. 变形场（deformation field）是指能使流体在运动中发生形状变化，尤其是伸展（收缩）和切变的速度场。
  4. 用 nvidia-smi 命令查看显卡使用情况，watch -n 1 nvidia-smi动态查看显卡使用情况
  5. ubuntu查看版本信息：lsb_release -a，查看 CUDA 版本 nvcc --version 或 cat /usr/local/cuda/version.txt
  6. linux 编辑环境变量 vi ~/.bashrc，使环境变量生效 source ~/.bashrc，查看环境变量中的 PATH 等 echo $PATH
  7. 远程连接服务器离线跑代码：首先用 sudo apt-get install screen 安装 screen用 screen -S screen名 创建一个 screen，然后运行程序即可，这样就可以关掉连接服务器的软件了。输入 screen -ls 即可查看现有的 screen，输入 screen -r 编号.screen名 就可以重新连接到 screen。当意外退出时，用screen -D -r 编号.screen名重新连接到screen。需要彻底关闭 screen 时可以使用 kill screen编号即可。在screen界面中，按Ctrl+A然后按Esc键可以用键盘上的方向键和PageUp/PageDown键进行翻页，按Ctrl+C退出。
  8. free -h查看linux系统内存大小
  9. unzip 压缩文件名.zip在linux下解压.zip格式的压缩文件
  10. IDEA中快捷输入：
    • psvm+Enter：public static void main(){}
    • sout：System.out.println();
    • Ctrl+J：代码补全提示
    • Ctrl+insert：快速生成getter和setter方法
  11. sudo kill -9 PID：根据PID杀掉nvidia-smi命令显示的正在占用显存的进程
  12. 在vim编辑器下按Ctrl+S会锁定屏幕，此时可以用Ctrl+Q解除锁定
赏

谢谢你请我吃糖果

支付宝
微信
置顶

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true