Homework4
Dataset介绍及处理
Dataset introduction
训练数据集metadata.json包括speakers和n_mels，前者表示每个speaker所包含的多条语音信息(每条信息有一个路径feature_path和改条信息的长度mel_len或理解为frame数即可)，后者表示滤波器数量，简单理解为特征数即可，由此可知每个.pt语言文件可以表示为大小为mel_len \(\times\) n_mels的矩阵，其中所有文件已规定n_mels为40，不同的是语言信息的长度即mel_len。
测试数据集testdata.json包括n_mels和utterances，其中n_mels和意义前面一样且固定为40，utterance表示一条语音信息，不同的是这里我们不知道这则信息是谁说出来的，任务就是检测这些信息分别是谁说的。
映射文件mapping.json包括两项speaker2id和id2speaker，前者将600个speaker的编号隐射为0-599，后者则是相反的操作。
Dataset procession
正如上面说，尽管“古圣先贤”已经帮我们做好了绝大多数的数据处理操作，但是如果想要批量训练数据那么就需要对每个语音序列的mel_len进行固定，比如在sample code里面固定为128个frame
class myDataset(Dataset):
def __init__(self, data_dir, segment_len=128):
它的具体实现方式如下
def __getitem__(self, index):
feat_path, speaker = self.data[index]
# Load preprocessed mel-spectrogram.
mel = torch.load(os.path.join(self.data_dir, feat_path))
# Segmemt mel-spectrogram into "segment_len" frames.
if len(mel) > self.segment_len:
# Randomly get the starting point of the segment.
start = random.randint(0, len(mel) - self.segment_len)
# Get a segment with "segment_len" frames.
mel = torch.FloatTensor(mel[start:start+self.segment_len])
else:
mel = torch.FloatTensor(mel)
# Turn the speaker id into long for computing loss later.
speaker = torch.FloatTensor([speaker]).long()
return mel, speaker
即从每个语音序列总的frame中抽取连续的128个frame，但是这并不能够保证所有的语音需要都为128个frame，可能某语音序列的frame数原本就小于128，因此还需要另外一道保险即padding。
def collate_batch(batch):
# Process features within a batch.
"""Collate a batch of data."""
mel, speaker = zip(*batch)
# Because we train the model batch by batch, we need to pad the features in the same batch to make their lengths the same.
mel = pad_sequence(mel, batch_first=True, padding_value=-20) # pad log 10^(-20) which is very small value.
# mel: (batch size, length, 40)
return mel, torch.FloatTensor(speaker).long()
def get_dataloader(data_dir, batch_size, n_workers):
"""Generate dataloader"""
dataset = myDataset(data_dir)
speaker_num = dataset.get_speaker_number()
# Split dataset into training dataset and validation dataset
trainlen = int(0.9 * len(dataset))
lengths = [trainlen, len(dataset) - trainlen]
trainset, validset = random_split(dataset, lengths)
train_loader = DataLoader(
trainset,
batch_size=batch_size,
shuffle=True,
drop_last=True,
num_workers=n_workers,
pin_memory=True,
collate_fn=collate_batch,
)
valid_loader = DataLoader(
validset,
batch_size=batch_size,
num_workers=n_workers,
drop_last=True,
pin_memory=True,
collate_fn=collate_batch,
)
return train_loader, valid_loader, speaker_num
在data_loader读取一个batch时，如果仍旧有不同大小的frame，那么就可以通过指定collate_fn=collate_batch对数据进行填充，确保每个batch的frame相同进而进行批量(并行?)计算。
当然你也可以不预先设置frame数为128，仅使用collate_batch，那么就会使这个batch内所有语音序列的frame数自动对齐到最长的frame，但往往会爆显存。
Self-Attention简单介绍
在不考虑Multi-Head Attention以及add &norm的情况下
\(X'=\)Self-Attention\((X, W^q, W^k, W^v, W^l)\) = \(\frac{XW^q(XW^k)^T}{\sqrt{d_k}}XW^vW^l\)
其中\(X, W^q, W^k, W^v, W^l\)维度分别为\(n\times d_{model}, d_{model}\times d_k, d_{model}\times d_k, d_{model}\times d_v, d_v\times d_{model}\)，并称\(Q=X\times W^q, K = X\times W^k, V = X\times W^v\)
可知，变化后的\(X'\)与原来\(X\)的维度相同，这一变化过程简称为编码，那么问题来了\(X'\)与\(X\)究竟有何不同?
在变化过程中，我们对\(Q\)和\(K\)做了内积运算，这表示一个查询匹配过程，内积越大则相似度越高，那么匹配所得的权重也就越大(表明越关注这个讯息)，之后再和\(V\)运算相当于通过前面的权重及原始\(V\)对新\(X\)的\(V\)做预测，视频给出了很生动的表述。
但是这里我有一疑问，为什么点积运算可以表示关注度？点积可以在一定程度表示两向量的关联性，这一点毫无疑问，但是凭什么关联性越高也意味着关注度(得分)越高呢?