文章目录
- 1 CNN在自然语言的典型应用
- 2 代码解释
- 3 建议
1 CNN在自然语言的典型应用
- 卷积的作用在于利用文字的局部特征，一个词的前后几个词必然和这个词本身相关，这组成该词所代表的词群
- 词群进而会对段落文字的意思进行影响，决定这个段落到底是正向，还是负向
- 深度学习中的卷积让神经网络去构造特征
- 下面介绍用Keras搭建卷积神经网络来处理情感分析的分类问题
2 代码解释
- Sequential(): 这个语句初始化了一个空的顺序模型。顺序模型是线性的，意味着你可以逐层添加，每一层都按顺序连接到前一层。
通常情况下，你会在这一行之后添加额外的代码行，以向模型中添加层。 - Embedding: 这是 Keras 中的一个嵌入层。嵌入层通常用于将整数序列（例如文本中的单词索引）映射为密集向量的序列。在自然语言处理中，这常用于将单词嵌入到连续向量空间中。
- vocab_size: 这是词汇表的大小，表示模型能够处理的不同单词的数量。
- 64: 这是嵌入向量的维度，即每个单词将被嵌入到一个64维的向量空间中。
- input_length: 这是输入序列的长度，指定了输入数据的每个样本有多少个时间步（时间步是序列中的单个元素）。在自然语言处理中，它通常对应于文本序列的最大长度。
- 全部代码
from keras.datasets import imdb
from keras.layers import Dense,Dropout,Activation,Flatten
from keras.layers import Conv1D,MaxPooling1D
from keras.layers import Embedding
from keras.models import Sequential
from keras.preprocessing import sequence
import numpy as npmaxword = 400
(x_train,y_train),(x_test,y_test) = imdb.load_data()
x_train = sequence.pad_sequences(x_train,maxlen=maxword)
x_test = sequence.pad_sequences(x_test,maxlen=maxword)
vocab_size = np.max([np.max(x_train[i]) for i in range(x_train.shape[0])])+1
model = Sequential()
model.add(Embedding(vocab_size,64,input_length = maxword))model.add(Conv1D(filters=64,kernel_size=3,padding='same',activation='relu'))model.add(MaxPooling1D(pool_size=2))
model.add(Dropout(0.25))model.add(Conv1D(filters=128,kernel_size=3,padding='same',activation='relu'))
model.add(MaxPooling1D(pool_size=2))
model.add(Dropout(0.25))
model.add(Flatten)
model.add(Dense(64,activation='relu'))
model.add(Dense(32,activation='relu'))
model.add(Dense(1,activation='sigmoid'))
model.compile(loss='binary_crossentropy',optimizer='rmsprop',epochs = 20,batch_size = 100)
scores = model.evaluate(x_test,y_test,verbose=1)
print(scores)
3 建议
- 可以试着调整模型的参数，增加训练次数等，或者使用其他的优化方法
- 代码里面用了一个Dropout的技巧，大致意思是在每个批量训练过程中，对每个节点，不论是在输入层，还是隐藏层，都有独立的概率让节点变成0
- 这样的好处是，每次批量训练相当于在不同的小神经网络中进行计算，当训练数据大的时候，每个节点的权重都会被调整多次
- 在每次训练的时候，系统会努力在有限的节点和小神经网络中找到最佳的权重，这样可以最大化的找到重要特征，避免过度拟合，这就是为什么Dropout会得到广泛的应用
