tf.nn.softmax_cross_entropy_with_logits(logits,labels) #其中logits为神经网络最后一层输出，labels为实际的标签，该函数返回经过softmax转换之后并与实际值相比较得到的交叉熵损失函数的值，该函数返回向量
1、tf.nn.softmax_cross_entropy_with_logits的例子：
import tensorflow as tf
logits=tf.constant([[1.0,2.0,3.0],[1.0,2.0,3.0],[1.0,2.0,3.0]])
y=tf.nn.softmax(logits) #计算给定输入的softmax值
y_=tf.constant([[0.0,0.0,1.0],[0.0,0.0,1.0],[0.0,0.0,1.0]])
cross_entropy = -tf.reduce_sum(y_*tf.log(y)) #计算交叉熵损失函数的值，返回向量，并通过tf.reduce_sum来计算均值
cross_entropy2=tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y_)) #直接计算交叉熵损失函数值
init=tf.global_variables_initializer()
sess=tf.Session()
sess.run(init)
print(sess.run(y))
print(sess.run(cross_entropy)) #输出结果和下面的一致
print(sess.run(cross_entropy2))
2、在tensorboard上显示运行图：
import tensorflow as tf
a = tf.constant(10,name="a")
b = tf.constant(90,name="b")
y = tf.Variable(a+b*2,name='y')
init=tf.global_variables_initializer()
with tf.Session() as sess:
merged = tf.summary.merge_all()
writer = tf.summary.FileWriter('/Users/jk/Desktop/2',sess.graph) #自定义tensor到给定路径中
sess.run(init)
print(sess.run(y))
通过在终端输入如下：
cd 路径
tensorboard --logdir=路径
浏览器输入：http://localhost:6006/ 得到tensorboard展示
3、创建dropout层
hidden1 = nn_layer(x, 784, 500, 'layer1') #返回激活层的输出
with tf.name_scope('dropout'):
keep_prob = tf.placeholder(tf.float32)
tf.summary.scalar('dropout_keep_probability', keep_prob) #添加到图
dropped = tf.nn.dropout(hidden1, keep_prob) #dropout
4、参数的正则化 tf.contrib.layers.l2_regularizer(lambda)(w)
返回给定参数的L1或L2正则化项的值
w=tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))
x=tf.constant([1.,2.],shape=[1,2])
y=tf.matmul(x,w)
y_=tf.constant([1.,2.],shape=[1,2])
lam=0.5
loss=tf.reduce_mean(tf.square(y_-y))+tf.contrib.layers.l2_regularizer(lam)(w)
tf.add_to_collection('loss',loss)
z=tf.add_n(tf.get_collection('loss'))
with tf.Session() as less:
init=tf.global_variables_initializer()
sess.run(init)
print(sess.run(loss)) #输出总损失函数值
print(sess.run(z)) ＃z是一般程序中较为常用的加入collection并给予输出的方式
上述代码中的loss为损失函数，由两个部分组成，第一部分是均方误差损失函数，第二部分是正则化，用于防止模型过度模拟训练数据中的随机噪音。lam代表了正则化项的权重，也就是公式
中的λ,其中w为需要计算正则化损失的参数。
由于上述的定义方式会导致损失函数loss的定义很长，会导致可读性差，因而这时候就用到tensorflow提供的集合(collection)，通过在一个计算图(graph)保存一组tensor。以如下代码为例：
import tensorflow as tf
def get_weight(shape,lam): #通过collection逐个将每层的参数的正则化项进行收集
var=tf.Variable(tf.random_normal(shape),dtype=tf.float32)
tf.add_to_collection('losses',tf.contrib.layers.l2_regularizer(lam)(var))
return var
x=tf.placeholder(tf.float32,shape=[None,2]) #设置placeholder作为每次的输入层
y_=tf.placeholder(tf.float32,shape=[None,1])
layer_dimension=[2,10,10,10,1] #每一层的结点数
n_layers=len(layer_dimension)
cur_layer=x #当前层
in_dimension=layer_dimension[0]
for i in range(1,n_layers):
out_dimension=layer_dimension[i] #提取当前输出层维度
weight=get_weight([in_dimension,out_dimension],0.001) #生成每层的权重，并汇总每层的正则化项
bias=tf.Variable(tf.constant(0.1,shape=[out_dimension]))
cur_layer=tf.nn.relu(tf.matmul(cur_layer,weight)+bias) #计算每层经过激活函数relu后得到的输出值
in_dimension=layer_dimension[i] #提取下一层的输入层维度
mse_loss=tf.reduce_mean(tf.square(y_-cur_layer))
tf.add_to_collection('losses',mse_loss) #将平方损失函数加入汇总损失函数
loss=tf.add_n(tf.get_collection('losses')) #提取集合losses里的所有部分都加起来
with tf.Session() as sess:
init=tf.global_variables_initializer()
sess.run(init)
print(sess.run(loss,feed_dict={x:[[1.,2.],[2.,3.]],y_:[[2.],[2.]]})) #通过对占位符x和y_进行赋值，得到最终的损失值
在如上运行完成后，再重新定义一次如下tf.placeholder()后，再进行一次sess.run(loss,feed_dict=....)却会报错，尚未找到原因。。。。（都是泪）
x=tf.placeholder(tf.float32,shape=[None,2]) #设置placeholder作为每次的输入层
y_=tf.placeholder(tf.float32,shape=[None,1])
5、优化时设置记录全局步骤的单值，用于进一步的minimize
global_step = tf.Variable(0, name='global_step', trainable=False) ＃设置global_step变量不可训练
train_op = optimizer.minimize(loss, global_step=global_step)
6、计算准确率的常用套路(以mnist数字识别为例)
import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
mnist=input_data.read_data_sets('data/',one_hot=True)
trainimg=mnist.train.images
trainlabel=mnist.train.labels
testimg=mnist.test.images
testlabel=mnist.test.labels
x=tf.placeholder(tf.float32,[None,784])
y=tf.placeholder(tf.float32,[None,10])
w=tf.Variable(tf.zeros([784,10]))
b=tf.Variable(tf.zeros([10]))
pred=tf.nn.softmax(tf.matmul(x,w)+b)
cost=tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred),reduction_indices=[1])) ＃计算交叉熵损失，reduce_sum为计算累加和，reduction_indices为计算的维度
optm=tf.train.GradientDescentOptimizer(0.01).minimize(cost)
corr=tf.equal(tf.argmax(pred,1),tf.argmax(y,1)) ＃返回预测值和实际值是否相同
accr=tf.reduce_mean(tf.cast(corr,tf.float32)) ＃tf.cast()的作用是将corr的格式转为float32，然后通过tf.reduce_mean来计算平均准确率
sess=tf.Session()
training_epochs=100
training_epochs=100
batch_size=100
display_step=5
init=tf.global_variables_initializer()
sess.run(init)
for epoch in range(training_epochs):
avg_cost=0.
num_batch=int(mnist.train.num_examples/batch_size)
for i in range(num_batch):
batch_xs,batch_ys=mnist.train.next_batch(batch_size)
sess.run(optm,feed_dict={x:batch_xs,y:batch_ys})
avg_cost+=sess.run(cost,feed_dict={x:batch_xs,y:batch_ys})/num_batch
if epoch % display_step==0:
train_acc=sess.run(accr,feed_dict={x:batch_xs,y:batch_ys})
test_acc=sess.run(accr,feed_dict={x:mnist.test.images,y:mnist.test.labels})
print('Epoch:%03d/%03d cost:%.9f Train accuracy: %.3f Test Accuracy: %.3f' %(epoch,training_epochs,avg_cost,train_acc,test_acc)) ＃字符串中％03d表示将对象epoch设定为长度为3的整型,％.3f表示取3位有效小数。％g表示保证6位有效数字前提下用小数方式，否则用科学计数法
注：上面的这段代码运行的话需要去掉注释
7、定义损失函数+优化器选择的常用套路
cross_entropy=tf.nn.softmax_cross_entropy_with_logits(logits,ground_truth_input)
cross_entropy_mean=tf.reduce_mean(cross_entropy)
train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(corss_entropy_mean)
8、每轮epoch均保存一次模型
with tf.Session() as sess:
init=tf.global_variables_initializer()
sess.run(init)
for i in range(training_steps):
xs,ys=mnist.train.next_batch(batch_size)
_,loss_value,step=sess.run([train_op,loss,global_step],feed_dict={x:xs,y_:ys})
if i%1000==0:
print('after %d training steps,loss on training batch is %g.' %(step,loss_value))
saver.save(sess,os.path.join(model_save_path,model_name),global_step=global_step) ＃可以让每个被保存模型的文件名末尾加上训练的轮数来进行记录