Une brève discussion sur la couche de pooling tensorflow1.0 (pooling) et la couche entièrement connectée (dense)

Cet article présente principalement la couche de pooling (pooling) et la couche entièrement connectée (dense) de tensorflow 1.0. Maintenant, je le partage avec vous et le donne comme référence. Jetons un coup d'oeil ensemble

La couche de pooling est définie dans tensorflow/python/layers/pooling.py.

Il existe un pooling maximum et un pooling moyen.

1. tf.layers.max_pooling2d

max_pooling2d(
  inputs,
  pool_size,
  strides,
  padding='valid',
  data_format='channels_last',
  name=None
)

1. entrées : données pour la mise en commun.

2. pool_size : taille du noyau regroupé (pool_height, pool_width), telle que [3, 3]. Si la longueur et la largeur sont égales, elle peut également être directement définie sur un nombre, tel que as pool_size=3.

3. strides : La foulée glissante du pooling. Il peut être défini sur deux entiers comme [1,1]. Il peut également être défini directement sur un nombre, tel que strides=2

4. padding: edge padding, 'same' et 'valide' Choisissez-en un. La valeur par défaut est valide

5. data_format : Format des données d'entrée, la valeur par défaut estchannel_last, c'est-à-dire (lot, hauteur, largeur, canaux), elle peut également être définie surchannel_first correspondant à (batch , canaux, hauteur, largeur ).

6. name : Le nom du calque.

Exemple :

pool1=tf.layers.max_pooling2d(inputs=x, pool_size=[2, 2], strides=2)

est généralement placé après la couche convolutionnelle, tel que :

conv=tf.layers.conv2d(
   inputs=x,
   filters=32,
   kernel_size=[5, 5],
   padding="same",
   activation=tf.nn.relu)
pool=tf.layers.max_pooling2d(inputs=conv, pool_size=[2, 2], strides=2)

2.tf.layers.average_pooling2d

average_pooling2d(
  inputs,
  pool_size,
  strides,
  padding='valid',
  data_format='channels_last',
  name=None
)

paramètres et le maximum précédent Identique à la mutualisation de valeur.

La couche dense entièrement connectée est définie dans tensorflow/python/layers/core.py.

tf.layers.dense

dense(
  inputs,
  units,
  activation=None,
  use_bias=True,
  kernel_initializer=None,
  bias_initializer=tf.zeros_initializer(),
  kernel_regularizer=None,
  bias_regularizer=None,
  activity_regularizer=None,
  trainable=True,
  name=None,
  reuse=None
)

1. entrées : données d'entrée, tenseur bidimensionnel

2. unités : le nombre de nœuds d'unités neuronales. dans cette couche.

3. activation : fonction d'activation.

4. use_bias : type booléen, s'il faut utiliser le terme de biais.

5. kernel_initializer : Initialiseur du noyau de convolution.

6. bias_initializer : Initialiseur du terme de biais, l'initialisation par défaut est 0.

7. kernel_regularizer : Régularisation du noyau de convolution, facultatif.

8. bias_regularizer : Régularisation du terme de biais, facultatif.

9. activity_regularizer : Fonction de régularisation de sortie.

10. trainable : Type booléen, indiquant si les paramètres de cette couche participent à l'entraînement. Si vrai, la variable est ajoutée à la collection de graphiques GraphKeys.TRAINABLE_VARIABLES (voir tf.Variable).

11. name : Le nom de la couche.

12. réutilisation : type booléen, s'il faut réutiliser les paramètres.

Opération d'exécution de couche entièrement connectée sorties = activation (inputs.kernel + biais)

Si le résultat de l'exécution est que vous ne souhaitez pas effectuer d'opération d'activation, puis définissez activation=None.

Exemple :

#全连接层
dense1 = tf.layers.dense(inputs=pool3, units=1024, activation=tf.nn.relu)
dense2= tf.layers.dense(inputs=dense1, units=512, activation=tf.nn.relu)
logits= tf.layers.dense(inputs=dense2, units=10, activation=None)

Vous pouvez également régulariser les paramètres de la couche entièrement connectée :

Copier le code Le code est le suivant :

dense1 = tf.layers.dense(inputs=pool3, units=1024, activation=tf.nn.relu，kernel_regularizer=tf.contrib.layers.l2_regularizer(0.003))

Recommandations associées :

Une brève discussion sur la sauvegarde et restauration des modèles Tensorflow Chargement

Explication détaillée des trois façons de charger des données dans Tensorflow

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!