1

Нужен совет

KUBERNETES
POD не получает IP адреса от FLANNEL
Куда копать?

Нужен совет

kubectl logs -n kube-flannel kube-flannel-ds-k22qx

Defaulted container "kube-flannel" out of: kube-flannel, install-cni-plugin (init), install-cni (init)

I1219 15:15:42.175870 1 main.go:215] CLI flags config: {etcdEndpoints:http://127.0.0.1:4001,http://127.0.0.1:2379 etcdPrefix:/coreos.com/network etcdKeyfile: etcdCertfile: etcdCAFile: etcdUsername: etcdPassword: version:false kubeSubnetMgr:true kubeApiUrl: kubeAnnotationPrefix:flannel.alpha.coreos.com kubeConfigFile: iface:[] ifaceRegex:[] ipMasq :true ipMasqRandomFullyDisable:false ifaceCanReach: subnetFile:/run/flannel/subnet.env publicIP: publicIPv6: subnetLeaseRenewMargin:60 healthzIP:0.0.0.0 healthzPort:0 iptablesRe syncSeconds:5 iptablesForwardRules:true blackholeRoute:false netConfPath:/etc/kube-flannel/net-conf.json setNodeNetworkUnavailable:true}

W1219 15:15:42.176156 1 client_config.go:659] Neither --kubeconfig nor --master was specified. Using the inClusterConfig. This might not work.

I1219 15:15:42.193433 1 kube.go:139] Waiting 10m0s for node controller to sync

I1219 15:15:42.193501 1 kube.go:537] Starting kube subnet manager

I1219 15:15:43.195283 1 kube.go:163] Node controller sync successful

I1219 15:15:43.195513 1 main.go:241] Created subnet manager: Kubernetes Subnet Manager - node-01

I1219 15:15:43.195590 1 main.go:244] Installing signal handlers

I1219 15:15:43.197477 1 main.go:523] Found network config - Backend type: vxlan

I1219 15:15:43.215555 1 kube.go:737] List of node(node-01) annotations: map[string]string{"kubeadm.alpha.kubernetes.io/cri-socket":"unix:///var/run/containerd/containerd.s ock", "node.alpha.kubernetes.io/ttl":"0", "volumes.kubernetes.io/controller-managed-attach-detach":"true"}

I1219 15:15:43.215676 1 match.go:211] Determining IP address of default interface

I1219 15:15:43.219122 1 match.go:269] Using interface with name enp0s3 and address 192.168.1.100

I1219 15:15:43.219500 1 match.go:291] Defaulting external address to interface address (192.168.1.100)

I1219 15:15:43.220506 1 vxlan.go:128] VXLAN config: VNI=1 Port=0 GBP=false Learning=false DirectRouting=false

I1219 15:15:43.235371 1 kube.go:704] List of node(node-01) annotations: map[string]string{"kubeadm.alpha.kubernetes.io/cri-socket":"unix:///var/run/containerd/containerd.s ock", "node.alpha.kubernetes.io/ttl":"0", "volumes.kubernetes.io/controller-managed-attach-detach":"true"}

I1219 15:15:43.286824 1 kube.go:558] Creating the node lease for IPv4. This is the n.Spec.PodCIDRs: [10.244.0.0/24]

I1219 15:15:43.294251 1 main.go:378] Cleaning-up unused traffic manager rules

I1219 15:15:43.294289 1 nftables.go:280] Cleaning-up nftables rules...

I1219 15:15:43.394848 1 iptables.go:50] Starting flannel in iptables mode...

W1219 15:15:43.394970 1 main.go:577] no subnet found for key: FLANNEL_NETWORK in file: /run/flannel/subnet.env

W1219 15:15:43.394989 1 main.go:577] no subnet found for key: FLANNEL_SUBNET in file: /run/flannel/subnet.env

W1219 15:15:43.395001 1 main.go:612] no subnet found for key: FLANNEL_IPV6_NETWORK in file: /run/flannel/subnet.env

W1219 15:15:43.395011 1 main.go:612] no subnet found for key: FLANNEL_IPV6_SUBNET in file: /run/flannel/subnet.env

I1219 15:15:43.395047 1 iptables.go:101] Current network or subnet (10.244.0.0/16, 10.244.0.0/24) is not equal to previous one (0.0.0.0/0, 0.0.0.0/0), trying to recycle ol d iptables rules

I1219 15:15:43.446141 1 iptables.go:111] Setting up masking rules

I1219 15:15:43.454166 1 iptables.go:212] Changing default FORWARD chain policy to ACCEPT

I1219 15:15:43.459792 1 main.go:467] Wrote subnet file to /run/flannel/subnet.env

I1219 15:15:43.459824 1 main.go:471] Running backend.

I1219 15:15:43.460868 1 vxlan_network.go:68] watching for new subnet leases

I1219 15:15:43.461495 1 vxlan_network.go:115] starting vxlan device watcher

I1219 15:15:43.475659 1 main.go:492] Waiting for all goroutines to exit

I1219 15:15:43.487726 1 iptables.go:358] bootstrap done

I1219 15:15:43.498797 1 iptables.go:358] bootstrap done

kubectl events -n kube-flannel kube-flannel-ds-k22qx

LAST SEEN TYPE REASON OBJECT MESSAGE

13m Normal SuccessfulCreate DaemonSet/kube-flannel-ds Created pod: kube-flannel-ds-k22qx

13m Normal Scheduled Pod/kube-flannel-ds-k22qx Successfully assigned kube-flannel/kube-flannel-ds-k22qx to node-01

13m Normal Pulling Pod/kube-flannel-ds-k22qx Pulling image "ghcr.io/flannel-io/flannel-cni-plugin:v1.8.0-flannel1"

13m Normal Pulled Pod/kube-flannel-ds-k22qx Successfully pulled image "ghcr.io/flannel-io/flannel-cni-plugin:v1.8.0-flannel1" in 4.83s (4.83s including waiting). Image size: 4924039 bytes.

13m Normal Created Pod/kube-flannel-ds-k22qx Created container: install-cni-plugin

13m Normal Started Pod/kube-flannel-ds-k22qx Started container install-cni-plugin

13m Normal Pulling Pod/kube-flannel-ds-k22qx Pulling image "ghcr.io/flannel-io/flannel:v0.27.4"

13m Normal Pulled Pod/kube-flannel-ds-k22qx Successfully pulled image "ghcr.io/flannel-io/flannel:v0.27.4" in 15.377s (15.377s including waiting). Image size: 34136824 bytes.

13m Normal Started Pod/kube-flannel-ds-k22qx Started container install-cni

13m Normal Created Pod/kube-flannel-ds-k22qx Created container: install-cni

13m Normal Pulled Pod/kube-flannel-ds-k22qx Container image "ghcr.io/flannel-io/flannel:v0.27.4" already present on machine

13m Normal Created Pod/kube-flannel-ds-k22qx Created container: kube-flannel

13m Normal Started Pod/kube-flannel-ds-k22qx Started container kube-flannel

Лига Сисадминов

2.6K постов19.1K подписчиков

Правила сообщества

Мы здесь рады любым постам связанным с рабочими буднями специалистов нашей сферы деятельности.

4
Не ем детей!
Автор поста оценил этот комментарий

Если только изучаешь - просто выполни на мастере команду
kubectl taint nodes --all node-role.kubernetes.io/control-plane- (минус в конце обязателен)
Это уберет тайинт на мастере. тем самым даст возможность разворачиваться подам на нем. По умолчанию для безопасности такая возможноть ограничена ( только поды с прописанной толерантностью к этому таинту могут там запуститься)
Можешь посмотреть ямл у корднс - там есть правило для толерантности
что то типа того там должно быть
tolerations:

- key: "node-role.kubernetes.io/control-plane"

operator: "Exists"

effect: "NoSchedule"

раскрыть ветку (1)
1
ps aux /dev/null
Автор поста оценил этот комментарий

Выполнил.
В deployment появились IP адреса.
Вторую неделю читаю 2 книги. Там такой инфы нет.
Ну теперь осталось ждать другие подводные камни этой технологии.

Благодарю за помощь!!

Сразу видно опыт имеется, то что я искал!

показать ответы
2
Автор поста оценил этот комментарий

Так у тебя сам Flannel-то жив? Его поды в каком состоянии?

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

да работает стабильно , раздает ip.
сейчас думаю чем заменить gitlab.
мой пк не справляется с ним.

0
Не ем детей!
Автор поста оценил этот комментарий

с индентами сами разберетесь :) здешний редактор не умеет в код :)

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

Да сам код мне не нужен. Мне направление поиска нужно.

1
Не ем детей!
Автор поста оценил этот комментарий

пишите свой хелм чарт, который будет одновременно с деплойментом создавать сервис и ингресс-экстеншн для него с указанием ингресс класса вашего контрололера.
к примеру так
ingress:
enabled: true
annotations: kubernetes.io/ingress.class: traefik
hosts:
- host: example.com
paths:
- path: /
pathType: Prefix
tls:
- secretName: example-tls-secret
hosts: - example.com

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

@DobriyBarmaley, Вы действительно добрый бармалей. Спасибо за советы. Пойду учится дальше.

0
Не ем детей!
Автор поста оценил этот комментарий

не понятен вопрос.
https://github.com/traefik/traefik-helm-chart ну сюда наверно если я понял ход ваших мыслей

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

Пользователь делает git push и автоматический все настраивается.
POD и Deployment работают.
А вот как автоматом к ним обеспечить доступ из интернета??


traefik в kubernetes я установил.

Но ему же нужно знать о новом Deployment который автоматический появляется и предаставить доступ к нему из интернета.

показать ответы
0
ps aux /dev/null
Автор поста оценил этот комментарий

@DobriyBarmaley, Подскажите : При автоматическом деплое из Gitlab в Kubernetes POD создаются DEployment создаётся. А каким инструментом создаётся доступ пользователей к этим ресурсам ?? Нужно ещё Ingress сервис создать и т.п. где почитать ?? Можно в двух словах, дальше я сам найду ответы.

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

@DobriyBarmaley, Не могу найти инфу про автоматическое разворачивание конфигураций Traefik. Подскажите куда копать?

показать ответы
0
Не ем детей!
Автор поста оценил этот комментарий

ingress все :) фактически он задеприкейчен так что смотрите сразу в сторону gateway api. https://gateway-api.sigs.k8s.io/

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

Я сейчас изучаю Traefik
Метка -Label у Deployment связана с динамическим правилом Traefik. Это мои интуитивные мысли о настройке :) Копаем дальше

1
ps aux /dev/null
Автор поста оценил этот комментарий

Выполнил.
В deployment появились IP адреса.
Вторую неделю читаю 2 книги. Там такой инфы нет.
Ну теперь осталось ждать другие подводные камни этой технологии.

Благодарю за помощь!!

Сразу видно опыт имеется, то что я искал!

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

@DobriyBarmaley, Подскажите : При автоматическом деплое из Gitlab в Kubernetes POD создаются DEployment создаётся. А каким инструментом создаётся доступ пользователей к этим ресурсам ?? Нужно ещё Ingress сервис создать и т.п. где почитать ?? Можно в двух словах, дальше я сам найду ответы.

показать ответы
3
Не ем детей!
Автор поста оценил этот комментарий

Ну так и что тебе тут не понятно? у тебя один мастер, он помечен как контролплан, . поставь в толерантности у пода этот лейбл и можно еще закинуть NoScchedule метку в толерантности. И будет тебе счастье

Или разреши запуск на мастерах:
kubectl taint nodes --all node-role.kubernetes.io/control-plane

Или толлерантность добавь

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

Я новичек с kubernetes - только изучаю.
Подскажите какой yaml файл скормить куберу ?

показать ответы
0
Не ем детей!
Автор поста оценил этот комментарий

фланельку манифестом разворачивал? кинь конфигмапу
cni плагины есть на ноде? Ну и что в дескрайбе пода, ччто не получает айпишник то?
кто то еще это юзает? :)

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

вот дескрайб пода

describe pod nginx-deployment-647677fc66-wn5jx

Name: nginx-deployment-647677fc66-wn5jx

Namespace: default

Priority: 0

Service Account: default

Node: <none>

Labels: app=nginx

pod-template-hash=647677fc66

Annotations: <none>

Status: Pending

IP:

IPs: <none>

Controlled By: ReplicaSet/nginx-deployment-647677fc66

Containers:

nginx:

Image: nginx:1.14.2

Port: 80/TCP

Host Port: 0/TCP

Environment: <none>

Mounts:

/var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-jfkr5 (ro)

Conditions:

Type Status

PodScheduled False

Volumes:

kube-api-access-jfkr5:

Type: Projected (a volume that contains injected data from multiple sources)

TokenExpirationSeconds: 3607

ConfigMapName: kube-root-ca.crt

Optional: false

DownwardAPI: true

QoS Class: BestEffort

Node-Selectors: <none>

Tolerations: node.kubernetes.io/not-ready:NoExecute op=Exists for 300s

node.kubernetes.io/unreachable:NoExecute op=Exists for 300s

Events:

Type Reason Age From Message

---- ------ ---- ---- -------

Warning FailedScheduling 82s (x8 over 36m) default-scheduler 0/1 nodes are available: 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/1 nodes are available: 1 Preemption is not helpful for scheduling.

показать ответы
0
Не ем детей!
Автор поста оценил этот комментарий

фланельку манифестом разворачивал? кинь конфигмапу
cni плагины есть на ноде? Ну и что в дескрайбе пода, ччто не получает айпишник то?
кто то еще это юзает? :)

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

Установка фланеля
kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/downlo...

CNI плагин ставлю только фланельку

дескрайб тут уже привел.Выше.

показать ответы
0
Автор поста оценил этот комментарий

no subnet found for key: FLANNEL_NETWORK in file: /run/flannel/subnet.env


Где-то что-то всё-таки не задано. Возможно надо cidr замапить в переменную которую фланель юзает

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

cat /run/flannel/subnet.env

FLANNEL_NETWORK=10.244.0.0/16

FLANNEL_SUBNET=10.244.0.1/24

FLANNEL_MTU=1450

FLANNEL_IPMASQ=true

0
Автор поста оценил этот комментарий
Это на эльфийском?
раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

на айтишном энгийском

Автор поста оценил этот комментарий

kubectl describe pod/bla-bla-bla , если там есть проблемы - увидишь.

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

Логи я уже выложил.

0
Автор поста оценил этот комментарий

именно. тебя уже попросили проверить что flannel у тебя вообще живой. смотри логи в системном неймспейсе, смотри эвенты, смотри статус нод.

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

Я показал логи.

показать ответы
0
Автор поста оценил этот комментарий

Ip pool выделенн для выдачи адресов?

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

sudo kubeadm init --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12

показать ответы
1
Автор поста оценил этот комментарий

Логи?

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

kubectl events kube-flannel-ds-k22qx

LAST SEEN TYPE REASON OBJECT MESSAGE

6m52s Normal Starting Node/node-01 Starting kubelet.

6m52s Warning InvalidDiskCapacity Node/node-01 invalid capacity 0 on image filesystem

6m52s Normal NodeAllocatableEnforced Node/node-01 Updated Node Allocatable limit across pods

6m52s Normal NodeHasSufficientMemory Node/node-01 Node node-01 status is now: NodeHasSufficientMemory

6m52s Normal NodeHasNoDiskPressure Node/node-01 Node node-01 status is now: NodeHasNoDiskPressure

6m52s Normal NodeHasSufficientPID Node/node-01 Node node-01 status is now: NodeHasSufficientPID

6m46s Normal RegisteredNode Node/node-01 Node node-01 event: Registered Node node-01 in Controller

6m44s Normal Starting Node/node-01

3m48s Normal NodeReady Node/node-01 Node node-01 status is now: NodeReady


kubectl logs kube-flannel-ds-k22qx

Defaulted container "kube-flannel" out of: kube-flannel, install-cni-plugin (init), install-cni (init)

I1219 15:15:42.175870 1 main.go:215] CLI flags config: {etcdEndpoints:http://127.0.0.1:4001,http://127.0.0.1:2379 etcdPrefix:/coreos.com/network etcdKeyfile: etcdCe rtfile: etcdCAFile: etcdUsername: etcdPassword: version:false kubeSubnetMgr:true kubeApiUrl: kubeAnnotationPrefix:flannel.alpha.coreos.com kubeConfigFile: iface:[] ifaceR egex:[] ipMasq:true ipMasqRandomFullyDisable:false ifaceCanReach: subnetFile:/run/flannel/subnet.env publicIP: publicIPv6: subnetLeaseRenewMargin:60 healthzIP:0.0.0.0 hea lthzPort:0 iptablesResyncSeconds:5 iptablesForwardRules:true blackholeRoute:false netConfPath:/etc/kube-flannel/net-conf.json setNodeNetworkUnavailable:true}

W1219 15:15:42.176156 1 client_config.go:659] Neither --kubeconfig nor --master was specified. Using the inClusterConfig. This might not work.

I1219 15:15:42.193433 1 kube.go:139] Waiting 10m0s for node controller to sync

I1219 15:15:42.193501 1 kube.go:537] Starting kube subnet manager

I1219 15:15:43.195283 1 kube.go:163] Node controller sync successful

I1219 15:15:43.195513 1 main.go:241] Created subnet manager: Kubernetes Subnet Manager - node-01

I1219 15:15:43.195590 1 main.go:244] Installing signal handlers

I1219 15:15:43.197477 1 main.go:523] Found network config - Backend type: vxlan

I1219 15:15:43.215555 1 kube.go:737] List of node(node-01) annotations: map[string]string{"kubeadm.alpha.kubernetes.io/cri-socket":"unix:///var/run/containerd/conta inerd.sock", "node.alpha.kubernetes.io/ttl":"0", "volumes.kubernetes.io/controller-managed-attach-detach":"true"}

I1219 15:15:43.215676 1 match.go:211] Determining IP address of default interface

I1219 15:15:43.219122 1 match.go:269] Using interface with name enp0s3 and address 192.168.1.100

I1219 15:15:43.219500 1 match.go:291] Defaulting external address to interface address (192.168.1.100)

I1219 15:15:43.220506 1 vxlan.go:128] VXLAN config: VNI=1 Port=0 GBP=false Learning=false DirectRouting=false

I1219 15:15:43.235371 1 kube.go:704] List of node(node-01) annotations: map[string]string{"kubeadm.alpha.kubernetes.io/cri-socket":"unix:///var/run/containerd/conta inerd.sock", "node.alpha.kubernetes.io/ttl":"0", "volumes.kubernetes.io/controller-managed-attach-detach":"true"}

I1219 15:15:43.286824 1 kube.go:558] Creating the node lease for IPv4. This is the n.Spec.PodCIDRs: [10.244.0.0/24]

I1219 15:15:43.294251 1 main.go:378] Cleaning-up unused traffic manager rules

I1219 15:15:43.294289 1 nftables.go:280] Cleaning-up nftables rules...

I1219 15:15:43.394848 1 iptables.go:50] Starting flannel in iptables mode...

W1219 15:15:43.394970 1 main.go:577] no subnet found for key: FLANNEL_NETWORK in file: /run/flannel/subnet.env

W1219 15:15:43.394989 1 main.go:577] no subnet found for key: FLANNEL_SUBNET in file: /run/flannel/subnet.env

W1219 15:15:43.395001 1 main.go:612] no subnet found for key: FLANNEL_IPV6_NETWORK in file: /run/flannel/subnet.env

W1219 15:15:43.395011 1 main.go:612] no subnet found for key: FLANNEL_IPV6_SUBNET in file: /run/flannel/subnet.env

I1219 15:15:43.395047 1 iptables.go:101] Current network or subnet (10.244.0.0/16, 10.244.0.0/24) is not equal to previous one (0.0.0.0/0, 0.0.0.0/0), trying to rec ycle old iptables rules

I1219 15:15:43.446141 1 iptables.go:111] Setting up masking rules

I1219 15:15:43.454166 1 iptables.go:212] Changing default FORWARD chain policy to ACCEPT

I1219 15:15:43.459792 1 main.go:467] Wrote subnet file to /run/flannel/subnet.env

I1219 15:15:43.459824 1 main.go:471] Running backend.

I1219 15:15:43.460868 1 vxlan_network.go:68] watching for new subnet leases

I1219 15:15:43.461495 1 vxlan_network.go:115] starting vxlan device watcher

I1219 15:15:43.475659 1 main.go:492] Waiting for all goroutines to exit

I1219 15:15:43.487726 1 iptables.go:358] bootstrap done

I1219 15:15:43.498797 1 iptables.go:358] bootstrap done



Какие ещё логи нужны?

2
Автор поста оценил этот комментарий

Так у тебя сам Flannel-то жив? Его поды в каком состоянии?

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

Running

Иллюстрация к комментарию
0
Автор поста оценил этот комментарий

он все эти вопросы на qna дублирует, не сомневайся.

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

В РФ специалистов мало, вот по всем каналам ищу инфу. На западе они пишут на reddit в сообщество и получают ответы.

показать ответы
1
Та ещё зажигалка
Автор поста оценил этот комментарий

У хабра есть qa - бывший тостер

раскрыть ветку (1)
0
ps aux /dev/null
Автор поста оценил этот комментарий

Да там тишина, ответов нет.

5
Автор поста оценил этот комментарий

С этим на хабр. А тут долина, котики и прочее

раскрыть ветку (1)
ps aux /dev/null
Автор поста оценил этот комментарий

Хабр не форум.


Сила пикабу есть, её не может не быть.

показать ответы
0
Его Сиятельство
Автор поста оценил этот комментарий

Копай отсюда и до обеда, пока прапорщик узнает, где по факту нужно копать.

А если серьёзно - напиши подробностей. Как диагностировал, что пытался делать, данные из логов и прочих источников приведи.

раскрыть ветку (1)
ps aux /dev/null
Автор поста оценил этот комментарий

Я уже серьёзно все написал.

На этом моё терпение с РФ закончилось.
Ухожу писать заграницу разработчикам.

Ишите там.

1
Автор поста оценил этот комментарий

В глубь

раскрыть ветку (1)
ps aux /dev/null
Автор поста оценил этот комментарий

В РФ только и могут что язвить.

показать ответы

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества