Cidr4 merge algorithm #5

Merged
PavelPatsey merged 91 commits from CIDR4_merge_algorithm into main 2025-01-27 22:05:39 +03:00
Showing only changes of commit 9d5c6b384a - Show all commits
+75 -12
View File
@@ -1,4 +1,5 @@
import cProfile import cProfile
Fedor-Lyanguzov commented 2025-01-07 17:54:03 +03:00 (Migrated from github.com)
Review

Здесь за один проход объединяются все возможные объединения, таким образом мы можем промахнуться мимо цели в M элементов списка.

Здесь за один проход объединяются все возможные объединения, таким образом мы можем промахнуться мимо цели в `M` элементов списка.
Fedor-Lyanguzov commented 2025-01-07 17:55:32 +03:00 (Migrated from github.com)
Review

Здесь не хватает возвращения количества адресов, "попавших под раздачу": не принадлежащих начальному списку, но попавших в результат из-за объединения. Это количество позволит найти оптимальное решение.

Здесь не хватает возвращения количества адресов, "попавших под раздачу": не принадлежащих начальному списку, но попавших в результат из-за объединения. Это количество позволит найти оптимальное решение.
Fedor-Lyanguzov commented 2025-01-07 17:57:45 +03:00 (Migrated from github.com)
Review

Я думаю, использование внешней библиотеки (и вообще любой библиотеки) размывает смысл алгоритма: хотя из следующих строк понятно, что будет сделано; однако не очевидно, как это будет сделано, и будет ли оптимальный ответ, и будет ли оптимальное решение (что не обязательно).

Я думаю, использование внешней библиотеки (и вообще любой библиотеки) размывает смысл алгоритма: хотя из следующих строк понятно, что будет сделано; однако не очевидно, как это будет сделано, и будет ли оптимальный ответ, и будет ли оптимальное решение (что не обязательно).
Fedor-Lyanguzov commented 2025-01-12 17:46:01 +03:00 (Migrated from github.com)
Review

Мне кажется, что функция merge_nodes содержит не все свои обязанности, некоторые из них похоже вложись в функцию reduce_nodes. Стоит их переместить.

Мне кажется, что функция `merge_nodes` содержит не все свои обязанности, некоторые из них похоже вложись в функцию `reduce_nodes`. Стоит их переместить.
Fedor-Lyanguzov commented 2025-01-12 19:00:28 +03:00 (Migrated from github.com)
Review

Алгоритм слишком много делает каждый шаг, из-за этого работает медленно. Как мне кажется, для оптимизации стоит разработать алгоритм начиная с рекурсии, возможно их будет штук 5 связанных, зато это позволит определить характеристики отдельных кусков и принять решение по оптимизации.

Алгоритм слишком много делает каждый шаг, из-за этого работает медленно. Как мне кажется, для оптимизации стоит разработать алгоритм начиная с рекурсии, возможно их будет штук 5 связанных, зато это позволит определить характеристики отдельных кусков и принять решение по оптимизации.
Fedor-Lyanguzov commented 2025-01-12 19:01:34 +03:00 (Migrated from github.com)
Review

Пора перенести тесты в отдельный файл?

Пора перенести тесты в отдельный файл?
import math
from typing import Optional from typing import Optional
Node = tuple[int, int, int] Node = tuple[int, int, int]
@@ -46,7 +47,7 @@ def have_same_parent(a: Node, b: Node) -> bool:
def get_group_with_max_mask_len(nodes: list[Node]) -> list[Node]: def get_group_with_max_mask_len(nodes: list[Node]) -> list[Node]:
max_mask_len = max(nodes, key=lambda x: x[1])[1] max_mask_len = max(nodes, key=lambda x: x[1])[1]
return sort_nodes(filter(lambda x: x[1] == max_mask_len, nodes)) return list(filter(lambda x: x[1] == max_mask_len, nodes))
def get_parent(a: Node, b: Node = None) -> Node: def get_parent(a: Node, b: Node = None) -> Node:
@@ -97,25 +98,54 @@ def reduce_nodes(nodes: list[Node]) -> list[Node]:
def merge_nodes(nodes: list[Node], required_len: int) -> list[Node]: def merge_nodes(nodes: list[Node], required_len: int) -> list[Node]:
pass while len(nodes) > required_len:
nodes = reduce_nodes(nodes)
return nodes
def node_to_cidr4(node: Node) -> str:
ip_value, mask_len, _ = node
lst = [str(ip_value >> (i << 3) & 0xFF) for i in reversed(range(4))]
ip = ".".join(lst)
return f"{ip}/{mask_len}"
def answer(nodes: list[Node], required_len: int) -> tuple[list[str], int]:
nodes = sort_nodes(nodes)
merged_nodes = merge_nodes(nodes, required_len)
cidr4s = []
sum_added_ips = 0
for node in merged_nodes:
cidr4s.append(node_to_cidr4(node))
sum_added_ips += node[2]
return cidr4s, sum_added_ips
def main(): def main():
file = "cidr4.txt" file = "cidr4.txt"
required_len = 15 required_len = 20
data = get_data(file) data = get_data(file)
nodes = data_to_nodes(data) nodes = data_to_nodes(data)
# for n in nodes: cidr4s, sum_added_ips = answer(nodes, required_len)
# print(n)
merged_nodes = merge_nodes(nodes, required_len) cidr4s_str = "\n".join(cidr4s)
print(
f"Исходный список длины {len(nodes)} сокращен до {len(cidr4s)}\n"
f"Количество добавленных ip адресов: {sum_added_ips:_}\n"
f"Список объединенных cidr4:\n"
f"{cidr4s_str}"
)
if __name__ == "__main__": if __name__ == "__main__":
assert cidr4_to_node("4.78.139.0/24") == (72256256, 24, 0) assert cidr4_to_node("4.78.139.0/24") == (72256256, 24, 0)
assert cidr4_to_node("0.0.0.0/32") == (0, 32, 0) assert cidr4_to_node("0.0.0.0/32") == (0, 32, 0)
assert node_to_cidr4((72256256, 24, 0)) == "4.78.139.0/24"
assert node_to_cidr4((0, 32, 10)) == "0.0.0.0/32"
bin_a = "10011000000000001000010000010000" bin_a = "10011000000000001000010000010000"
assert len(bin_a) == 32 assert len(bin_a) == 32
value_a = int(bin_a, 2) value_a = int(bin_a, 2)
@@ -183,25 +213,21 @@ if __name__ == "__main__":
assert reduce_nodes( assert reduce_nodes(
[ [
(0, 0, 0),
(0, 2, 12), (0, 2, 12),
(1073741824, 2, 3), (1073741824, 2, 3),
] ]
) == [ ) == [
(0, 0, 0),
(0, 1, 15), (0, 1, 15),
] ]
assert reduce_nodes( assert reduce_nodes(
[ [
(0, 0, 0),
(0, 2, 12), (0, 2, 12),
(1073741824, 2, 3), (1073741824, 2, 3),
(2147483648, 2, 1), (2147483648, 2, 1),
(3221225472, 2, 2), (3221225472, 2, 2),
] ]
) == [ ) == [
(0, 0, 0),
(2147483648, 1, 3), (2147483648, 1, 3),
(0, 2, 12), (0, 2, 12),
(1073741824, 2, 3), (1073741824, 2, 3),
@@ -226,5 +252,42 @@ if __name__ == "__main__":
(0, 0, 12 + 2**30), (0, 0, 12 + 2**30),
] ]
# main() assert merge_nodes(
# cProfile.run("main()") [
(0, 2, 12),
(2147483648, 2, 1),
(3221225472, 2, 2),
],
2,
) == [
(2147483648, 1, 3),
(0, 2, 12),
]
assert merge_nodes(
[
(0, 2, 12),
(2147483648, 2, 1),
(3221225472, 2, 2),
],
1,
) == [(0, 0, 15 + 2**30)]
assert answer(
[
(0, 2, 0),
(2147483648, 2, 0),
(3221225472, 2, 12),
],
2,
) == (["128.0.0.0/1", "0.0.0.0/2"], 12)
assert answer(
[
(0, 2, 0),
(2147483648, 2, 0),
],
1,
) == (["0.0.0.0/0"], 2**31)
cProfile.run("main()")