TyuleshPelmesh

6) Базовые знания крайне важны! Просто ты не пользуешься ими напрямую. В ВУЗе тебя учат математике и особенно статистике, на которой стоит тупо вся наука, дают базовые знания об устройстве мира, учат постановке исследования и методике эксперимента, короче прививают "научное мышление". Можно его приобрести в процессе работы, но это очень геморно. На личном опыте - я вот в айтишке сейчас работаю и без базы местами тяжко, по сравнению с теми у кого она есть, хотя там-то документации завались, в отличие от науки.

7) В биофизике/биохимии реально с повторяемостью сложно, потому что очень много факторов влияющих на результат. Но как бороться более-менее понятно: берёшь всё то-же самое вплоть до табуреток ( не шутка ) и халатов (дада, см.п.1), и повторяешь =)

8) полностью согласен. А ещё это всё офигенно, неподъёмно дорого =(((

Насчет десяти лет чтобы стать учёным - тоже ну такое. Если ты бодрый и толковый - то уже через 5 будешь вполне годным учёным, это условно магистратура + аспирантура. И вообще науку делают аспиранты, у них кругозора пока нету, зато уже есть знания, дофига времени и сумасшедшая работоспособность. Поэтому условный дядя профессор задаёт направление и резумирует результаты, а аспиранты пашут. Один мой одногруппник к 30ти годам уже целую книжку научную написал.

Проверял 3 БД: MySQL сдвижками InnoDB и MyISAM, SQLite и Postgres. Написал скрипт, который эмулирует заполнение БД и запросы к ней, и измеряет сколько времени занимает добавление записи и выполнение запроса. Скачать скриптец можно тут (он сугубо тестовый, т.е. стрёмный и без никакой обработки ошибок, уж сорян). Менял количество пользователей и количество записей у каждого пользователя и смотрел что будет если всё писать в одну таблицу, либо каждому пользователю создавать отдельную. Заодно после выполнения скрипта посмотрел сколько полученные базы данных занимают места на диске.
И вот получились такие таблички.

Какие выводы я для себя сделал.

Во первых видно, что если делать по таблице для каждого пользователя, то и добавление записи, и обработка запроса и размер БД получаются вобщем не лучше, чем если завести одну таблицу на всех. Единственное исключение – выполнение запросов в SQLite (и в некоторых случаях для Postgre) может быть в разы быстрее на многих таблицах, чем на одной. Почему так получается? Думаю потому что БД люто заоптимизированы очень крутыми чуваками под определенные сценарии использования. И если ты не столь-же крут (я лично нет), то нужно выбрать наиболее подходящую БД и подгонять свою задачу под типичные сценарии использования этой БД.

Во вторых если мне важнее скорость добавления/чтения (т.е. экономить вычислительные ресурсы) то из протестированных лучше пользовать Postgres, если важнее экономить место на диске – то MySQL с движком MyISAM. MySQL с движком InnoDB где-то посередине.

В третьих SQLite неожиданно всех обошел в скорости выполнения запросов (для моего случая по крайней мере). Прикольно.

Ну и в четвертых, питоновская обёртка для SQL-запросов про которую я писал в прошлом посте таки упростила бы мне написание тестового скрипта, но для чистоты эксперимента пришлось её отложить в сторону.

В любом случае это было интересно сделать, надеюсь кому-то было интересно и почитать.

Dataset инкапсулирует SQL-запросы внутри питоновского кода, но при этом не превращает их в какие-то сущности типа классов. Тупо SQL-запросы на питоне. Круто-же!! Выглядит это так:

коннектимся к БД

db = dataset.connect( 'mysql://user:password@localhost/mydatabase' )

создаем таблицу (или открываем, если она уже есть)

table = db[ 'user' ]

вставляем запись

table.insert( dict( name='John Doe', age=46, country='China' ) )

ищем запись

chinese_users = table.find( country='China' )
elderly_users = table.find( age={'>=': 70} )

По мне - просто и удобно, и конечно можно использовать всякие питоновские штуки:

for user in db['user']:
print(user['age'])

with dataset.connect() as tx:
tx['user'].insert(dict(name='John Doe', age=46, country='China'))

Надеюсь кому-то пригодится! =)
Всем удач!