August 24th, 2020

ABET или Accreditation Board for Engineering and Technology, Inc.

Составляю документы к АБЕТ-аккредитации департмента (отчет на 400 страниц). В Америке нет Минвуза или Госкомвуза, аккредитацию учебных программ осуществляет бредовая частная обществанная организация, называющаяся "АБЕТ".

Совершенно феерический бред. Скажем, пишут "Overall quality of academic advising at UWM", и дальше идут оценки, получeнные непонятно какими опросами при непонятно каких обстоятельствах.

У программы есть образовательные цели. У нас их четыре:

1. Graduates have a successful professional career in Mechanical Engineering or related fields.
2. Graduates apply their knowledge of mechanical engineering to problem solving in their field of employment.
3. Graduates are recognized as creative problem solvers and effective communicators.
4. Graduates are successfully engaged in continued professional development.

И затем есть семь (а раньше было 11, и в какой-то момент произошло изменение, которое нужно во всех таблицах учитывать) STUDENT OUTCOMES OF THE PROGRAM

Engineering programs must demonstrate that their graduates have:
1. An ability to identify, formulate, and solve complex engineering problems by applying principles of engineering, science, and mathematic
2. An ability to apply engineering design to produce solutions that meet specified needs with consideration of public health, safety, and welfare, as well as global, cultural, social, environmental, and economic factors
3. An ability to communicate effectively with a range of audiences
4. An ability to recognize ethical and professional responsibilities in engineering situations and make informed judgments, which must consider the impact of engineering solutions in global, economic, environmental, and societal contexts
5. An ability to function effectively on a team whose members together provide leadership, create a collaborative and inclusive environment, establish goals, plan tasks, and meet objectives
6. An ability to develop and conduct appropriate experimentation, analyze and interpret data, and use engineering judgment to draw conclusions
7. An ability to acquire and apply new knowledge as needed, using appropriate learning strategies


Ну и дальше нужно составлять таблицы, как каждая цель воплощается в каждом OUTCOME. Такое матричное отображение, можно сказать. Я бы сказал, отображение в семантическом пространстве смыслов, хотя, точнее, в асемантическом пространстве бессмысленностей. Это я так шучу, если не понятно.

Дальше эти OUTCOME измеряются. Но как они измеряются? Каждому курсу приписываются определенные ауткамы. Например, какой-нибудь там курс метода конечных элементов должен, скажем, содержать ауткамы 1, 4 и 5 (а каждый из них сответствует определенным образовательным целям из списка четырех целей):

1. An ability to identify, formulate, and solve complex engineering problems by applying principles of engineering, science, and mathematic
4. An ability to recognize ethical and professional responsibilities in engineering situations and make informed judgments, which must consider the impact of engineering solutions in global, economic, environmental, and societal contexts
5. An ability to function effectively on a team whose members together provide leadership, create a collaborative and inclusive environment, establish goals, plan tasks, and meet objectives

Соответственно, преподаватель должен оценивать в разных семестрах, в каккой мере цели достигаются. То есть преподаватель, например, Метода конечных элементов в осеннем семестре 2018 года должен оценить, как его курс достигает у студентов "ability to recognize ethical and professional responsibilities in engineering situations and make informed judgments, which must consider the impact of engineering solutions in global, economic, environmental, and societal contexts".

Для этого преподаватель выбирает какое нибудь домашнее задание (проект, экзамен) и оценивает студенческие работы по этому оуткаму (студентам не сообщая). То есть составляет таблицу с оценками. При этом имена студентов не включаются:
Студент 1 - оценка 4
Студент 2 - оценка 3
Студент 3 - оценка 5
....
Студент 30 - 4
И в таком духе. Это не настоящие оценки (студенты о них не знают), а именно внутренние оценки достижения результатов обучения, которые преподаватель делает для себя. Конечно, цифры ставят просто от балды, хотя имеется "рубрикация", где написано, что "5" означает, что студент превзошел ожидания в понимании этической и профессиональной ответственности" в процессе выполнения домашнего задания, "4" означает, что студент имеет понимание, "3" - неполное понимание, "2" плохое понимание, "1" - совсем не понял про этическую ответственность. Препод должен заранее установить метрику целей. Скжем, 80% студентов имеют уровень "4" или выше. И если цель достигнута, то пишет в отчете: "метрика встречена" (metrics met).

Дальше эти взятые с потолка цифры устредняются. Там еще сложнее, ауткамы распадаются на подвопросы. Ну и цифры проходят через жернова ряда таблиц и в результате я указываю, в каком количестве проверок метрика была встречена, и делаю из этого выводы, насколько наш департмент выполняет свои образовательные цели, по критериям их.

Конечно, к произвольно взятым от балды преподавателями цифрам я добавляю определенный элемент произвольности тем, что в большинстве случаев не могу заниматься выискиванием отчета преподавателя за весну 2018 (попробуй откопай при моей неорганизованности), а просто указываю, какой могла бы быть цифра. Это называется юридическим языком "подлог".

АБЕТ не интересуют конкретные результаты наших студентов и достигаются ли у нас на департменте критерии образовательных целей. Их интересует, как мы эвалюируем эти результаты. То есть умеем ли мы составить все эти таблицы с перекрестными ссылками, а не само содержание таблиц. А я это интерпретирую так - как мы могли бы эвалюириовать результаты, если бы захотели, и я не ленился, то есть умеем ли в принципе оценивать образовательные цели и студенческие результаты (а оцениваем ли на самом деле - не важно).

Такой бред. Интересно, это только у инженеров, или математики, биологи и физики тоже это делают? Почему-то в ЖЖ, где довольно много американских профессоров, тему аккредитации никогда не обсуждают.

(no subject)

1. Первый уровень абстракции - что-то делать. Например, быть машиностроителем, проектировать машины и механизмы. Это уровень работы.

2. Второй уровень абстракции - иметь навыки что-то делать. Например, иметь навыки инженера-механика. Это уровень поиска работы. Тут конкретная работа не важна, а важна способность выполнять работу.

3. Третий уровень абстракции - обучать умениям и навыкам что-то делать. Например, обучать инженеров-механиков. Это уровень колледжа. Тут важно знать, в чем состоит способность выполнять работу, а сама эта способность не важна.

4. Четвертый уровень абстракции - уметь оценивать преподавание и получение студентами навыков. Это уровень селф-ассесмента преподавателей. Тут уже конкретные навыки и способности не важны, важен метод оценки обучения конкретных студентов [любым] навыкам.

5. Пятый уровень абстракции - оценивать, как преподаватели занимаются само-оцениванием своих навыков преподавания. Это уровень эвалюации для аккредитации программы, напримeр, АБЕТ. Не этом уровне результаты конкретных студентов не нужны.

6 Шестой уровень абстракции - это иметь возможность или знать как оценивать преподавателей. Это то, что я предлагаю. Саму эвалюацию не проводить, просто сказать АБЕТ, что мы знаем правила, как такая эвалюация и аккредитация проводится. На этом уровне результаты и по конкретным преподавателям не нужны. :)

(Это я так шучу, если что)